Việc chuyển một ứng dụng AI từ GPU NVIDIA sang chip khác không đơn thuần chỉ là chuyển đổi phần cứng. Hiện tại, phần lớn ứng dụng AI được viết mặc định để chạy trên GPU NVIDIA nên nếu anh em muốn chuyển đi thì kèm theo đó là việc phải sửa lại phần code gắn với GPU NVIDIA mà anh em đã làm. Trong suốt hai tuần gần đây, Amazon và Google cùng tung công cụ nhắm vào đúng chi phí chuyển đổi này khi Amazon phát hành TorchNeuron hôm 19/10, và Google mở mã nguồn TorchTPU hôm 20/10.
Để thấy vì sao hai công ty chọn mục tiêu này, cần nhìn lại vị trí của PyTorch. Đây là bộ công cụ mã nguồn mở để xây dựng, huấn luyện và chạy mô hình AI, do Meta tạo ra năm 2016 và trao cho Linux Foundation năm 2022. Theo một số thống kê, khoảng 85% ứng dụng AI dùng PyTorch, dù con số này đến từ các nguồn không được nêu tên. PyTorch ra đời khi GPU NVIDIA đã là nền tảng tiêu chuẩn của giới nghiên cứu AI, nên nó được xây quanh phần cứng của NVIDIA. Vì thế ai muốn chạy PyTorch trên chip khác thường phải trả một khoản công sức mà chưa chắc đáng.
Ngoài ra, TorchNeuron và TorchTPU là phiên bản PyTorch chạy được trên chip riêng của từng hãng, lần lượt là Trainium của Amazon và TPU của Google, vốn là hai loại chip AI mà họ tự thiết kế. Và với nền tảng này, cả Amazon lẫn Google đều hứa rằng các lập trình viên đều có thể chuyển đổi ứng dụng một cách dễ dàng mà không cần phải viết lại.
Để thực hiện việc chuyển đổi này, Amazon và Google có cách tiếp cận khác nhau. Amazon, ngoài TorchNeuron, đang gửi code lên dự án PyTorch chính để tách nhiều tính năng khỏi chip Nvidia, nhằm làm PyTorch chạy trên bất kỳ phần cứng nào theo mặc định. Nếu những đóng góp này được chấp nhận, lợi thế mặc định của Nvidia sẽ yếu đi ở chính nền tảng mà mọi hãng dùng chung.
![[IMG]](https://tinhte.org/img.php?url=https%3A%2F%2Fwww.unite.ai%2Fwp-content%2Fuploads%2F2026%2F10%2Fgoogle-open-sources-torchtpu-putting-native-pytorch-on-its-tpus.jpg.webp)
Google chọn con đường làm cho việc di chuyển dễ nhất có thể. Lập trình viên chuyển ứng dụng PyTorch sang TPU bằng một thay đổi cấu hình, không cần viết lại. Google cho biết họ đã làm việc với Meta, Hugging Face, Inferact, đội ngũ phát triển đứng sau vLLM và RadixArk (SGLang) để các công cụ phổ biến chạy tốt trên TorchTPU. Hãng còn tung bộ TPU agent suite, giúp di chuyển ứng dụng sang chip và đám mây của Google và sửa lỗi trong quá trình đó, đồng thời cập nhật LiteRT, công cụ chạy AI trên thiết bị, để làm việc tốt hơn với ứng dụng PyTorch. Mỗi bước đều là một cách hạ chi phí chuyển đổi, và đều dẫn về Google Cloud.
Cùng ngày, CNBC đưa tin OpenAI sẽ đưa mô hình của mình lên Google Cloud trong vài tuần tới, sau khi đã lên AWS hồi tháng 4. Đặt cạnh nhau, mình thấy các nhà cung cấp đám mây đang cố làm cho khối lượng công việc AI dễ di chuyển hơn, cả ở tầng mô hình lẫn tầng chip.
Dĩ nhiên, anh em cũng đừng đọc các thông báo này như một bước ngoặt đã hoặc đang xảy ra. Những thông tin này nói rõ rằng nó không đồng nghĩa với việc lập trình viên sẽ tự động bỏ phần cứng Nvidia, đồng thời sự dịch chuyển chưa diễn ra ở quy mô lớn. Hơn nữa, Amazon lãn Google cũng chưa đưa ra được những benchmark đủ thuyết phục về về hiệu năng, chi phí hay độ tương thích, nên mọi tuyên bố về sự dễ dàng khi di chuyển.
Vì vậy, hai thứ cần được theo dõi là các phép so sánh độc lập giữa chi phí và hiệu năng của TPU, Trainium với GPU Nvidia trên cùng một ứng dụng PyTorch, và việc code Amazon đóng góp có được hợp nhất vào PyTorch chính hay không. Nếu hai điều này đều có kết quả tốt, hào lũy phần mềm của Nvidia mới thật sự bị thử thách.
Rào cản lớn nhất để rời Nvidia là công sức viết lại code, không phải giá chip
Để thấy vì sao hai công ty chọn mục tiêu này, cần nhìn lại vị trí của PyTorch. Đây là bộ công cụ mã nguồn mở để xây dựng, huấn luyện và chạy mô hình AI, do Meta tạo ra năm 2016 và trao cho Linux Foundation năm 2022. Theo một số thống kê, khoảng 85% ứng dụng AI dùng PyTorch, dù con số này đến từ các nguồn không được nêu tên. PyTorch ra đời khi GPU NVIDIA đã là nền tảng tiêu chuẩn của giới nghiên cứu AI, nên nó được xây quanh phần cứng của NVIDIA. Vì thế ai muốn chạy PyTorch trên chip khác thường phải trả một khoản công sức mà chưa chắc đáng.
Ngoài ra, TorchNeuron và TorchTPU là phiên bản PyTorch chạy được trên chip riêng của từng hãng, lần lượt là Trainium của Amazon và TPU của Google, vốn là hai loại chip AI mà họ tự thiết kế. Và với nền tảng này, cả Amazon lẫn Google đều hứa rằng các lập trình viên đều có thể chuyển đổi ứng dụng một cách dễ dàng mà không cần phải viết lại.
Amazon sửa PyTorch từ gốc, còn Google làm cho việc di chuyển gần như không tốn công
Để thực hiện việc chuyển đổi này, Amazon và Google có cách tiếp cận khác nhau. Amazon, ngoài TorchNeuron, đang gửi code lên dự án PyTorch chính để tách nhiều tính năng khỏi chip Nvidia, nhằm làm PyTorch chạy trên bất kỳ phần cứng nào theo mặc định. Nếu những đóng góp này được chấp nhận, lợi thế mặc định của Nvidia sẽ yếu đi ở chính nền tảng mà mọi hãng dùng chung.
Google chọn con đường làm cho việc di chuyển dễ nhất có thể. Lập trình viên chuyển ứng dụng PyTorch sang TPU bằng một thay đổi cấu hình, không cần viết lại. Google cho biết họ đã làm việc với Meta, Hugging Face, Inferact, đội ngũ phát triển đứng sau vLLM và RadixArk (SGLang) để các công cụ phổ biến chạy tốt trên TorchTPU. Hãng còn tung bộ TPU agent suite, giúp di chuyển ứng dụng sang chip và đám mây của Google và sửa lỗi trong quá trình đó, đồng thời cập nhật LiteRT, công cụ chạy AI trên thiết bị, để làm việc tốt hơn với ứng dụng PyTorch. Mỗi bước đều là một cách hạ chi phí chuyển đổi, và đều dẫn về Google Cloud.
Cùng ngày, CNBC đưa tin OpenAI sẽ đưa mô hình của mình lên Google Cloud trong vài tuần tới, sau khi đã lên AWS hồi tháng 4. Đặt cạnh nhau, mình thấy các nhà cung cấp đám mây đang cố làm cho khối lượng công việc AI dễ di chuyển hơn, cả ở tầng mô hình lẫn tầng chip.
Amazon và Google cố gắng làm giảm chi phí chuyển đổi nhưng chưa có dấu hiệu anh em đang rời Nvidia ở quy mô lớn
Dĩ nhiên, anh em cũng đừng đọc các thông báo này như một bước ngoặt đã hoặc đang xảy ra. Những thông tin này nói rõ rằng nó không đồng nghĩa với việc lập trình viên sẽ tự động bỏ phần cứng Nvidia, đồng thời sự dịch chuyển chưa diễn ra ở quy mô lớn. Hơn nữa, Amazon lãn Google cũng chưa đưa ra được những benchmark đủ thuyết phục về về hiệu năng, chi phí hay độ tương thích, nên mọi tuyên bố về sự dễ dàng khi di chuyển.
Vì vậy, hai thứ cần được theo dõi là các phép so sánh độc lập giữa chi phí và hiệu năng của TPU, Trainium với GPU Nvidia trên cùng một ứng dụng PyTorch, và việc code Amazon đóng góp có được hợp nhất vào PyTorch chính hay không. Nếu hai điều này đều có kết quả tốt, hào lũy phần mềm của Nvidia mới thật sự bị thử thách.
