Arm nói chip AGI CPU cho hiệu năng mỗi rack gấp đôi AMD EPYC 9755 trong tác vụ AI agent
Arm vừa công bố chip AGI CPU, dòng CPU trung tâm dữ liệu dành cho tác vụ AI dạng agent, cho hiệu năng trên mỗi rack máy chủ gấp đôi AMD EPYC 9755. Con số được tính từ hiệu năng chip và giả định điện năng máy chủ trên bảy tác vụ khác nhau, theo phương pháp đánh giá CPU mới do Arm phát triển cùng Fujitsu, Meta và OpenAI. Kết quả được Signal65 kiểm chứng trong một phân tích độc lập do Arm đặt hàng.
Theo Arm, hiệu năng CPU trong thời của AI agent nên được đo bằng khối lượng công việc hữu ích mà hệ thống duy trì được trong khi vẫn phản hồi nhanh, thay vì chỉ đếm số agent chạy đồng thời. Điện năng, làm mát và không gian cũng giới hạn lượng phần cứng có thể triển khai, nên Arm đưa phép so sánh lên cấp độ rack. Để kết quả lặp lại được, Arm đề xuất phát lại các thao tác agent đã ghi sẵn, tách hiệu năng CPU khỏi độ trễ của mô hình và dịch vụ bên ngoài.
Trong thử nghiệm, Arm dùng hai cấu hình AGI CPU: bản 128 nhân xung 2,8GHz với DDR5-7200 và bản 136 nhân xung 3,2GHz với DDR5-8000. Đối thủ là một socket EPYC 9755 128 nhân với DDR5-6400. Ở cấp chip, AGI CPU dẫn trước 9% ở Terminal-Bench, 13% ở SWE-bench và 97% ở fastText, nhưng thua 12% ở MySQL và 5% ở Milvus. Tính trung bình, chip của Arm nhanh hơn 20%.
Ở cấp rack, hiệu năng mô phỏng của Arm trung bình gấp 1,99 lần AMD và dẫn trước ở cả bảy tác vụ. Mô hình giả định máy chủ Arm tiêu thụ 950W với bản 128 nhân và 1.050W với bản 136 nhân, còn máy chủ AMD là 1.700W. Với ngân sách điện 24kW mỗi rack, một rack chứa được 23 hoặc 21 máy chủ Arm so với 13 máy chủ AMD. Phần lớn lợi thế đến từ việc đặt được nhiều máy chủ hơn trong cùng mức điện. Đây cũng là số liệu mô phỏng từ điện năng máy chủ, chưa đo trên hai rack chạy thật.
Kết quả còn vài điểm cần lưu ý. Mô hình cấp cho máy chủ AMD gần gấp đôi RAM, khoảng 2TB so với 1TB, vì mỗi nhân AMD chạy hai luồng. Nếu chia bộ nhớ theo nhân vật lý, lợi thế của Arm giảm từ 1,99 lần xuống khoảng 1,81 lần. Signal65 tái lập được cả bảy kết quả với sai lệch dưới 0,5% từ dữ liệu gốc nhưng không tự chạy lại trên phần cứng. Phép so sánh này cũng dùng EPYC 9755 thuộc thế hệ thứ năm Turin, trong khi AMD đã ra mắt dòng EPYC 9006 Venice thế hệ thứ sáu dành cho AI agent trong năm nay.