Google đang thực hiện bước đi chiến lược bằng cách tách biệt các chức năng xử lý mô hình AI thành hai loại chip chuyên dụng: huấn luyện (training) và suy luận (inference), nhằm tăng cường hiệu suất cho các tác nhân AI.
Tái cấu trúc TPU thế hệ thứ 8
Sau nhiều năm sản xuất các bộ xử lý có khả năng thực hiện cả hai tác vụ huấn luyện và suy luận, Google công bố việc tái cấu trúc bộ xử lý Tensor Processing Unit (TPU) thế hệ thứ tám. Sự thay đổi này nhằm đáp ứng nhu cầu ngày càng tăng của các tác nhân AI.
Theo bài đăng trên blog, Amin Vahdat, Phó Chủ tịch cấp cao và Giám đốc Công nghệ AI và Cơ sở hạ tầng của Google, cho biết: "Với sự gia tăng của các tác nhân AI, chúng tôi nhận thấy cộng đồng sẽ hưởng lợi từ các chip được chuyên môn hóa riêng cho nhu cầu huấn luyện và phục vụ (serving)."
Các chip mới này dự kiến sẽ có mặt vào cuối năm nay.
So sánh hiệu năng và công nghệ cốt lõi
Google đã công bố những cải tiến đáng kể về hiệu năng cho các chip mới:
- Chip huấn luyện: Cho phép hiệu năng cao gấp 2,8 lần so với TPU Ironwood thế hệ thứ bảy (ra mắt tháng 11 năm trước) với cùng mức giá.
- Chip suy luận (TPU 8i): Mang lại hiệu năng tốt hơn 80%.
Về mặt kiến trúc, cả hai chip đều được thiết kế để cung cấp thông lượng lớn và độ trễ thấp, cần thiết để vận hành hàng triệu tác nhân AI một cách hiệu quả về chi phí. Đặc biệt, chip suy luận TPU 8i sử dụng bộ nhớ truy cập ngẫu nhiên tĩnh (SRAM) với dung lượng 384 MB, gấp ba lần so với TPU Ironwood.
Bối cảnh cạnh tranh chip AI
Trong bối cảnh các tập đoàn công nghệ lớn đều đẩy mạnh phát triển bán dẫn tùy chỉnh cho AI, Google vẫn cung cấp TPU như một giải pháp thay thế cho các dịch vụ đám mây, mặc dù họ là khách hàng lớn của Nvidia.
- Các đối thủ cạnh tranh: Các công ty hàng đầu khác như Apple (tích hợp Neural Engine), Microsoft (chip AI thế hệ thứ hai), và Meta (hợp tác với Broadcom) đều đang phát triển các bộ xử lý AI chuyên dụng.
- Lịch sử của Google: Google đã đi tiên phong trong xu hướng này, bắt đầu sử dụng bộ xử lý AI tự thiết kế từ năm 2015 và cho thuê chúng cho khách hàng đám mây từ năm 2018.
Tăng tốc áp dụng thực tế
Việc áp dụng các chip AI của Google đang tăng tốc tại nhiều tổ chức lớn. Các ví dụ bao gồm:
- Citadel Securities sử dụng phần mềm nghiên cứu định lượng dựa trên TPU của Google.
- Tất cả 17 phòng thí nghiệm quốc gia của Bộ Năng lượng Hoa Kỳ đều sử dụng phần mềm nhà khoa học đồng hành (co-scientist) được xây dựng trên các chip này.
- Anthropic đã cam kết sử dụng lượng lớn TPU của Google.
