Cuộc chạy đua hiệu năng chip xử lý các dịch vụ AI trang bị trong những máy chủ đám mây đang khiến chính bản thân các đơn vị vận hành những máy chủ này phải tính toán lại chi phí để mua hàng nghìn, thậm chí hàng chục nghìn con chip dạng GPGPU (General Purpose Graphics Processing Unit) chuyên biệt để xử lý những mô hình AI.
Từng có thời điểm, tiêu chuẩn vàng của ngành nghiên cứu, vận hành và dịch vụ AI thương mại là Nvidia H100. Không thiếu những đơn vị vận hành máy chủ đám mây lựa chọn cách mua hàng vạn GPU mẫu này để trang bị cho data center như CoreWeave, Lambda hay Voltage Park. Nhưng hiện giờ đã bắt đầu có những cái tên như TensorWave chuyển qua sử dụng lựa chọn mà AMD tạo ra để cạnh tranh, mang tên Instinct MI300X.
TensorWave cho biết, chi phí thuê máy chủ vận hành dịch vụ AI với những chip MI300X sẽ chỉ bằng một phần so với chi phí máy chủ trang bị chip H100.
Đồng sáng lập TensorWave, Jeff Tatarchuk khẳng định rằng, chip tăng tốc xử lý mô hình AI mới nhất của AMD, ra mắt hồi giữa năm ngoái, bắt đầu giao hàng từ tháng 12/2023 có những đặc tính, hiệu năng và chi phí vận hành rẻ và cạnh tranh hơn hẳn so với H100. Điều đầu tiên và quan trọng nhất, là đặt hàng MI300X là có hàng chứ không phải đợi cả năm trời. Đó là lý do từ nay đến cuối năm 2024, TensorWave đã đặt hàng và sẽ nhận 20 nghìn GPU MI300X từ AMD. Sang năm, sẽ bắt đầu có những hệ thống xử lý AI được trang bị tản nhiệt nước để tối ưu hiệu năng.
Từng có thời điểm, tiêu chuẩn vàng của ngành nghiên cứu, vận hành và dịch vụ AI thương mại là Nvidia H100. Không thiếu những đơn vị vận hành máy chủ đám mây lựa chọn cách mua hàng vạn GPU mẫu này để trang bị cho data center như CoreWeave, Lambda hay Voltage Park. Nhưng hiện giờ đã bắt đầu có những cái tên như TensorWave chuyển qua sử dụng lựa chọn mà AMD tạo ra để cạnh tranh, mang tên Instinct MI300X.
TensorWave cho biết, chi phí thuê máy chủ vận hành dịch vụ AI với những chip MI300X sẽ chỉ bằng một phần so với chi phí máy chủ trang bị chip H100.
AMD Instinct MI300X 192GB: Câu trả lời của AMD trước chip xử lý AI của Nvidia
Bên cạnh những con chip xử lý máy chủ EPYC, trong đó có cả những phiên bản trang bị 3D V-cache, tại sự kiện công bố sản phẩm doanh nghiệp của AMD, GPU flagship phục vụ xử lý HPC, data center nói chung và AI nói riêng…
tinhte.vn
Đồng sáng lập TensorWave, Jeff Tatarchuk khẳng định rằng, chip tăng tốc xử lý mô hình AI mới nhất của AMD, ra mắt hồi giữa năm ngoái, bắt đầu giao hàng từ tháng 12/2023 có những đặc tính, hiệu năng và chi phí vận hành rẻ và cạnh tranh hơn hẳn so với H100. Điều đầu tiên và quan trọng nhất, là đặt hàng MI300X là có hàng chứ không phải đợi cả năm trời. Đó là lý do từ nay đến cuối năm 2024, TensorWave đã đặt hàng và sẽ nhận 20 nghìn GPU MI300X từ AMD. Sang năm, sẽ bắt đầu có những hệ thống xử lý AI được trang bị tản nhiệt nước để tối ưu hiệu năng.
Tuyên bố kế tiếp của Tatarchuk sẽ khiến nhiều người tranh luận: "Nếu chỉ xét trên cấu hình cơ bản, thì MI300X vượt xa H100."
Con chip với TDP 750W của AMD ứng dụng 12 chiplet kết nối với nhau bằng cầu nối interconnect, kết hợp thêm 8 module bộ nhớ VRAM HBM là 20 cụm chiplet trên một chip xử lý. Theo AMD, hiệu năng tính toán số thực dấu phẩy động của MI300X mạnh hơn 32% so với H100. Cùng với đó, dung lượng bộ nhớ cấp cho chip tính toán cũng nhiều hơn, băng thông cũng cao hơn. MI300X trang bị 192GB HBM3, băng thông 5.3 TB/s. Nvidia H100 trang bị 80GB HBM2e, băng thông bộ nhớ 3.35 TB/s.
Đến thế hệ chip H200, Nvidia ứng dụng công nghệ bộ nhớ HBM3e, để tạo ra băng thông bộ nhớ lớn hơn, giúp vận hành những mô hình với hàng tỷ đến hàng chục tỷ tham số ở tốc độ nhanh nhất có thể.
Đối với TensorWave, trong những hình ảnh chia sẻ lên mạng xã hội, các kỹ sư của startup này lắp ráp những máy chủ 8U Supermicro AS-8125GS-TNMR2 vào server rack. Khi ấy có những dự đoán cho rằng, hệ thống này nếu làm mát bằng quạt thổi, sẽ không thể trang bị đầy đủ lượng máy chủ mà một rack có thể hỗ trợ, nhất là khi ở chế độ vận hành công suất tối đa, điện năng tiêu thụ có thể đạt ngưỡng 10 kW.
Nhưng thật ra không phải. TensorWave vẫn có kế hoạch lắp đủ lượng máy chủ mà mỗi server rack hỗ trợ, tiêu thụ điện tổng cộng lên tới 40 kW, làm mát nhờ những radiator ở mặt sau của từng máy chủ. Bản thân giám đốc vận hành của TensorWave cũng thừa nhận, những công nghệ làm mát chip xử lý mới nhất giờ cũng đang là thứ được cả ngành AI quan tâm đặc biệt, thành ra giống hệt như bản thân tình trạng thiếu hụt chip xử lý AI, linh kiện và hệ thống tản nhiệt máy chủ cũng đang trong tình trạng làm không đủ để bán.
Về mặt hiệu năng, Tatarchuk cho biết, TensorWave tự tin vào hiệu năng của MI300X. Ngành vận hành dịch vụ AI đương nhiên có quan tâm tới MI300X, nhưng lo ngại lớn nhất của họ luôn là việc liệu hiệu năng của con chip do AMD tạo ra có so sánh được với H100 của Nvidia hay không.
Về mặt vận hành, theo TensorWave, những máy chủ kể trên sẽ được kết nối với nhau thông qua hai giao thức kết nối bộ nhớ RDMA và kết nối mạng RoCE. Chi phí vận hành một máy chủ như trong hình sẽ chỉ ở mức 1 USD/1 giờ/1 GPU.
Quảng cáo
Trong tương lai gần, TensorWave muốn kết nối toàn bộ hệ thống máy chủ lại với nhau dựa vào công nghệ FabreX nền giao thức PCIe 5.0 của GigaIO, kết nối tối đa 5750 GPU lại với nhau thành một khối để dễ quản lý và phân chia công việc, với tổng cộng hơn 1 petabyte bộ nhớ HBM3 tốc độ cao.
Một giải pháp kết nối những GPU xử lý AI khác là TensorNODE, cũng của GigaIO, dựa trên kiến trúc SuperNODE được giới thiệu vào năm ngoái. Với giải pháp này, switch PCIe sẽ được ứng dụng để kết nối GPU lại với nhau. Trên lý thuyết, giải pháp này cho phép một CPU quản lý và chia việc cho nhiều hơn 8 GPU như kết cấu máy chủ hiện giờ.
Giải pháp này hơi khác so với NVLink của Nvidia. Giải pháp của Nvidia kết nối tối đa 576 GPU xử lý AI trở thành một GPU đơn khối khổng lồ cả về quy mô, bộ nhớ lẫn sức mạnh. Băng thông bộ nhớ của NVLink cao hơn nhiều, 1.8 TB, còn chuẩn PCIe 5.0 chỉ có tốc độ tối đa 128 GB/s, đổi lại là giới hạn kết nối tối đa thấp hơn.
Theo The Register
Khóa học Machine Learning cơ bản- Khoa học dữ liệu - AI 
==***==
Khoá học Quản trị Chiến lược Dành cho Lãnh đạo Doanh nghiệp
==***==
Nơi hội tụ Tinh Hoa Tri Thức - Khơi nguồn Sáng tạo
Để tham gia khóa học công nghệ truy cập link: http://thuvien.hocviendaotao.com
Mọi hỗ trợ về công nghệ email: dinhanhtuan68@gmail.com
---
Khóa học Hacker và Marketing từ A-Z trên ZALO!
Khóa học Hacker và Marketing từ A-Z trên Facebook!
Bảo mật và tấn công Website - Hacker mũ trắng
KHÓA HỌC LẬP TRÌNH PYTHON TỪ CƠ BẢN ĐẾN CHUYÊN NGHIỆP 
Khóa học Lập trình Visual Foxpro 9 - Dành cho nhà quản lý và kế toán 
Khóa học hướng dẫn về Moodle chuyên nghiệp và hay Xây dựng hệ thống đào tạo trực tuyến chuyên nghiệp tốt nhất hiện nay. 
Khóa học AutoIt dành cho dân IT và Marketing chuyên nghiệp 
Khoá học Word từ cơ bản tới nâng cao, học nhanh, hiểu sâu 
Khóa học hướng dẫn sử dụng Powerpoint từ đơn giản đến phức tạp HIỆU QUẢ 
Khóa học Thiết kế, quản lý dữ liệu dự án chuyên nghiệp cho doanh nghiệp bằng Bizagi 
Khóa học Phân tích dữ liệu sử dụng Power Query trong Excel 
Khóa học Lập trình WEB bằng PHP từ cơ bản đến nâng cao 
Khóa học Phân tích dữ liệu sử dụng SPSS - Chìa khóa thành công!
Khóa học "Thiết kế bài giảng điện tử", Video, hoạt hình kiếm tiền Youtube bằng phần mềm Camtasia Studio 
Khóa học HƯỚNG DẪN THIẾT KẾ VIDEO CLIP CHO DÂN MARKETING CHUYÊN NGHIỆP 
HƯỚNG DẪN THIẾT KẾ QUẢNG CÁO VÀ ĐỒ HỌA CHUYÊN NGHIỆP VỚI CANVA Hãy tham gia khóa học để trở thành người chuyên nghiệp. Tuyệt HAY!😲👍 
GOOGLE SPREADSHEETS phê không tưởng 
Hãy tham gia khóa học để biết mọi thứ
Khóa học Ba, Mẹ và Bé - Cùng bé lập trình TUYỆT VỜI
Khóa học sử dụng Adobe Presenter-Tạo bài giảng điện tử 
Để thành thạo Wordpress bạn hãy tham gia khóa học 
Khóa học sử dụng Edmodo để dạy và học hiện đại để thành công 
==***== Bảo hiểm nhân thọ - Bảo vệ người trụ cột 
Cập nhật công nghệ từ Youtube tại link: congnghe.hocviendaotao.com
Tham gia nhóm Facebook
Để tham gia khóa học công nghệ truy cập link: http://thuvien.hocviendaotao.com
Mọi hỗ trợ về công nghệ email: dinhanhtuan68@gmail.com
Bảo mật và tấn công Website - Hacker mũ trắng
KHÓA HỌC LẬP TRÌNH PYTHON TỪ CƠ BẢN ĐẾN CHUYÊN NGHIỆP
Khóa học AutoIt dành cho dân IT và Marketing chuyên nghiệp
Khoá học Word từ cơ bản tới nâng cao, học nhanh, hiểu sâu
Khóa học hướng dẫn sử dụng Powerpoint từ đơn giản đến phức tạp HIỆU QUẢ
Khóa học Thiết kế, quản lý dữ liệu dự án chuyên nghiệp cho doanh nghiệp bằng Bizagi
Khóa học Phân tích dữ liệu sử dụng Power Query trong Excel
Khóa học Lập trình WEB bằng PHP từ cơ bản đến nâng cao
Khóa học Phân tích dữ liệu sử dụng SPSS - Chìa khóa thành công!
kiếm tiền Youtube bằng phần mềm Camtasia Studio
Khóa học HƯỚNG DẪN THIẾT KẾ VIDEO CLIP CHO DÂN MARKETING CHUYÊN NGHIỆP
HƯỚNG DẪN THIẾT KẾ QUẢNG CÁO VÀ ĐỒ HỌA CHUYÊN NGHIỆP VỚI CANVA
Hãy tham gia khóa học để trở thành người chuyên nghiệp. Tuyệt HAY!😲👍
GOOGLE SPREADSHEETS phê không tưởng
Hãy tham gia khóa học để biết mọi thứ
Khóa học Ba, Mẹ và Bé - Cùng bé lập trình TUYỆT VỜI
Khóa học sử dụng Adobe Presenter-Tạo bài giảng điện tử
Để thành thạo Wordpress bạn hãy tham gia khóa học
Khóa học sử dụng Edmodo để dạy và học hiện đại để thành công
==***==
Bảo hiểm nhân thọ - Bảo vệ người trụ cột
Tham gia nhóm Facebook
Để tham gia khóa học công nghệ truy cập link: http://thuvien.hocviendaotao.com
Mọi hỗ trợ về công nghệ email: dinhanhtuan68@gmail.com
Nguồn: Tinh Tế
Topics: Công nghệ mới
