Trainium 2 & Inferentia: Amazon muốn tạo ra con chip AI cạnh tranh được với Nvidia

Để làm được điều này, các kỹ sư và nhà phát triển bán dẫn của Annapurna Labs, công ty thuộc quyền sở hữu của tập đoàn Amazon đang cố gắng phát triển một con chip xử lý trang bị cho máy chủ AWS, với hiệu năng huấn luyện cũng như vận hành AI đủ để Amazon bớt phụ thuộc vào nguồn cung chip của Nvidia.

Với tham vọng đó, mảng điện toán đám mây của tập đoàn Amazon đã và đang đầu tư hàng tỷ USD để phát triển và sản xuất những con chip thiết kế riêng cho nhu cầu vận hành máy chủ AWS phục vụ các khách hàng chạy thuật toán AI. Năm 2015, Amazon mua lại Annapurna Labs với giá 350 triệu USD. Sang tháng 12, dự kiến startup nghiên cứu chip xử lý này sẽ giới thiệu Trainium 2, sản phẩm phục vụ được nhu cầu huấn luyện những mô hình ngôn ngữ nhiều tham số nhất hiện nay.

Hiện tại, Trainium 2 đang được thử nghiệm huấn luyện mô hình AI bởi Anthropic, startup nghiên cứu AI với những mô hình và chatbot Claude. Phiên bản Claude mới nhất là 3.5, với lựa chọn mạnh nhất là Claude 3.5 Opus, 2 nghìn tỷ tham số. Bên cạnh Anthropic, những đơn vị đang thử nghiệm chip Trainium 2 còn có Databricks, Deutsche Telekom, Ricoh và Stockmark…



Amazon và giám đốc mảng AWS hoàn toàn không giấu diếm tham vọng cạnh tranh trực tiếp với chính Nvidia với con chip "cây nhà lá vườn" phục vụ nhu cầu riêng của những data center mà họ sở hữu cũng như vận hành. Dave Brown, phó chủ tịch mảng điện toán và dịch vụ mạng của AWS nói: "Chúng tôi muốn trở thành nơi hoàn hảo nhất để vận hành phần cứng của Nvidia. Nhưng cùng lúc, chúng tôi cũng thấy tình hình cạnh tranh sẽ ổn định nếu có một lựa chọn thay thế."

Nếu như Trainium 2 là sản phẩm mới nhất phục vụ cho nhu cầu huấn luyện mô hình AI mới, thì Annapurna Labs có một sản phẩm khác, Inferentia, phục vụ vận hành nội suy nội dung bằng mô hình ngôn ngữ AI. Ước tính, so sánh với chip Nvidia, Inferentia tạo ra những token nội dung từ mô hình AI với chi phí rẻ hơn tới 40%.

Ông Brown cho biết: "Chi phí vận hành máy chủ đám mây luôn cao nếu xét tới tác vụ máy học và AI. Nếu tiết kiệm được 40% chi phí 1000 USD, nghe không có nhiều khác biệt trong kinh doanh. Nhưng khi chi phí hàng chục triệu USD giảm 40%, nó sẽ là khác biệt rất đáng kể."

Dự kiến trong năm 2024, Amazon sẽ bỏ ra khoảng 75 tỷ USD vốn đầu tư nghiên cứu phát triển sản phẩm mới. Hầu hết con số đó sẽ được dùng để phát triển công nghệ cơ sở hạ tầng máy chủ đám mây. CEO Andy Jassy, trong cuộc gọi công bố báo cáo tài chính gần đây nhất, đã khẳng định Amazon sẽ đầu tư số tiền lớn hơn trong năm 2025. Quá trình đầu tư mở rộng quy mô và giải pháp chip xử lý máy chủ đám mây của Amazon đã bắt đầu từ năm 2023, khi họ bỏ 48.4 tỷ USD trong cả năm làm vốn đầu tư nghiên cứu phát triển sản phẩm.



Chẳng riêng gì Amazon, mà Microsoft với Azure và Alphabet với Google Cloud cũng đang chạy đua đầu tư hàng chục, hàng trăm tỷ USD mở rộng quy mô data center của họ trên toàn thế giới để dẫn đầu cuộc đua AI. Màn đổ tiền này vẫn chưa hề có dấu hiệu hạ nhiệt.

Những cái tên như Amazon, Meta, xAI, Microsoft và Google vừa là những khách hàng lớn đặt mua hàng vạn con chip xử lý máy chủ của Nvidia, mỗi con chip có giá tới 5 chữ số tiền USD. Nhưng cùng lúc, nhiều cái tên trong số đó cũng đang tự phát triển, sản xuất và ứng dụng những chip xử lý của riêng họ. Microsoft có Maia 100. Google có TPUv6, Meta thì có Artemis. Và Amazon, thông qua Annapurna Labs, có Trainium và Inferentia.

Daniel Newman của Futurum Group cho rằng: "Mọi đơn vị cung cấp dịch vụ điện toán đám mây lớn đều đang nhắm tới định hướng vận hành theo ngành dọc, và nếu có khả năng, thì sẽ tự phát triển và ứng dụng chip của riêng họ. Từ OpenAI tới Apple đều đang muốn tự phát triển chip mới, vì họ muốn giảm chi phí kinh doanh, tăng tỷ suất lợi nhuận, tăng lượng chip phục vụ cho họ, và kiểm soát tốt hơn nguồn cung."

Quảng cáo

Rami Sinno, giám đốc kỹ thuật của Annapurna Labs, người từng làm việc cho cả Intel lẫn ARM cho rằng: "Chỉ nói tới chip không là chưa đủ, mà thứ quan trọng là toàn bộ hệ thống máy chủ." Đối với cơ sở hạ tầng máy chủ đám mây AI của Amazon, họ có tham vọng tự phát triển mọi thứ, từ wafer silicon chip xử lý, cho tới rack máy chủ lắp những con chip này vào, tất cả được vận hành dựa trên kiến trúc và phần mềm do AWS tự phát triển.

Annapurna Labs khởi đầu với việc phát triển một con chip bảo mật có tên Nitro cho AWS. Kế đến, họ tạo ra Graviton, CPU kiến trúc tập lệnh ARM, một giải pháp tiêu thụ ít điện năng hơn so với những CPU máy chủ Xeon của Intel hay EPYC của AMD.



G Dan Hutcheson, nhà phân tích của TechInsights cho rằng: "Lợi thế của AWS là chip của họ tiêu thụ ít điện năng hơn, và data center của họ có thể vận hành hiệu quả và tiết kiệm hơn." Hutcheson so sánh chip Nvidia như những giải pháp phổ quát phục vụ cho mọi nhu cầu, rất mạnh nhưng tốn điện. Còn chip chuyên biệt của Amazon tốn ít điện hơn, và được thiết kế để phục vụ riêng từng nhu cầu khác nhau.

Nhưng dù quy mô lớn đến vậy, việc Amazon tự ứng dụng chip do Annapurna Labs của họ phát triển vẫn không đủ để ảnh hưởng tới phần trăm thị phần của Nvidia. Quý II năm tài khóa 2024, Nvidia báo doaanh thu 26.3 tỷ USD, chỉ tính riêng chip dành cho máy chủ. Con số này tương đương doanh thu của cả mảng AWS trong một quý. Và trong con số này, chỉ có một phần rất nhỏ doanh thu đến từ những khách hàng vận hành máy chủ AWS với những con chip của Annapurna Labs tự phát triển.

Và cũng có lý do khiến Amazon tránh đem con chip Trainium và Inferentia của họ benchmark để so sánh trực tiếp với chip xử lý của Nvidia. Patrick Moorhead, nhà tư vấn ngành chip bán dẫn tại Moor Insights & Strategy cho rằng: "Benchmark có giá trị khi các khách hàng đặt ra câu hỏi "chúng tôi có nên chọn con chip này không?", trong khi bài kiểm tra thực sự có giá trị là khi chúng được đặt vào cùng một hệ thống để vận hành đồng thời, xử lý những tác vụ thực tế."

Quảng cáo

Moorhead cho rằng, lời khẳng định hiệu năng huấn luyện mô hình AI tăng gấp 4 lần giữa Trainium và Trainium 2 của Amazon là có cơ sở. Nhưng khi tạo ra một lựa chọn khác cho khách hàng, rõ ràng những con số benchmark không phải thứ duy nhất để thuyết phục họ.

Theo FT

Khóa học Machine Learning cơ bản- Khoa học dữ liệu - AI

Nhấn vào đây để bắt đầu khóa học

==***==

Khoá học Quản trị Chiến lược Dành cho Lãnh đạo Doanh nghiệp

Nhấn vào đây để bắt đầu khóa học

==***==

Nơi hội tụ Tinh Hoa Tri Thức - Khơi nguồn Sáng tạo

Để tham gia khóa học công nghệ truy cập link: http://thuvien.hocviendaotao.com

Mọi hỗ trợ về công nghệ email: dinhanhtuan68@gmail.com

--- 

Khóa học Hacker và Marketing từ A-Z trên ZALO!

Nhấn vào đây để bắt đầu khóa học

Khóa học Hacker và Marketing từ A-Z trên Facebook!

Nhấn vào đây để bắt đầu khóa học

Khóa đào tạo Power BI phân tích báo cáo để bán hàng thành công

Nhấn vào đây để bắt đầu khóa học

Bảo mật và tấn công Website - Hacker mũ trắng

Nhấn vào đây để bắt đầu khóa học ​

KHÓA HỌC LẬP TRÌNH PYTHON TỪ CƠ BẢN ĐẾN CHUYÊN NGHIỆP

Nhấn vào đây để bắt đầu khóa học

Nhấn vào đây để bắt đầu khóa học

Khóa học Lập trình Visual Foxpro 9 - Dành cho nhà quản lý và kế toán

Nhấn vào đây để bắt đầu khóa học

Khóa học hướng dẫn về Moodle chuyên nghiệp và hay

Xây dựng hệ thống đào tạo trực tuyến chuyên nghiệp tốt nhất hiện nay.

Nhấn vào đây để bắt đầu khóa học

KHÓA EXCEL CHUYÊN NGHIỆP

Nhấn vào đây để bắt đầu khóa học

Khóa học AutoIt dành cho dân IT và Marketing chuyên nghiệp

Nhấn vào đây để bắt đầu khóa học

Khoá học Word từ cơ bản tới nâng cao, học nhanh, hiểu sâu

Nhấn vào đây để bắt đầu khóa học

Khóa học hướng dẫn sử dụng Powerpoint từ đơn giản đến phức tạp HIỆU QUẢ

Nhấn vào đây để bắt đầu khóa học

Khóa học Thiết kế, quản lý dữ liệu dự án chuyên nghiệp cho doanh nghiệp bằng Bizagi

Khóa học Phân tích dữ liệu sử dụng Power Query trong Excel

Nhấn vào đây để bắt đầu khóa học

Khóa học Lập trình WEB bằng PHP từ cơ bản đến nâng cao

Nhấn vào đây để bắt đầu khóa học

Khóa học Phân tích dữ liệu sử dụng TableAU - Chìa khóa thành công!

Nhấn vào đây để bắt đầu khóa học

Khóa học Phân tích dữ liệu sử dụng SPSS - Chìa khóa thành công!

Nhấn vào đây để bắt đầu khóa học

Khóa học "Thiết kế bài giảng điện tử", Video, hoạt hình 

kiếm tiền Youtube bằng phần mềm Camtasia Studio

Nhấn vào đây để bắt đầu khóa học

Khóa học HƯỚNG DẪN THIẾT KẾ VIDEO CLIP CHO DÂN MARKETING CHUYÊN NGHIỆP

​​​​​

HƯỚNG DẪN THIẾT KẾ QUẢNG CÁO VÀ ĐỒ HỌA CHUYÊN NGHIỆP VỚI CANVA

Hãy tham gia khóa học để trở thành người chuyên nghiệp. Tuyệt HAY!😲👍

 KHÓA HỌC VIDEO- XÂY DỰNG PHẦN MỀM QUẢN LÝ BẰNG MICROSOFT ACCESS

GOOGLE SPREADSHEETS phê không tưởng

Khóa hoc lập trình bằng Python tại đây

Hãy tham gia khóa học để biết mọi thứ

Để tham gia tất cả các bài học, Bạn nhấn vào đây 

Khóa học lập trình cho bé MSWLogo

Nhấn vào đây để bắt đầu học

Khóa học Ba, Mẹ và Bé - Cùng bé lập trình  TUYỆT VỜI

Khóa học sử dụng Adobe Presenter-Tạo bài giảng điện tử

Khóa học vẽ tạo giao diện demo cho website

Để thành thạo Wordpress bạn hãy tham gia khóa học 

Tham gia khóa học tại đây

Khóa học sử dụng Edmodo để dạy và học hiện đại để thành công

Nhấn vào đây để bắt đầu khóa học

==***==

Bảo hiểm nhân thọ - Bảo vệ người trụ cột

Cập nhật công nghệ từ Youtube tại link: congnghe.hocviendaotao.com
Tham gia nhóm Facebook
Để tham gia khóa học công nghệ truy cập link: http://thuvien.hocviendaotao.com
Mọi hỗ trợ về công nghệ email: dinhanhtuan68@gmail.com

Nguồn: Tinh Tế

Share !