AMD vừa giới thiệu mô hình ngôn ngữ lớn (LLM) mã nguồn mở đầu tiên của mình với 1 tỷ tham số, được gọi là AMD OLMo, nhằm phục vụ nhiều ứng dụng khác nhau và được huấn luyện trước trên GPU AMD Instinct MI250. Các mô hình LLM này được đánh giá cao về khả năng suy luận, theo dõi chỉ dẫn và tương tác trò chuyện.
Mô hình mã nguồn mở này không chỉ giúp cải thiện vị thế của AMD trong lĩnh vực AI mà còn cho phép khách hàng cũng như cộng đồng phát triển triển khai các mô hình này với phần cứng AMD. Bằng cách mở mã nguồn cho dữ liệu, trọng số, quy trình huấn luyện, AMD mong muốn trao quyền cho các nhà phát triển để sao chép và phát triển thêm dựa trên các mô hình này, mở ra cơ hội đổi mới hơn nữa.
Ngoài các ứng dụng trong trung tâm dữ liệu, AMD cũng cho phép triển khai các mô hình OLMo trên máy tính cá nhân AMD Ryzen AI được trang bị bộ xử lý neural (NPU), hỗ trợ nhà phát triển tận dụng các mô hình AI trên thiết bị cá nhân.
Các mô hình AMD OLMo được huấn luyện trên một tập dữ liệu khổng lồ gồm 1,3 nghìn tỷ token trên 16 nodes, mỗi nodes có bốn GPU AMD Instinct MI250 (tổng cộng 64 GPU). Mô hình OLMo được huấn luyện qua ba bước:
Trong các thử nghiệm nội bộ, mô hình AMD OLMo cho thấy hiệu suất ấn tượng khi so sánh với các mô hình mã nguồn mở có kích thước tương tự như TinyLlama-1.1B, MobiLlama-1B, và OpenELM-1_1B.
Phiên bản SFT hai giai đoạn ghi nhận mức tăng độ chính xác đáng kể, với điểm số MMLU tăng 5,09% và GSM8k tăng 15,32%, thể hiện hiệu quả của cách tiếp cận huấn luyện của AMD. Mô hình OLMo 1B SFT DPO cuối cùng vượt qua các mô hình mã nguồn mở khác ít nhất 2,60% trung bình trên các tiêu chí đánh giá.
Trong các bài kiểm tra hiệu chỉnh chỉ dẫn như AlpacaEval 2, mô hình OLMo của AMD ghi nhận tỉ lệ thắng cao hơn đối thủ với mức tăng 3,41% và 2,29%. Ở bài kiểm tra MT-Bench về khả năng trò chuyện, phiên bản SFT DPO đạt hiệu suất cao hơn đối thủ gần nhất 0,97%.
Ngoài ra, AMD đã kiểm tra các tiêu chuẩn AI có trách nhiệm như ToxiGen (đo lường ngôn ngữ độc hại, điểm số thấp hơn sẽ tốt hơn), crows_pairs (đánh giá sự thiên lệch) và TruthfulQA-mc2 (đánh giá tính trung thực trong phản hồi). Kết quả cho thấy mô hình AMD OLMo có hiệu quả tương đương với các mô hình tương tự trong việc xử lý các nhiệm vụ AI có trách nhiệm và đạo đức.
Nguồn: AMD
Mục đích của AMD OLMo
Mô hình mã nguồn mở này không chỉ giúp cải thiện vị thế của AMD trong lĩnh vực AI mà còn cho phép khách hàng cũng như cộng đồng phát triển triển khai các mô hình này với phần cứng AMD. Bằng cách mở mã nguồn cho dữ liệu, trọng số, quy trình huấn luyện, AMD mong muốn trao quyền cho các nhà phát triển để sao chép và phát triển thêm dựa trên các mô hình này, mở ra cơ hội đổi mới hơn nữa.
Ngoài các ứng dụng trong trung tâm dữ liệu, AMD cũng cho phép triển khai các mô hình OLMo trên máy tính cá nhân AMD Ryzen AI được trang bị bộ xử lý neural (NPU), hỗ trợ nhà phát triển tận dụng các mô hình AI trên thiết bị cá nhân.
Quá trình huấn luyện
Các mô hình AMD OLMo được huấn luyện trên một tập dữ liệu khổng lồ gồm 1,3 nghìn tỷ token trên 16 nodes, mỗi nodes có bốn GPU AMD Instinct MI250 (tổng cộng 64 GPU). Mô hình OLMo được huấn luyện qua ba bước:
- AMD OLMo 1B ban đầu: Được huấn luyện trên một phần của Dolma v1.7, tập trung vào việc dự đoán token tiếp theo để nắm bắt các mẫu ngôn ngữ và kiến thức chung.
- Phiên bản fine-tuned (SFT): Được huấn luyện trên tập dữ liệu Tulu V2 ở giai đoạn đầu và các tập dữ liệu như OpenHermes-2.5, WebInstructSub, và Code-Feedback ở giai đoạn sau, nhằm cải thiện khả năng theo dõi chỉ dẫn và hiệu suất trên các nhiệm vụ khoa học, lập trình và toán học.
- Phiên bản DPO (Direct Preference Optimization): Được căn chỉnh với sự ưu tiên của con người bằng cách sử dụng tập dữ liệu UltraFeedback, giúp ưu tiên các kết quả phù hợp với phản hồi thông thường của con người.
Kết quả hiệu suất của AMD OLMo
Trong các thử nghiệm nội bộ, mô hình AMD OLMo cho thấy hiệu suất ấn tượng khi so sánh với các mô hình mã nguồn mở có kích thước tương tự như TinyLlama-1.1B, MobiLlama-1B, và OpenELM-1_1B.
Phiên bản SFT hai giai đoạn ghi nhận mức tăng độ chính xác đáng kể, với điểm số MMLU tăng 5,09% và GSM8k tăng 15,32%, thể hiện hiệu quả của cách tiếp cận huấn luyện của AMD. Mô hình OLMo 1B SFT DPO cuối cùng vượt qua các mô hình mã nguồn mở khác ít nhất 2,60% trung bình trên các tiêu chí đánh giá.
Trong các bài kiểm tra hiệu chỉnh chỉ dẫn như AlpacaEval 2, mô hình OLMo của AMD ghi nhận tỉ lệ thắng cao hơn đối thủ với mức tăng 3,41% và 2,29%. Ở bài kiểm tra MT-Bench về khả năng trò chuyện, phiên bản SFT DPO đạt hiệu suất cao hơn đối thủ gần nhất 0,97%.
Ngoài ra, AMD đã kiểm tra các tiêu chuẩn AI có trách nhiệm như ToxiGen (đo lường ngôn ngữ độc hại, điểm số thấp hơn sẽ tốt hơn), crows_pairs (đánh giá sự thiên lệch) và TruthfulQA-mc2 (đánh giá tính trung thực trong phản hồi). Kết quả cho thấy mô hình AMD OLMo có hiệu quả tương đương với các mô hình tương tự trong việc xử lý các nhiệm vụ AI có trách nhiệm và đạo đức.
Nguồn: AMD
Khóa học Machine Learning cơ bản- Khoa học dữ liệu - AI 
==***==
Khoá học Quản trị Chiến lược Dành cho Lãnh đạo Doanh nghiệp
==***==
Nơi hội tụ Tinh Hoa Tri Thức - Khơi nguồn Sáng tạo
Để tham gia khóa học công nghệ truy cập link: http://thuvien.hocviendaotao.com
Mọi hỗ trợ về công nghệ email: dinhanhtuan68@gmail.com
---
Khóa học Hacker và Marketing từ A-Z trên ZALO!
Khóa học Hacker và Marketing từ A-Z trên Facebook!
Bảo mật và tấn công Website - Hacker mũ trắng
KHÓA HỌC LẬP TRÌNH PYTHON TỪ CƠ BẢN ĐẾN CHUYÊN NGHIỆP 
Khóa học Lập trình Visual Foxpro 9 - Dành cho nhà quản lý và kế toán 
Khóa học hướng dẫn về Moodle chuyên nghiệp và hay Xây dựng hệ thống đào tạo trực tuyến chuyên nghiệp tốt nhất hiện nay. 
Khóa học AutoIt dành cho dân IT và Marketing chuyên nghiệp 
Khoá học Word từ cơ bản tới nâng cao, học nhanh, hiểu sâu 
Khóa học hướng dẫn sử dụng Powerpoint từ đơn giản đến phức tạp HIỆU QUẢ 
Khóa học Thiết kế, quản lý dữ liệu dự án chuyên nghiệp cho doanh nghiệp bằng Bizagi 
Khóa học Phân tích dữ liệu sử dụng Power Query trong Excel 
Khóa học Lập trình WEB bằng PHP từ cơ bản đến nâng cao 
Khóa học Phân tích dữ liệu sử dụng SPSS - Chìa khóa thành công!
Khóa học "Thiết kế bài giảng điện tử", Video, hoạt hình kiếm tiền Youtube bằng phần mềm Camtasia Studio 
Khóa học HƯỚNG DẪN THIẾT KẾ VIDEO CLIP CHO DÂN MARKETING CHUYÊN NGHIỆP 
HƯỚNG DẪN THIẾT KẾ QUẢNG CÁO VÀ ĐỒ HỌA CHUYÊN NGHIỆP VỚI CANVA Hãy tham gia khóa học để trở thành người chuyên nghiệp. Tuyệt HAY!😲👍 
GOOGLE SPREADSHEETS phê không tưởng 
Hãy tham gia khóa học để biết mọi thứ
Khóa học Ba, Mẹ và Bé - Cùng bé lập trình TUYỆT VỜI
Khóa học sử dụng Adobe Presenter-Tạo bài giảng điện tử 
Để thành thạo Wordpress bạn hãy tham gia khóa học 
Khóa học sử dụng Edmodo để dạy và học hiện đại để thành công 
==***== Bảo hiểm nhân thọ - Bảo vệ người trụ cột 
Cập nhật công nghệ từ Youtube tại link: congnghe.hocviendaotao.com
Tham gia nhóm Facebook
Để tham gia khóa học công nghệ truy cập link: http://thuvien.hocviendaotao.com
Mọi hỗ trợ về công nghệ email: dinhanhtuan68@gmail.com
Bảo mật và tấn công Website - Hacker mũ trắng
KHÓA HỌC LẬP TRÌNH PYTHON TỪ CƠ BẢN ĐẾN CHUYÊN NGHIỆP
Khóa học AutoIt dành cho dân IT và Marketing chuyên nghiệp
Khoá học Word từ cơ bản tới nâng cao, học nhanh, hiểu sâu
Khóa học hướng dẫn sử dụng Powerpoint từ đơn giản đến phức tạp HIỆU QUẢ
Khóa học Thiết kế, quản lý dữ liệu dự án chuyên nghiệp cho doanh nghiệp bằng Bizagi
Khóa học Phân tích dữ liệu sử dụng Power Query trong Excel
Khóa học Lập trình WEB bằng PHP từ cơ bản đến nâng cao
Khóa học Phân tích dữ liệu sử dụng SPSS - Chìa khóa thành công!
kiếm tiền Youtube bằng phần mềm Camtasia Studio
Khóa học HƯỚNG DẪN THIẾT KẾ VIDEO CLIP CHO DÂN MARKETING CHUYÊN NGHIỆP
HƯỚNG DẪN THIẾT KẾ QUẢNG CÁO VÀ ĐỒ HỌA CHUYÊN NGHIỆP VỚI CANVA
Hãy tham gia khóa học để trở thành người chuyên nghiệp. Tuyệt HAY!😲👍
GOOGLE SPREADSHEETS phê không tưởng
Hãy tham gia khóa học để biết mọi thứ
Khóa học Ba, Mẹ và Bé - Cùng bé lập trình TUYỆT VỜI
Khóa học sử dụng Adobe Presenter-Tạo bài giảng điện tử
Để thành thạo Wordpress bạn hãy tham gia khóa học
Khóa học sử dụng Edmodo để dạy và học hiện đại để thành công
==***==
Bảo hiểm nhân thọ - Bảo vệ người trụ cột
Tham gia nhóm Facebook
Để tham gia khóa học công nghệ truy cập link: http://thuvien.hocviendaotao.com
Mọi hỗ trợ về công nghệ email: dinhanhtuan68@gmail.com
Nguồn: Tinh Tế
Topics: Công nghệ mới
