Các nhà nghiên cứu của Microsoft gần đây giới thiệu một model AI 1bit có 2 tỷ tham số và có thể chạy hiệu quả trên những con CPU tiêu chuẩn, bao gồm cả Apple M2. Với tên gọi BitNet b1.58 2B4T, model này vẫn có hiệu suất cao hơn rất nhiều so với các model khác cùng cấu hình của Meta, Google và Alibaba. Đây được đánh giá là một trong những bước tiến quan trọng trong sự phát triển các model AI theo hướng kích thước nhỏ hơn, yêu cầu phần cứng ngày càng giảm đi nhưng vẫn đảm bảo hiệu suất.
Sơ chút cho dễ hiểu, các model sau khi pre train thường sẽ có kích thước rất lớn và yêu cầu phần cứng, bộ nhớ cao để chạy vì nó chứa rất nhiều tham số trong đó. Để chạy được trên các phần cứng thấp hơn, người ta sẽ dùng cách gọi là quantization để "nén" model lại bằng cách cắt bớt các tham số, hoặc chuyển từ số thực FP16 xuống số nguyên INt8,… chấp nhận độ chính xác bị giảm đi.
Trước giờ để làm giảm kích thước model, tuy nhiên thường thì chỉ xuống tới Int8 hoặc cùng lắm là INT4 là độ chính xác đã giảm lớn lắm rồi. Do đó việc model của MS có thể nén xuống tận 1 bit thì thực sự là khá đáng nể. Lợi ích đầu tiên chính là dung lượng của model này sẽ thấp hơn rất nhiều lần so với các model 32bit hoặc 16 bit.
Để làm được chuyện đó, Microsoft dựa trên kỹ thuật gọi là 1 bit quantization, nghĩa là họ tìm được cách "nén" các weight của model xuống chỉ còn 2 giá trị là -1 và 1. Tuy nhiên với BitNet b1.58 thì họ tiến thêm một bước nữa là dùng 3 giá trị -1, 0 và 1 để thể hiện các weight, kết quả cuối cùng là mỗi tham số sẽ chiếm 1.58 bits (log2(3) xấp xỉ 1,58).
Quá trình quantization sẽ được diễn ra trong cả giai đoạn training và inference. Trong quá trình huấn luyện, BitNet sử dụng phương pháp fake quantization, tương tự Quantization-Aware Training (QAT). Điều này cho phép mô hình học cách thích nghi với giới hạn của việc sử dụng độ chính xác thấp ngay từ đầu. Lúc này, các trọng số sẽ được lưu trữ ở dạng INT8 với độ chính xác cao hơn nhưng sau đó khi tới giai đoạn chạy, chúng sẽ được chuyển thành các giá trị ternary (-1, 0, 1) bằng kỹ thuật absmean quantization.
Với quy trình trên, cuối cùng sản phẩm đầu ra là một model kích thước nhỏ, ít tốn chi phí vận hành, hoạt động hiệu suất cao ngay cả với CPU mà không cần GPU mạnh, đồng thời vẫn duy trì độ chính xác dù dữ liệu đã bị nén mạnh, từ đó trả về chất lượng đầu ra tốt.
Trước giờ CPU mạnh ở tính toán tuần tự nên trở nên lép vế hơn khá nhiều so với GPU ở các tác vụ AI vốn đòi hỏi khả năng tính toán song song. Tuy nhiên, với các cách tiếp cận giai đoạn sau này, người ta luôn tìm cách tối ưu hóa hơn. Theo đó, GPU sẽ được dùng để tăng tốc quá trình training, đồng thời phát triển kỹ thuật để tối ưu model sao cho kích thước càng nhỏ nhưng vẫn đảm bảo hiệu suất. Các model nhỏ này sẽ có thể chạy hiệu quả trên các CPU, vận hành các ứng dụng với độ trễ thấp, khả năng phản hồi cao.
Bên dưới đây là miêu tả chi tiết thuật toán của quá trình train model trên, bạn nào quan tâm có thể bấm vào xem thêm ha, họ viết kỹ lắm.
Tham khảo Microsoft HG
Sơ chút cho dễ hiểu, các model sau khi pre train thường sẽ có kích thước rất lớn và yêu cầu phần cứng, bộ nhớ cao để chạy vì nó chứa rất nhiều tham số trong đó. Để chạy được trên các phần cứng thấp hơn, người ta sẽ dùng cách gọi là quantization để "nén" model lại bằng cách cắt bớt các tham số, hoặc chuyển từ số thực FP16 xuống số nguyên INt8,… chấp nhận độ chính xác bị giảm đi.
Trước giờ để làm giảm kích thước model, tuy nhiên thường thì chỉ xuống tới Int8 hoặc cùng lắm là INT4 là độ chính xác đã giảm lớn lắm rồi. Do đó việc model của MS có thể nén xuống tận 1 bit thì thực sự là khá đáng nể. Lợi ích đầu tiên chính là dung lượng của model này sẽ thấp hơn rất nhiều lần so với các model 32bit hoặc 16 bit.
Để làm được chuyện đó, Microsoft dựa trên kỹ thuật gọi là 1 bit quantization, nghĩa là họ tìm được cách "nén" các weight của model xuống chỉ còn 2 giá trị là -1 và 1. Tuy nhiên với BitNet b1.58 thì họ tiến thêm một bước nữa là dùng 3 giá trị -1, 0 và 1 để thể hiện các weight, kết quả cuối cùng là mỗi tham số sẽ chiếm 1.58 bits (log2(3) xấp xỉ 1,58).
Quá trình quantization sẽ được diễn ra trong cả giai đoạn training và inference. Trong quá trình huấn luyện, BitNet sử dụng phương pháp fake quantization, tương tự Quantization-Aware Training (QAT). Điều này cho phép mô hình học cách thích nghi với giới hạn của việc sử dụng độ chính xác thấp ngay từ đầu. Lúc này, các trọng số sẽ được lưu trữ ở dạng INT8 với độ chính xác cao hơn nhưng sau đó khi tới giai đoạn chạy, chúng sẽ được chuyển thành các giá trị ternary (-1, 0, 1) bằng kỹ thuật absmean quantization.
Với quy trình trên, cuối cùng sản phẩm đầu ra là một model kích thước nhỏ, ít tốn chi phí vận hành, hoạt động hiệu suất cao ngay cả với CPU mà không cần GPU mạnh, đồng thời vẫn duy trì độ chính xác dù dữ liệu đã bị nén mạnh, từ đó trả về chất lượng đầu ra tốt.
Trước giờ CPU mạnh ở tính toán tuần tự nên trở nên lép vế hơn khá nhiều so với GPU ở các tác vụ AI vốn đòi hỏi khả năng tính toán song song. Tuy nhiên, với các cách tiếp cận giai đoạn sau này, người ta luôn tìm cách tối ưu hóa hơn. Theo đó, GPU sẽ được dùng để tăng tốc quá trình training, đồng thời phát triển kỹ thuật để tối ưu model sao cho kích thước càng nhỏ nhưng vẫn đảm bảo hiệu suất. Các model nhỏ này sẽ có thể chạy hiệu quả trên các CPU, vận hành các ứng dụng với độ trễ thấp, khả năng phản hồi cao.
Bên dưới đây là miêu tả chi tiết thuật toán của quá trình train model trên, bạn nào quan tâm có thể bấm vào xem thêm ha, họ viết kỹ lắm.
Tham khảo Microsoft HG
Khóa học Machine Learning cơ bản- Khoa học dữ liệu - AI 
==***==
Khoá học Quản trị Chiến lược Dành cho Lãnh đạo Doanh nghiệp
==***==
Nơi hội tụ Tinh Hoa Tri Thức - Khơi nguồn Sáng tạo
Để tham gia khóa học công nghệ truy cập link: http://thuvien.hocviendaotao.com
Mọi hỗ trợ về công nghệ email: dinhanhtuan68@gmail.com
---
Khóa học Hacker và Marketing từ A-Z trên ZALO!
Khóa học Hacker và Marketing từ A-Z trên Facebook!
Bảo mật và tấn công Website - Hacker mũ trắng
KHÓA HỌC LẬP TRÌNH PYTHON TỪ CƠ BẢN ĐẾN CHUYÊN NGHIỆP 
Khóa học Lập trình Visual Foxpro 9 - Dành cho nhà quản lý và kế toán 
Khóa học hướng dẫn về Moodle chuyên nghiệp và hay Xây dựng hệ thống đào tạo trực tuyến chuyên nghiệp tốt nhất hiện nay. 
Khóa học AutoIt dành cho dân IT và Marketing chuyên nghiệp 
Khoá học Word từ cơ bản tới nâng cao, học nhanh, hiểu sâu 
Khóa học hướng dẫn sử dụng Powerpoint từ đơn giản đến phức tạp HIỆU QUẢ 
Khóa học Thiết kế, quản lý dữ liệu dự án chuyên nghiệp cho doanh nghiệp bằng Bizagi 
Khóa học Phân tích dữ liệu sử dụng Power Query trong Excel 
Khóa học Lập trình WEB bằng PHP từ cơ bản đến nâng cao 
Khóa học Phân tích dữ liệu sử dụng SPSS - Chìa khóa thành công!
Khóa học "Thiết kế bài giảng điện tử", Video, hoạt hình kiếm tiền Youtube bằng phần mềm Camtasia Studio 
Khóa học HƯỚNG DẪN THIẾT KẾ VIDEO CLIP CHO DÂN MARKETING CHUYÊN NGHIỆP 
HƯỚNG DẪN THIẾT KẾ QUẢNG CÁO VÀ ĐỒ HỌA CHUYÊN NGHIỆP VỚI CANVA Hãy tham gia khóa học để trở thành người chuyên nghiệp. Tuyệt HAY!😲👍 
GOOGLE SPREADSHEETS phê không tưởng 
Hãy tham gia khóa học để biết mọi thứ
Khóa học Ba, Mẹ và Bé - Cùng bé lập trình TUYỆT VỜI
Khóa học sử dụng Adobe Presenter-Tạo bài giảng điện tử 
Để thành thạo Wordpress bạn hãy tham gia khóa học 
Khóa học sử dụng Edmodo để dạy và học hiện đại để thành công 
==***== Bảo hiểm nhân thọ - Bảo vệ người trụ cột 
Cập nhật công nghệ từ Youtube tại link: congnghe.hocviendaotao.com
Tham gia nhóm Facebook
Để tham gia khóa học công nghệ truy cập link: http://thuvien.hocviendaotao.com
Mọi hỗ trợ về công nghệ email: dinhanhtuan68@gmail.com
Bảo mật và tấn công Website - Hacker mũ trắng
KHÓA HỌC LẬP TRÌNH PYTHON TỪ CƠ BẢN ĐẾN CHUYÊN NGHIỆP
Khóa học AutoIt dành cho dân IT và Marketing chuyên nghiệp
Khoá học Word từ cơ bản tới nâng cao, học nhanh, hiểu sâu
Khóa học hướng dẫn sử dụng Powerpoint từ đơn giản đến phức tạp HIỆU QUẢ
Khóa học Thiết kế, quản lý dữ liệu dự án chuyên nghiệp cho doanh nghiệp bằng Bizagi
Khóa học Phân tích dữ liệu sử dụng Power Query trong Excel
Khóa học Lập trình WEB bằng PHP từ cơ bản đến nâng cao
Khóa học Phân tích dữ liệu sử dụng SPSS - Chìa khóa thành công!
kiếm tiền Youtube bằng phần mềm Camtasia Studio
Khóa học HƯỚNG DẪN THIẾT KẾ VIDEO CLIP CHO DÂN MARKETING CHUYÊN NGHIỆP
HƯỚNG DẪN THIẾT KẾ QUẢNG CÁO VÀ ĐỒ HỌA CHUYÊN NGHIỆP VỚI CANVA
Hãy tham gia khóa học để trở thành người chuyên nghiệp. Tuyệt HAY!😲👍
GOOGLE SPREADSHEETS phê không tưởng
Hãy tham gia khóa học để biết mọi thứ
Khóa học Ba, Mẹ và Bé - Cùng bé lập trình TUYỆT VỜI
Khóa học sử dụng Adobe Presenter-Tạo bài giảng điện tử
Để thành thạo Wordpress bạn hãy tham gia khóa học
Khóa học sử dụng Edmodo để dạy và học hiện đại để thành công
==***==
Bảo hiểm nhân thọ - Bảo vệ người trụ cột
Tham gia nhóm Facebook
Để tham gia khóa học công nghệ truy cập link: http://thuvien.hocviendaotao.com
Mọi hỗ trợ về công nghệ email: dinhanhtuan68@gmail.com
Nguồn: Tinh Tế
Topics: Công nghệ mới
