Llama 3.2 là một mô hình ngôn ngữ lớn (LLM) mới của Meta, có kích thước và quy mô nhỏ hơn so với Llama 3.1. Nó bao gồm một loạt các mô hình có kích thước khác nhau, bao gồm các mô hình thị giác nhỏ và trung bình (11B và 90B) và các mô hình văn bản nhẹ (1B và 3B). Các mô hình 1B và 3B được thiết kế để sử dụng trên các thiết bị edge và thiết bị di động.
Llama 3.1 ra mắt hồi tháng 7 vừa qua là một mô hình mã nguồn mở với lượng tham số cực lớn là 405B, sẽ khó để triển khai ở quy mô lớn dành cho toàn bộ người dùng và đó là lí do mà Llama 3.2 ra đời.
Llama 3.2 1B và 3B là các mô hình AI nhỏ, nhẹ và phù hợp với thiết bị di động, vì vậy nó chỉ hỗ trợ văn bản, trong khi đó với các mô hình lớn hơn nó sẽ đóng vai trò xử lý ở các máy chủ đám mây. Và cũng vì số lượng tham số nhỏ nên Llama 3.2 1B và 3B có thể xử lý on-device, với 128K token (~96.240 từ) cho các tác vụ như tóm tắt văn bản, viết lại câu và vì nó xử lý on-device nên sẽ an toàn hơn cho dữ liệu của người dùng.
Llama 3.1 ra mắt hồi tháng 7 vừa qua là một mô hình mã nguồn mở với lượng tham số cực lớn là 405B, sẽ khó để triển khai ở quy mô lớn dành cho toàn bộ người dùng và đó là lí do mà Llama 3.2 ra đời.
Tổng quan về Llama 3.2
Llama 3.2 1B và 3B là các mô hình AI nhỏ, nhẹ và phù hợp với thiết bị di động, vì vậy nó chỉ hỗ trợ văn bản, trong khi đó với các mô hình lớn hơn nó sẽ đóng vai trò xử lý ở các máy chủ đám mây. Và cũng vì số lượng tham số nhỏ nên Llama 3.2 1B và 3B có thể xử lý on-device, với 128K token (~96.240 từ) cho các tác vụ như tóm tắt văn bản, viết lại câu và vì nó xử lý on-device nên sẽ an toàn hơn cho dữ liệu của người dùng.
Hai mô hình Llama 3.2 1B và 3B hoàn toàn có thể được tích hợp để chạy trên các phần cứng điện thoại hay trên những dòng SoC của Qualcomm và MediaTek hay những bộ xử lý ARM khác.
Theo chia sẻ của Meta, các mô hình Llama 3.2 1B và 3B được tối ưu từ những mô hình Llama 3.1 8B và 70B mà ra, sử dụng các mô hình lớn để "dạy" lại các mô hình nhỏ hơn, đầu ra của mô hình lớn được sử dụng làm mục tiêu trong quá trình huấn luyện mô hình nhỏ, điều chỉnh trọng số để mô hình nhỏ hơn vẫn giữ được hiệu suất của mô hình gốc. Tổng kết lại sẽ giúp cho mô hình nhỏ đạt được hiệu suất tốt hơn so với việc huấn luyện từ đầu.
Với hai mô hình thị giác lớn hơn 11B và 90B thì có tính suy luận tốt hơn, nó có thể xử lý không chỉ văn bản mà còn xử lý hình ảnh. Ví dụ: các mô hình Llama 3.2 cỡ trung bình (11B và 90B) có thể được sử dụng cho các trường hợp sử dụng như hiểu biểu đồ và đồ thị, cho phép các doanh nghiệp sử dụng chúng để hiểu rõ hơn về số liệu bán hàng trên báo cáo tài chính.
Trước đây, Llama chủ yếu là mô hình xử lý ngôn ngữ ( dạng text). Để cho phép nó xử lý hình ảnh, Meta đã phải thay đổi kiến trúc mô hình và thêm các thành phần mới:
- Thêm bộ mã hóa hình ảnh: Một bộ mã hóa hình ảnh được thêm vào để chuyển đổi hình ảnh thành dạng mà mô hình ngôn ngữ có thể hiểu được.
- Thêm bộ điều hợp (adapter): Một bộ điều hợp được thêm vào để kết nối bộ mã hóa hình ảnh với mô hình ngôn ngữ hiện có. Bộ điều hợp này sử dụng các lớp chú ý chéo (cross-attention) để kết hợp thông tin từ hình ảnh với thông tin từ văn bản.
- Huấn luyện bộ điều hợp: Bộ điều hợp được huấn luyện trên các cặp dữ liệu (hình ảnh, văn bản) để nó học cách liên kết thông tin hình ảnh với thông tin văn bản một cách chính xác.
- Huấn luyện bổ sung: Mô hình được huấn luyện thêm trên nhiều tập dữ liệu khác nhau, bao gồm cả dữ liệu nhiễu (noisy data) và dữ liệu chất lượng cao. Mục đích là để mô hình học cách hiểu và suy luận về hình ảnh một cách tốt hơn.
- Tối ưu hóa sau huấn luyện: Sau khi huấn luyện, mô hình được tối ưu hóa bằng nhiều kỹ thuật khác nhau, bao gồm cả việc sử dụng dữ liệu tổng hợp (synthetic data) và mô hình phần thưởng (reward model) để cải thiện chất lượng của mô hình.
Hiệu năng của Llama 3.2 so với các model AI khác
Meta công bố bảng benchmark về hiệu suất cũng như khả năng suy luận của Llama 3.2 so với các mô hình AI khác từ Anthropic hay OpenAI, Google và Microsoft.
Với Llama 3.2 11B và 90B đặc biệt thể hiện tốt ở các bài thử nghiệm về hiểu biểu đồ và sơ đồ (ChartQA, AI2 Diagram, DocVQA) so với Claude 3-Haiku và GPT-4o-mini. Llama 3.2 90B cũng đạt điểm số tốt trên các tác vụ văn bản. Nhìn chung thì Llama 3.2 là bước tiến khá lớn của Meta trong khả năng xử lý hình ảnh và văn bản, đặc biệt khi so sánh với GPT-4o-mini.
Còn với Llama 3.2 1B và 3B, Llama 3.2 3B cho thấy hiệu suất tốt trên hầu hết các tác vụ, đặc biệt là trên các tác vụ phức tạp hơn như MMLU, IFEval, GSM8K, và Hellaswag khi so với Gemma 2B IT của Google. Llama 3.2 1B dù nhỏ nhưng điểm số cũng không đến nỗi nào, hứa hẹn nó sẽ hoạt động hiệu quả trên các thiết bị có tài nguyên hạn chế. Tổng kết lại thì cho thấy Llama 3.2 3B là một mô hình nhỏ nhưng tiềm năng của nó thì khá lớn, có khả năng thực hiện tốt trên nhiều tác vụ xử lý ngôn ngữ khác nhau.
Quảng cáo
Các biện pháp an toàn
Llama 3.2 cũng giống như Llama 3.1 là open source và Meta tin rằng open source sẽ giúp cho các mô hình phát triển nhanh hơn, nhưng cũng phải đảm bảo tính an toàn và tránh cho các mô hình này "đi quá xa và mất kiểm soát". Từ đó, Meta giới thiệu Llama Guard 3 11B Vision và Llama Guard 3 1B.
Llama Guard 3 11B Vision được thiết kế để hỗ trợ khả năng hiểu hình ảnh của Llama 3.2, nó có thể lọc cả đầu vào văn bản và hình ảnh, cũng như đầu ra văn bản để đảm bảo an toàn. Llama Guard 3 1B là phiên bản tối ưu hơn dành cho các mô hình Llama 3.2 1B và 3B, các giải pháp này được tích hợp sẵn vào các nền tảng sẵn có của Meta, cũng như có sẵn cho cộng đồng mã nguồn mở.
Meta.
Khóa học Machine Learning cơ bản- Khoa học dữ liệu - AI 
==***==
Khoá học Quản trị Chiến lược Dành cho Lãnh đạo Doanh nghiệp
==***==
Nơi hội tụ Tinh Hoa Tri Thức - Khơi nguồn Sáng tạo
Để tham gia khóa học công nghệ truy cập link: http://thuvien.hocviendaotao.com
Mọi hỗ trợ về công nghệ email: dinhanhtuan68@gmail.com
---
Khóa học Hacker và Marketing từ A-Z trên ZALO!
Khóa học Hacker và Marketing từ A-Z trên Facebook!
Bảo mật và tấn công Website - Hacker mũ trắng
KHÓA HỌC LẬP TRÌNH PYTHON TỪ CƠ BẢN ĐẾN CHUYÊN NGHIỆP 
Khóa học Lập trình Visual Foxpro 9 - Dành cho nhà quản lý và kế toán 
Khóa học hướng dẫn về Moodle chuyên nghiệp và hay Xây dựng hệ thống đào tạo trực tuyến chuyên nghiệp tốt nhất hiện nay. 
Khóa học AutoIt dành cho dân IT và Marketing chuyên nghiệp 
Khoá học Word từ cơ bản tới nâng cao, học nhanh, hiểu sâu 
Khóa học hướng dẫn sử dụng Powerpoint từ đơn giản đến phức tạp HIỆU QUẢ 
Khóa học Thiết kế, quản lý dữ liệu dự án chuyên nghiệp cho doanh nghiệp bằng Bizagi 
Khóa học Phân tích dữ liệu sử dụng Power Query trong Excel 
Khóa học Lập trình WEB bằng PHP từ cơ bản đến nâng cao 
Khóa học Phân tích dữ liệu sử dụng SPSS - Chìa khóa thành công!
Khóa học "Thiết kế bài giảng điện tử", Video, hoạt hình kiếm tiền Youtube bằng phần mềm Camtasia Studio 
Khóa học HƯỚNG DẪN THIẾT KẾ VIDEO CLIP CHO DÂN MARKETING CHUYÊN NGHIỆP 
HƯỚNG DẪN THIẾT KẾ QUẢNG CÁO VÀ ĐỒ HỌA CHUYÊN NGHIỆP VỚI CANVA Hãy tham gia khóa học để trở thành người chuyên nghiệp. Tuyệt HAY!😲👍 
GOOGLE SPREADSHEETS phê không tưởng 
Hãy tham gia khóa học để biết mọi thứ
Khóa học Ba, Mẹ và Bé - Cùng bé lập trình TUYỆT VỜI
Khóa học sử dụng Adobe Presenter-Tạo bài giảng điện tử 
Để thành thạo Wordpress bạn hãy tham gia khóa học 
Khóa học sử dụng Edmodo để dạy và học hiện đại để thành công 
==***== Bảo hiểm nhân thọ - Bảo vệ người trụ cột 
Cập nhật công nghệ từ Youtube tại link: congnghe.hocviendaotao.com
Tham gia nhóm Facebook
Để tham gia khóa học công nghệ truy cập link: http://thuvien.hocviendaotao.com
Mọi hỗ trợ về công nghệ email: dinhanhtuan68@gmail.com
Bảo mật và tấn công Website - Hacker mũ trắng
KHÓA HỌC LẬP TRÌNH PYTHON TỪ CƠ BẢN ĐẾN CHUYÊN NGHIỆP
Khóa học AutoIt dành cho dân IT và Marketing chuyên nghiệp
Khoá học Word từ cơ bản tới nâng cao, học nhanh, hiểu sâu
Khóa học hướng dẫn sử dụng Powerpoint từ đơn giản đến phức tạp HIỆU QUẢ
Khóa học Thiết kế, quản lý dữ liệu dự án chuyên nghiệp cho doanh nghiệp bằng Bizagi
Khóa học Phân tích dữ liệu sử dụng Power Query trong Excel
Khóa học Lập trình WEB bằng PHP từ cơ bản đến nâng cao
Khóa học Phân tích dữ liệu sử dụng SPSS - Chìa khóa thành công!
kiếm tiền Youtube bằng phần mềm Camtasia Studio
Khóa học HƯỚNG DẪN THIẾT KẾ VIDEO CLIP CHO DÂN MARKETING CHUYÊN NGHIỆP
HƯỚNG DẪN THIẾT KẾ QUẢNG CÁO VÀ ĐỒ HỌA CHUYÊN NGHIỆP VỚI CANVA
Hãy tham gia khóa học để trở thành người chuyên nghiệp. Tuyệt HAY!😲👍
GOOGLE SPREADSHEETS phê không tưởng
Hãy tham gia khóa học để biết mọi thứ
Khóa học Ba, Mẹ và Bé - Cùng bé lập trình TUYỆT VỜI
Khóa học sử dụng Adobe Presenter-Tạo bài giảng điện tử
Để thành thạo Wordpress bạn hãy tham gia khóa học
Khóa học sử dụng Edmodo để dạy và học hiện đại để thành công
==***==
Bảo hiểm nhân thọ - Bảo vệ người trụ cột
Tham gia nhóm Facebook
Để tham gia khóa học công nghệ truy cập link: http://thuvien.hocviendaotao.com
Mọi hỗ trợ về công nghệ email: dinhanhtuan68@gmail.com
Nguồn: Tinh Tế
Topics: Công nghệ mới
