Chạy mô hình ngôn ngữ lớn (LLM) trên máy Pentium 2

EXO Labs, một tổ chức nghiên cứu AI mới đây đã gây bất ngờ khi thực hiện một điều được cho là bất khả thi. Cụ thể, tổ chức này đã trình diễn khả năng vận hành mô hình ngôn ngữ lớn (LLM) Llama trên một chiếc máy tính sử dụng hệ điều hành Windows 98 chạy bộ xử lý Pentium II đã 26 năm tuổi.

Trong một đoạn video ngắn trên mạng xã hội X, nhóm nghiên cứu sử dụng máy tính sử dụng mẫu máy tính Elonex Pentium II với xung nhịp 350 MHz chạy trên nền tảng Windows 98 để vận hành công cụ suy luận AI được viết hoàn toàn bằng ngôn ngữ C dựa trên mã nguồn mở Llama2.c của Andrej Karpathy. Kết quả đầy bất ngờ: mô hình AI có thể tạo ra một câu chuyện ngắn với tốc độ xử lý đáng kinh ngạc so với cấu hình và tuổi đời của thiết bị.

EXO Labs là gì?

EXO Labs là tổ chức được thành lập bởi các nhà nghiên cứu và kỹ sư từ Đại học Oxford, tổ chức này xuất hiện vào tháng 9 với sứ mệnh "dân chủ hóa AI." Tổ chức này cho rằng việc các tập đoàn lớn kiểm soát công nghệ AI là mối đe dọa với văn hóa, "sự thật" và các giá trị cốt lõi của xã hội. EXO cam kết xây dựng cơ sở hạ tầng mở, cho phép mọi người sử dụng AI trên bất kỳ thiết bị nào, bất kể hạn chế về tài nguyên phần cứng.
Thử nghiệm vận hành LLM trên thiết bị 26 năm tuổi là minh chứng cho mục tiêu của họ: Chứng minh rằng AI không chỉ dành cho các trung tâm dữ liệu lớn hay phần cứng hiện đại. Đây cũng là một phần trong chuỗi blog "12 ngày của EXO" mà tổ chức đang thực hiện.

Các vấn đề khi vận hành LLM trên Windows 98

Phần cứng thực hiện dự án
Vì thực hiện dự án trên phần cứng đã có tuổi đời 26 năm, EXO phải đối mặt với hàng loạt rào cản về kỹ thuật khi thực hiện dự án này:

• Truyền dữ liệu: Đưa dữ liệu vào máy Pentium II đời cũ là 1 vấn đề khó ngăn. Nhóm phải sử dụng giao thức FTP để chuyển tệp qua cổng Ethernet của máy.

Sử dụng giao thức FTP để truyền dữ liệu vào thiết bị

• Biên dịch Code: Việc biên dịch Code hiện đại cho Windows 98 là một thử thách thậm chí còn lớn hơn. Nhóm đã sử dụng mã nguồn mở Llama2.c của Andrej Karpathy, gồm 700 dòng mã C làm nền tảng. Sau khi chỉnh sửa và biên dịch bằng công cụ Borland C 5.02 IDE, nhóm đã tạo ra một File thực thi tương thích với Windows 98.

Hiệu năng của việc vận hành

Với mô hình "nhỏ gọn" với 260K tham số, quá trình đạt tốc độ 35.9 từ/giây trên CPU Pentium II. Khi tăng kích thước mô hình lên 15M tham số, tốc độ giảm còn hơn 1 từ/giây. Thử nghiệm với mô hình lớn hơn như 1B tham số, tốc độ chỉ đạt 0.0093 từ/giây, gần như không khả thi. Mặc dù vậy, đây vẫn được xem là một thành công lớn khi xét đến giới hạn của phần cứng 26 năm tuổi.

BitNet: Kế hoạch tương lai của EXO

Phép nhân ma trận (Matmul) được chuyển thành phép cộng với các trọng số ternary trong BitNet

EXO không chỉ dừng lại ở dự án Windows 98, tổ chức này có nhiều tham vọng hơn khi giới thiệu BitNet, một kiến trúc transformer sử dụng trọng số ternary. Điểm nổi bật của BitNet:

• Mô hình 7B tham số chỉ cần 1.38GB bộ nhớ, thấp hơn đáng kể so với các mô hình truyền thống.
• Ưu tiên vận hành trên CPU: BitNet không yêu cầu GPU đắt tiền để có thể vận hành, giảm chi phí triển khai.
• Hiệu Quả Cao: Mô hình có kích thước nhẹ hơn 50% so với các mô hình đầy đủ thông thường. Một CPU có thể vận hành mô hình 100B tham số với tốc độ đọc ngang bằng con người (5-7 từ/giây).

EXO Labs đang tìm kiếm sự hỗ trợ từ cộng đồng để mở rộng dự án BitNet. Tổ chức này khuyến khích những ai muốn tránh việc AI bị kiểm soát bởi các tập đoàn lớn hãy tham gia hoặc đóng góp cho dự án. Đồng thời, EXO cũng điều hành kênh Discord Retro - nơi thảo luận về việc triển khai AI trên các thiết bị cũ như thiết bị Mac đời đầu, Gameboy, Raspberry Pi và nhiều nền tảng khác.

Quảng cáo

Nguồn: exolabs

Khóa học Machine Learning cơ bản- Khoa học dữ liệu - AI

Nhấn vào đây để bắt đầu khóa học

==***==

Khoá học Quản trị Chiến lược Dành cho Lãnh đạo Doanh nghiệp

Nhấn vào đây để bắt đầu khóa học

==***==

Nơi hội tụ Tinh Hoa Tri Thức - Khơi nguồn Sáng tạo

Để tham gia khóa học công nghệ truy cập link: http://thuvien.hocviendaotao.com

Mọi hỗ trợ về công nghệ email: dinhanhtuan68@gmail.com

--- 

Khóa học Hacker và Marketing từ A-Z trên ZALO!

Nhấn vào đây để bắt đầu khóa học

Khóa học Hacker và Marketing từ A-Z trên Facebook!

Nhấn vào đây để bắt đầu khóa học

Khóa đào tạo Power BI phân tích báo cáo để bán hàng thành công

Nhấn vào đây để bắt đầu khóa học

Bảo mật và tấn công Website - Hacker mũ trắng

Nhấn vào đây để bắt đầu khóa học ​

KHÓA HỌC LẬP TRÌNH PYTHON TỪ CƠ BẢN ĐẾN CHUYÊN NGHIỆP

Nhấn vào đây để bắt đầu khóa học

Nhấn vào đây để bắt đầu khóa học

Khóa học Lập trình Visual Foxpro 9 - Dành cho nhà quản lý và kế toán

Nhấn vào đây để bắt đầu khóa học

Khóa học hướng dẫn về Moodle chuyên nghiệp và hay

Xây dựng hệ thống đào tạo trực tuyến chuyên nghiệp tốt nhất hiện nay.

Nhấn vào đây để bắt đầu khóa học

KHÓA EXCEL CHUYÊN NGHIỆP

Nhấn vào đây để bắt đầu khóa học

Khóa học AutoIt dành cho dân IT và Marketing chuyên nghiệp

Nhấn vào đây để bắt đầu khóa học

Khoá học Word từ cơ bản tới nâng cao, học nhanh, hiểu sâu

Nhấn vào đây để bắt đầu khóa học

Khóa học hướng dẫn sử dụng Powerpoint từ đơn giản đến phức tạp HIỆU QUẢ

Nhấn vào đây để bắt đầu khóa học

Khóa học Thiết kế, quản lý dữ liệu dự án chuyên nghiệp cho doanh nghiệp bằng Bizagi

Khóa học Phân tích dữ liệu sử dụng Power Query trong Excel

Nhấn vào đây để bắt đầu khóa học

Khóa học Lập trình WEB bằng PHP từ cơ bản đến nâng cao

Nhấn vào đây để bắt đầu khóa học

Khóa học Phân tích dữ liệu sử dụng TableAU - Chìa khóa thành công!

Nhấn vào đây để bắt đầu khóa học

Khóa học Phân tích dữ liệu sử dụng SPSS - Chìa khóa thành công!

Nhấn vào đây để bắt đầu khóa học

Khóa học "Thiết kế bài giảng điện tử", Video, hoạt hình 

kiếm tiền Youtube bằng phần mềm Camtasia Studio

Nhấn vào đây để bắt đầu khóa học

Khóa học HƯỚNG DẪN THIẾT KẾ VIDEO CLIP CHO DÂN MARKETING CHUYÊN NGHIỆP

​​​​​

HƯỚNG DẪN THIẾT KẾ QUẢNG CÁO VÀ ĐỒ HỌA CHUYÊN NGHIỆP VỚI CANVA

Hãy tham gia khóa học để trở thành người chuyên nghiệp. Tuyệt HAY!😲👍

 KHÓA HỌC VIDEO- XÂY DỰNG PHẦN MỀM QUẢN LÝ BẰNG MICROSOFT ACCESS

GOOGLE SPREADSHEETS phê không tưởng

Khóa hoc lập trình bằng Python tại đây

Hãy tham gia khóa học để biết mọi thứ

Để tham gia tất cả các bài học, Bạn nhấn vào đây 

Khóa học lập trình cho bé MSWLogo

Nhấn vào đây để bắt đầu học

Khóa học Ba, Mẹ và Bé - Cùng bé lập trình  TUYỆT VỜI

Khóa học sử dụng Adobe Presenter-Tạo bài giảng điện tử

Khóa học vẽ tạo giao diện demo cho website

Để thành thạo Wordpress bạn hãy tham gia khóa học 

Tham gia khóa học tại đây

Khóa học sử dụng Edmodo để dạy và học hiện đại để thành công

Nhấn vào đây để bắt đầu khóa học

==***==

Bảo hiểm nhân thọ - Bảo vệ người trụ cột

Cập nhật công nghệ từ Youtube tại link: congnghe.hocviendaotao.com
Tham gia nhóm Facebook
Để tham gia khóa học công nghệ truy cập link: http://thuvien.hocviendaotao.com
Mọi hỗ trợ về công nghệ email: dinhanhtuan68@gmail.com

Nguồn: Tinh Tế

Share !