Tốc độ nghiên cứu đang khiến những công cụ benchmark AI trở nên lỗi thời

Nếu không có những biện pháp kiểm soát và đảm bảo an toàn thuật toán AI trong vận hành hàng ngày, thì tốc độ phát triển của những mô hình trí thông minh nhân tạo như hiện tại có thể tạo ra những thử thách để giới hạn nguy cơ mà nội dung do máy móc tạo ra trong những ứng dụng tiêu dùng và doanh nghiệp.

Điều này đang khiến cả các doanh nghiệp, các tổ chức lẫn các cơ quan quản lý gặp khó khăn trong việc tìm ra những biện pháp hợp lý để quản lý công nghệ AI, thứ công nghệ đang có tốc độ phát triển nhanh đến chóng mặt.

Những phương pháp đánh giá thuật toán đang được tin tưởng sử dụng đã bắt đầu nảy sinh những nhược điểm trong việc xác định mức độ chính xác và tính an toàn của thông tin. Đây là quan điểm chung của cả những người góp công sức nghiên cứu phát triển, thử nghiệm và đầu tư vào những công cụ AI. Theo họ, sự phức tạp của những mô hình AI đang bộc lộ khả năng eo hẹp cũng như việc dễ bị thao túng của những phương pháp đánh giá an toàn.

OpenAI và Meta chạy đua ra mắt mô hình AI "biết tư duy lý luận" và "có trí nhớ"

Những giám đốc cấp cao của OpenAI và Meta thời gian gần đây đã úp mở về việc ra mắt những mô hình AI mới, thứ mà họ cho rằng có khả năng tư duy lý luận và lên kế hoạch phục vụ cho con người. Đây là những bước vô cùng quan trọng để máy móc có thể…

tinhte.vn

Aidan Gomez, nhà sáng lập kiêm CEO startup AI Cohere nói: "Công cụ đánh giá cũng có thời hạn sử dụng. Chúng chỉ hữu ích cho tới khi mọi người tìm ra cách tối ưu mô hình và thuật toán để thỏa mãn riêng yêu cầu của những bài đánh giá, hoặc tìm ra được lỗ hổng trong công cụ đánh giá để lợi dụng. Trước đây mất vài năm để con người làm được một trong hai điều đó. Giờ có lẽ chỉ mất vài tháng là công cụ đánh giá trở nên lỗi thời."

Cũng theo Gomez, những mô hình AI ra mắt với tần suất liên tục thời gian qua thừa đủ sức đạt điểm cao trong mắt những công cụ đánh giá: "Mô hình càng được hoàn thiện thì những công cụ đánh giá càng trở nên lỗi thời."

Elon Musk: AI sẽ vượt trí thông minh con người trong hai năm tới

Elon Musk rút ngắn dự báo trước đó của ông về việc AI có thể thông minh vượt hơn con người. Trong một bài phỏng vấn gần đây nhất trên X, Elon Musk đoán AI có thể thông minh hơn bất kỳ con người nào trên hành tinh này trước cuối năm sau.

tinhte.vn

Áp lực phải tạo ra những phương pháp đánh giá AI đủ mạnh để không bỏ sót những trường hợp như đã xảy ra với Google Gemini, giờ là nỗi lo của các nhà quản lý tại các tập đoàn công nghệ và các doanh nghiệp, chứ không còn chỉ của riêng những học giả và những nhà nghiên cứu khoa học máy tính nữa. Nỗi lo này được khuếch đại giữa lúc các chủ doanh nghiệp đang cố gắng bám theo trào lưu AI để bắt kịp với thời đại, tăng năng suất lao động và giảm chi phí vận hành. Theo khảo sát gần đây của KPMG, lấy ý kiến của hơn 1300 CEO trên toàn thế giới, 70% trong số đó cho biết AI đang là ưu tiên đầu tư hàng đầu trong doanh nghiệp của họ.

Shelley McKinley, giám đốc pháp chế nền tảng lưu trữ code lập trình GitHub, được Microsoft sở hữu: "Mọi người sẽ không dùng những công nghệ mà họ không tin tưởng. Nhiệm vụ của các tập đoàn và công ty là tạo ra những công nghệ và sản phẩm đáng tin cậy cho mọi người."

Rồi đến lượt các chính phủ cũng đang gặp khó khăn trong việc kiểm soát nguy cơ mà những mô hình AI mới nhất có thể gây ra. Tuần trước Anh Quốc và Mỹ đã ký thỏa thuận chung, hợp tác đảm bảo công nghệ AI vận hành an toàn. Năm ngoái thì tổng thống Mỹ Joe Biden đã ký sắc lệnh yêu cầu những cơ quan thuộc chính phủ Mỹ như viện tiêu chuẩn và công nghệ quốc gia tạo ra những công cụ đánh giá và kiểm soát, giới hạn nguy cơ mà AI có thể gây ra.

Nhiệm vụ này khó ở chỗ, con người, những người làm quản lý hay thử nghiệm AI luôn luôn phải chạy đua với những tiến bộ công nghệ, với những mô hình mới sở hữu hàng chục, hàng trăm tỷ tham số, để tạo ra những benchmark đáng tin cậy và có giá trị giúp ích cho con người, cả cộng đồng và thị trường công nghệ. Từ việc đảm bảo thông tin không bị AI bóp méo hoặc bị lợi dụng để cung cấp tin giả, hay những nội dung giả mạo khiến mọi người tin là sự thật, cho đến đảm bảo hiệu năng của thuật toán, những công cụ benchmark và kiểm soát an toàn là hàng rào bảo vệ rất cần thiết.

Chẳng hạn tấm hình dưới đây, được đăng tải trên nhiều MXH hôm nước Mỹ và Canada được chiêm ngưỡng nhật thực toàn phần ít ngày trước, thực ra đây là tác phẩm của AI, nhưng đã và đang gây sốt trên MXH:

Quảng cáo

Rishi Bommasani, nhà nghiên cứu đang dẫn dắt một nhóm khoa học gia tại trung tâm nghiên cứu mô hình thuật toán nền tảng thuộc trường đại học Stanford, Mỹ: "Quyết định ở thượng tầng của các tập đoàn hiện giờ đang là, liệu chúng ta có nên sử dụng mô hình LLM hay không, và nếu có thì nên chọn mô hình nào?"

Anh Bommasani cùng các đồng sự đã phát triển mô hình có tên HELM, viết tắt của Công cụ đánh giá toàn diện các mô hình ngôn ngữ, một công cụ benchmark dùng để xác định khả năng lý luận, ghi nhớ, khả năng bị tin giả tác động cùng nhiều khía cạnh khác của một mô hình AI.

Trên thế giới hiện giờ cũng có vài công cụ kiểm soát và đánh giá khác, chẳng hạn như MMLU (Massive Multitask Language Understanding), được các sinh viên đại học Berkeley phát triển năm 2020 để đánh giá mô hình AI dựa trên thông tin của 57 ngành nghề và chủ đề khác nhau. Một ví dụ khác là HumanEval, chỉ dùng để xác thực khả năng viết code lập trình của mô hình ngôn ngữ, dựa trên 164 tình huống lỗi lập trình được tổng hợp lại.

Khảo sát: Gần nửa số giám đốc và quản lý sẵn sàng dùng AI thay thế cho con người

Khảo sát này được Beautiful.ai, một đơn vị phát triển phần mềm trình chiếu vận hành bằng thuật toán AI. Họ đã lấy ý kiến của hơn 3 nghìn nhà quản lý và giám đốc về những công cụ AI trong môi trường làm việc…

tinhte.vn

Hiện giờ, những công cụ đánh giá và kiểm soát AI như vậy đều đang gặp khó khăn trong việc bắt kịp với sự phức tạp của những mô hình mới nhất, những AI hứa hẹn có thể thực hiện một chuỗi những lệnh có kết nối với nhau của con người đưa ra. Đánh giá mức độ chính xác và khả năng hoàn tất những nhiệm vụ dạng chuỗi như vậy sẽ là nhiệm vụ rất khó đối với những công cụ benchmark.

Mike Volpi, đối tác đầu tư của quỹ Index Ventures: "Điều đầu tiên có thể nhận ra là đánh giá mô hình AI giờ khó không khác gì đánh giá nhân sự một cách cẩn trọng và chính xác. Nếu bạn nhìn vào một vài khía cạnh chẳng hạn như "người ta nhảy có cao hay chạy có nhanh không" thì rất dễ. Nhưng đánh giá toàn diện trí thông minh con người thì lại rất khó."

Quảng cáo

Một lo ngại nữa đến từ công chúng, giữa những lúc mô hình AI mới được thử nghiệm công khai ở quy mô lớn. Dữ liệu dùng để huấn luyện mô hình AI có thể chính là những bài benchmark trong những công cụ đánh giá thuật toán. Bommasoni cho rằng: "Đó có thể không phải cố tình gian lận. Nhưng chúng tôi vẫn đang nghiên cứu để giảm thiểu tình trạng lẫn lộn giữa dữ liệu mà AI được huấn luyện và dữ liệu mà AI được thử nghiệm."



Gần đây, startup nền tảng AI mã nguồn mở Hugging Face đã thiết lập bảng xếp hạng mô hình AI, dựa trên hệ thống do LMSys của đại học UC Berkeley phát triển. Công cụ này đánh giá mô hình ngôn ngữ dựa trên khả năng hoàn thành một nhóm những nhiệm vụ cụ thể được người dùng đặt ra, thay vì một loạt những câu hỏi bắt AI trả lời. Nhờ việc để người dùng tự đánh giá, kết quả cũng trở nên khách quan hơn.

Theo CEO Gomez của Cohere, bảng xếp hạng này có giá trị hữu ích với từng người dùng đơn lẻ, nhưng với các doanh nghiệp thì ít giá trị hơn. Các doanh nghiệp đều có một bộ những yêu cầu cụ thể về khả năng vận hành của AI. Theo anh Gomez, các doanh nghiệp nên tự xây dựng bộ công cụ đánh giá AI nội bộ, chỉ cần chừng vài trăm vấn đề để AI giải quyết, không cần tới hàng nghìn vấn đề: "Chúng tôi luôn coi việc đánh giá từ con người là hoàn hảo nhất. Nó là cách đánh giá hiệu suất có tính đại diện cao nhất."

Theo FT

Khóa học Machine Learning cơ bản- Khoa học dữ liệu - AI

Nhấn vào đây để bắt đầu khóa học

==***==

Khoá học Quản trị Chiến lược Dành cho Lãnh đạo Doanh nghiệp

Nhấn vào đây để bắt đầu khóa học

==***==

Nơi hội tụ Tinh Hoa Tri Thức - Khơi nguồn Sáng tạo

Để tham gia khóa học công nghệ truy cập link: http://thuvien.hocviendaotao.com

Mọi hỗ trợ về công nghệ email: dinhanhtuan68@gmail.com

--- 

Khóa học Hacker và Marketing từ A-Z trên ZALO!

Nhấn vào đây để bắt đầu khóa học

Khóa học Hacker và Marketing từ A-Z trên Facebook!

Nhấn vào đây để bắt đầu khóa học

Khóa đào tạo Power BI phân tích báo cáo để bán hàng thành công

Nhấn vào đây để bắt đầu khóa học

Bảo mật và tấn công Website - Hacker mũ trắng

Nhấn vào đây để bắt đầu khóa học ​

KHÓA HỌC LẬP TRÌNH PYTHON TỪ CƠ BẢN ĐẾN CHUYÊN NGHIỆP

Nhấn vào đây để bắt đầu khóa học

Nhấn vào đây để bắt đầu khóa học

Khóa học Lập trình Visual Foxpro 9 - Dành cho nhà quản lý và kế toán

Nhấn vào đây để bắt đầu khóa học

Khóa học hướng dẫn về Moodle chuyên nghiệp và hay

Xây dựng hệ thống đào tạo trực tuyến chuyên nghiệp tốt nhất hiện nay.

Nhấn vào đây để bắt đầu khóa học

KHÓA EXCEL CHUYÊN NGHIỆP

Nhấn vào đây để bắt đầu khóa học

Khóa học AutoIt dành cho dân IT và Marketing chuyên nghiệp

Nhấn vào đây để bắt đầu khóa học

Khoá học Word từ cơ bản tới nâng cao, học nhanh, hiểu sâu

Nhấn vào đây để bắt đầu khóa học

Khóa học hướng dẫn sử dụng Powerpoint từ đơn giản đến phức tạp HIỆU QUẢ

Nhấn vào đây để bắt đầu khóa học

Khóa học Thiết kế, quản lý dữ liệu dự án chuyên nghiệp cho doanh nghiệp bằng Bizagi

Khóa học Phân tích dữ liệu sử dụng Power Query trong Excel

Nhấn vào đây để bắt đầu khóa học

Khóa học Lập trình WEB bằng PHP từ cơ bản đến nâng cao

Nhấn vào đây để bắt đầu khóa học

Khóa học Phân tích dữ liệu sử dụng TableAU - Chìa khóa thành công!

Nhấn vào đây để bắt đầu khóa học

Khóa học Phân tích dữ liệu sử dụng SPSS - Chìa khóa thành công!

Nhấn vào đây để bắt đầu khóa học

Khóa học "Thiết kế bài giảng điện tử", Video, hoạt hình 

kiếm tiền Youtube bằng phần mềm Camtasia Studio

Nhấn vào đây để bắt đầu khóa học

Khóa học HƯỚNG DẪN THIẾT KẾ VIDEO CLIP CHO DÂN MARKETING CHUYÊN NGHIỆP

​​​​​

HƯỚNG DẪN THIẾT KẾ QUẢNG CÁO VÀ ĐỒ HỌA CHUYÊN NGHIỆP VỚI CANVA

Hãy tham gia khóa học để trở thành người chuyên nghiệp. Tuyệt HAY!😲👍

 KHÓA HỌC VIDEO- XÂY DỰNG PHẦN MỀM QUẢN LÝ BẰNG MICROSOFT ACCESS

GOOGLE SPREADSHEETS phê không tưởng

Khóa hoc lập trình bằng Python tại đây

Hãy tham gia khóa học để biết mọi thứ

Để tham gia tất cả các bài học, Bạn nhấn vào đây 

Khóa học lập trình cho bé MSWLogo

Nhấn vào đây để bắt đầu học

Khóa học Ba, Mẹ và Bé - Cùng bé lập trình  TUYỆT VỜI

Khóa học sử dụng Adobe Presenter-Tạo bài giảng điện tử

Khóa học vẽ tạo giao diện demo cho website

Để thành thạo Wordpress bạn hãy tham gia khóa học 

Tham gia khóa học tại đây

Khóa học sử dụng Edmodo để dạy và học hiện đại để thành công

Nhấn vào đây để bắt đầu khóa học

==***==

Bảo hiểm nhân thọ - Bảo vệ người trụ cột

Cập nhật công nghệ từ Youtube tại link: congnghe.hocviendaotao.com
Tham gia nhóm Facebook
Để tham gia khóa học công nghệ truy cập link: http://thuvien.hocviendaotao.com
Mọi hỗ trợ về công nghệ email: dinhanhtuan68@gmail.com

Nguồn: Tinh Tế

Share !