Loup Ventures: Google Assistant là trợ lý ảo thông minh nhất 2018, Siri đứng thứ 2

Loup Ventures vừa công bố báo cáo kết quả của bài kiểm tra, đánh giá toàn diện bốn trợ lí ảo AI lớn hiện nay trên thị trường là Google Assistant (Google), Siri (Apple), Alexa (Amazon) và Cortana (Microsoft). Trải qua 800 câu hỏi và yêu cầu thuộc 5 nhóm câu hỏi lớn từ thông tin đời sống cho đến chỉ đường và ra lệnh thực hiện tác vụ, trợ lí ảo Google Assistant đến từ đội Google đã về nhất với tỉ lệ đưa ra câu trả lời hợp lệ là 88%. Trong khi đó, Siri cán đích vị trí thứ nhì với 75% câu trả lời hợp lệ, Alexa về thứ ba sít sao với tỉ lệ 73%. Đáng tiếc, Cortana bị bỏ xa khi chỉ trả lời đúng 63% số câu hỏi trong toàn bộ bài kiểm tra. Tuy nhiên, so với năm 2017 thì nhìn chung cả bốn trợ lí ảo đều có sự cải thiện rõ rệt, với Google Assistant ( 7%), Siri ( 22%), Alexa ( 9%) và Cortana ( 7%).

​

Khả năng nghe hiểu câu hỏi cũng rất ấn tượng trên cả bốn trợ lí ảo. Google Assistant với thuật toán tối ưu phần mềm liên tục từ Google giúp trợ lí ảo này đạt tỉ lệ nghe hiểu 100%. Siri đứng thứ hai với tỉ lệ 99.6% (trượt 3 câu hỏi), Cortana thứ ba với tỉ lệ 99.4% (trượt 5 câu hỏi) và Alexa đạt 99% (trượt 8 câu hỏi). Với tham vọng tìm hiểu rõ tác động của AI trong đời sống cũng như việc tương tác bằng giọng nói đang dần trở nên phổ biến, công ty Loup Ventures liên tục đánh giá và quan sát quá trình thay đổi, phát triển của các hệ thống trợ lí ảo AI phổ thông. Mời anh em đọc bài kết quả nghiên cứu của công ty này.

Phương pháp thực hiện bài kiểm tra

Cả bốn trợ lí ảo được trải qua 800 câu hỏi giống nhau và được đánh giá dựa trên hai tiêu chí: 1. Trợ lí ảo đó có nghe được đầy đủ câu hỏi hay không? 2. Trợ lí ảo đó có đưa ra câu trả lời hợp lí hay không? Các câu hỏi này sẽ thuộc 5 lĩnh vực phổ biến mà trợ lí ảo trên lý thuyết sẽ có khả năng hiểu và trả lời, bao gồm:

Local, địa phương – Tiệm café gần nhất ở đâu?

Commerce, thương mại – Giúp tôi đặt mua thêm khăn giấy (trợ lí ảo tự gửi yêu cầu mua hàng lên website thương mại điện tử)

Navigation, chỉ đường – Đi xe buýt nào đến tuyến phố trên?

Information, thông tin – Tối nay đội Twins đấu với ai?

Command, ra lệnh – Nhắc tôi gọi Steve vào 2 giờ chiều nay.

Loup Ventures cho biết, các dạng câu hỏi liên tục được thay đổi và làm mới qua mỗi lần tổ chức bài kiểm tra nhằm tạo thử thách và sức ép cho các trí thông minh nhân tạo, cũng như ghi nhận sự tiến bộ theo thời gian của chúng. Tất nhiên, Loup Ventures là công ty có quê nhà tại Minnesota và New York, Hoa Kì nên các vấn đề về ngôn ngữ, giọng đọc không phải là vấn đề.

Bài kiểm tra được thực hiện trên các thiết bị lần lượt là Amazon Echo thế hệ 2 (Alexa), Google Home Mini (Google Assistant), Apple HomePod (Siri) và Harman Kardon Invoke (Cortana). Một số thiết bị nhà thông minh được sử dụng là Wemo Mini Smart Plug, TP-Link Kasa Plug, Phillips Hue Lights và Wemo Dimmer Switch.

Kết quả và phân tích

Nhắc lại kết quả chung của bốn thí sinh tranh tài, thiết bị Google Home Mini đứng đầu với 88% câu hỏi trả lời thành công, tỉ lệ nghe hiểu đạt 100%; Apple HomePod về nhì với 75% câu hỏi trả lời thành công, tỉ lệ nghe hiểu đạt 99.6%; Amazon Echo đứng thứ ba với 73% câu hỏi trả lời thành công, tỉ lệ nghe hiểu đạt 99%; và Invoke đứng cuối cùng với 63% câu hỏi trả lời thành công, tỉ lệ nghe hiểu đạt 99.4%. Loup Ventures cho biết khó khăn duy nhất khiến các trợ lí ảo không nghe được câu hỏi là do tên riêng của nhà hàng, quán café gây ra. Thế nhưng với tỉ lệ nghe hiểu đã đạt được rất cao ở tất cả các trí thông minh nhân tạo, vấn đề về dữ liệu nhập bằng giọng nói coi như không còn tồn tại nữa.



Một điểm đáng chú ý, mặc dù Google Assistant đạt được tỉ lệ trả lời câu hỏi bỏ xa các đối thủ còn lại, Apple Siri tỏa sáng khi vượt trội ở hạng mục Command, ra lệnh. Lí giải cho điều này nằm ở việc trợ lí ảo Siri được tích hợp rất sâu vào iOS, từ email, tin nhắn, lịch cho đến mọi yêu cầu khác thuộc hạng mục này. Thiết bị Apple HomePod với chip xử lí A8 mạnh mẽ cũng được tối ưu hóa cho các lệnh liên quan đến âm nhạc, vốn chiếm dung lượng khá trong bài kiểm tra này.

Ở hạng mục Commerce, thương mại, hiệu năng của cả bốn trợ lí ảo phân hóa rõ rệt. Bất ngờ đã xảy ra khi Google hoàn toàn đánh bại Alexa, mặc dù là đứa con sinh ra từ Amazon, công ty thương mại điện tử lớn nhất toàn cầu. Bình luận về hạng mục này, Loup Ventures chia sẻ rằng Google Assistant trả lời chính xác phần lớn câu hỏi về thông tin hàng hóa và địa điểm mua một mặt hàng cụ thể. Dịch vụ thương mại điện tử Google Express (chỉ có ở một số bang tại Hoa Kì) cũng mang lại tiện ích tương đương với Amazon trong các tình huống như mua hàng và gợi ý sẵn hàng hóa thường dùng. Loup Ventures cho rằng người dùng hiếm khi thực hiện mua hàng bằng cách ra lệnh bằng giọng nói, mà sẽ quan tâm nhiều hơn đến việc tìm hiểu thông tin sản phẩm, dịch vụ tại địa phương, nên bộ câu hỏi được thiết kế theo hướng này.

Ví dụ, Loup Ventures so sánh câu trả lời của cùng một câu hỏi giữa Alexa và Google Assistant nhằm chỉ ra sự khác biệt:

Câu hỏi: Dịch vụ làm móng có giá cả như thế nào?

Alexa: Kết quả hàng đầu cho "làm móng" là sản phẩm Beurer Electric Manicure & Pedicure Kit, giá 50$ trên Amazon. Bạn có muốn mua không?

Google Assistant: Tính trung bình, làm một bộ móng tay sẽ có giá 20$. Tuy nhiên, các kiểu móng đặc biệt hơn như vân đá, gel, shellac hoặc no-chip (sơn bền màu) sẽ dao động từ 20 đến 50$, tùy salon.


Đối với hạng mục Local, địa phương và Navigation, chỉ đường, Apple HomePod và Google Home có lợi thế lớn với cơ sở dữ liệu bản đồ cực đồ sộ. Cơ sở dữ liệu này cộng với dữ liệu nhập liên tục từ người dùng như đặt câu hỏi về cửa hàng, trạm xe buýt, đường phố,… được dự đoán sẽ là thế mạnh về lâu dài cho Apple và Google. Trợ lí ảo đắc lực nhất phải là một trợ lí có thể đưa ra nhiều thông tin hữu ích liên quan đến ngữ cảnh sử dụng của người dùng. Chẳng hạn, nếu bạn hỏi "lịch trình sắp tới của tôi như thế nào?" thì một câu trả lời cơ bản hữu ích phải là "cuộc hẹn tiếp theo của bạn sẽ diễn ra trong 20 phút nữa tại quán Starbucks trên đường 12th. Từ vị trí hiện tại đến đó sẽ mất 8 phút chạy xe hoặc 15 phút đi xe buýt. Hướng dẫn đường đi sẽ được đưa lên màn hình cho bạn."

Cải thiện theo thời gian

Trong vòng 12 tháng, cả bốn trợ lí ảo ít nhiều đều đã có sự cải thiện trong tỉ lệ câu trả lời đúng, từ Google Assistant ( 7%), Alexa ( 9%), Siri ( 22%, trong vòng 9 tháng) và Cortana ( 7%), với kết quả của đợt kiểm tra trước được tổng hợp ở bảng dưới. Loup Ventures lưu ý, những sự biến động trong tỉ lệ câu trả lời chính ở hạng mục Navigation, chỉ đường và Commerce, thương mại là do họ thay đổi nội dung câu hỏi liên tục nhằm duy trì độ khó cho các trợ lí ảo.



Ngoại trừ chênh lệch điểm số cao nhất đến từ Apple Siri do việc mở rộng hỗ trợ của bộ phát triển SiriKit, Amazon Alexa là trợ lí ảo có sự cải thiện đáng chú ý nhất. Ở mảng Information, thông tin, Alexa đã có thể trả lời nhiều câu hỏi đa dạng hơn mà không phải thủ công bật Alexa skills, ví dụ như mã cổ phiếu (nhiều lĩnh vực người dùng cần phải chọn để Alexa học). Loup Ventures cũng tin rằng một yếu tố nữa đã đóng góp vào sự cải thiện tỉ lệ câu trả lời của Alexa, đó chính là chương trình Alexa Answers kêu gọi cộng đồng đóng góp câu trả lời vào cơ sở dữ liệu (tương tự SimSimi phổ biến tại Việt Nam). Ví dụ, ở hạng mục này Alexa đã trả lời đúng một số câu hỏi như "Thomas Jefferson đang trong một mối quan hệ với ai?" hoặc "chu vi của hình tròn có đường kính bằng 21 là bao nhiêu?".

Một điểm thú vị khác, Loup Ventures ghi nhận các trợ lí ảo đã có thể thực hiện một số yêu cầu đặc thù mà trước đây không làm được. Chẳng hạn, Google Assistant và Alexa có khả năng liên lạc với bộ phận chăm sóc khách hàng của Delta Airlines và yêu cầu kiểm tra đơn đặt vé máy bay; ra lệnh chơi một kênh radio bất kì (tất cả ngoại trừ HomePod không làm được); hoặc đọc một câu chuyện trước khi đi ngủ (tất cả đều thực hiện được). Đây là những yêu cầu mang tính chất đời sống, mang lại giá trị sử dụng thực tế cho sản phẩm loa thông minh vốn ngày càng được sử dụng nhiều trong gia đình.

Kết luận

Mặc dù điểm số trả lời câu hỏi đã đạt mức 80-90%, chúng ta vẫn chưa nên trông đợi quá nhiều vào trợ lí ảo AI có thể trả lời một cách tự nhiên như con người. Nhưng thay vào đó, chúng sẽ tiếp tục được cải thiện theo hướng cung cấp nhiều thông tin hơn, phối hợp để điều khiển thêm đa dạng các loại thiết bị thông minh, cũng như tích hợp sâu hơn vào ứng dụng hàng ngày như tin nhắn, lịch, email.

Bài viết được dịch nguyên tác nhằm giữ trọn vẹn góc nhìn phân tích của nhóm tác giả

Nguồn: Loup Ventures​