Foveated rendering là gì, mà từ Sony đến Meta, rồi cả Apple cũng phải dùng trong kính VR/AR?

Hồi mình thực hiện bài đánh giá chi tiết cặp kính thực tế ảo chỉ chuyên phục vụ nhu cầu gaming từ Sony, PlayStation VR2 quãng đầu năm 2023, mình có đề cập tới khả năng theo dõi vị trí cử động giác mạc, để hỗ trợ phần cứng xử lý đồ họa giảm tải, đảm bảo tốc độ khung hình từ 60 đến 120Hz mượt mà ngay cả với phần cứng của máy PS5.

Thực tế phải thừa nhận, nếu không ghi hình lại những đoạn footage khi chơi điện tử với PS VR2, rất khó để nhận ra chi tiết công nghệ cực kỳ đắt giá giúp VR và AR mượt mà trên nền tảng phần cứng xử lý hiện tại. Công nghệ ấy được gọi là foveated rendering. Chỉ khi nhìn vào màn hình xuất tín hiệu khi chơi game cùng kính thực tế ảo của Sony, mới có thể nhận ra những khu vực chi tiết đồ họa giảm tới mức tối đa, cả về chất lượng texture lẫn độ phân giải. Còn khi đeo kính chơi game, không bao giờ cố nhìn ra được.

Lý do là, hệ thống camera hồng ngoại và cảm biến bên trong khung kính nhận diện được vị trí hai giác mác của anh em đang nhìn vào vị trí nào trên màn hình, rồi ra lệnh gần như ngay lập tức để máy chơi game tăng chất lượng đồ họa ở vị trí đôi mắt đang nhìn vào. Đảo mắt đi đâu cũng thấy những trò chơi như Gran Turismo 7 và Horizon: Call of the Mountains đẹp, nhưng lúc nào cũng mượt, không bị sụt khung hình, thứ cực kỳ nguy hiểm với nội dung thực tế ảo và thực tế tăng cường, vì tạo ra nguy cơ say cho người sử dụng kính.

Rồi tới khi Apple Vision Pro ra mắt, nhiều người được trên tay trải nghiệm sản phẩm giá gần 4 nghìn USD của Apple nhận ra, những nhân GPU của con chip M2 cũng ứng dụng giải pháp y hệt như PS VR2 một năm về trước để đảm bảo hình ảnh vừa mượt mà, vừa không tạo ra áp lực quá lớn lên chip M2.

Được giới thiệu lần đầu năm 2014, foveated rendering khi ấy hứa hẹn là giải pháp giảm tải gánh nặng đối với chip xử lý đồ họa khi chơi game. Nó vận hành hệt như cách thị giác con người hoạt động, nhìn vào một điểm cố định, mọi thứ xung quanh đều mờ đi để tập trung vào điểm ấy. Khái niệm này gọi là thị giác ngoại vi (peripheral vision). Một cách thử nghiệm rất đơn giản là anh em hãy chú ý vào một điểm trước mắt, rồi để ý những chi tiết xung quanh, đương nhiên anh em vẫn biết xung quanh có những món đồ vật gì, mờ mờ nhận ra màu sắc của chúng, nhưng không hề rõ nét so với thứ đang trong tầm mắt mà anh em đang tập trung quan sát.



Chính yếu tố thị giác ngoại vi này là tiền đề để foveated rendering được nghiên cứu phát triển.

Ý tưởng ban đầu đặt ra là, nếu có thể mô phỏng cách đôi mắt con người hoạt động để giảm tải gánh nặng cho CPU và GPU trong quá trình render những khung hình trong môi trường thực tế ảo, thì lợi thế là gì và nên làm như thế nào?

Lý thuyết dài dòng nhạt nhẽo trước đã, vì sao render hình ảnh trong môi trường thực tế ảo và thực tế tăng cường lại khó, khác và yêu cầu phần cứng thiết bị cao hơn so với việc render hình ảnh để theo dõi trên màn hình phẳng?



Đầu tiên, render hình ảnh trong môi trường kính thực tế tăng cường, dù là game hay bất kỳ phần mềm ứng dụng nào khác cũng đều phải thêm nhiều yếu tố. Thứ nhất là cử động cổ và đầu của người dùng. Anh em xem những cái clip trải nghiệm, trên tay mấy cặp kính VR, từ PS VR2, cho đến Meta Quest 3, rồi vừa xong là Apple Vision Pro, đầu người đeo có cố gắng cố định đến mấy thì hình ảnh vẫn cứ rung lắc. Vậy là phần cứng render hình ảnh sẽ phải theo rất sát những cử động ấy với độ trễ thấp nhất để lúc đeo kính, anh em không bị nôn nao khó chịu.

Quảng cáo

Thứ hai, là vùng quan sát. Giới hạn tối đa vùng nhìn tầm ngang của đôi mắt con người, kèm thêm cả góc nhìn ngoại vi là 220 độ. Vùng nhìn mà kính thực tế tăng cường hỗ trợ càng lớn để càng chân thực, thì áp lực đối với phần cứng là tỷ lệ thuận.

Thứ ba, là khả năng phân cực hình ảnh để tạo ra cảm giác chiều sâu nhờ việc kính VR/AR thường kết hợp hai màn hình cho mỗi bên mắt. Xét riêng với giải pháp trên PC và console, thì hình ảnh thường sẽ được render một lần lên màn hình 2D, rồi sau đó phân cực cho hai màn hình trong kính. Cái này hiểu đơn giản theo kiểu, anh em cứ nhìn vào một món đồ, nhắm một mắt lại, hình ảnh trong mắt trái chắc chắn khác với mắt phải. Phần cứng render hình ảnh trong kính thực tế tăng cường sẽ phải điều chỉnh cho chuẩn để hình ảnh chân thực nhất.

Thứ tư, cũng để giảm nguy cơ "say xe" khi theo dõi hình ảnh hiển thị trên kính thực tế tăng cường, tốc độ khung hình thường dao động từ 90 đến 120 FPS. 60 FPS ở độ phân giải 4K đã khó với những giải pháp như PS5, và rất đắt đỏ trên PC. Đằng này với VR hoặc AR, hình ảnh vừa phải nét ở độ phân giải 4K hoặc hơn, vì màn hình chỉ cách đôi mắt có đôi ba centimetre, đã vậy lại còn phải cực kỳ mượt mà để không bị say.

Những thử thách đó đưa chúng ta đến với foveated rendering. Thực tế đây không phải giải pháp duy nhất để tối ưu hình ảnh hiển thị trên những cặp kính AR/VR. Render hình ảnh trên những giải pháp kính thực tế tăng cường luôn là những đánh đổi giữa chất lượng hình ảnh và tốc độ khung hình. Thành ra rất hiếm khi anh em được thấy một tác phẩm game VR bom tấn với đồ họa chân thực tương đương những game trên PC và console.

Trung tâm của công nghệ foveated rendering là khả năng nhận diện vị trí võng mạc, để đảm bảo đúng vị trí mắt người nhìn vào màn hình, ở chỗ đó chi tiết hình ảnh là nét, đẹp và ấn tượng nhất. Còn tất cả những chi tiết xung quanh thì làm mờ và giảm độ phân giải. Rồi kế tiếp là sự chính xác của hệ thống nhận diện võng mạc, để hình ảnh ở những vị trí khác nét ngay lập tức.

Quảng cáo

Rồi đến cả độ mịn và mờ của hình ảnh ngoại vi cũng phải được tùy chỉnh một cách chính xác, mờ theo kiểu "dần dần" để trải nghiệm chân thực nhất có thể, ví dụ giải pháp của Tobii:



Có hai kỹ thuật foveated rendering. Cách thứ nhất thì đơn giản nhưng gần như vô dụng, gọi là fixed/static foveated rendering. Kỹ thuật này mặc định coi hai võng mạc của người đeo kính thực tế tăng cường luôn nhìn vào trung tâm của màn hình, và những gì ở chính giữa màn hình sẽ có độ nét cao nhất, rồi xung quanh sẽ giảm chi tiết đồ họa. Cách này yêu cầu mắt người dùng kính XR phải cố định chính giữa màn hình, chỉ xoay đầu và cổ để theo dõi những chi tiết xung quanh thế giới ảo render trong hai màn hình của kính mà thôi.



Còn cách hai, dynamic foveated rendering, mới là đỉnh cao của công nghệ thực tế tăng cường hiện nay. Theo cách mô tả của Tobii, dynamic foveated rendering tận dụng khả năng theo dõi mắt để chỉ khu vực rất nhỏ trên hai màn hình kính XR được render ở chất lượng cao nhất. Rồi đến vùng hình ảnh màu xám và xanh nhạt như trong hình minh họa dưới đây, chất lượng, độ nét và độ phân giải hình ảnh sẽ giảm dần để tận dụng bản chất thị giác ngoại vi của mắt người:



Nhờ vùng hình ảnh chất lượng cao trên màn hình rất nhỏ so với tổng thể diện tích hiển thị của hai màn hình, nên áp lực giảm tải cho phần cứng render hình ảnh cho kính thực tế tăng cường nhờ dynamic foveated rendering là rất lớn.

Trong tài liệu nghiên cứu khoa học về công nghệ foveated rendering của 4 tác giả tại trường đại học Maryland, Mỹ công bố năm 2022, họ đưa ra kết quả nghiên cứu, nói rằng vùng nhìn thực tế mà đôi mắt con người thực sự tập trung vào trong màn hình kính XR chỉ là 20 độ, thử nghiệm với kính VR năm 2016, chỉ có đúng 4% tổng số điểm ảnh là trong vùng nhìn của người đeo, còn 96% số điểm ảnh đều chỉ nằm trong tầm nhìn ngoại vi, mắt không để ý quá kỹ, nên rất lãng phí nếu render chúng ở chất lượng cao nhất.

Với Tobii, họ đã thử nghiệm công nghệ này với kính Pico, hình ảnh render từ Unity Engine, GPU được giảm tải tới 72%. Lượng tài nguyên tính toán này hoàn toàn có thể dùng vào việc tăng cường chất lượng hình ảnh hiển thị trong cặp kính, cũng như hiển thị được nhiều thông tin, cửa sổ hình ảnh và chi tiết đồ họa hơn trong những ứng dụng thực tế tăng cường.

Và dù công nghệ đã có được nhiều năm, nhưng đến giờ những cặp kính hỗ trợ foveated rendering mặc định cũng mới chỉ đếm trên đầu ngón tay: Meta Quest Pro, Varjo Aero, Pimax Crystal, Sony PlayStation VR2, và mới nhất là Apple Vision Pro. Ở hình cover, có thể nhận ra rõ ràng những vị trí foveated rendering làm việc trên Apple Vision Pro, và nhận ra vị trí đôi mắt của mod Tùng Trịnh đang tập trung vào đâu. So sánh với PS VR2, hình ảnh làm mờ và giảm chất lượng trên Apple Vision Pro nhìn mịn màng hơn khá nhiều, có lẽ nhờ sức mạnh của GPU trên con chip M2 trang bị bên trong cặp kính.

Khóa học Machine Learning cơ bản- Khoa học dữ liệu - AI

Nhấn vào đây để bắt đầu khóa học

==***==

Khoá học Quản trị Chiến lược Dành cho Lãnh đạo Doanh nghiệp

Nhấn vào đây để bắt đầu khóa học

==***==

Nơi hội tụ Tinh Hoa Tri Thức - Khơi nguồn Sáng tạo

Để tham gia khóa học công nghệ truy cập link: http://thuvien.hocviendaotao.com

Mọi hỗ trợ về công nghệ email: dinhanhtuan68@gmail.com

--- 

Khóa học Hacker và Marketing từ A-Z trên ZALO!

Nhấn vào đây để bắt đầu khóa học

Khóa học Hacker và Marketing từ A-Z trên Facebook!

Nhấn vào đây để bắt đầu khóa học

Khóa đào tạo Power BI phân tích báo cáo để bán hàng thành công

Nhấn vào đây để bắt đầu khóa học

Bảo mật và tấn công Website - Hacker mũ trắng

Nhấn vào đây để bắt đầu khóa học ​

KHÓA HỌC LẬP TRÌNH PYTHON TỪ CƠ BẢN ĐẾN CHUYÊN NGHIỆP

Nhấn vào đây để bắt đầu khóa học

Nhấn vào đây để bắt đầu khóa học

Khóa học Lập trình Visual Foxpro 9 - Dành cho nhà quản lý và kế toán

Nhấn vào đây để bắt đầu khóa học

Khóa học hướng dẫn về Moodle chuyên nghiệp và hay

Xây dựng hệ thống đào tạo trực tuyến chuyên nghiệp tốt nhất hiện nay.

Nhấn vào đây để bắt đầu khóa học

KHÓA EXCEL CHUYÊN NGHIỆP

Nhấn vào đây để bắt đầu khóa học

Khóa học AutoIt dành cho dân IT và Marketing chuyên nghiệp

Nhấn vào đây để bắt đầu khóa học

Khoá học Word từ cơ bản tới nâng cao, học nhanh, hiểu sâu

Nhấn vào đây để bắt đầu khóa học

Khóa học hướng dẫn sử dụng Powerpoint từ đơn giản đến phức tạp HIỆU QUẢ

Nhấn vào đây để bắt đầu khóa học

Khóa học Thiết kế, quản lý dữ liệu dự án chuyên nghiệp cho doanh nghiệp bằng Bizagi

Khóa học Phân tích dữ liệu sử dụng Power Query trong Excel

Nhấn vào đây để bắt đầu khóa học

Khóa học Lập trình WEB bằng PHP từ cơ bản đến nâng cao

Nhấn vào đây để bắt đầu khóa học

Khóa học Phân tích dữ liệu sử dụng TableAU - Chìa khóa thành công!

Nhấn vào đây để bắt đầu khóa học

Khóa học Phân tích dữ liệu sử dụng SPSS - Chìa khóa thành công!

Nhấn vào đây để bắt đầu khóa học

Khóa học "Thiết kế bài giảng điện tử", Video, hoạt hình 

kiếm tiền Youtube bằng phần mềm Camtasia Studio

Nhấn vào đây để bắt đầu khóa học

Khóa học HƯỚNG DẪN THIẾT KẾ VIDEO CLIP CHO DÂN MARKETING CHUYÊN NGHIỆP

​​​​​

HƯỚNG DẪN THIẾT KẾ QUẢNG CÁO VÀ ĐỒ HỌA CHUYÊN NGHIỆP VỚI CANVA

Hãy tham gia khóa học để trở thành người chuyên nghiệp. Tuyệt HAY!😲👍

 KHÓA HỌC VIDEO- XÂY DỰNG PHẦN MỀM QUẢN LÝ BẰNG MICROSOFT ACCESS

GOOGLE SPREADSHEETS phê không tưởng

Khóa hoc lập trình bằng Python tại đây

Hãy tham gia khóa học để biết mọi thứ

Để tham gia tất cả các bài học, Bạn nhấn vào đây 

Khóa học lập trình cho bé MSWLogo

Nhấn vào đây để bắt đầu học

Khóa học Ba, Mẹ và Bé - Cùng bé lập trình  TUYỆT VỜI

Khóa học sử dụng Adobe Presenter-Tạo bài giảng điện tử

Khóa học vẽ tạo giao diện demo cho website

Để thành thạo Wordpress bạn hãy tham gia khóa học 

Tham gia khóa học tại đây

Khóa học sử dụng Edmodo để dạy và học hiện đại để thành công

Nhấn vào đây để bắt đầu khóa học

==***==

Bảo hiểm nhân thọ - Bảo vệ người trụ cột

Cập nhật công nghệ từ Youtube tại link: congnghe.hocviendaotao.com
Tham gia nhóm Facebook
Để tham gia khóa học công nghệ truy cập link: http://thuvien.hocviendaotao.com
Mọi hỗ trợ về công nghệ email: dinhanhtuan68@gmail.com

Nguồn: Tinh Tế

Share !