Trang xda-developers hôm nay đăng tải một thông tin chắc chắn sẽ làm cho các fan OnePlus nói riêng và fan Android nói chung, cảm thấy bất ngờ: OnePlus một lần nữa đã "gian lận" điểm benchmark, cụ thể là trên chiếc OnePlus 5. Tiêu đề gốc của bài viết trên XDA có đoạn "Do NOT Trust OnePlus 5 Benchmarks in Reviews – How our Review Unit is Grossly Cheating at Benchmarks". Tuy nhiên vào cuối bài, họ đã đính chính một số thông tin và nhận định OnePlus không có ý đồ xấu. Cho nên mình đặt lại tiêu đề thành "OnePlus 5 đã "tối ưu hóa" điểm số benchmark như thế nào?" để các bạn không hiểu nhầm ý đồ của tác giả XDA cũng như OnePlus (các bạn nên đọc hết bài, mình cũng có để link đến bài gốc ở bên dưới cho các bạn xem nếu muốn).
Trong xuyên suốt bài này, nhiều chỗ mình dùng từ "gian lận" bởi vì bài gốc dùng chữ "cheating", tùy theo cách nhìn nhận sự việc của bạn thì có thể hiểu nó theo kiểu nhẹ nhàng hơn, ví dụ như từ "tối ưu hóa".
Mình xin dịch lại phần đầu của bài viết trên xda-developers, trích:
"Hồi đầu năm nay, chúng tôi (XDA) đã đưa ra một bản báo cáo nhằm lên án hãng điện thoại OnePlus (và nhiều hãng khác) bởi có hành vi sai trái đó là "bóp méo" kết quả benchmark trong các bản build của hệ điều hành OxygenOS. Hôm nay, chúng tôi rất buồn khi phải nhắc lại bản tố cáo đó bởi vì công ty này đã tiếp tục thao túng điểm số benchmark trên chiếc điện thoại OnePlus 5.
Trong khi người dùng cuối chưa có máy (máy chưa tới ngày bán), chúng tôi đã phát hiện ra một cơ chế gian lận mới bên trong chiếc OnePlus mà chúng tôi dùng để review, chúng tôi nhận máy này cách đây 10 ngày. Điều không may ở đây là hầu hết tất cả các bài review về OnePlus 5 mà có kết quả benchmark, đều chứa thông tin sai lệch, bởi vì những máy OnePlus đưa cho các reviewer đều có hành vi gian lận điểm benchmark.
Đây là một bước đi không thể tha thứ được, bởi vì sau cùng thì đó là một sự lừa dối mang tính cố tình không chỉ với khách hàng mà còn cố tình vấy bẩn luôn cả công sức của những reviewer và nhà báo, bằng cách sử dụng kết quả sai lệch mà hầu hết người dùng đều không có khả năng kiểm chứng được.
Do đó, bài review nào về OnePlus 5 mà dùng kết quả benchmark để nói đến sự thành công của chiếc máy thì đều đang lừa dối cả người đọc lẫn người viết, và những phân tích về hiệu năng của chiếc máy dựa trên benchmark tổng hợp lúc đó cũng không còn giá trị nữa. Điều tồi tệ hơn nữa đó là lần này cơ chế gian lận điểm đã lộ liễu hơn và mục tiêu mà nó nhắm tới đó là tối đa hóa hiệu năng của chiếc máy.
Trước khi chúng tôi nói chi tiết về vụ việc, tôi muốn phát biểu rằng chúng tôi cảm thấy thất vọng với công ty vì một lần nữa sử dụng lại hành vi trên. Chúng tôi cũng sẽ không công bố bản phân tích hiệu năng đầy đủ của chiếc máy bởi vì máy đã bị gắn code ăn gian điểm. Cuối cùng, chúng tôi sẽ để riêng bản báo cáo đó với phần tổng kết của chiếc máy bởi vì chúng tôi tin rằng đoạn code thủ phạm kia rồi sẽ được loại ra khỏi phiên bản thương mại sau khi có bài viết này cũng như sau khi chúng tôi nói chuyện với đại diện của công ty OnePlus. Chúng tôi cho rằng bạn không nên để bài viết này ảnh hưởng đến cảm nhận của bạn về chiếc máy, thay vào đó hãy "thúc nhẹ" cảm nhận của bạn về cái công ty đã hai lần phạm lỗi này."
Trong khi người dùng cuối chưa có máy (máy chưa tới ngày bán), chúng tôi đã phát hiện ra một cơ chế gian lận mới bên trong chiếc OnePlus mà chúng tôi dùng để review, chúng tôi nhận máy này cách đây 10 ngày. Điều không may ở đây là hầu hết tất cả các bài review về OnePlus 5 mà có kết quả benchmark, đều chứa thông tin sai lệch, bởi vì những máy OnePlus đưa cho các reviewer đều có hành vi gian lận điểm benchmark.
Đây là một bước đi không thể tha thứ được, bởi vì sau cùng thì đó là một sự lừa dối mang tính cố tình không chỉ với khách hàng mà còn cố tình vấy bẩn luôn cả công sức của những reviewer và nhà báo, bằng cách sử dụng kết quả sai lệch mà hầu hết người dùng đều không có khả năng kiểm chứng được.
Do đó, bài review nào về OnePlus 5 mà dùng kết quả benchmark để nói đến sự thành công của chiếc máy thì đều đang lừa dối cả người đọc lẫn người viết, và những phân tích về hiệu năng của chiếc máy dựa trên benchmark tổng hợp lúc đó cũng không còn giá trị nữa. Điều tồi tệ hơn nữa đó là lần này cơ chế gian lận điểm đã lộ liễu hơn và mục tiêu mà nó nhắm tới đó là tối đa hóa hiệu năng của chiếc máy.
Trước khi chúng tôi nói chi tiết về vụ việc, tôi muốn phát biểu rằng chúng tôi cảm thấy thất vọng với công ty vì một lần nữa sử dụng lại hành vi trên. Chúng tôi cũng sẽ không công bố bản phân tích hiệu năng đầy đủ của chiếc máy bởi vì máy đã bị gắn code ăn gian điểm. Cuối cùng, chúng tôi sẽ để riêng bản báo cáo đó với phần tổng kết của chiếc máy bởi vì chúng tôi tin rằng đoạn code thủ phạm kia rồi sẽ được loại ra khỏi phiên bản thương mại sau khi có bài viết này cũng như sau khi chúng tôi nói chuyện với đại diện của công ty OnePlus. Chúng tôi cho rằng bạn không nên để bài viết này ảnh hưởng đến cảm nhận của bạn về chiếc máy, thay vào đó hãy "thúc nhẹ" cảm nhận của bạn về cái công ty đã hai lần phạm lỗi này."
Hết trích/dịch.
Vài điều tóm tắt từ XDA
- Mọi điểm số trong bài viết này là có từ chiếc OnePlus 5 phiên bản dùng để review, chạy hệ điều hành OxygenOS 4.5.0 (A5000_22_170603).
- Đây là phiên bản có trước bản thương mại.
- Hãng OnePlus có hướng dẫn các reviewer cách kích hoạt chức năng tải các phần mềm benchmark không phải từ nguồn Play Store, sở dĩ làm vậy vì họ không muốn kết quả benchmark bị rò rỉ trước thời gian mà họ muốn.
- Từ manh mối này, tôi nghĩ OnePlus đang muốn dùng những gói (package) benchmark có tên trùng với thông tin trong bản ROM của máy.
- Trong quá trình tôi test máy, bản ROM có rất ít (tối thiểu) các tiến trình đang chạy ngầm, không có ứng dụng của hãng thứ ba và máy luôn chạy ở chế độ Airplane mỗi khi có thể.
- Xung nhịp CPU được lưu lại chỉ để xác định mức độ của hành vi gian lận, chứ không được dùng để test máy và cung cấp kết quả trong bài này.
- Tất cả thông số về nhiệt độ được đo bằng máy FLIR C2 Compact, mỗi bài test về sức bền đều được thực hiện với nhiệt độ môi trường là 28,5 độ C.
Nhắc lại vụ gian lận lần trước: OnePlus đã chỉnh cho ROM của họ mỗi khi phát hiện có một ứng dụng benchmark được khởi động thì chiếc máy sẽ có một số hành vi nhất định. Ví dụ khi người dùng mở app benchmark A, bản ROM của OnePlus sẽ thay đổi xung nhịp của CPU. XDA phát hiện mức độ "load" của CPU sẽ tuột về mức 0% mặc dù vẫn đang chạy app, xung nhịp CPU đối với các nhân to là 1,29 GHz (gần bằng mức tối thiểu) và 0,98 GHz đối với các nhân nhỏ tiết kiệm pin. Việc giảm xung này sau cùng sẽ giúp cho điểm số benchmark về độ bền được cao hơn.
Và vụ mới nhất trên OnePlus 5: lần này hoàn toàn khác lần trước, không phải tinh vi hơn mà nó lộ liễu hơn, bằng cách sử dụng một phương pháp gian lận cũ mà người ta đã từng phát hiện trên những chiếc flagship vào thời kỳ đầu của Android, mục đích là để tăng tối đa điểm benchmark. Khi người dùng mở một app benchmark, xung nhịp tối thiểu của toàn bộ nhân trong nhóm tiết kiệm pin sẽ được tặng lên mức tối đa là 1.9 GHz và giữ nguyên ở đó. Chính điều này đã giúp cho OnePlus đạt được số điểm GeekBench 4 cao nhất với chip Snapdragon 835. Điểm số này cao hơn những máy tương tự khác cũng dùng chip 835 mà XDA đã test.
Đây là danh sách những phần mềm benchmark bị ảnh hưởng:
- AnTuTu (com.antutu.benchmark.full)
- Androbench (com.andromeda.androbench2)
- Geekbench 4 (com.primatelabs.geekbench)
- GFXBench (com.glbenchmark.glbenchmark27)
- Quadrant (com.aurorasoftworks.quadrant.ui.standard)
- Nenamark 2 (se.nena.nenamark2)
- Vellamo (com.quicinc.vellamo)
Hình dưới đây dùng để miêu tả độ chênh lệch về điểm số giữa lúc có và không có gian lận. XDA cho biết điểm số sẽ chênh lệch từ 5 - 6,5%. Mức gian lận này tuy không nhiều nhưng nó cũng đủ để giúp OnePlus 5 vượt mặt những máy Snapdragon 835 khác.
Phát biểu đầu tiên của hãng OnePlus
Khi XDA liên hệ OnePlus về vụ việc thì được hãng trả lời như sau:
"Người dùng sử dụng các app benchmark để xác định hiệu năng chiếc máy của họ, và chúng tôi muốn người dùng thấy được hiệu năng thực sự của OnePlus 5. Vì vậy, chúng tôi đã cho phép các app benchmark có thể chạy ở trạng thái tương tự như cách người dùng sử dụng hàng ngày, bao gồm luôn cả việc chạy các app và game nặng. Thêm vào đó, khi mở app, OnePlus 5 sẽ chạy ở trạng thái tương tự để tăng tốc độ mở app. Chúng tôi không overclock chiếc máy, mà chúng tôi hiển thị hiệu năng tiềm tàng của nó."
Theo XDA thì phát biểu này khá sai lệch so với kết quả mà XDA có được, bởi vì kết quả benchmark mà OnePlus 5 đạt được không phản ánh rõ ràng cách mà người ta sử dụng nó mỗi ngày, đồng thời khi chạy các app khác (không nằm trong danh sách gian lận điểm của OnePlus), người dùng cũng không thể có được hiệu năng cao tương tự.
Phát biểu thứ hai của OnePlus
"Chúng tôi đã thiết lập OnePlus 5 sẽ chạy benchmark ở hiệu năng cao cho tất cả các thiết bị, từ máy dành cho Media tới cả máy dành cho người dùng, để người dùng có thể thấy được tiềm năng thật sự của chiếc máy khi chạy các app và game nặng, tốn nhiều tài nguyên. Không có trường hợp nào chúng tôi overclock CPU hay nâng mức xung nhịp tối thiểu của CPU.
Chúng tôi tự tin rằng phương pháp của chúng tôi sẽ thể hiện rõ nhất hiệu năng thật sự của OnePlus 5."
Chúng tôi tự tin rằng phương pháp của chúng tôi sẽ thể hiện rõ nhất hiệu năng thật sự của OnePlus 5."
Dù cho ý định của OnePlus là tốt hay xấu thì vụ việc này một lần nữa nhắc nhở người dùng về việc nhìn nhận điểm số benchmark thế nào cho hợp lý. Có những người không quan tâm điểm số, chỉ quan tâm trải nghiệm thực tế trong quá trình sử dụng máy. Nhưng cũng có những người thích nghiên cứu sâu về hiệu năng, đánh giá và so sánh cấu hình, chip, phần cứng, phần mềm giữa những máy khác nhau hoặc giữa những bản build/ROM khác nhau của cùng một máy thì lúc đó điểm số benchmark lại là một yếu tố khá hữu ích và đơn giản để có được. Tuy nhiên, khi đã đụng đến benchmark thì chúng ta cũng cần phải hiểu rõ bản chất của nó, cách mà nó thực thi để có thể nhìn thấu những con số mà các phần mềm benchmark đưa ra.
Trong đoạn cuối của bài viết trên trang XDA, tác giả có đính chính lại một số thông tin sau khi trao đổi với OnePlus, rằng ý định của hãng không xấu, chỉ muốn thể hiện hiệu năng cao của chiếc máy, rằng OnePlus không "đụng chạm" đến máy dùng để review, máy thương mại và máy review sẽ như nhau, máy sẽ không có nguy cơ phát nổ, không có "cheat code" nào ở đây. Các bạn có thể đọc toàn bộ bài có chứa đầy đủ ý kiến cá nhân của tác giả bài viết trên website của XDA: https://www.xda-developers.com/oneplus-5-benchmark-cheating-reviews
