Samsung en flagrant délit de fraude aux benchmarks

Depuis un bon paquet d’années déjà, les fabricants de GPU nous ont habitués à une certaine forme de « triche » dans les principaux benchmarks 3D : les drivers reconnaissent ces benchs et utilisent des routines spécifiquement optimisés pour obtenir de meilleurs scores. Une pratique totalement entrée dans les mœurs, et qui s’applique désormais aussi aux jeux, les principaux titres étant reconnus eux aussi par les drivers pour bénéficier de traitement spécifiques. Samsung vient de se faire prendre la main dans le sac en appliquant ce genre de méthode pour booster les scores de son Galaxy S4…

En testant le smartphone haut de gamme de Samsung, un membre du forum Beyond3D a en effet eu la surprise de constater que le GPU, officiellement cadencé à 532 MHz selon Samsung, est en fait limité à 480 MHz dans quasiment toutes les applications, et ne monte en fait à 532 MHz que dans certains benchmarks courants, comme GLBenchmark et AnTuTu. De quoi booster les scores de l’appareil de 10 à 15% dans ces tests…

Interrogé sur le sujet, Samsung n’a pas nié (difficile de le faire de toute façon, des références claires à ces benchs ayant été trouvées dans le code du système…), mais a précisé que ce boost de fréquence est aussi disponible dans certaines applications Samsung, et non pas uniquement dans quelques benchs, mais que pour des raisons de consommation et de dégagement thermique, il ne peut pas être activé pour l’ensemble des applications.

Ayant étudié un peu plus en détail le comportement du GPU du Galaxy S4, AnandTech confirme partiellement l’excuse avancée par Samsung : la fréquence de 532 MHz est effectivement atteinte aussi dans certaines autres applications. Il semblerait toutefois qu’il reste bien rester un traitement de faveur pour les benchs, qui sont les seuls à bénéficier de cette fréquence maximale pendant toute leur durée d’exécution, alors que les autres applications ne profitent des 532 MHz que pendant de brefs instants, suivis d’un retour à 480 MHz…

Suite à cette découverte, c’est sans doute un jeu du chat et de la souris qui va désormais se lancer entre les développeurs de benchmarks et les fabricants de téléphone : les premiers vont chercher à contourner la détection, tandis que les seconds vont travailler à l’affiner… Et il faudra donc désormais regarder les résultats de benchmarks mobiles avec un peu plus de recule, en se rappelant que des écarts de quelques points dans ces tests ne sont pas forcément significatif, et que rien ne vaut un test effectué avec des cas d’usages pratiques plutôt qu’avec un bench.

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.