Une note juste est-elle possible ? Non, et voilà pourquoi

Depuis quelque temps, je relis beaucoup de vieux tests de jeux dans la presse papier spécialisée, et je me retrouve régulièrement en désaccord avec certaines notes.

Mais au-delà de la note, ce qui est intéressant, c'est de lire le test pour comprendre d'où vient la note. Et c'est là que ça devient instructif : on se rend compte, de temps en temps, que le testeur n'aime pas le genre du jeu qu'il teste... et qu'il lui reproche son genre.

Reprocher à un jeu d'être ce qu'il est

C'est flagrant dans le test de Fable signé Yann Lebecque dans PC Soluce de 1996. Le jeu est un point & clic en 2D, dans la lignée de Full Throttle ou de Broken Sword : un style courant à l'époque. On aime ou on n'aime pas, mais en 1996, le genre est à la mode et plutôt apprécié des joueurs. Lebecque reproche pourtant au jeu de ne pas être en 3D, d'être une succession d'énigmes et d'objets cachés... ce qui est, tout simplement, LA base du point & clic.

On peut ne pas aimer un jeu ; quelque part, on n'a pas vraiment besoin de se justifier. Mais il faut être un minimum objectif, et ne pas donner son avis sur un style de jeu qu'on n'aime pas me paraît être la base du métier.

Imaginons un testeur notant un FPS à la Call of Duty : « On passe son temps à tirer sur des gars, qui vous tirent dessus en retour. C'est nul. » Absurde, non ? C'est le principe même du FPS.

Le connaisseur et le novice

J'ai bien conscience que la presse JV est avant tout un guide d'achat et non un juge sportif. Mais justement, un joueur qui n'est pas adepte d'un genre ne pourra le découvrir et l'apprécier que si on lui indique le meilleur du genre. Et pour déceler le banal du remarquable, il faut apprécier un genre, au minimum : c'est une question de compétence, pas de sympathie. Un critique de vin qui déteste le vin ne peut pas distinguer un grand millésime d'une bouteille honnête, pas parce qu'il est de mauvaise foi, mais parce qu'il lui manque les outils.

Alors, peut-être que le Fable de 1996 n'était pas exceptionnel dans un genre saturé à l'époque. Mais dans ce cas, c'est ce point que le testeur aurait dû mettre en avant : « un honorable représentant d'un genre en fin de cycle, qui n'apporte rien de neuf » est une critique légitime. Reprocher au jeu son ADN n'en est pas une.

Cette exigence de compétence a une conséquence que la presse a parfois bien comprise sans toujours le formaliser : un bon test est une architecture à deux niveaux. Le corps du texte s'adresse au connaisseur, il situe le jeu dans l'histoire de son genre, distingue l'exécution remarquable du gadget banal. Un encadré clair s'adresse au novice : « pour qui ? », « par où commencer ? ». Les deux ne disent pas la même chose, et c'est très bien comme ça : le 15/20 attribué par un amateur éclairé n'engage pas le débutant à commencer par ce jeu, il lui dit qu'il y a de l'or ici, quand il sera prêt.

Le cas du remake de The Settlers II

J'ai retrouvé la même logique dans le test du remake des dix ans de The settlers 2.
Le principe d'un remake, c'est normalement de refaire le jeu en plus beau, en respectant au maximum l'original, voire en collant totalement à son gameplay. On ne peut donc pas reprocher au jeu d'avoir fidèlement respecté le jeu de base. Or, le testeur reproche précisément au jeu un gameplay qui constitue le cœur même de l'œuvre d'origine.

Pire : il le compare à Anno 1701, alors que les deux ne sont pas comparables. Oui, les deux sont de la gestion/stratégie... mais c'est comme comparer une citadine et un 4x4 : les deux ont un moteur, un volant et quatre roues, et pourtant ce ne sont pas du tout les mêmes véhicules, et ils ne s'adressent pas à la même clientèle.

Notons d'ailleurs que le public d'un remake est ambigu, et que le testeur n'y a probablement rien compris. La majorité des acheteurs d'un remake des dix ans de The Settlers II, ce sont des nostalgiques : pour eux, la fidélité à l'original est précisément le produit acheté. Lui reprocher cette fidélité, c'est reprocher au menu du restaurant d'être ce qui était écrit sur la façade. Le public secondaire ( les curieux qui découvrent ) mérite un traitement différent, certes ; encore faut-il commencer par identifier à qui le jeu s'adresse.

Qui devrait tester ?

Alors, les jeux ne devraient-ils être testés que par des gens qui aiment le genre ? J'ai envie de répondre : oui et non.

Oui, il faut aimer les FPS pour apprécier un FPS, ou du moins, sans être fan du genre, ne pas le détester. Mais il ne faut pas non plus être fanboy, au risque de perdre son objectivité et d'être trop coulant (ou trop sévère). Le fan ultime de Call of Duty pourrait ainsi aimer aveuglément un épisode de la franchise, ou à l'inverse le juger trop sévèrement parce qu'il ne répond pas à ses attentes. Tandis que la majorité des autres joueurs aurait un avis moins tranché, car moins chargé d'émotion personnelle.

Le testeur idéal existe donc sur le papier : quelqu'un qui connaît intimement le genre, l'aime sans l'idolâtrer, et juge à la fois pour le connaisseur et pour le novice. Mais l'aimer ne suffit pas, car même le testeur qui aime un genre n'est pas à l'abri des biais.

Les biais inconscients : l'ennemi invisible de l'objectivité

Le premier est la nostalgie. Un joueur ayant grandi avec les point & clic des années 90 pourra surnoter un jeu rétro par affection, ou au contraire le sous-noter parce qu'il ne correspond plus à ses attentes modernes. Le passé ne se juge jamais neutrement.

Vient ensuite l'habitude, qui rend aveugle. Un expert en roguelites, habitué à des mécaniques ultra-complexes, jugera un titre « trop simple » alors qu'il est en réalité parfait pour les nouveaux joueurs. Un inconditionnel de Myst et Myst 2 - Riven trouvera Syberia trop facile, parce que ce dernier vise un public plus large. Le piège est le même : confondre sa référence personnelle avec la référence absolue du genre.

Et puis il y a le biais de confirmation, le plus sournois. Un testeur qui a déjà une opinion tranchée sur une série : « les Assassin's Creed, c'est toujours la même chose » aura tendance à chercher, et à trouver, des éléments qui confirment son préjugé, même si l'épisode testé innove par ailleurs. On ne teste pas un jeu qu'on a déjà jugé ; on vérifie un verdict déjà rendu.

Aucun de ces biais ne relève de la mauvaise foi. C'est précisément ce qui les rend dangereux : un testeur honnête, compétent et amoureux du genre peut produire une note faussée sans jamais s'en apercevoir.

Penser au public : le cas des director's cut

Enfin, il faut tenir compte du public visé. Et pour ce point, je veux surtout parler des versions « director's cut ». Elles contiennent en général le jeu de base et toutes ses extensions, plus parfois deux ou trois bricoles. Clairement, ces versions ne s'adressent pas à ceux qui ont déjà acheté le jeu et ses extensions.

Dire « ceux qui l'ont déjà fait, passez votre chemin » me paraît donc absurde. Bien sûr que ce sera décevant pour eux ! En revanche, pour le joueur qui n'a jamais touché au jeu, il n'y a aucune raison de le noter moins bien que la version d'origine, d'autant que les director's cut gomment souvent les pires bugs.

Le testeur parfait ?

Face à ce constat, deux attitudes sont possibles.

La première : accepter que le testeur idéal n'existe pas, mais qu'on peut s'en approcher. Une charte, une formation, la confrontation des brouillons entre testeurs, la relecture croisée. C'est la voie de l'artisanat, elle améliore la moyenne des tests, au prix d'une lourdeur que peu de rédactions peuvent se permettre, surtout aujourd'hui.

La seconde : changer la nature de la note. Plutôt qu'un verdict unique émis par une personne unique, multiplier les regards, plusieurs testeurs, des profils différents, et laisser apparaître la dispersion. Un jeu que trois testeurs notent 16, 8 et 14 est mieux décrit par l'écart que par la moyenne. C'est d'ailleurs ce que le public a fini par faire spontanément avec les avis joueurs : agrégation massive, sans sélection de testeur, parce qu'on a compris qu'un seul verdict ne veut rien dire.
Rappelez vous, c'était ce que faisait le magazine Gen4 à ses débuts sur les gros tests, avec l'avis du testeur et les contre-avis de ses collègues.

Dans les deux cas, la conclusion est la même : une note individuelle, plus fiable et plus objective.

La note contre le ressenti

Il y a une nette différence entre donner un ressenti et donner une note. Un ressenti est totalement subjectif et ne nécessite pas vraiment de justification : on aime, on n'aime pas, ce n'est pas forcément cohérent, mais c'est indiscutable, car chacun a le droit d'avoir ses goûts.

La note, elle, implique une exigence de justice : elle classe l'objet sur une échelle comparative. Elle doit donc être aussi objective que possible. Et pour cela, elle exige le testeur idéal décrit plus haut : compétent, aimant, lucide, et conscient du public. Autrement dit, une note fiable n'est pas le fruit d'une méthode, c'est le fruit d'une personne rare au bon endroit.

J'ai relu récemment l'édito de Kévin Bitterlin sur le sujet des notes, dans le JV - Culture jeux video N°1 de novembre 2013 (page 50), et j'avoue être assez en phase avec sa position.

C'est exactement pour cela qu'on ne peut pas noter les jeux sur Medialib.

Sur Medialib, vous pouvez donner votre ressenti, sans avoir besoin de le justifier : c'est le vôtre, il est inattaquable, et vous avez raison de l'avoir. La presse qui note joue au juge ; nous, nous préférons jouer au témoin. Un juge peut se tromper en toute bonne foi, un témoin, jamais.