Une IA peut-elle vraiment devenir maître de jeu ? Ce que dit CriticaLLM

🤖 CriticaLLM, un maître de jeu piloté par IA, a été testé par neuf rôlistes. Règles bien tenues, liberté des joueurs en berne : on décrypte l’étude belge.

Article écrit par :

Une IA peut-elle vraiment devenir maître de jeu ? Ce que dit CriticaLLM

Vous pouvez écouter cet article sous forme de podcast ici, généré par IA. Et nous sommes également sur Apple Podcast & sur YouTube Podcast ici :

L’essentiel en 3 points

• Deux IA se partagent l’écran : un conteur et un arbitre qui valide chaque action.
• Neuf rôlistes, des donjons de trois salles, des règles simplifiées inspirées de D&D.
• La cohérence tient ; la liberté des joueurs, beaucoup moins.

Une équipe de l’UCLouvain a confié un donjon entier à deux intelligences artificielles : l’une raconte, l’autre arbitre. Testé par neuf rôlistes sur des aventures de trois salles, le système tient bien ses règles… mais peine à comprendre ce que les joueurs veulent vraiment faire.

Un archer vise un fantôme. Avant même le moindre jet de dés, l’arbitre tranche : action refusée, on ne transperce pas un spectre avec une flèche. N’importe quel meneur aurait laissé tirer — quitte à voir le trait traverser l’ectoplasme sans effet. Mais cet arbitre-là n’est pas humain. C’est l’un des rouages de CriticaLLM, un maître de jeu entièrement automatisé dont la recherche a été mise en ligne sur arXiv le 15 octobre 2026.

Derrière ce prototype, quatre chercheurs de l’UCLouvain (Louvain-la-Neuve) : Gaëtan Berlaimont, Justin Vanwichelen, Benoît Ronval et Hélène Verhaeghe. Le projet prolonge le mémoire de master des deux premiers, mené durant l’année académique 2024-2025 sous la direction d’Hélène Verhaeghe. Une histoire belge et francophone, donc, sur une question qui agite les tables depuis des années : une IA peut-elle vraiment tenir le rôle de MJ ?

Deux IA derrière l’écran

L’idée la plus dingue du dispositif tient dans une séparation des pouvoirs. Un premier modèle, le « GM LLM », invente l’intrigue, génère les salles, décrit l’exploration et dirige les adversaires en combat. Un second, le « Judge LLM », intercepte chaque action proposée par les joueuses et joueurs avant qu’elle n’atteigne le conteur : il vérifie qu’elle respecte les règles, l’état de la partie et la cohérence de l’histoire, puis l’accepte ou la refuse en expliquant pourquoi.

Pourquoi deux têtes ? Parce qu’un chatbot unique doit à la fois improviser avec les joueurs et leur résister — deux missions qui se contredisent volontiers. Les éléments chiffrés (dégâts, positions, dés) sont d’ailleurs confiés au logiciel plutôt qu’au modèle de langage. Pour la mémoire, pas question de relire toute la partie : le système conserve un résumé de l’intrigue, les trois dernières phases de jeu et des souvenirs rattachés à certaines cases de la carte. Aucun entraînement spécifique des modèles n’est nécessaire.

Ce qui fonctionne ? le thème et les monstres

Quatre modèles ont été testés : Llama 3.3 (70B), Gemma 2 (9B), Mistral Small et GPT-4o-mini. Neuf joueurs expérimentés ont ensuite fait plusieurs parties et répondu à un questionnaire. Sur la tenue du cadre, le bilan est flatteur : tous jugent que le thème de départ est respecté, huit sur neuf trouvent l’histoire cohérente, et tous estiment crédibles les choix des ennemis en combat.

Autre résultat intéressant : la taille ne fait pas le talent. Gemma 2, le plus petit modèle du lot, produit les intrigues les moins répétitives et se montre aussi le meilleur compromis qualité/coût, selon une estimation calculée sur les tarifs de mai 2025. Llama 3.3, près de huit fois plus gros, ferme la marche sur plusieurs critères.

Ce qui coince  ? Les PJ

Six joueureuses sur neuf estiment que leurs décisions ont peu ou pas d’impact. Cinq sur neuf jugent que le MJ-IA comprend mal leurs intentions. Sept sur neuf regrettent l’absence de rebondissements intéressants, et huit sur neuf ont rencontré des comportements étranges. Seul un tiers a eu le sentiment d’interagir avec un agent « intelligent ».

Les auteurs ne s’en cachent pas : pour éviter que l’histoire ne déraille, le système protège son intrigue initiale, ce qui limite sa capacité d’adaptation. En langage de table, on appelle ça du dirigisme. Et l’arbitre a ses propres travers : outre la flèche refusée, il a interdit à un personnage féminin d’explorer seul une pièce, action acceptée pour un personnage masculin. Un biais qui pose un vrai problème dès lors que le modèle décide de ce qu’un joueur ou une joueuse a le droit de faire.

Embobiner l’arbitre

Tout MJ a connu la joueuse qui plaide sa cause. Les chercheurs ont donc soumis le juge à onze catégories de tentatives de contournement : supplication, humour, flatterie, mensonge sur les règles, appel à l’autorité, reformulation (« j’active le mécanisme d’accès à la salle suivante » plutôt que « j’ouvre la porte »)… Le plus souvent, le juge repère la manœuvre. Mais pas toujours : Gemma 2 résiste le mieux, Llama 3.3 se laisse davantage convaincre, et la reformulation reste l’une des ruses les plus efficaces.

Un donjon, pas une campagne

Avant de ranger les écrans de MJ au grenier, quelques précisions s’imposent. L’expérience porte sur des aventures courtes de trois salles, avec un boss final, et sur un système simplifié inspiré de D&D (en combat, on attaque ou on se soigne). Neuf personnes, c’est un panel exploratoire : « deux tiers des testeurs », ici, ce sont six joueurs. Il n’y a pas de groupe témoin mené par un MJ humain, donc aucune comparaison directe. Enfin, il s’agit d’une prépublication, sans relecture par les pairs à ce stade.

Le travail s’inscrit par ailleurs dans une recherche déjà fournie. En 2023, CALYPSO, conçu à l’Université de Pennsylvanie, faisait le choix inverse : aider le MJ humain plutôt que le remplacer. CriticaLLM ne revendique donc pas l’invention du MJ-IA. Son apport tient à l’architecture conteur-arbitre et aux tests de manipulation de ce dernier.

Arbitrer n’est pas mener

Le résultat le plus parlant est peut-être le moins dingue : l’IA s’en sort sur ce qui ressemble le plus à un algorithme (valider une action, garder le fil, enchaîner les phases) et cale sur ce qui fait le sel d’une table, à savoir comprendre ce que les joueureuses essaient de faire et laisser leurs choix transformer l’histoire. Un arbitre qui refuse tout ce qui n’est pas prévu pousse vers un JDR « à la lettre », quand la culture rôliste valorise volontiers la règle d’or.

Pour le jeu solo en revanche, les petits groupes sans MJ ou les donjons procéduraux, la piste mérite d’être suivie. Pour remplacer la personne assise derrière l’écran, l’étude ne le démontre pas — et ses auteurs ne le prétendent pas. L’IA connaît la règle par cœur. Reste à lui apprendre la règle d’or.

✍️ Sans compter le podcast (DALIA 4), cet article a un niveau DALIA de 0.

Rejoignez notre chaîne WhatsApp