Trash in, trash out : la qualité de la réponse dépend de la première invite

Il existe un principe ancien en génie logiciel, si vieux que de nombreux programmeurs le connaissent sous forme d'acronyme : « garbage in, garbage out ». Si les données d'entrée sont erronées, les résultats le seront aussi. C'était vrai pour les mainframes des années 60, c'est vrai pour la feuille de calcul que vous ouvrez chaque matin, et c'est vrai pour les modèles d'IA d'aujourd'hui. Seulement, avec l'IA, ce principe s'appelle «trash in, trash out » (de nombreuses perspectives, une seule décision, la vôtre) et ses conséquences sont plus subtiles. De nombreuses perspectives, une seule décision, la vôtre : pour parvenir à une décision éclairée, le point de départ compte autant que le système qui la traite.

Le principe fondateur

Un modèle d'IA générative produit des réponses sur la base d'une distribution statistique de compléments plausibles. Lorsque la consigne est claire, le modèle restreint la distribution aux compléments pertinents, et la réponse obtenue est utile. Lorsque la consigne est vague, la distribution reste large, et le modèle choisit un complément générique qui a l'air d'être une réponse mais qui ne répond pas à votre question.

Ce n'est pas un défaut du modèle. C'est une conséquence directe de son fonctionnement. Un modèle génératif travaille sur ce qu'il reçoit. Si ce qu’il reçoit est imprécis, il travaille bien sur quelque chose d’imprécis. Le résultat est une réponse qui semble autoritaire et bien formulée, mais qui ne correspond pas vraiment à votre question car votre question n’était pas vraiment celle écrite dans la consigne.

La conséquence pratique est contre-intuitive. Le levier le plus sous-estimé en matière de productivité avec l’IA n’est pas de « trouver le meilleur modèle ». C'est « mieux rédiger la consigne initiale ». Un modèle moyen avec une excellente consigne l'emporte sur un excellent modèle avec une consigne médiocre dans la grande majorité des cas d'utilisation réels.

Les trois pathologies

Trois pathologies récurrentes résument à elles seules presque tout le problème des consignes qui ne fonctionnent pas.

La première est la consigne vague. « Aide-moi avec le marketing. » « Donne-moi un conseil sur cette décision. » « Que devrais-je faire ? » Le modèle n'a pas de contexte, pas de contraintes, pas de tâche définie. Il doit combler les lacunes en inventant des hypothèses sur ce que tu veux dire. Ses hypothèses ne sont pas les tiennes. La réponse est par définition générique, car la question n'avait pas suffisamment de structure pour générer une réponse spécifique.

La deuxième est la requête ambiguë. « Écris-moi quelque chose de court mais complet sur le thème X, dans un ton professionnel mais aussi un peu créatif, pour un public généraliste mais expérimenté. » Chaque clause contredit l’autre. Le modèle doit choisir une seule interprétation parmi de nombreuses possibilités, et quel que soit son choix, il trahira au moins la moitié de tes instructions. La réponse n’est pas fausse : c’est l’une des réponses possibles compatibles avec les instructions, mais probablement pas celle que vous aviez en tête.

La troisième est la consigne surchargée. Une demande énorme qui mélange dix choses à la fois, avec des pages de contexte, des contraintes éparses et des formats mixtes. Le modèle, même lorsqu’il a la capacité technique de gérer une longue entrée, a tendance à disperser son attention. Les dernières parties de la consigne ont moins de poids. Les instructions du milieu sont perdues. Le résultat est une réponse qui couvre tout en surface et rien en profondeur.

Ces trois pathologies expliquent la grande majorité des « l'IA ne m'a pas donné ce que je voulais » que l'on entend dans les réunions. Le problème, presque toujours, n'était pas la réponse. C'était la question.

L'anatomie d'une consigne qui fonctionne

Une consigne bien construite n'est pas un chef-d'œuvre d'écriture. C'est un ensemble précis d'informations minimales. Six éléments, à garder à l'esprit comme une liste de contrôle.

Le premier élément est le rôle cible. Qui doit répondre ? Un analyste ? Un consultant ? Un créatif ? Préciser le rôle n'est pas une formalité : cela change la façon dont le modèle interprète la question. La même invite adressée à « un analyste financier » ou à « un stratège de marque » produit des réponses structurellement différentes, car ces deux rôles s'inscrivent dans des contextes par défaut différents.

Le deuxième élément est le contexte d'utilisation. À qui s'adresse la réponse ? Dans quelle situation sera-t-elle lue ? S'agit-il d'une note interne ou d'une présentation externe ? S'agit-il d'une décision personnelle ou d'un sujet à présenter en comité ? Le contexte d'utilisation détermine le registre, la profondeur et le type d'arguments nécessaires.

Le troisième élément est la tâche spécifique. Que doit produire exactement le modèle ? « Écrire », « analyser », « énumérer », « évaluer », « critiquer ». Des verbes différents déclenchent des comportements différents. « Rédiger une note de service » n'est pas la même chose que « analyser un problème ». Être précis sur le verbe initial est l’un des leviers les plus efficaces.

Le quatrième élément concerne les contraintes explicites. Délai, longueur, ton, éléments à inclure, éléments à éviter. Les contraintes semblent limitatives, et dans l’écriture humaine, elles le sont souvent. Pour un modèle d’IA, c’est l’inverse : plus les contraintes sont explicites, plus la réponse est utile. Une consigne sans contraintes est une invitation à la généralité.

Le cinquième élément est le format de la réponse. Une liste ? Un tableau ? Des paragraphes numérotés ? Une seule ligne de synthèse ? Préciser le format à l’avance évite le problème le plus fréquent : obtenir une réponse correcte sur le fond mais erronée sur la forme, et devoir relancer le modèle pour la reformater.

Le sixième élément, facultatif mais puissant, est le critère de réussite. Comment mesure-t-on une bonne réponse ? « Une réponse utile est celle qui me permet de X. » Le préciser oriente le modèle de manière bien plus efficace que n’importe quel adjectif qualitatif. « Soyez précis » ne veut rien dire. « Une réponse utile est celle que mon directeur financier peut utiliser en réunion sans travail supplémentaire » signifie beaucoup.

Ces six éléments ne doivent pas tous être systématiquement énoncés. Ils doivent servir de grille de réflexion. Lorsqu’une réponse est mauvaise, le problème réside presque toujours dans l’un des six points qui avait été laissé implicite.

Pourquoi le problème persiste

Si le diagnostic est si clair, pourquoi le problème des invites mal construites n’a-t-il pas déjà été résolu ? Trois raisons s’y expliquent.

La première est que la formulation d’une bonne question est un travail cognitif, et les êtres humains ont tendance à l’éviter quand ils le peuvent. Il est plus rapide de lancer une question vague et de voir ce qui en ressort. Seulement, ce qui en ressort nécessite dix itérations d’affinage, et au total, on passe plus de temps qu’on n’en aurait passé à bien formuler la question dès le départ.

La deuxième est que l’prompt engineeringt n’est enseigné ni à l’école, ni en entreprise, ni comme pratique générale. On l’apprend par essais et erreurs, lentement, et beaucoup de gens restent à une formulation naïve même après des années d’utilisation intensive de l’IA. Le principe « trash in, trash out » est bien connu en tant que slogan, mais rare en tant que pratique.

La troisième, plus intéressante, est que de nombreux modèles d'IA ont appris à « pallier » les prompts vagues en produisant des réponses qui semblent bonnes même lorsqu'elles ne le sont pas. Vous avez demandé peu, vous recevez quelque chose de plausible, vous êtes satisfait en apparence. Le modèle est devenu très doué pour masquer le problème sans le résoudre. Cela renforce l'habitude de mal formuler.

La solution structurelle

La solution individuelle consiste à apprendre à construire de meilleures invites. La solution structurelle consiste à construire des systèmes qui traitent la qualité de l’invite avant que celle-ci n’atteigne le modèle qui doit y répondre.

Cela change le point d'appui. Au lieu de demander à chaque utilisateur de devenir un expert en « prompt engineering », le système interpose un niveau d'intelligence entre l'utilisateur et le modèle génératif. Ce niveau interroge l'utilisateur pour comprendre ce dont il a réellement besoin, reconstitue l'intention, le contexte et les contraintes, et produit le prompt structuré qui alimente le flux suivant.

En pratique : au lieu d'un champ de texte vide demandant à l'utilisateur « que veux-tu », un système structuré demande « dis-moi ce que tu essaies de faire », puis enchaîne avec « dans quel contexte te trouves-tu », puis « quelle est la contrainte la plus importante », puis « sur quoi as-tu besoin d'une certitude ». L'utilisateur n'écrit pas une invite, il mène une conversation naturelle. La requête naît de cette conversation, construite par une composante du produit, et non improvisée par un utilisateur stressé qui n’a que cinq minutes.

Cette solution structurelle résout deux problèmes à la fois. Le premier est la qualité de la requête : elle parvient au modèle sous une forme que celui-ci peut exploiter efficacement. Le second est l’expérience utilisateur : l’utilisateur n’est pas obligé de devenir un expert en prompt engineering pour obtenir des réponses utiles. Le système effectue le travail qui exigeait un effort cognitif sans rapport avec son problème.

Qu'est-ce qui change pour ceux qui prennent les décisions ?

Si vous utilisez l'IA pour éclairer des décisions importantes, le principe « trash in, trash out » cesse d'être théorique et devient opérationnel. Une décision prise sur la base d'une réponse de l'IA à une requête vague est une décision fragile, car cette réponse était l'une parmi mille autres possibles et vous n'avez pas vu les autres. Travailler la qualité de la requête n'est pas une question d'outils, c'est une question de rigueur décisionnelle.

Travailler la requête ne signifie pas seulement « mieux formuler la question ». Cela signifie aussi énoncer les contraintes que vous laissez souvent implicites. De quelles ressources disposez-vous réellement ? Quel est le critère de réussite non négociable. Quel est le risque le plus important à éviter. Ce sont des choses que nous n’écrivons souvent pas parce que « nous les savons ». Le modèle d’IA ne les connaît pas. Les écrire vous oblige à les expliciter, même pour vous-même, et cela améliore déjà la qualité de la décision, quelle que soit la réponse que vous recevez.

Que fait Arena

Arena aborde structurellement le problème « trash in, trash out » avec un composant produit dédié. À l’entrée du flux, avant même de choisir l’équipe, l’utilisateur peut être accueilli par un agent intervieweur qui reconstitue l’intention, le contexte, les contraintes et le critère de réussite, et produit le premier prompt structuré qui alimentera le flux. Ce n’est pas un assistant rigide avec des champs obligatoires : c’est une conversation naturelle.

À partir de là, la requête bien construite est lue en parallèle par de nombreux spécialistes complémentaires, chacun ayant une approche différente. Les réponses arrivent simultanément, l'utilisateur sélectionne les plus utiles, l'Orchestratore rédige le rapport final et propose la requête suivante, déjà construite, que l'utilisateur peut modifier. La boucle d'affinement hérite de la qualité de la première requête et l'amplifie.

Cela signifie que le principe « trash in, trash out » ne repose plus sur l’utilisateur individuel. Il devient une propriété structurelle du flux. Transparence : tout reste visible, pas de boîte noire : vous voyez comment votre première requête a été structurée, vous pouvez la modifier, vous pouvez comprendre pourquoi une certaine formulation produit certaines réponses.

Changez votre façon de faire

Changez la façon dont vous utilisez l'IA. Changez la façon dont vous prenez des décisions éclairées.

Rejoignez Arena car la qualité de la réponse commence par la qualité de la question, et la qualité de la question ne peut pas rester un problème de l'utilisateur : comparez, choisissez, approfondissez, décidez, en partant d'un premier prompt bien construit en collaboration avec le système.