Dans un de nos précédents articles, nous avons exploré pourquoi les modèles de langage inventent des informations avec une assurance déconcertante. Les hallucinations, avons-nous démontré, ne sont pas des bugs à corriger mais des conséquences directes de leur mode d’apprentissage statistique. Face à ce constat, une question s’impose : si le problème est structurel, la solution ne devrait-elle pas l’être aussi ?

Plutôt que de bricoler des correctifs techniques, plusieurs équipes de recherche explorent une piste plus fondamentale visant à transformer les règles mêmes qui gouvernent l’entraînement de ces systèmes. Leur proposition va à rebours de toute la logique du secteur : au lieu de viser toujours plus de certitude, ils veulent enseigner le doute aux machines.

Le piège de la notation actuelle

Prenons un instant pour comprendre comment on évalue aujourd’hui un modèle de langage. Les benchmarks actuels fonctionnent sur une logique binaire : bonne réponse, un point ; mauvaise réponse ou absence de réponse, zéro. Cette simplicité cache un biais pervers. Face à la question « Quelle est la date de naissance du chercheur X ? », un modèle a deux options. S’abstenir lui garantit un zéro. Inventer une date plausible lui donne une chance, même infime, de tomber juste. Le calcul est vite fait : statistiquement, il vaut toujours mieux tenter. C’est ainsi que nous avons programmé nos IA pour toujours produire une réponse, même incertaine…

Les chercheurs d’OpenAI proposent une solution d’une simplicité déconcertante : introduire des « cibles de confiance explicites » dans les évaluations. Au lieu de mesurer seulement la justesse, on évaluerait aussi la capacité à reconnaître ses propres limites. L’incertitude cesserait d’être un défaut pour devenir une qualité mesurable.

Repenser l’examen : la méthode universitaire

Ce principe s’inspire directement de certaines facultés de médecine où les QCM appliquent une notation sophistiquée : réponse correcte (+1), abstention (0), erreur (-1). Cette notation négative change radicalement la stratégie : le pari aveugle devient risqué, la prudence devient rationnelle.

Transposé aux modèles de langage, ce système transformerait leur comportement. Un modèle qui affirme « Adam Kalai est né le 15 juin » alors que l’information est fausse se verrait pénalisé. Le même modèle répondant « Je n’ai pas d’information fiable sur cette date » conserverait ses points. Progressivement, le système apprendrait que l’honnêteté intellectuelle paie davantage que l’invention confiante.

L’élégance de cette approche tient à sa simplicité. Pas besoin de refondre l’architecture des modèles ou d’inventer de nouvelles techniques d’apprentissage. Il suffit de changer les incitations. De la théorie des jeux appliquée à l’intelligence artificielle, ni plus ni moins.

Les pionniers du changement

Anthropic, avec son approche Constitutional AI documentée en 2023, a déjà introduit ce principe. Les modèles Claude sont entraînés à formuler des réponses prudentes et transparentes. Les utilisateurs réguliers l’auront remarqué : le modèle multiplie les formulations comme « D’après mes connaissances jusqu’en janvier 2024… » , « Je n’ai pas d’information fiable sur… » , « Il me semble que, mais je recommande de vérifier… » . Ces nuances reflètent un changement profond dans la philosophie d’entraînement du système.

OpenAI explore une voie complémentaire documentée dans leurs travaux sur l’amélioration de la véracité des modèles (2022). L’objectif : apprendre aux systèmes non seulement à répondre, mais aussi à calibrer leur degré de certitude. Un modèle bien calibré saurait dire « J’ai 95% de confiance » pour un fait documenté, mais seulement « 30% » pour une information obscure.

La technique du Retrieval-Augmented Generation (RAG), développée initialement par Meta en 2020, est désormais utilisée par plusieurs laboratoires dont Google DeepMind. Le modèle consulte des bases de données externes pendant la génération de réponse. Quand l’information existe et est vérifiable, il la cite. Quand elle n’existe pas, il peut l’indiquer plutôt que d’improviser.

Meta explore différentes approches avec ses modèles LLaMA. Certains travaux suggèrent que des modèles entraînés sur des corpus spécialisés et vérifiés par domaine réduisent mécaniquement l’espace des inventions possibles. Un système formé exclusivement sur des publications médicales validées aura moins tendance à inventer sur les questions de santé qu’un modèle généraliste.

Les dilemmes de la prudence excessive

Le remède pourrait s’avérer pire que le mal. Un modèle qui multiplie les « je ne sais pas » risque de perdre toute utilité pratique. Imaginez un assistant qui, sur dix questions, avoue six fois son ignorance. L’utilisateur retournera vite à Google, défaisant tout l’intérêt de l’outil. Cette tension entre fiabilité et utilité définit la ligne de crête sur laquelle évoluent les chercheurs.

Le problème va plus loin qu’un simple réglage de curseur. Les mécanismes neuronaux qui produisent les hallucinations sont précisément ceux qui permettent aux modèles de créer, d’associer, de synthétiser. Cette capacité d’extrapolation statistique, source des inventions problématiques, est aussi ce qui permet à GPT-4 de proposer des métaphores pertinentes, à Claude de reformuler une idée complexe, à Gemini de générer des hypothèses créatives. Supprimer totalement cette capacité reviendrait à lobotomiser l’intelligence même de ces systèmes.

Prenons un exemple concret. Quand vous demandez à un modèle de rédiger une histoire de science-fiction, vous voulez qu’il invente, qu’il extrapole, qu’il imagine des mondes qui n’existent pas. Mais quand vous lui demandez les effets secondaires d’un médicament, vous exigez une précision absolue. Le même mécanisme cognitif doit produire deux comportements opposés selon le contexte.

Certaines équipes travaillent sur des architectures adaptatives. L’idée : un modèle qui modulerait automatiquement son seuil de certitude selon le domaine. Microsoft Research teste des systèmes qui détectent les marqueurs de contexte (vocabulaire médical, termes juridiques, langage créatif) pour ajuster leur niveau de prudence. Mais la frontière reste floue. Une discussion sur l’éthique médicale nécessite-t-elle la rigueur du médical ou la liberté du philosophique ?

La question de la standardisation divise profondément le secteur. Sans normes communes, la tentation restera forte pour certains acteurs de produire des modèles « impressionnants » plutôt que fiables. Un modèle qui répond toujours avec assurance, même quand il invente, paraîtra plus compétent qu’un modèle prudent aux yeux d’un utilisateur non averti. Cette course au paraître pourrait annuler tous les efforts vers plus de transparence. Mais qui fixerait ces normes ? Selon quels critères ? Le débat reste ouvert et les intérêts commerciaux compliquent toute tentative de consensus.

L’éthique de l’incertitude assumée

Au-delà des aspects techniques, cette refonte touche à quelque chose de plus fondamental. En changeant les règles d’évaluation, nous ne modifions pas seulement le comportement des modèles. Nous redéfinissons leur nature. Un modèle entraîné à valoriser l’incertitude développe ce qu’on pourrait appeler une éthique de la prudence épistémique. Il apprend non seulement à traiter l’information, mais aussi à respecter les limites de sa connaissance. C’est un changement philosophique autant que technique.

Cette évolution nous renvoie une question : Sommes-nous prêts à interagir avec des machines qui avouent leur ignorance aussi souvent qu’un expert humain honnête ? Préférons-nous l’illusion de l’omniscience ou la transparence parfois frustrante de la limitation assumée ?

Les prochaines générations de modèles nous forceront à choisir. Entre l’oracle qui invente avec assurance et l’assistant qui doute avec intelligence, lequel accepterons-nous dans notre quotidien ? La réponse déterminera peut-être la nature de notre cohabitation future avec ces systèmes statistiques qui, pour la première fois, pourraient apprendre la valeur du doute.

Référence

Lewis, P., Perez, E., Piktus, A., et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP. Meta AI, 2020. https://arxiv.org/abs/2005.11401