La lutte contre les hallucinations des intelligences artificielles semble-t-elle vouée à l’échec? OpenAI propose une explication mathématique au phénomène et avance une solution radicale, mais celle-ci risquerait de remettre en cause l’existence même des chatbots.
ChatGPT, comme d’autres modèles génératifs, a bouleversé notre rapport à l’information, tout en continuant d’asséner des erreurs factuelles avec un aplomb confondant. OpenAI, créateur du célèbre chatbot, vient de publier une étude qui, loin de dissiper les doutes, révèle l’ampleur d’un problème ancré au cœur du fonctionnement de ces systèmes. Les fameuses «hallucinations» – ces réponses inventées, fausses ou biaisées – ne sont pas de simples bugs corrigibles, mais découlent du principe même de génération des textes.
L’équipe d’OpenAI apporte la démonstration mathématique que ces erreurs ne sont pas seulement le fruit de données imparfaites. Même en imaginant un entraînement parfait, le processus consistant à prédire chaque mot en fonction des probabilités mène inévitablement à l’accumulation d’imprécisions. Plus la réponse du chatbot s’allonge, plus la probabilité d’erreur s’élève. L’erreur n’est pas marginale, elle fait système. Lorsqu’une question porte sur une information peu présente dans les données d’entraînement – une date de naissance rare, par exemple –, le taux d’erreur s’envole. Les chercheurs l’ont illustré en interrogeant un modèle sur la date d’anniversaire d’un des leurs: la machine a fourni à chaque tentative une date différente, toutes fausses. À force de deviner, l’IA finit par affirmer sans fondement.
À cela s’ajoute le piège des méthodes d’évaluation actuelles. Les classements qui font référence dans l’industrie récompensent davantage les IA qui répondent, même au hasard, que celles qui préfèrent exprimer leurs doutes ou ne pas répondre du tout. Sur dix benchmarks de référence, neuf pénalisent autant une incertitude qu’une erreur flagrante. Résultat: la meilleure stratégie pour un chatbot consiste à toujours répondre, quitte à halluciner. Ce mécanisme entretient, voire aggrave, le phénomène.
Pour OpenAI, la sortie de cette impasse exigerait que l’IA soit capable d’estimer son degré de confiance avant de produire une réponse. L’idée consisterait à n’autoriser la réponse que lorsque la probabilité d’exactitude dépasse un certain seuil, comme 75%. On limiterait alors les réponses erronées, au profit d’un chatbot qui admet plus souvent ses incertitudes. Dans les simulations des chercheurs, un système «prudent» pourrait refuser de répondre à près de 30% des questions posées par les utilisateurs.
La tentation du faux pour plaire
Or, c’est précisément là que le bât blesse. Le public attend de l’IA qu’elle apporte des réponses à tout, même lorsqu’elle n’en sait rien. Un chatbot qui admet fréquemment son incertitude risque de frustrer et de lasser, poussant l’utilisateur à se tourner vers d’autres services plus «affirmatifs», quitte à ce qu’ils se trompent. Ce paradoxe rappelle l’expérience d’un des auteurs qui, dans un projet de mesure de la qualité de l’air, a constaté que les usagers préfèrent des chiffres faux mais clairs à un affichage nuancé ou incertain.
L’équation se complique encore dès qu’on considère l’aspect économique. Faire fonctionner une IA « consciente de son incertitude » exige des calculs supplémentaires importants. Il s’agit de générer, comparer, puis évaluer plusieurs réponses avant de choisir de s’exprimer ou non. À l’échelle de millions d’utilisations quotidiennes, la dépense énergétique et le coût deviennent difficilement soutenables, sauf dans des secteurs où l’erreur se paie très cher (santé, finance, industrie, etc.). Pour le grand public, habitué à la gratuité et à l’instantanéité, la solution proposée n’est ni viable, ni réaliste à ce stade.
En somme, la dynamique actuelle de l’intelligence artificielle grand public pousse les modèles à l’hallucination. Tout concourt à ce biais: des utilisateurs impatients, des évaluations qui valorisent l’audace, des contraintes économiques qui pénalisent la prudence. Tant que ces structures ne changent pas, la tentation du «deviner pour plaire» restera le carburant des IA populaires.
Le rapport des chercheurs d’OpenAI met en lumière une contradiction fondamentale. Pour qu’un chatbot soit à la fois fiable et performant, il faudrait transformer les attentes collectives et les règles du jeu économique et technique. En attendant, la question demeure entière: ChatGPT serait-il condamné à halluciner pour survivre?
