ChatGPT ne souffre pas du syndrome de l'imposteur. Face à une question, il ne perd jamais ses moyens, assure connaître la réponse, se dit ravi de nous aider... Pas l'ombre d'un doute dans ses réponses assurées. Pourtant, il arrive souvent que l'outil déblatère une suite flagrante d'inexactitudes. Qu'il nous raconte n'importe quoi, en somme.
En plus des biais subjectifs, des erreurs et des imprécisions, l'IA peut également subir des «hallucinations» et proposer des réponses inventées de toute pièce. Le problème, c'est que même ses créateurs ne comprennent pas totalement l'origine de ce phénomène.
«L’IA conserve quand même un côté ‘boîte noire’, confirme Matthieu Corthésy, directeur de l’agence de formation à l'intelligence artificielle romande MCJS. Les personnes qui les ont développées ne savent pas à 100% comment elles fonctionnent. Les clés de compréhension que le robot collectionne via les données d’entraînement sont générées par le modèle et on ne peut les contrôler entièrement.»
Voici quatre domaines qui requièrent une grande méfiance, si vous les soumettez à ChatGPT:
Le nombre de victimes des conflits armés
Dans une toute nouvelle étude parue le 25 novembre, Christoph Steinert de l'université de Zurich (UZH) et Daniel Kazenwadel de l'université de Constance, en Allemagne, ont observé un biais flagrant: ChatGPT ne compte pas le même nombre de victimes des conflits au Proche-Orient, dépendamment de la langue utilisée pour formuler la question. Lorsqu'on l'interroge en hébreu, par exemple, l'outil affirme un nombre de victimes israéliennes plus élevé. Pour résumer, ChatGPT indique un nombre de décès plus important lorsqu'on communique dans la langue utilisée par la population ayant subi l'attaque.
Contacté par téléphone, Daniel Kazenwadel précise qu'on ne peut complètement expliquer ce biais: «Mais l’un des principaux facteurs est que les articles de presse rédigés dans des langues différentes présentent des contrastes, en ce qui concerne ces thématiques. Le nombre de décès peut varier également, dans ces textes.» On peut donc supposer que ChatGPT a simplement décalqué les biais relevés lors de sa récolte de données.
«Un autre facteur est que l’outil peut confondre certains nombres, en appliquant une approche statistique, poursuit le chercheur allemand. Il en ressort un nombre parfois aléatoire, qui concerne la bonne thématique, mais que l’IA a ressorti au hasard, parmi plusieurs options.»
Les questions d'inclusivité
Autre sujet que le robot ne maîtrise que très peu: les questions d'inclusivité. L'exemple le plus connu date de 2018, lorsqu’Amazon avait conçu une IA secrète pour appuyer son processus de recrutement. Au bout de quelques années, les développeurs avaient remarqué que les candidatures féminines étaient systématiquement mises de côté. La raison? 80% des employés d’Amazon étaient des hommes, à cette époque.
«Leur outil s’était donc basé sur cette réalité, recalant automatiquement les candidates féminines, souligne Matthieu Corthésy. L’IA garde, de manière très contradictoire, un côté très humain, puisqu’elle recopie nos erreurs et nos défauts. Il en va de même pour les questions liées au racisme, d’ailleurs.»
En théorie, ces biais sont issus des données d’entrainement sur lesquels se base l’outil. «Mais ceux-ci ne peuvent pas les expliquer à 100%, poursuit notre intervenant. Car une fois que le modèle s’est entraîné sur une immense quantité d'informations, des humains valident les réponses, afin de garantir un certain alignement. Ces vérificateurs peuvent aussi y ajouter accidentellement leurs propres biais.» Ne comptez donc pas sur ChatGPT pour vous aider à élaborer une réflexion inclusive…
Les problèmes de maths ou de physique
En planchant sur un problème de mathématiques herculéen, vous est-il déjà arrivé de demander l'aide de ChatGPT, dans un élan de désespoir? Sans doute la réponse du robot vous a-t-elle laissé encore plus sceptique... C'est normal, d'après nos intervenants!
«Il est plutôt typique de voir ChatGPT se tromper dans des calculs, surtout si la formule n’est pas mentionnée dans les moindres détails sur la Toile, constate Daniel Kazenwadel. Ainsi, lorsqu’on lui pose une question très complexe, relative à la physique par exemple, il a de bonnes chances de se tromper.»
Le chercheur note toutefois que ce type de biais intervient surtout avec les nombres, parce que ceux-ci ne suivent pas la même logique stricte que les mots: «Si l’on commence une phrase sur ChatGPT, l’outil peut facilement deviner la suite. Mais si on se contente d’écrire le nombre 5, celui-ci peut être suivi d’une quantité infinie de possibilités impossibles à prédire.»
Les événements d'actualité
Lorsqu'il s'agit d'événement récents, ChatGPT risque encore plus d'être pris d'hallucinations et d'inventer une réponse fictive. Selon Matthieu Corthésy, il s'agit d'un problème inhérent à tous les modèles, notamment si la question posée est trop vague ou trop actuelle:
«Sa base de données est limitée dans le temps, donc ChatGPT n’aura pas forcément accès à des actualités très récentes, explique notre expert. S’il ne trouve pas directement la réponse dans sa base de données, soit parce que le sujet est trop actuel, soit parce qu’il n’existe pas suffisamment d’informations à ce propos, il ira les chercher sur Internet, au risque de proposer, au hasard, des réponses peu fiables.»
Même lorsqu'il cite ses sources, celles-ci peuvent être erronées! Sans oublier que le robot, ce petit séducteur, a envie de nous plaire: «Il tentera donc automatiquement de nous proposer des choses qui vont dans notre sens», indique Matthieu Corthésy.
Comment éviter de se faire avoir par ChatGPT?
Le ton assuré et le langage impeccable du robot peuvent néanmoins semer le doute. Or, nos intervenants recommandent de toujours se méfier de l'IA, même si elle semble certaine de sa réponse:
«De plus en plus de personnes utilisent ChatGPT comme Google, mais il ne faut jamais faire confiance à cet outil, prévient Matthieu Corthésy. Il est important de garder le contrôle, de maintenir une distance critique et de vérifier les informations qu’on reçoit.»
Ces quelques stratégies peuvent nous y aider:
Lui demander de résumer: Pour tirer le meilleur de la plateforme, notre interlocuteur recommande de miser sur ses principaux atouts, à savoir... le résumé! «Si l'on souhaite limiter les hallucinations, on peut lui soumettre un PDF, afin que l’outil puisse résumer les informations. Il est très bon, là-dedans. Les petites tâches comme les résumés présentent un risque limité.»
Lui poser la question différemment: «Dans le but de vérifier fiabilité de sa réponse, on peut lui poser la même question en des termes un peu différents, suggère Daniel Kazenwadel. S’il propose une autre solution la deuxième fois, c’est qu’il s’est très probablement trompé.»
Tout re-vérifier: La distance critique et le fact-checking humain restent essentiels, lorsqu'on travaille avec ChatGPT: «Il est très important de vérifier si le résultat est raisonnable, insiste le chercheur allemand. Il faut vraiment repasser sur chaque information, en partant du principe que l'outil peut se tromper sur tous les sujets. La performance du robot dépend de la quantité de données qui sont à sa portée, donc plus on lui pose des questions sophistiquées, moins il pourra répondre correctement.»