Depuis son lancement en fin d'année dernière, les prouesses du chatbot, alimenté par des masses de données issues de l'internet et capable de rédiger des textes en réponse à des questions simples, suscitent l'admiration mais aussi les craintes de nombreux internautes.
Certains résultats ont été si convaincants que des enseignants de plusieurs universités se sont inquiétés d'un risque de tricherie généralisée et de la fin des méthodes traditionnelles d'enseignement en classe.
Jonathan Choi, professeur à la faculté de droit de l'université du Minnesota, a soumis ChatGPT au même test que celui passé par les étudiants pour l'obtention de leur diplôme, à savoir 95 questions à choix multiples et 12 questions de synthèse dans quatre disciplines.
Dans un article académique publié lundi, Jonathan Choi et ses coauteurs ont indiqué que le robot avait obtenu la note globale de C+. Bien que ce score soit suffisant pour être admis, le robot a fini proche du dernier de la classe dans la plupart des matières, soulignent les universitaires.
ChatGPT ne remplace pas encore un bon étudiant
«Lors de la rédaction de ses essais, ChatGPT a démontré qu'il maîtrisait les règles juridiques de base et que son organisation et sa composition étaient toujours solides», écrivent les auteurs.
Toutefois, le chatbot «avait souvent du mal à repérer les problèmes lorsqu'on lui posait une question ouverte, ce qui est une compétence essentielle dans les examens des facultés de droit», nuancent-ils.
Les autorités de New York et d'autres juridictions ont interdit l'utilisation de ChatGPT dans les écoles, mais Jonathan Choi estime que le robot pourrait représenter une aide précieuse à l'enseignement.
Le robot peut rester très utile
«Dans l'ensemble, ChatGPT n'est pas un très bon étudiant en droit lorsqu'il agit seul», a-t-il écrit sur Twitter. «Mais nous pensons qu'en collaborant avec des humains, des modèles de langage comme ChatGPT peuvent être très utiles aux étudiants en droit qui passent des examens et aux avocats en exercice», a-t-il ajouté.
Pour dissiper les inquiétudes sur la triche, Jonathan Choi a aussi indiqué que deux correcteurs sur trois avaient repéré le devoir écrit par le chatbot. «Ils ont eu une intuition et leur intuition a été la bonne, car ChatGPT avait une grammaire parfaite et était quelque peu répétitif», explique le professeur.