ChatGPT ist voll im Trend: Die KI-Software soll Texte verstehen, verfassen und zusammenfassen können. Doch sie kann noch mehr: ChatGPT hat eine Juraprüfung an der Universität von Minnesota bestanden.
In einem Forschungspapier des Juraprofessors Jonathan Choi vom Montag beschreiben Choi und Kollegen, dass das auf künstlicher Intelligenz (KI) basierende Software bei Aufgaben in den Bereichen Verfassungsrecht, Deliktsrecht und Steuerrecht insgesamt eine genügende Note erreicht habe.
ChatGPT bekam von Choi denselben Test wie die menschlichen Kommilitonen. Er bestand demnach aus 95 Multiple-Choice-Fragen sowie zwölf Aufsatzaufgaben.
Probleme bei offenen Fragestellungen
«Beim Schreiben von Aufsätzen zeigte ChatGPT ein gutes Verständnis grundlegender rechtlicher Regularien und wies eine durchweg solide Organisation und Komposition auf», schrieben die Autoren. Ausserdem habe die KI akkurat zitiert. Doch der Bot «hatte oft Schwierigkeiten, Probleme bei offenen Aufgabenstellungen zu erkennen, eine Kernkompetenz bei juristischen Prüfungen».
Obwohl der Test blind benotet wurde, hatten laut Choi zwei von drei Prüfern eine Ahnung, welche Prüfungsantworten von ChatGPT stammten. Die Grammatik sei perfekt gewesen, die Ausführungen dagegen «etwas repetitiv», schrieb Choi auf Twitter.
ChatGPT ist Niete in Mathe
Als selbstständig agierender Student sei ChatGPT «nicht grossartig» gewesen, erklärte Choi, in mathematischen Aufgaben habe er sogar «versagt». Allerdings gehe seine Forschungsgruppe davon aus, dass Sprachmodelle wie ChatGPT «in der Zusammenarbeit mit Menschen» für Jurastudenten, die Prüfungen ablegen und für praktizierende Anwälte sehr nützlich sein könnten.
ChatGPT der US-Firma OpenAI generiert Texte mit Hilfe von künstlicher Intelligenz. Nutzer können einzelne Befehle oder Sätze vorgeben, die das System dann auf der Grundlage von Unmengen von Daten aus dem Internet eigenständig ergänzt.
Das auf Machine Learning basierende System reagiert ähnlich wie ein Chatbot auf Rückmeldungen der Nutzer. Es schreibt unter anderem Computercodes, Gedichte oder Gebrauchsanleitungen. In einigen Schulen in den USA ist die Nutzung der Software bereits untersagt.