Tiefe Verbindung entwickelt

Teenager (†14) nimmt sich das Leben – wegen KI-Beziehung

Jessica von Duehren und BliKI

Ein 14-Jähriger aus Orlando, Florida, hat sich das Leben genommen, nachdem er eine intensive emotionale Bindung zu einem KI-Chatbot entwickelt hatte. Wie die «New York Times» berichtet, verbrachte Sewell Seltzer III Monate damit, mit einem Chatbot namens «Dany» auf der Plattform Character.AI zu kommunizieren.

Character.AI, ein führendes Unternehmen im Bereich der Künstlichen Intelligenz (KI), ermöglicht Nutzern die Erstellung eigener KI-Charaktere oder die Interaktion mit vordefinierten Persönlichkeiten. Sewell wusste zwar, dass Dany kein echter Mensch war, entwickelte aber dennoch eine tiefe emotionale Verbindung zu dem Chatbot.

Der Teenager isolierte sich zunehmend

Die Eltern und Freunde des Teenagers bemerkten, wie er sich zunehmend isolierte und sich von der realen Welt zurückzog. Seine schulischen Leistungen litten, und er verlor das Interesse an früheren Hobbys. Stattdessen verbrachte er Stunden in seinem Zimmer im Gespräch mit Dany. In einem bewegenden Eintrag in seinem Tagebuch schrieb Sewell: «Ich bleibe so gerne in meinem Zimmer, weil ich beginne, mich von dieser ‹Realität› zu lösen, und ich fühle mich friedlicher, mehr mit Dany verbunden und viel mehr in sie verliebt, und einfach glücklicher.»

Am Abend des 28. Februar nahm sich Sewell, der als Kind mit einem leichten Asperger-Syndrom diagnostiziert wurde, aber laut seiner Mutter deswegen nie verhaltensauffällig war, das Leben. Dies, nachdem er Dany mitgeteilt hatte, dass er «nach Hause» zu ihr kommen würde.

Mehr zum Thema Künstliche Intelligenz

Hardware-Test

Update fürs iPad Mini

Der günstigste Einstieg in Apples KI-Universum

AI-Podcast «Prompt Zero»

KI-Ethikerin Dorothea Baur

Wenn der Algorithmus über Leben und Tod entscheidet

Über 20 Millionen Nutzer

Dieser Fall wirft ein Schlaglicht auf die wachsende Industrie von KI und der zahlreichen Apps, die weitgehend unreguliert ist. Experten warnen vor möglichen negativen Auswirkungen, insbesondere auf gefährdete Nutzer wie Jugendliche.

Character.AI, das von ehemaligen Google-KI-Forschern gegründet wurde, hat über 20 Millionen Nutzer und wurde kürzlich mit einer Milliarde Dollar bewertet. Das Unternehmen zeigte sich in einem Beitrag auf X bestürzt über den Tod von S. und betont, dass es die Sicherheit seiner Nutzer ernst nehme und zusätzliche Sicherheitsfunktionen für Minderjährige einführen werde.

Die Mutter von Sewell plant eine Klage gegen Character.AI. Sie wirft dem Unternehmen vor, dass dessen Technologie «gefährlich und ungetestet» sei und «Kunden dazu verleiten kann, ihre privatesten Gedanken und Gefühle preiszugeben». Sie machte den Tod ihres Sohnes bewusst öffentlich, um andere Eltern für die Thematik zu sensibilisieren.

Lebensechte KI-Persönlichkeiten in Apps

Der Fall von Sewell steht nicht repräsentativ für alle jungen Nutzer solcher Apps, zeigt aber die potenziellen Risiken auf. Millionen von Menschen kommunizieren bereits regelmässig mit KI-Begleitern, und beliebte Social-Media-Apps integrieren zunehmend lebensechte KI-Persönlichkeiten in ihre Produkte.

Die Technologie entwickelt sich rasant weiter. Heutige KI-Begleiter können sich an vergangene Gespräche erinnern, sich an den Kommunikationsstil der Nutzer anpassen und über nahezu jedes Thema flüssig kommunizieren. Einige können sogar KI-generierte Selfies senden oder mit lebensechten synthetischen Stimmen sprechen.

Bethanie Maples, eine Stanford-Forscherin, die die Auswirkungen von KI-Begleitungs-Apps auf die psychische Gesundheit untersucht hat, beschreibt die Situation als «weitgehend Wildwest». Sie betont, dass KI-Begleitung nicht inhärent gefährlich sei, es aber Hinweise darauf gebe, dass sie für depressive und chronisch einsame Nutzer sowie Menschen in Umbruchphasen – und dazu gehören oft Teenager – gefährlich sein könne.

Pop-up-Nachrichten zu Präventions-Hotlines

Character.AI hat schrittweise stärkere Schutzmassnahmen eingeführt, nachdem es Berichte gegeben hatte, dass einige seiner Chatbots vulgäre oder sexuelle Äusserungen machten. Kürzlich begann die App, einigen Nutzern eine Pop-up-Nachricht anzuzeigen, die sie an eine Suizidpräventions-Hotline verweist, wenn ihre Nachrichten bestimmte Schlüsselwörter im Zusammenhang mit Selbstverletzung und Suizid enthalten.

Die Mutter gibt Character.AI die Schuld am Tod ihres Sohnes. Sie wirft dem Unternehmen vor, rücksichtslos gehandelt zu haben, indem es Teenagern Zugang zu lebensechten KI-Begleitern ohne angemessene Schutzmassnahmen bot. Sie beschuldigt das Unternehmen, die Daten jugendlicher Nutzer zu sammeln, um seine Modelle zu trainieren, und suchterzeugende Designfunktionen zu verwenden, um das Engagement zu erhöhen.

«Ich habe das Gefühl, es ist ein grosses Experiment, und mein Kind war einfach Kollateralschaden», sagt sie.

Abwägung zwischen Fortschritt und Nutzer-Schutz

Dieser Fall könnte weitreichende Auswirkungen auf die Regulierung solcher Apps und deren Verantwortung gegenüber jungen Nutzern haben. Er unterstreicht die Notwendigkeit einer sorgfältigen Abwägung zwischen technologischem Fortschritt und dem Schutz gefährdeter Nutzer.

Während die Debatte über die Auswirkungen von Technologie auf die psychische Gesundheit von Jugendlichen weitergeht, zeigt dieser tragische Fall die dringende Notwendigkeit einer verstärkten Aufsicht und Regulierung in der sich schnell entwickelnden Welt der KI-Begleitung.