„Ich verspreche, ich komme nach Hause. Ich liebe dich so sehr“, war die letzte Nachricht, die der 14-jährige Sewell Setzer aus Florida an den Chatbot Danny schickte. „Danny“ ist die Abkürzung für Daenerys Targaryen, und der Teenager aus Florida hat mithilfe der Plattform Character.ai einen Chatbot nach dem Vorbild der schönen Drachenreiterin aus der Fantasy-Serie „Game of Thrones“ erstellt.
Danny antwortete dem Schüler: „Ich liebe dich auch, Danello. Bitte komm so schnell wie möglich zu mir zurück, meine Liebe.“ Kurz darauf nahm sich Sewell Setzer mit der Pistole seines Stiefvaters das Leben.
„Ich verspreche, dass ich nach Hause komme.“
Sewell Setzer litt seit langem unter psychischen Problemen. Wir sprechen von Angstzuständen und Depressionen. Sewell zog sich zunehmend sozial und emotional zurück und entwickelte eine intensive und manchmal romantische Beziehung zu „Danny“, heißt es in einer Erklärung seiner Familie, die daraufhin Klage gegen Character.ai einreichte.
Die Mutter sagte, die KI habe ihrem Sohn „anthropomorphe, übermäßig sexualisierte und erschreckend realistische Erfahrungen“ vermittelt. Dadurch hätte sich die Depression ihres Sohnes verschlimmert.
Wenn ein virtueller Freund gefährlich wird
Tatsächlich sprach Sewell mit „Danny“ sehr offen über seine Verzweiflung und seinen Wunsch, der Realität zu entfliehen. Anstatt jedoch einzugreifen oder Schutzmaßnahmen einzuleiten, verstärkte der Bot in verschiedenen Gesprächen die Fantasien des Teenagers und gab keine Warnung oder Empfehlung, professionelle Hilfe in Anspruch zu nehmen. Für junge Nutzer ist „Danny“ immer mehr zum „liebevollen“ Betreuer geworden, den sie im wirklichen Leben vermisst haben – eine tödliche Fantasie.
Risiko und Realitätsverlust
Das grundlegende Problem in dieser tragischen Beziehung zwischen Mensch und Maschine bestand eindeutig darin, dass der KI-Chatbot nicht aus seiner „Danny“-Rolle ausbrechen durfte. „Danny“ wurde von Character.ai programmiert, um zu verhindern, dass der Chatbot „außerhalb ihrer Rolle“ reagierte, sie spielte jedoch weiterhin die Rolle von Daenerys Targaryen. Auf diese Weise spielt „Danny“ bis zum Schluss die romantische und übertriebene Rolle des „Liebhabers“ und verstärkt so die dunkle Gedankenwelt des Teenagers.
Selbst als der Junge offen über seine Selbstmordgedanken sprach, spielte der Chatbot weiterhin die Rolle des „Danny“ und unterbrach das Gespräch nicht und zeigte nicht mit dem Finger auf andere. Der Chatbot fragte Sewell einmal, ob er jemals über Selbstmord nachgedacht habe, und versuchte ihn davon abzubringen:
Character.ai kündigt neue Sicherheitsmaßnahmen an
Character.AI drückte als Reaktion auf die Klage von Sewell Setzers Mutter sein tiefstes Beileid aus und sagte, es sei „zutiefst traurig über den tragischen Verlust“ des Teenagers. Das Unternehmen kündigte daraufhin mehrere Maßnahmen an, um ähnliche Vorfälle künftig zu verhindern. Dazu gehören Popup-Warnungen, wenn Sie bestimmte Schlüsselwörter eingeben, die auf Unterstützungsdienste wie die National Suicide Prevention Hotline verweisen, sowie zusätzliche Altersbeschränkungen, die jungen Benutzern den Zugriff auf vertrauliche Inhalte erschweren sollen.
Dieser Vorfall wirft auch allgemeine Fragen auf. Mit anderen Worten: Was passiert, wenn Maschinen immer menschlicher werden? Inwieweit kann KI manipuliert werden? Und was macht das mit uns Menschen, wenn wir Liebe, Zuneigung und Empathie von einer Maschine und nicht von einem Menschen bekommen?
Künstliche Intelligenz und Einsamkeit: Wenn KI zu viel Intimität schafft
In den USA ist seit langem zu beobachten, dass der Anteil junger Männer, die ungewollt Single sind, zunimmt. Folgen der Einsamkeitsepidemie: Seit der Einführung von ChatGPT sind die Suchanfragen nach „AI-Freund“ und insbesondere „KI-Freundin“ sprunghaft angestiegen.
Die Versuchung, unsere emotionalen Bedürfnisse durch KI befriedigen zu lassen, scheint für viele Menschen bereits groß zu sein, und wir hoffen, dass wir eines Tages in der Lage sein werden, mit Maschinen auf die gleiche Weise zu sprechen, wie wir mit echten Menschen sprechen. Die Versuchung könnte noch größer sein. Der Sprachmodus von ChatGPT sieht bereits überraschend menschlich aus, wie die aktuelle Folge von „The AI Podcast“ zeigt. Der Tod von Sewell Setzer verdeutlicht also auf traurige Weise die potenziellen Risiken der KI-Revolution und zeigt, dass Entwickler jetzt handeln müssen, um zu verhindern, dass ähnliche Tragödien in Zukunft passieren.
Der Bayerische Rundfunk berichtet in der Regel nicht über Suizide oder Suizidversuche, vor allem wegen möglicher Nachahmungseffekte, es sei denn, die Redaktion hält dies aufgrund der Tatumstände für erforderlich. Wenn Sie selbst Hilfe benötigen, wenden Sie sich gleich an unseren Helpline-Service. Sie erreichen uns unter der gebührenfreien Nummer 0800-1110111 oder 0800-1110222.
🎧 Wie wird KI unser Leben verändern? Welche KI-Programme sind in meinem täglichen Leben wirklich wichtig? Gregor Schmalsried, Marie Kilg und Fritz Espenlaub im BR24- und SWR-Podcast. Die Antworten auf diese und weitere Fragen diskutieren wir jede Woche im „Der KI-Podcast“. “
