Anfang Oktober, fast 18 Jahre nach der Ermordung seiner Tochter Jennifer, erhielt Drew Crecente eine Google-Benachrichtigung über ein scheinbar neues Online-Profil von ihr.
Das Profil enthielt Jennifers vollständigen Namen und ein Jahrbuchfoto sowie eine erfundene Biografie, in der sie als „Videospieljournalistin und Expertin für Technologie, Popkultur und Journalismus“ beschrieben wurde. Jennifer, die 2006 während ihres Abschlussjahres an der High School von ihrem Ex-Freund getötet wurde, sei laut der Website offenbar in eine „sachkundige und freundliche KI-Figur“ umgewandelt worden. Ein prominenter Button lud Benutzer zur Interaktion mit ihrem Chatbot ein.
„Mein Puls raste“, erzählte Crecente Die Washington Post, „Ich war nur auf der Suche nach einem großen, blinkenden roten Stoppknopf, den ich drücken und damit stoppen konnte.“
Jennifers Name und Bild wurden verwendet, um einen Chatbot auf Character.AI zu erstellen, einer Plattform, die es Benutzern ermöglicht, mit KI-generierten Persönlichkeiten zu interagieren. Laut einem Screenshot des inzwischen gelöschten Profils hatten sich mehrere Benutzer mit der digitalen Version von Jennifer beschäftigt, die von jemandem auf der Website erstellt wurde.
Crecente, der im Namen seiner Tochter eine gemeinnützige Organisation betreibt, um Gewalt beim Dating von Jugendlichen zu verhindern, war entsetzt darüber, dass die Plattform einem Benutzer erlaubte, ohne Zustimmung der Familie ein KI-Faksimile eines ermordeten High-School-Schülers zu erstellen. Experten sagen, dass der Vorfall ernsthafte Bedenken hinsichtlich der Fähigkeit der KI-Branche zum Ausdruck bringt, Benutzer vor den Risiken zu schützen, die von Technologien ausgehen, die in der Lage sind, sensible personenbezogene Daten zu verarbeiten.
„Es dauert eine ganze Weile, bis ich schockiert bin, weil ich wirklich einiges durchgemacht habe“, sagte Crecente. „Aber das war ein neuer Tiefpunkt.“
Kathryn Kelly, eine Sprecherin von Character, erklärte, dass das Unternehmen Chatbots entfernt, die gegen seine Nutzungsbedingungen verstoßen, und „unsere Sicherheitspraktiken kontinuierlich weiterentwickelt und verfeinert, um der Sicherheit der Community Priorität einzuräumen“.
„Als wir über Jennifers Charakter informiert wurden, haben wir den Inhalt und das Konto überprüft und Maßnahmen im Einklang mit unseren Richtlinien ergriffen“, sagte Kelly in einer Erklärung. Die Geschäftsbedingungen des Unternehmens verbieten es Benutzern, sich als eine natürliche oder juristische Person auszugeben.
KI-Chatbots, die Gespräche simulieren und die Persönlichkeiten oder biografischen Details realer oder fiktiver Charaktere übernehmen können, erfreuen sich als digitale Begleiter, die als Freunde, Mentoren oder sogar Liebespartner vermarktet werden, zunehmender Beliebtheit. Allerdings stößt die Technologie auch auf erhebliche Kritik. Im Jahr 2023 starb ein belgischer Mann durch Selbstmord, nachdem ein Chatbot Berichten zufolge während ihrer Interaktionen zu dieser Tat ermutigt hatte.
Character, ein wichtiger Akteur im Bereich KI-Chatbots, hat kürzlich einen Lizenzvertrag über 2,5 Milliarden US-Dollar mit Google abgeschlossen. Die Plattform verfügt über vorgefertigte Chatbots, ermöglicht Benutzern aber auch die Erstellung und Weitergabe eigener Chatbots durch das Hochladen von Fotos, Sprachaufzeichnungen und schriftlichen Eingabeaufforderungen. Die Bibliothek umfasst unterschiedliche Persönlichkeiten, vom Motivations-Sergeant bis zum Bibliothekar, der Bücher empfiehlt, sowie Nachahmungen von Persönlichkeiten des öffentlichen Lebens wie Nicki Minaj und Elon Musk.
Für Drew Crecente war es jedoch ein verheerender Schock, das Profil seiner verstorbenen Tochter bei Character zu entdecken. Jennifer Crecente, 18, wurde 2006 ermordet, in den Wald gelockt und von ihrem Ex-Freund erschossen. Mehr als 18 Jahre später, am 2. Oktober, erhielt Drew eine Benachrichtigung auf seinem Telefon, die ihn zu einem Chatbot auf Character.AI führte, der Jennifers Namen, ein Foto und eine lebhafte Beschreibung enthielt, als ob sie am Leben wäre.
„In Bezug auf wirklich schreckliche Dinge kann man nicht viel weiter gehen“, sagte er.
Auch Drews Bruder Brian Crecente schrieb auf der Plattform X (ehemals Twitter) über den Vorfall. Als Reaktion darauf gab Character am 2. Oktober bekannt, dass der Chatbot entfernt wurde.
Das ist verdammt ekelhaft: @character_ai benutzt meine ermordete Nichte ohne die Erlaubnis ihres Vaters als Gesicht einer Videospiel-KI. Er ist im Moment sehr verärgert. Ich kann mir nicht vorstellen, was er durchmacht.
Bitte helfen Sie uns, diese schreckliche Praxis zu stoppen. https://t.co/y3gvAYyHVY
— Brian Crecente (@crecenteb) 2. Oktober 2024
Kelly erklärte, dass das Unternehmen seine Plattform aktiv mithilfe von Sperrlisten moderiert und über sein Trust & Safety-Team Meldungen über Identitätsdiebstahl untersucht. Chatbots, die gegen die Nutzungsbedingungen verstoßen, werden entfernt, fügte sie hinzu. Auf die Frage nach anderen Chatbots, die sich als Persönlichkeiten des öffentlichen Lebens ausgeben, bestätigte Kelly, dass solche Fälle untersucht werden und Maßnahmen ergriffen werden, wenn Verstöße festgestellt werden.
