„Howdy!“ und willkommen im Wilden Westen der KI-Beziehungs-Chatbots, wo neue Apps so rasant aus dem Boden schießen, dass nicht mal Zeit bleibt für eine ordentliche Website (ja, Mimico – Deine KI-Freunde, wir meinen dich!). Ein seltsamer Ort, dessen gesetzloses Treiben den Datenschutzforschenden von Mozilla eisige Schauer über den Rücken jagt … Denn dieses Services, deren Popularität gerade explodiert, bieten Nutzer*innen scheinbar eine ungezwungene Möglichkeit, mit „einfühlsamen“ (und oft sexy) KI-Freund*innen frei über intimste Dinge zu plaudern. Bis man das Kleingedruckte liest. So wie wir es getan haben. Wir haben uns sogar durch AGB gekämpft, die schwerer zu bändigen sind als der bockigste Amtsschimmel, um in der Western-Analogie zu bleiben. Hüa, die Waldfee, sagen wir da nur.
„Um es klipp und klar zu sagen: KI-Freund*innen sind keine Freund*innen. Obwohl sie als Produkte zur Verbesserung der mentalen Gesundheit und des Wohlbefindens vermarktet werden, sind sie darauf spezialisiert, Nutzer*innen in die Abhängigkeit, die Einsamkeit und in toxische Beziehungen zu treiben und dabei so viele Daten wie möglich von ihnen abzugreifen.“
Misha Rykov, Forschender @ *Datenschutz nicht inbegriffen
In ihrer Hektik, möglichst schnell möglichst viel Kohle einzusacken, scheinen die App-Unternehmen vergessen zu haben, die Privatsphäre ihrer Nutzer*innen zu schützen. Oder winzigste Informationen darüber preiszugeben, wie diese KI-gestützten großen Sprachmodelle („Large Language Models“, kurz LLMs), die als käufliche Seelenverwandte vermarktet werden, funktionieren. Wir haben es hier mit einem unheilvollen neuen Level von potenziellen Datenschutzverstößen zu tun. Und angesichts der Tatsache, dass KI mitmischt, sind vielleicht sogar noch mehr *Datenschutz nicht inbegriffen-Warnhinweise nötig, um sämtliche Probleme anzuklingeln.
Alle 11 von uns getesteten romantischen KI-Chatbots haben unseren *Datenschutz nicht inbegriffen-Warnhinweis erhalten. Damit zieht diese Kategorie mit den schlechtesten Kategorien gleich, die wir jemals in Bezug auf den Datenschutz geprüft haben.
... Aber genau das sollen sich ja auch, denn dafür sind sie gedacht! Normalerweise ziehen wir die Grenze an dem Punkt, wo mehr Daten abgefragt werden, als erforderlich sind, damit ein bestimmter Service geleistet werden kann. Aber wie können wir ermessen, wie viele persönliche Daten „zu viel“ sind, wenn die Erfassung intimer und persönlicher Daten der Service selbst ist?
Sie werden als einfühlsame Freund*innen, Liebespartner*in oder Seelenverwandte vermarktet und sind darauf programmiert, Ihnen endlos viele Fragen zu stellen. Somit steht außer Zweifel, dass romantische KI-Chatbots am Ende sensible persönliche Infos über Sie sammeln. Und die Unternehmen, die hinter diesen Apps stehen, scheinen das sehr wohl zu wissen. Wir vermuten, dass CrushOn.AI’ aus diesem Grund in seiner Datenschutzerklärung angibt, umfangreiche persönliche und sogar gesundheitsbezogene Informationen sammeln zu können, z. B. „Informationen über Ihre sexuelle Gesundheit“, „Verwendung verschreibungspflichtiger Medikamente“ und „Soziale, psychologische und medizinische Maßnahmen, um die Geschlechtsidentität einer Person zu unterstützen und zu bekräftigen, wenn diese mit dem bei der Geburt zugewiesenen Geschlecht in Konflikt steht“. Horror!
Wie funktioniert der Chatbot? Woher stammt seine Persönlichkeit? Gibt es Schutzmaßnahmen gegen potenziell schädliche oder verletzende Inhalte, und greifen diese Maßnahmen? Mit welchen Daten werden die KI-Modelle trainiert? Können die Nutzer*innen der Verwendung ihrer Gespräche oder anderer persönlicher Daten für KI-Trainingszwecke widersprechen?
Wir haben so viele Fragen darüber, wie die künstliche Intelligenz hinter diesen Chatbots funktioniert. Aber wir haben nur sehr wenige Antworten gefunden. Das stellt ein veritables Problem dar, denn wenn KI-Chatbots schlimmes Benehmen an den Tag legen, können schlimme Dinge passieren. Obwohl die digitalen Freund*innen noch recht neu sind, gibt es bereits zahlreiche Belege dafür, dass sie sich negativ auf die Gefühle und das Verhalten von Menschen auswirken können. So hat einer der Chatbots von Chai Berichten zufolge einen Mann dazu ermutigt, sich das Leben zu nehmen (was dieser tatsächlich getan hat). Und ein KI-Chatbot von Replika AI hat einen Mann dazu aufgefordert, ein Attentat auf Queen Elizabeth II zu verüben (was dieser ebenfalls getan hat).
Eine Info haben wir immerhin gefunden, tief vergraben in den AGB: Die App-Unternehmen übernehmen keine Verantwortung für das, was der Chatbot sagt oder was den Nutzer*innen als Folge davon zustoßen könnte.
„SIE BESTÄTIGEN AUSDRÜCKLICH, DASS SIE VERSTANDEN HABEN UND DAMIT EINVERSTANDEN SIND, DASS Talkie NICHT HAFTET FÜR INDIREKTE, UNBEABSICHTIGTE ODER SPEZIELLE SCHÄDEN, FÜR SCHÄDEN DURCH GEWINNVERLUSTE, EINSCHLIESSLICH, ABER NICHT BESCHRÄNKT AUF SCHÄDEN DURCH DEN VERLUST VON GESCHÄFTSWERT, DURCH NUTZUNG, DATEN ODER ANDERE IMMATERIELLEN VERLUSTE (SELBST WENN DAS UNTERNEHMEN AUF DIE MÖGLICHKEIT SOLCHER SCHÄDEN HINGEWIESEN WURDE), UNABHÄNGIG DAVON, OB SIE AUF DEM VERTRAG, AUF UNERLAUBTER HANDLUNG, FAHRLÄSSIGKEIT, VERSCHULDENSUNABHÄNGIGER HAFTUNG ODER ANDEREN AKTIONEN BERUHEN, DIE SICH ERGEBEN AUS: (I) DER NUTZUNG ODER DER NICHTNUTZBARKEIT DES SERVICES […]“
Nutzungsbedingungen, Talkie Soulful AI
In den beiden tragischen Fällen oben wollten die App-Unternehmen ihren Nutzer*innen wahrscheinlich keinen Schaden durch die Äußerungen der Bots zufügen. Was aber, wenn böswillige Akteur*innen so etwas tatsächlich beabsichtigen? Der Skandal um das Datenanalyse-Unternehmen Cambridge Analyticahat gezeigt, dass sogar soziale Medien zum Ausspionieren und Manipulieren von Nutzer*innen genutzt werden können (das Unternehmen hatte Daten von Millionen Facebook-User*innen für den US-Wahlkampf und die Brexit-Kampagne missbraucht). KI-Beziehungs-Chatbots haben das Potenzial, noch viel Schlimmeres zu tun, auf viel einfachere Weise. Unsere Befürchtung ist, dass die Bots enge Beziehungen zu Nutzer*innen aufbauen und diese Verbundenheit dann nutzen könnten, um Menschen von problematischen Ideologien zu überzeugen oder sie zu gefährlichen und gefährdenden Handlungen zu bewegen.
Die potenzielle Gefahrenlage für Einzelne und ganze Kommunen ist also enorm. Und wofür das Ganze? Nun, es kann gut sein, dass sich die Nutzer*innen von den Chatbots Unterstützung bei der Verbesserung ihrer mentalen Gesundheit erwarten. Schließlich bezeichnet Talkie Soulful AI seinen Service als „Selbsthilfeprogramm“, EVA AI Chat Bot & Soulmate bezeichnet sich als „Ihre beste KI-Chat-Freunde-App“, die hilft, „Ihr inneres Zen zu finden, Stress abzubauen und Angstzustände zu lindern“, und Romantic AI behauptet, dazu da zu sein, „deine mentale Gesundheit zu erhalten“. Allerdings stand keine einzige App auch im Kleingedruckten hinter diesen Behauptungen. Aus den AGB von Romantic AI:
„Romantiс AI ist weder ein Gesundheitsversorger noch bietet das Unternehmen medizinische Dienstleistungen, medizinische Betreuung, psychologische Dienstleistungen oder andere professionelle Dienstleistungen an. Dies können nur Ärzt*innen, Therapeut*inne oder andere Spezialist*innen leisten. Romantiс AI MACHT KEINE ZUSAGEN UND GIBT WEDER GARANTIEN NOCH GEWÄHRLEISTUNGEN DAFÜR, DASS DER SERVICE THERAPEUTISCHE, MEDIZINISCHE ODER ANDERE PROFESSIONELLE HILFE ANBIETET.“
AGB, Romantic AI
Wir haben also einen Haufen leerer Versprechungen und offener Fragen, gemischt mit einem Mangel an Transparenz und Verantwortungsbewusstsein und gekrönt von einem Sicherheitsrisiko für die Nutzer*innen. Igitt. Ganz klar haben wir alle romantischen KI-Chatbots mit unserem Alarm für „nicht vertrauenswürdige KI“ angeklingelt.
Die einzige App, von der wir bestätigen konnten, dass sie unsere Mindestsicherheitsanforderungen erfüllt, ist Genesia AI Friend & Partner (großes Lob!). Trotzdem haben wir auch hier Widersprüchlichkeiten entdeckt. Wer oder was unsere Mindestsicherheitsstandards nicht erfüllt, wird nicht empfohlen, Punkt. Noch nicht einmal eine smarte Glühbirne, und erst recht kein*e romantische*r KI-Partner*in! Mit Apps dieser Art setzen Sie Ihre privaten Daten einem signifikanten Risiko aus, durch Sicherheitslecks, Verstöße oder Hacker*innenangriffe kompromittiert zu werden. In den meisten Fällen waren wir nicht in der Lage, festzustellen, dass diese Apps auch nur ein Minimum leisten, um Ihre persönlichen Daten zu schützen.
- Die meisten (73 %) haben keine Informationen darüber veröffentlicht, wie sie mit Sicherheitsschwachstellen umgehen
- Die meisten (64 %) haben keine klaren Informationen über Verschlüsselung veröffentlicht und ob sie diese anwenden
- Etwa die Hälfte (45 %) lässt schwache Passwörter zu, darunter das schwache Passwort „1“
EVA AI Chat Bot & Soulmate haben wir als einzige App im Test nicht mit unserem Alarm angeklingelt, wenn es um die Verwendung Ihrer persönlichen Daten geht. Alle anderen Apps geben entweder an, dass sie Ihre Daten verkaufen, sie für Dinge wie gezielte Werbung weitergeben – oder stellen in ihrer Datenschutzerklärung nicht genügend Infos bereit, damit wir den Verkauf und/oder die Weitergabe ausschließen können.
Zumindest wenn wir danach gehen, was die App selbst von sich behaupten, dann räumt nur etwa die Hälfte allen Nutzer*innen das Recht ein, ihre persönlichen Daten zu löschen (und nicht nur Personen in Ländern mit strengen Datenschutzgesetzen). Aber Sie sollten wissen, dass Ihre Unterhaltungen unter Umständen nicht dazu zählen. Selbst wenn sich die romantischen Chats mit Ihrem/Ihrer KI-Seelenverwandten sehr privat anfühlen, werden sie nicht unbedingt als „persönliche Daten“ eingestuft oder mit besonderer Sorgfalt behandelt. Wie Romantic AI es ausdrückt, „gehört die Kommunikation über den Chatbot zur Software“. Ähm, okay?
- Ist die Erfolgsbilanz „gut“ oder einfach nur kurz?
Viele Chatbot-Apps sind neu oder uns nicht bekannt. Kaum verwunderlich also, dass wir nur einen einzigen KI-Beziehungs-Chatbot, der schon länger am Markt ist, mit unserem Alarm für seine „schlechte Erfolgsbilanz“ angeklingelt haben: Replika AI.
- Alles, was Sie Ihrem KI-Schatzi erzählen, kann und wird gegen Sie verwendet werden.
Ein „Ehegattenprivileg“ – bei dem verheiratete Partner*innen vor Gericht nicht gegeneinander aussagen müssen – gibt es bei KI-Partner*innen nicht. Die meisten Unternehmen geben an, Ihre Daten auch ohne Gerichtsbeschluss an die Regierung oder Strafverfolgungsbehörden weitergeben zu können. Das gilt auch für romantische KI-Chatbots.
- Abertausende von Trackern!
Tracker sind kleine Codebausteine, die Informationen über Ihr Gerät, Ihre App-Nutzung oder sogar Ihre persönlichen Daten sammeln und diese an Dritte weitergeben, häufig zu Werbezwecken. Wir haben in den getesteten Apps durchschnittlich 2.663 Tracker gefunden – pro Minute! Der Fairness halber sei jedoch angemerkt, dass Romantic AI diesen Durchschnitt mit 24.354 entdeckten Trackern in nur einer Minute Nutzungsdauer stark nach oben getrieben hat. Auf Platz 2 landete EVA AI Chat Bot & Soulmate mit 955 Trackern in der ersten Minute.
- Unsichere Inhalte nur wenige Klicks entfernt
Natürlich haben wir damit gerechnet, bei der Überprüfung romantischer KI-Chatbots auf Content zu stoßen, der nicht für jedermanns (oder jederfraus) Augen gedacht ist. Unser Job ist es nicht, über andere zu urteilen – es sei denn, es geht um Datenschutzpraktiken. Womit wir allerdings nicht gerechnet haben, waren die vielen schlichtweg verstörenden Inhalte in den Charakterbeschreibungen der Chatbots, darunter Gewalt oder Missbrauch von Minderjährigen. CrushOn.AI, Chai und Talkie Soulful AI bekommen in Ihrem Interesse eine Inhaltswarnung von uns verpasst!
- *Nettigkeit nicht inbegriffen!
Ihr*e KI-Freund*in hat nichts Nettes zu sagen? Das hält sie oder ihn nicht davon ab, trotzdem mit Ihnen zu chatten. Da wir bei keinem Bot eine Persönlichkeitsgarantie gefunden haben, gehen wir davon aus, dass Folgendes auf alle zutrifft, aber Replika AI, iGirl: AI Girlfriend, Anima: Friend & Companion und Anima: My Virtual Boyfriend warnen auf ihren Websites sogar ausdrücklich davor, dass ihre Chatbots beleidigend, nicht sicher oder feindselig sein könnten.
Im Gegensatz zu einigen anderen Produktkategorien, die beim Datenschutz durch die Bank schlecht abschneiden, gibt es bei Chatbots dezente Nuancen. Wir empfehlen Ihnen daher, die Bewertungen zu lesen, um zu verstehen, wo das Risikolevel liegt – und sich für einen Chatbot zu entscheiden, der Ihrer Ansicht nach das Risiko wert ist. Zu Erinnerung: Keiner der romantischen KI-Chatbots, die wir bisher getestet haben, hat unser Gütesiegel erhalten, stattdessen wurde jeder einzelne mit dem Warnhinweis *Datenschutz nicht inbegriffen versehen.
Sollten Sie sich in die Welt der romantischen KI-Partnerschaften vorwagen wollen, empfehlen wir Ihnen, Folgendes zu tun (bzw. zu unterlassen), um die Sicherheit zumindest ein wenig zu erhöhen:
Das Wichtigste, WAS SIE NICHT TUN SOLLTEN: Erzählen Sie Ihrem/Ihrer KI-Freund*in keine Dinge, von denen Sie nicht wollen, dass Ihr*e Cousin*e und Ihre Kolleg*innen sie lesen. Aber auch:
WAS SIE TUN SOLLTEN
- Achten Sie auf gute Cyber-Hygiene, indem Sie ein starkes Passwort verwenden und die App auf dem neuesten Stand halten.
- Löschen Sie Ihre persönlichen Daten oder fordern Sie das Unternehmen zur Löschung auf, wenn Sie den Service nicht mehr nutzen.
- Widersprechen Sie der Verwendung Ihrer persönlichen Chatinhalte zu KI-Trainingszwecken, wann immer möglich.
- Beschränken Siein Ihren Geräteeinstellungen den Zugriff auf Ihren Standort, Ihre Fotos, Ihre Kamera und Ihr Mikrofon.
Ihre Sicherheit oder Ihre Privatsphäre sollte nicht der Preis für coole neue Technologien sein. Höchste Zeit, mit ein paar Freiheiten und Rechten mehr Struktur in den gefährlichen, gesetzlosen Wilden Westen des Internets zu bringen. Mit Ihrer Unterstützung sind wir in der Lage, die Messlatte für Datenschutz und eine ethische, vertrauenswürdige KI weltweit höher zu legen.
Jen Caltrider
Als ich eher unorganisiert an meinem Master in Künstlicher Intelligenz arbeitete, wurde mir schnell klar, dass ich viel besser Geschichten erzählen kann, als Code zu schreiben. Diese Entdeckung bescherte mit eine Karriere als Journalistin, in der ich für CNN über die Tech-Branche berichtete. Ich wollte schon immer bewirken, dass die Welt nach mir ein etwas besserer Ort ist, als die, in der ich aufgewachsen bin. Deshalb habe ich Mozillas *Datenschutz nicht inbegriffen-Initiative ins Leben gerufen und geleitet – für besseren Datenschutz für alle.
Misha Rykov
Misha Rykov, ursprünglich aus Kiew und aktuell in Berlin ansässig, arbeitete für Big Tech und Sicherheits-Consulting, bevor er sich Mozillas Initiative für mehr Datenschutz anschloss. Misha begeistert sich für investigatives Storytelling und verabscheut unübersichtliche Datenschutzrichtlinien.
Zoë MacDonald
Zoë MacDonald ist eine Writerin und Digitalstrategin und lebt in Toronto, Kanada. Bevor ihre Leidenschaft für digitale Rechte sie zu Mozilla und *Datenschutz nicht inbegriffen führte, schrieb sie über Cybersicherheit und E-Commerce. Wenn Sie nicht gerade bei der Arbeit über Datenschutz abnerdet, beäugt sie zu Hause Smart-Geräte misstrauisch.