datenschutz-in-gefahr.exe: Mozilla empfiehlt dringend, bei romantischen KI-Chatbots nach links zu wischen

Das Mozilla-Forschungsteam verpasst jedem einzelnen KI-Chatbot im Test für den Valentins-Shopping-Ratgeber 2024 den *Datenschutz nicht inbegriffen-Warnhinweis

(MITTWOCH, 14. FEBRUAR 2024) – Romantische KI-Chatbots verursachen bei Mozilla derzeit Herzrasen, aber nicht aus Liebe: Die selbsternannten „virtuellen Seelenverwandten“ sammeln nämlich Unmengen von persönlichen Informationen, ohne dass die Nutzer*innen kontrollieren können, ob und wie diese Daten vor Missbrauch geschützt sind. Unser Forschungsteam hat ausnahmslos allen KI-Chatbots, mit denen es für unseren Valentins-Shopping-Ratgeber 2024 ein (nicht ganz so romantisches) Date hatte, den *Datenschutz nicht inbegriffen-Warnhinweis verpasst.

Die Zahl der Apps und Plattformen, die mithilfe ausgeklügelter KI-Algorithmen die Interaktion mit einem*einer Partner*in simulieren, steigt weiterhin rasant an. Im letzten Jahr verzeichneten die 11 Beziehungs-Chatbots, die Mozilla untersucht hat, allein im Google Play Store geschätzte 100 Millionen Downloads. Und als letzten Monat der GPT-Store von OpenAI an den Start ging, wurde er mit KI-Beziehungs-Chatbots förmlich überschwemmt – obwohl Apps dieser Art gegen die Richtlinien des Stores verstoßen.

Für seinen allerersten Shopping-Ratgeber, der sich ausschließlich KI-gestützten Produkten widmet, ist Mozilla mit beliebten Beziehungs-Chatbots wie Replika, Chai und Eva auf Tuchfühlung gegangen. Das Fazit: Alle lassen bei Datenschutz und Sicherheit stark zu wünschen übrig. So erfüllten 10 der 11 Chatbots nicht einmal die Mindestsicherheitsstandards von Mozilla, wie starke Passwörter oder die Möglichkeit, Sicherheitsrisiken zu managen. Bei Romantic AI fanden die Forschenden schon nach nur einer Minute mindestens 24.354 (!) Daten-Tracker, die Infos an Dritte wie Facebook und zahlreiche andere Marketing- und Werbeunternehmen weitergeben. Keines der Unternehmen hat auf die Anfragen von Mozilla nach weiteren Informationen reagiert.

Bei Replika AI wimmelt es vor Datenschutz- und Sicherheitslücken: Die App zeichnet alle Texte, Fotos und Videos auf, die von Nutzer*innen gepostet werden; verhaltensbasierte Daten werden DEFINITIV weitergegeben und potenziell an Werbetreibende verkauft; und Konten lassen sich mit schwachen Passwörtern wie „11111111“ erstellen, was sie für Hackerangriffe attraktiv und anfällig macht.

Die Datenschutzrichtlinien der meisten KI-Chatbots lieferten kaum Details darüber, inwiefern die Gesprächsinhalte der Nutzer*innen für AI-Trainingszwecke genutzt werden. Auch die Funktionsweise der KI-Modelle selbst blieb weitgehend im Dunkeln. Zudem haben die Nutzer*innen wenig bis gar keine Kontrolle über ihre Daten, was enormes Manipulations- und Missbrauchspotenzial birgt und ernste Folgen für die mentale Gesundheit haben kann. Die meisten Apps geben den Nutzer*innen keine Option, sich dagegen zu entscheiden, dass ihre intimen Chats zum Trainieren der KI verwendet werden. Nur ein einziges Unternehmen, Genesia AI, bot eine Opt-out-Alternative.

Jen Caltrider, Direktorin von *Datenschutz nicht inbegriffen, vergleicht die aktuelle Situation mit der geschäftigen Gesetzlosigkeit im alten „Wilden Westen“ der USA: „Wir befinden wir uns im Wilden Westen der KI-Beziehungs-Chatbots. Ihr Wachstum explodiert, und die Menge an persönlichen Informationen, die sie abgreifen, um Liebesbeziehungen, Freundschaften und sexy Interaktionen zu simulieren, ist enorm. Dennoch haben wir kaum Einblick in die Funktionsweise dieser romantischen KI-Modelle. Die Nutzer*innen haben nahezu keine Kontrolle über sie. Und die App-Entwickler*innen dahinter schaffen es häufig nicht einmal, eine Website zu erstellen oder eine umfassende Datenschutzerklärung zu verfassen. Dies zeigt uns, dass sie keinen großen Wert darauf legen, die Privatsphäre ihrer Nutzer*innen zu respektieren und zu schützen. Das ist gruselig, auf einem neuen, KI-potenzierten Level.“

Das Forschungsteam warf den KI-Beziehungs-Chatbots außerdem irreführendes Marketing vor, das darauf abziele, die Produkte als Plattformen für mentale Gesundheit und Wohlbefinden zu positionieren (obwohl die Datenschutzerklärungen etwas anderes besagen). Hier ein Beispiel aus den AGB von Romantic AI: „Romantiс AI ist weder ein Gesundheitsversorger noch bietet das Unternehmen medizinische Dienstleistungen, medizinische Betreuung, psychologische Dienstleistungen oder andere professionelle Dienstleistungen an. Dies können nur Ärzt*innen, Therapeut*inne oder andere Spezialist*innen leisten. Romantiс AI MACHT KEINE ZUSAGEN UND GIBT WEDER GARANTIEN NOCH GEWÄHRLEISTUNGEN dafür, dass der Service THERAPEUTISCHE, MEDIZINISCHE ODER ANDERE PROFESSIONELLE HILFE anbietet.“ Auf der Website von Romantic AI heißt es hingegen: „Romantic AI ist dazu da, deine MENTALE GESUNDHEIT zu erhalten.“ (Großschreibung von Romantic AI selbst verwendet).

Caltrider ergänzt: „Früher galt die Angabe von Alter/Geschlecht/Ort in einem Chatroom als Datenschutz-Fauxpas. Heute wirkt man direkt heimlichtuerisch, wenn man diese Details verschweigt, verglichen mit der Masse an Daten und hochsensiblen persönlichen Informationen, die diese KI-Freundinnen sammeln. Mit das Beängstigendste an den KI-Beziehungs-Chatbots ist ihr Potenzial für Manipulation. Was sollte böswillige Akteur*innen davon abhalten, Chatbots zu entwickeln, die den Nutzer*innen vorgaukeln, ihre Seelenverwandten zu sein, nur um diese Beziehung dann dazu zu nutzen, dieselben Menschen zu manipulieren, damit sie schreckliche Dinge tun, sich zweifelhaften Ideologien anschließen oder sich selbst oder anderen schaden? Aus diesem Grund brauchen wir dringend mehr Transparenz und Nutzerkontrolle bei diesen KI-Apps.“

Diese Apps sind sogar für Kinder und Jugendliche unter 18 Jahren leicht zugänglich, die potenziell verstörende Themen möglicherweise nicht verstehen oder nicht in der Lage sind, damit umzugehen. Bei drei der vom Forschungsteam untersuchten Apps brauchte es im Durchschnitt gerade mal 5 Klicks und 15 Sekunden, um auf verstörenden, pornografischen oder illegalen Content zu stoßen. Bei der Webversion von CrushOn AI wurden z. B. automatisch verstörende Inhalte direkt auf der Landing Page angezeigt.

Mozilla-Forscher Misha Rykov fast zusammen: „Um es klipp und klar zu sagen: KI-Freund*innen sind keine Freund*innen. Obwohl sie als Produkte zur Verbesserung der mentalen Gesundheit und des Wohlbefindens vermarktet werden, sind sie darauf spezialisiert, Nutzer*innen in die Abhängigkeit, die Einsamkeit und in toxische Beziehungen zu treiben und dabei so viele Daten wie möglich von ihnen abzugreifen.“

Über *Datenschutz nicht inbegriffen
*Datenschutz nicht inbegriffen (*DNI) ist ein Shopping-Ratgeber, der sich auf den Datenschutz konzentriert anstatt auf Preis oder Leistung. Seit seiner Einführung im Jahr 2017 hat *DNI Hunderte von Produkten und Apps geprüft. Der Ratgeber gibt Menschen die Informationen an die Hand, die sie benötigen, um ihre Privatsphäre und die ihrer Lieben zu schützen. Gleichzeitig bewegt er die Tech-Industrie dazu, mehr für den Schutz der Verbraucher*innen zu tun.

Ansprechpartner für die Presse:

Helena Dea Bala | [email protected]
Tracy Kariuki | [email protected]

Sie können hier hochaufgelöste Grafiken herunterladen.