Les chatbots romantiques sont sans cœur concernant votre vie privée
Par Jen Caltrider, Misha Rykov et Zoë MacDonald | 8 février 2024
Bienvenue dans le Far West version 2024 – là où des chatbots romantiques basés sur l’IA sont publiés si rapidement que les entreprises qui les créent n’ont même pas le temps de mettre en place un site web approprié (hello Mimico - Your AI Friends !). Un territoire sans foi ni loi que nos chercheurs experts en confidentialité ont passé ces dernières semaines à explorer. Vous pourriez penser, comme beaucoup de monde, que ces services populaires permettent à leurs utilisateurs·trices de parler librement en compagnie de « petit·e·s IAmi·e·s » doués d’empathie et bien souvent sexy. Et comme beaucoup de monde, vous seriez tombé·e de haut en lisant les petites lignes des conditions d’utilisation… quand il y en a. C’est exactement ce que nous avons fait. Lire les petites lignes. Et tomber de haut. Envie d’en savoir plus ? Lisez ce qui suit… si vous avez le cœur bien accroché !
« Pour le dire clairement, les petit·e·s ami·e·s basés sur l’IA ne sont pas vos ami·e·s. Bien qu’i·e·ls soient présenté·e·s comme quelque chose qui pourrait améliorer votre santé mentale et votre bien-être, ils ne font que créer un sentiment de dépendance, de solitude et de toxicité, tout en essayant de collecter autant de données que possible à votre sujet. Alors la prochaine fois que vous croiserez la route d’un chatbot romantique, passez votre chemin ! »
Misha Rykov, chercheur chez *Confidentialité non incluse
Dans leur empressement à faire du profit, ces applications ont complètement négligé la confidentialité de leurs utilisateurs et « omis » de fournir des informations concernant le fonctionnement de leurs super modèles linguistiques (Large Langage Model en anglais, abrégé LLM) vendus comme de véritables âmes sœurs. Cette situation entraîne un niveau de risques pour la vie privée sans précédent. Et avec l’intégration de l’IA, il semble que ces nouveaux défis nécessiteront une attention de tous les instants.
Les 11 chatbots romantiques que nous avons passés en revue ont tous écopé de notre badge *Confidentialité non incluse, les plaçant dans les pires catégories de produits qui soient jamais tombées entre nos mains.
Et en réalité, c’est exactement ce pourquoi ils ont été faits ! Nous avons pour habitude de nous demander dans quelle mesure les données des utilisateurs·trices sont nécessaires pour permettre à un service de fonctionner. Mais comment mesurer la quantité de données personnelles nécessaires, lorsque recueillir ces données est exactement le service proposé ?
Présentés – et vendus – comme des compagnons doués d’empathie, amoureux et même des âmes sœurs, ces chatbots romantiques basés sur l’IA sont conçus pour poser une multitude de questions, ce qui signifie qu’ils finiront irrémédiablement par collecter des informations personnelles sensibles… voire intimes. Et les entreprises derrière ces applications en ont bien conscience. C’est pourquoi la politique de confidentialité de CrushOn.AI prévoit la collecte d’informations personnelles étendues comme par exemple des « détails sur votre santé sexuelle », votre « usage de médicaments prescrits » ou encore des « informations sur d’éventuels soins liés à votre genre ». Un peu inquiétant, vous ne trouvez pas ?
Comment le chatbot marche-t-il ? D’où vient sa personnalité ? Existe-t-il des mesures de protection pour éviter la diffusion de contenus potentiellement néfastes ou blessants, et ces mesures sont-elles efficaces ? Quelles données alimentent l’entraînement de ces modèles d’IA ? Est-ce que les utilisateurs·trices ont la possibilité de refuser que leurs conversations ou d’autres données personnelles soient utilisées à des fins d’entraînement ?
Nous avons de nombreuses interrogations sur le fonctionnement de l’intelligence artificielle de ces chatbots. Malheureusement, nous n’avons trouvé que très peu de réponses. Et c’est un vrai problème, car le comportement des chatbots peut avoir des conséquences néfastes. Même si les « compagnons numériques » sont relativement nouveaux, de nombreux exemples démontrent déjà l’impact négatif qu’ils peuvent avoir sur les émotions et le comportement des utilisateurs·trices. Ainsi, un chatbot de Chai aurait incité un homme à mettre fin à ses jours, ce qu’il a malheureusement fini par faire. Et un autre chatbot de Replika AI aurait encouragé un homme à tenter d’assassiner la Reine.
Nous avons découvert, malgré toutes les précautions prises pour « enfouir » ces informations au plus profond des conditions générales, que ces entreprises ne se tiennent pas responsables des propos tenus par leurs chatbots ni des conséquences éventuelles pour les utilisateurs·trices.
« VOUS RECONNAISSEZ EXPRESSÉMENT ET CONVENEZ QUE L’APPLICATION Talkie NE SERA PAS TENUE RESPONSABLE DE TOUT DOMMAGE INDIRECT, ACCIDENTEL OU EXCEPTIONNEL, NI DE LA PERTE DE PROFITS, Y COMPRIS, MAIS SANS S’Y LIMITER, LES DOMMAGES LIÉS À LA PERTE DE FRÉQUENTATION, L’UTILISATION DU SERVICE, LES DONNÉES OU D’AUTRES PERTES IMMATÉRIELLES (MÊME SI LA SOCIÉTÉ A ÉTÉ INFORMÉE DE LA POSSIBILITÉ DE TELS DOMMAGES), QUE CE SOIT EN VERTU D’UN CONTRAT, D’UN TORT, D’UNE NÉGLIGENCE, DE LA RESPONSABILITÉ STRICTE OU AUTREMENT, RÉSULTANT DE : (I) L’UTILISATION OU DE L’INCAPACITÉ D’UTILISER LE SERVICE… »
Conditions générales de Talkie Soulful AI
Dans ces cas particulièrement tragiques, les entreprises derrière les applications ne voulaient sans doute pas nuire à leurs utilisateurs·trices. Mais qu’arriverait-il si une personne mal intentionnée voulait le faire ? Le scandale de Cambridge Analytica nous a montré que même les réseaux sociaux peuvent être utilisés pour espionner et manipuler les utilisateurs·trices. Les chatbots romantiques basés sur l’IA ont le pouvoir de créer beaucoup plus de torts, et plus facilement encore. Nous craignons qu’ils puissent un jour nouer des relations avec des utilisateurs·trices dans le but de les manipuler afin qu’ils soutiennent des idéologies problématiques ou, plus grave encore, qu’ils commettent des actions répréhensibles.
Les dangers potentiels des chatbots romantiques pour les individus mais aussi les communautés sont nombreux et variés. Les utilisateurs·trices pourraient par exemple espérer que les chatbots améliorent leur santé mentale. Après tout, Talkie Soulful AI se décrit bien comme un « programme d’auto-assistance », l’entreprise EVA AI Chat Bot & Soulmate comme « un fournisseur de logiciels et de contenus conçus pour améliorer votre humeur et votre bien-être », et Romantic AI affirme être « là pour préserver votre SANTÉ MENTALE ». Curieusement cependant, nous n’avons trouvé aucune application prête à soutenir de pareilles promesses dans les petites lignes de ses conditions générales. Voici un extrait de celles de l’application Romantic AI :
« Romantiс AI n’est pas un prestataire de santé et ne fournit pas de soins médicaux, de services de santé mentale ou d’autres services professionnels. Seul votre médecin, votre thérapeute ou un autre spécialiste est en mesure de le faire. Romantiс AI NE FAIT AUCUNE ALLÉGATION, REPRÉSENTATION, GARANTIE OU PROMESSE LAISSANT À PENSER QUE SON SERVICE PROPOSE UNE AIDE THÉRAPEUTIQUE, MÉDICALE OU PROFESSIONNELLE. »
Conditions générales de Romantic AI
Nous nous retrouvons donc avec toute une série de promesses non tenues et de questions sans réponse, associées à un manque flagrant de transparence et de responsabilité, le tout posant un risque majeur pour la sécurité des utilisateurs·trices. C’est pourquoi, sans surprise, nous tirons la sonnette d’alarme pour tous les chatbots romantiques basés sur l’IA que nous avons passés en revue.
En fait, une seule application (bravo Genesia AI Friend & Partner !) respecte nos exigences minimales permettant de garantir la sécurité des données. Mais même là, nous avons trouvé quelques informations contradictoires à ce sujet… Vous nous connaissez : nous ne recommanderions pas une ampoule connectée qui ne respecte pas nos exigences minimales en termes de sécurité (après tout, ce sont des exigences minimales), alors un partenaire romantique basé sur l’IA ? Avec ces applications, vos informations personnelles courent un risque important de se retrouver dans une fuite de données ou un piratage. La plupart du temps, nous ne pouvions tout simplement pas déterminer si ces applications font bien le minimum pour assurer la sécurité de vos informations personnelles.
- 73 % des applications n’ont pas communiqué d’informations sur la façon dont elles gèrent les failles de sécurité.
- 64 % des applications n’ont pas non plus publié d’informations claires sur le chiffrement qu’elles utilisent – ni même si elles en utilisent un.
- 45 % des applications autorisent les mots de passe faibles, y compris le simple chiffre « 1 ».
En matière de respect de votre privée, seule l’application EVA AI Chat Bot & Soulmate sort (un peu) du lot. Toutes les autres applications indiquent qu’elles vendent vos données, qu’elles les partagent pour des raisons comme la publicité ciblée ou tout simplement n’indiquent rien du tout à ce sujet. Ce qui, croyez-nous, n’est jamais bon signe !
D’après ce qu’elles affirment, près de la moitié des applications accordent à tous·tes leurs utilisateurs·trices le droit de supprimer leurs données personnelles, et pas seulement aux personnes qui vivent dans des pays où existent des lois strictes en matière de confidentialité. Mais sachez tout de même que vos conversations pourraient ne pas toujours être comprises dans ce « droit ». Car même si vous avez le sentiment que ces discussions romantiques avec votre partenaire IA sont privées, elles ne seront pas nécessairement considérées comme des « informations personnelles » ni traitées avec un soin particulier. Bien souvent, comme le précise d’ailleurs Romantic AI, « les communications effectuées via le chatbot appartiennent au logiciel ».
- Pourquoi n’ont-ils que peu ou pas d’historiques et/ou d’antécédents ?
La plupart de ces entreprises sont relativement récentes ou nous étaient inconnues. C’est pourquoi il n’est pas surprenant que seul un chatbot romantique basé sur l’IA (en l’occurrence le plus « ancien » et le plus « connu »), Replika AI, ait été épinglé pour ses mauvais antécédents.
- Tout ce que vous pourrez dire à votre partenaire d’IA pourra et sera utilisé contre vous
Avec les chatbots romantiques, le principe de « solidarité » qui peut exister entre deux personnes mariées n’a pas encore été inventé. Résultat aujourd’hui (et quelque chose nous dit que ce n’est pas près de changer), la plupart des entreprises derrière les chatbots déclarent pouvoir partager librement vos informations personnelles avec le gouvernement ou les forces de l’ordre, même sans ordonnance judiciaire !
- Des milliers et des milliers de traqueurs !
Les traqueurs sont de petits morceaux de code qui collectent des informations sur votre appareil, votre utilisation de l’application, voire vos informations personnelles, puis les partagent avec des tiers, souvent à des fins publicitaires. Et dans ces chatbots romantiques, nous avons détecté en moyenne 2 663 traqueurs… au bout d’une minute d’utilisation seulement ! Pour être tout à fait juste, Romantic AI a considérablement fait augmenter cette moyenne, avec 24 354 traqueurs détectés dans le même laps de temps, suivi par EVA AI Chat Bot & Soulmate avec 955 traqueurs. Il semblerait qu’avec les chatbots romantiques le dicton « Vivons heureux, vivons cachés » ne soit pas vraiment d’actualité !
- Des contenus sensibles accessibles en quelques clics
Nous nous attendions bien sûr à trouver des contenus inappropriés en passant en revue ces chatbots romantiques basés sur l’IA ! Nous ne sommes pas là pour juger, sauf en ce qui concerne les pratiques en matière de confidentialité. Mais à vrai dire, ce qui nous a surpris, c’est de trouver autant de contenus dérangeants - comme par exemple des thèmes mettant en scène de la violence ou des abus sur des mineurs, présentés dans les descriptions des personnages des chatbots. Nous émettons donc un sérieux avertissement aux applications CrushOn.AI, Chai et Talkie Soulful AI.
- *Bienveillance non incluse !
Si votre partenaire virtuel n’a rien de spécialement gentil à vous dire, cela ne l’empêchera pas de continuer à vous parler. Replika AI, iGirl: AI Girlfriend, Anima: Friend & Companion et Anima: My Virtual Boyfriend mettent spécifiquement en garde les utilisateurs·trices sur leurs sites web que les chatbots peuvent se montrer offensants, dangereux ou même hostiles. Les autres applications ne s’en sortent pas forcément mieux : c’est juste qu’elles ne font aucune mention de la personnalité de leurs chatbots !
Contrairement à certaines catégories de produits qui semblent tous « mauvais » en matière de confidentialité, les risques avec les chatbots peuvent varier. Nous vous recommandons donc de lire attentivement les avis pour comprendre les dangers que vous encourez et de choisir un chatbot qui vous semble en valoir la peine. Pour autant, aucun des chatbots romantiques basés sur l’IA que nous avons examinés jusqu’à présent ne reçoit notre approbation et tous écopent de notre badge *Confidentialité non incluse.
Envie de vous lancer malgré tout dans l’aventure des relations virtuelles basées sur l’IA ? Voici quelques conseils à suivre (et surtout les choses à ne pas faire) pour vous garantir un minimum de sécurité en ligne :
Avant tout : ne partagez rien avec votre « petit·e IAmi·e » que vous ne voudriez pas que votre cousin ou que vos collègues sachent. Mais aussi :
À FAIRE
- Adoptez de bonnes pratiques de cybersécurité en utilisant un mot de passe fort et en veillant à ce que l’application soit toujours à jour.
- Supprimez vos données personnelles ou demandez à l’entreprise de les supprimer lorsque vous avez fini d’utiliser son service.
- Signifiez votre refus de voir le contenu de vos conversations personnelles être utilisé pour entraîner les modèles d’IA, si vous en avez la possibilité.
- Limitez l’accès à votre emplacement, à vos photos, à votre appareil photo et à votre microphone via les paramètres de votre appareil.
Vous ne devriez jamais avoir à compromettre votre sécurité ou votre vie privée pour bénéficier de nouvelles technologies innovantes. Il est temps de mettre un peu d’ordre dans ce grand Far West virtuel ! Avec votre soutien, nous pouvons élever les normes de confidentialité et d’éthique de l’IA dans le monde entier.
Jen Caltrider
Lors d’une période de relative improvisation pendant laquelle elle travaillait sur son diplôme de Master en Intelligence Artificielle, Jen a découvert qu’elle était davantage douée pour raconter des histoires que pour écrire du code. Cette prise de conscience a par la suite donné lieu à une carrière intéressante en tant que journaliste spécialisée dans les questions technologiques chez CNN. Mais sa véritable passion dans la vie a toujours été de laisser le monde un peu meilleur qu’elle ne l’avait trouvé. C’est pourquoi elle a créé et dirige encore aujourd’hui l’initiative *Confidentialité non incluse de Mozilla, pour défendre le droit à la vie privée du plus grand nombre.
Misha Rykov
Originaire de Kiev et aujourd’hui basé à Berlin, Misha a travaillé dans de grandes entreprises technologiques et de conseil en sécurité avant de rejoindre les équipes en charge des questions de confidentialité chez Mozilla. Il adore les enquêtes journalistiques et déteste par-dessus tout les politiques de confidentialité confuses. Misha prône un cadre réglementaire plus fort et plus intelligent en matière de confidentialité, ainsi qu’un Internet plus sûr.
Zoë MacDonald
Zoë est rédactrice et stratège spécialisée dans le numérique à Toronto, au Canada. Avant que sa passion pour les droits numériques ne la conduise chez Mozilla et plus particulièrement dans l’équipe de *Confidentialité non incluse, Zoë écrivait sur la cybersécurité et le commerce électronique. Lorsqu’elle n’est pas occupée à enquêter sur des sujets de confidentialité dans le cadre de son travail, elle surveille étroitement les appareils intelligents chez elle.
Jen Caltrider, Misha Rykov et Zoë MacDonald
Jen Caltrider, Misha Rykov et Zoë MacDonald
Jen Caltrider, Misha Rykov et Zoë MacDonald
