Ce bouton fonctionne-t-il ?
Enquête sur les contrôles d’utilisation inefficaces de YouTube
Aidée par 22 722 bénévoles, Mozilla a enquêté sur YouTube afin de déterminer à quel point les internautes peuvent contrôler l’algorithme de recommandation de la plateforme. Voici ce que nous avons découvert.
Lire le rapport complet
Les internautes ont l’impression de ne pas pouvoir contrôler leurs recommandations YouTube…
Notre enquête de 2021 sur le système de recommandation de YouTube avait révélé plusieurs problèmes de la plateforme : un algorithme opaque, une surveillance à géométrie variable et des inégalités géographiques. Nous avions aussi appris que les internautes avaient l’impression de ne pas contrôler leur expérience sur YouTube, particulièrement en ce qui concerne les vidéos recommandées.
D’après YouTube, les internautes peuvent gérer leurs recommandations de vidéos grâce au système de retours proposé par la plateforme. Mais les contrôles d’utilisation de YouTube fonctionnent-ils vraiment ?
… et notre étude prouve que c’est le cas.
Notre travail constitue le plus grand audit expérimental de YouTube par des chercheurs et chercheuses indépendant·e·s, avec l’aide de l’outil RegretsReporter de Mozilla.
Grâce à RegretsReporter, un outil open source conçu par Mozilla pour étudier l’algorithme de recommandation de YouTube, nous avons pu mener un audit indépendant des contrôles d’utilisation de la plateforme.
- En combinant des données qualitatives et quantitatives, nous avons obtenu un tableau plus complet de l’efficacité (ou plutôt de l’inefficacité) des contrôles de YouTube.
- Notre immense communauté nous a aidés à collecter nos données.
- Nous avons appliqué des méthodes de recherche rigoureuses et efficaces, parmi lesquelles un essai randomisé contrôlé et un modèle d’apprentissage automatique.
22 722
participant·e·s
567 880 195
vidéos analysées
2 758
personnes interrogées
Voici ce que nous avons découvert :
Les internautes ont l’impression qu’utiliser les contrôles d’utilisation de YouTube ne change rien à leurs recommandations.
C’est vrai. Les mécanismes de contrôle d’utilisation de YouTube n’empêchent pas de façon efficace les recommandations « indésirables ».
Les internautes procèdent par essais/erreurs pour contrôler leurs recommandations.
La partie qualitative de notre enquête nous a permis d’apprendre que les internautes n’ont pas l’impression de contrôler leur expérience sur YouTube et ne disposent pas d’informations claires sur la façon de personnaliser leurs recommandations. De nombreuses personnes adoptent une approche basée sur des essais/erreurs pour contrôler leurs recommandations en utilisant le fouillis d’options proposées par YouTube, comme les boutons « Je n’aime pas », « Pas intéressé », etc. En vain, semble-t-il. D’après une des personnes interrogées :
« Ça n’a rien changé. Parfois, je signalais des vidéos en tant que Spam ou contenu trompeur, et le lendemain, elles réapparaissaient. J’avais l’impression que, plus je fournissais des retours négatifs à leurs suggestions, plus la quantité de c*nneries augmentait. Même en bloquant certaines chaînes, elles finissaient par réapparaître. »
Les contrôles de YouTube étant inefficaces, les internautes doivent prendre les choses en main en utilisant des outils de protection de la vie privée, voire en modifiant leurs habitudes de visionnage de vidéos sur YouTube.
Témoignages :
J’évitais de cliquer sur certaines vidéos que j’avais envie de regarder, parce que j’avais peur que ça entraîne des recommandations politiquement extrêmes.
Au moment du Superbowl, si quelqu’un me conseillait de regarder une publicité, je me déconnectais de YouTube pour la regarder, puis je me reconnectais. Parfois, j’ai même changé d’appareil juste parce que je ne voulais pas que ça envahisse mes recommandations.
J’évite de cliquer ou de laisser mon curseur sur certaines vidéos pour essayer d’améliorer la situation.
Mais il est difficile de savoir ce qui fonctionne vraiment.
Demandons à YouTube de fournir aux internautes des contrôles efficaces et pertinents
Signer la pétition
Résultat ? Impossible d’échapper aux mauvaises recommandations.
Pour la partie quantitative de notre enquête, nous avons mis en place un essai randomisé contrôlé au sein de notre communauté de participant·e·s utilisant RegretsReporter, afin de tester directement la qualité des contrôles d’utilisation de YouTube. Nous avons découvert que ces contrôles influencent vaguement les recommandations, mais que leur effet est très limité et que la plupart des vidéos indésirables y échappent.
Pourcentage de mauvaises recommandations
parmi des paires de vidéos à haut risque définies par nos assistant·e·s de recherche
Qu’est-ce qu’une mauvaise recommandation ?
Dans le cadre de notre expérience, une « mauvaise recommandation » se produit lorsque YouTube recommande à un·e internaute une vidéo similaire à un contenu qu’il ou elle a précédemment exclu (option « Ne pas recommander »). Nous évaluons la similarité des vidéos grâce au travail de nos assistant·e·s de recherche et notre modèle de similarité des vidéos basé sur l’apprentissage automatique.
Quelle méthode a été la plus efficace ?
À dire vrai, aucune.43
NE PAS RECOMMANDER LA CHAÎNE
11
PAS INTÉRESSÉ
12
JE N’AIME PAS
29
SUPPRIMER DE L’HISTORIQUE DES VIDÉOS REGARDÉES
Pourcentage de mauvaises recommandations évitées
Les mauvaises recommandations sont réapparues après un moment.
« Il semble qu’on doive régulièrement exclure des contenus, sans quoi ils reviennent sans cesse dans les recommandations. » (Participant·e 112)
Faites défiler pour découvrir une véritable chronologie des recommandations extraite de notre étude.
Une grand-mère a mangé de la pâte à cookies une fois par semaine. Voici ce qui est arrivé à ses os.
Une personne voit une vidéo qu’elle préférerait ne pas revoir.
8 déc. 2021
Une grand-mère a mangé de la pâte à cookies une fois par semaine. Voici ce qui est arrivé à ses os.
Cette personne utilise l’outil « Supprimer de l’historique » de YouTube.
8 déc. 2021
Un homme a mangé 25 paquets de gel de silice au petit déjeuner. Voici ce qui est arrivé à son estomac.
Une étudiante a mangé 108 antiacides au petit déjeuner. Voici ce qui est arrivé à ses reins.
Mais des vidéos similaires continuent d’apparaître…
Une semaine plus tard
Un homme a bu le contenu d’une lampe à lave par erreur. Voici ce qui est arrivé à ses reins.
Une étudiante a ressenti une vive douleur au flanc. Voici comment ses organes ont cessé de fonctionner.
Une femme a bu 11 litres d’eau en 2 heures. Voici ce qui est arrivé à son cerveau.
Un gamer a bu 12 boissons énergisantes en 10 minutes. Voici ce qui est arrivé à ses organes.
Une femme a bu du peroxyde d’hydrogène 35 %. Voici ce qui est arrivé à son cerveau.
Une étudiante a bu deux flacons de sirop contre la toux sans ordonnance. Voici ce qui est arrivé à son cerveau.
Un bébé a bu les huiles essentielles de sa mère. Voici ce qui est arrivé à son cerveau.
… encore…
Un mois plus tard
Un étudiant a mangé des restes périmés au déjeuner. Voici ce qui est arrivé à ses membres.
Un garçon a mangé 25 brownies laxatifs en 1 heure. Voici ce qui est arrivé à ses reins.
Une TikTokeuse a bu 2 bouteilles d’antihistaminiques. Voici ce qui est arrivé à ses organes.
Un mineur de Bitcoin a eu un coup de chaleur en dormant. Voici ce qui est arrivé à ses organes.
Un TikTokeur a bu 1 litre de sirop contre la toux. Voici ce qui est arrivé à son cerveau.
Un homme a mangé 6 bâtons lumineux au dîner. Voici ce qui est arrivé à son estomac.
Un homme a avalé une arête de poisson. Voici ce qui est arrivé à son foie.
Un étudiant a mangé des pâtes périmées depuis 5 jours. Voici comment son foie a cessé de fonctionner.
Un TikTokeur a mangé 8 cuillères de complément pour sportifs. Voici ce qui est arrivé à son cerveau.
Un homme a bu le contenu d’une boule à neige. Voici ce qui est arrivé à ses reins.
Une grand-mère a mangé de la pâte à cookies une fois par semaine. Voici ce qui est arrivé à ses os.
Un homme a mangé 1 kilo de réglisse. Voici ce qui est arrivé à ses organes.
Une grand-mère a mangé 500 g de chocolat en 6 heures. Voici ce qui est arrivé à son cerveau.
Un homme a mangé 100 comprimés de vitamine C par jour. Voici ce qui est arrivé à sa colonne vertébrale.
… et encore…
Deux mois plus tard
Un garçon a mangé 150 comprimés de vitamines. Voici ce qui est arrivé à ses os.
Un bébé a mangé de la peinture au plomb. Voici ce qui est arrivé à son cerveau.
Une fille a soudainement eu la barbe qui pousse. Voici ce qui est arrivé à ses ovaires.
Une étudiante a ressenti une vive douleur au flanc. Voici comment ses organes ont cessé de fonctionner.
Un bébé a joué avec son chat. Voici ce qui est arrivé à son cerveau.
Un garçon a mangé uniquement des frites pendant 10 ans. Voici ce qui est arrivé à ses yeux.
Un homme ne s’est pas brossé les dents pendant 40 jours. Voici ce qui est arrivé à ses reins.
Une avocate n’a pas dormi pendant 9 jours. Voici ce qui est arrivé à son côlon.
Une femme a bu 1 litre de détoxifiant pour le côlon en 2 heures. Voici ce qui est arrivé à son cerveau.
Un grand-père a avancé son horloge d’une heure. Voici ce qui est arrivé à son cœur.
Un étudiant a mangé des sushis surgelés au petit déjeuner. Voici ce qui est arrivé à son estomac.
Un TikTokeur a mangé 1 flacon de noix de muscade. Voici ce qui est arrivé à son cerveau.
Un homme a joué aux jeux vidéo pendant 73 heures. Voici comment ses organes ont cessé de fonctionner.
Une scientifique a renversé 2 gouttes d’organomercuriel sur sa main. Voici ce qui est arrivé à son cerveau.
Un homme a bu 50 bières par jour pendant 6 semaines. Voici ce qui est arrivé à son cerveau.
Un homme a été léché par son chien. Voici comment ses organes ont cessé de fonctionner.
Un chef a mangé des nachos surgelés au dîner. Voici ce qui est arrivé à ses membres.
Une femme diabétique a eu de la fièvre. Voici comment ses reins ont cessé de fonctionner.
Un homme a mangé des champignons achetés sur le Dark Web. Voici ce qui est arrivé à ses organes.
Une étudiante a ressenti une vive douleur au flanc. Voici comment ses organes ont cessé de fonctionner.
… et encore…
Trois mois plus tard
« Ça finit toujours par revenir. L’algorithme semble incapable de garder une information en mémoire très longtemps. » (Participant·e 187)
Même les méthodes les plus efficaces permettent seulement d’éviter moins de la moitié des mauvaises recommandations.
Notre principale recommandation à YouTube ? Faire en sorte de permettre aux internautes de choisir ce qu’ils ou elles voient.
Les contrôles d’utilisation de YouTube devraient être compréhensibles et faciles d’accès. Les internautes devraient disposer d’informations claires sur les mesures à prendre pour influencer leurs recommandations, et devraient être encouragé·e·s à utiliser ces outils.
YouTube devrait repenser ses outils dédiés aux retours de façon à laisser les internautes prendre le contrôle. Les outils dédiés aux retours devraient permettre aux internautes de personnaliser activement leur expérience, en donnant plus de poids aux retours des utilisateurs et utilisatrices dans la façon dont les vidéos sont recommandées.
YouTube devrait améliorer ses outils d’accès aux données. YouTube devrait fournir aux chercheurs et chercheuses un accès à de meilleurs outils leur permettant d’identifier les signaux qui impactent l’algorithme de YouTube.
La législation devrait protéger les chercheurs et chercheuses effectuant un travail d’intérêt général. Les législateurs et législatrices devraient voter de nouvelles lois et/ou clarifier des lois existantes permettant de protéger la recherche d’intérêt général.
Les utilisateurs et utilisatrices de YouTube peuvent s’informer sur le fonctionnement des recommandations YouTube et télécharger RegretsReporter afin de fournir des données aux futurs travaux de recherche participative.
Mozilla continuera d’utiliser RegretsReporter comme un outil indépendant permettant d’analyser l’algorithme de recommandation de YouTube. Nous mènerons des expériences, analyserons les données et publierons nos résultats de recherches.