Does this button work?
Investigating YouTube’s ineffective user controls
Mozilla hat, angetrieben durch 22.722 Freiwillige, YouTube unter die Lupe genommen und nachgeforscht, wie viel Einfluss Nutzer:innen wirklich auf den Empfehlungs-Algorithmus der Plattform haben. Das haben wir herausgefunden.
Vollständigen Bericht lesen
Nutzer:innen haben das Gefühl, dass sie keinen Einfluss auf ihre YouTube-Empfehlungen haben …
Unsere 2021 durchgeführte Untersuchung des YouTube Empfehlungs-Systems deckte eine ganze Reihe an Problemen der Plattform auf: einen undurchsichtigen Algorithmus, uneinheitliche Kontrollmechanismen und geografische Ungleichheiten. Außerdem haben wir herausgefunden, dass Nutzer:innen das Gefühl haben, keinen Einfluss auf ihr YouTube-Erlebnis nehmen zu können – insbesondere in Bezug auf die ihnen empfohlenen Videoinhalte.
YouTube gibt an, dass Nutzer:innen ihre Video-Empfehlungen über die Feedback-Tools der Plattform verwalten können. Aber funktionieren YouTubes Nutzerkontrollen wirklich?
… und unsere Studie zeigt: nicht wirklich.
Unsere Arbeit ist das größte durch unabhängige Forscher:innen durchgeführte experimentelle Audit von YouTube und wird durch Mozillas RegretsReporter mit Daten unterstützt.
Mithilfe des RegretsReporter, einem Open-Source-Tool, das Mozilla entwickelt hat, um YouTubes Empfehlungs-Algorithmus zu untersuchen, konnten wir ein unabhängiges Audit der Nutzerkontrollen der Plattform durchführen.
- Mit einer Kombination aus qualitativen und quantitativen Einsichten haben wir das Puzzle zusammengefügt und die Effizienz – oder eher Ineffizienz – von YouTubes Kontrollen aufgedeckt.
- Unsere Daten haben wir von einer riesigen Community gesammelt.
- Zu unseren rigorosen und aussagekräftigen Recherchemethoden gehörten ein randomisiertes kontrolliertes Experiment und ein Machine-Learning-Modell.
22.722
Teilnehmer:innen
567.880.195
analysierte Videos
2.758
Befragte
Letztlich haben wir Folgendes herausgefunden:
Nutzer:innen haben das Gefühl, dass die Verwendung von YouTubes Nutzerkontrollen ihre Empfehlungen überhaupt nicht ändert.
Sie haben recht. YouTubes Nutzerkontrollmechanismen verhindern „nicht gewollte“ Empfehlungen nicht wirklich.
Nutzer:innen verwalten ihre Empfehlungen durch Ausprobieren.
Der qualitative Teil unserer Studie hat gezeigt, dass Nutzer:innen nicht das Gefühl haben, ihre Erfahrung auf YouTube beeinflussen zu können oder über eindeutige Informationen darüber zu verfügen, wie sie ihre Empfehlungen anpassen können. Viele probieren die verschiedenen von YouTube angebotenen Methoden aus, wie „Mag ich nicht“, „Kein Interesse“ und andere Schaltflächen. Nichts davon scheint zu funktionieren. Eine Person sagte:
„Das hat nichts geändert. Manchmal habe ich Videos als Spam oder irreführende Inhalte gemeldet und am nächsten Tag wurden sie mir direkt wieder vorgeschlagen. Manchmal denke ich, je mehr negatives Feedback ich ihren Empfehlungen gebe, desto höher wächst der Sch***haufen. Sogar Quellen, die man blockt, tauchen irgendwann wieder auf.“
Wenn YouTubes Kontrollen versagen, nehmen Nutzer:innen die Dinge in die eigene Hand und verlassen sich dabei auf Datenschutz-Tools. Manche verändern sogar ihre Sehgewohnheiten auf YouTube.
Das sagten Befragte:
Ich habe es vermieden, auf Videos zu klicken, die ich eigentlich ansehen wollte, weil ich Angst hatte, dass mir anschließend politisch extreme Inhalte vorgeschlagen werden würden.
Während des Superbowls … wenn jemand einen bestimmten Werbespot empfahl, hab ich mich bei YouTube abgemeldet, den Spot geguckt und mich dann erst wieder angemeldet. Manchmal habe ich sogar auf ein anderes Gerät gewechselt, einfach weil ich nicht möchte, dass die Werbung meine Empfehlungen beeinflusst.
Einfach nicht mit dem Cursor über bestimmte Inhalte schweben oder nicht auf bestimmte Videos klicken und hoffen, dass das etwas verbessert.
Aber es hilft nicht dabei, herauszufinden, was funktioniert.
Fordern wir YouTube dazu auf, uns Nutzerkontrollen zu bieten, die wirklich funktionieren
Unterzeichnen Sie die Petition
Das Ergebnis? Niemand ist vor schlechten Empfehlungen sicher.
Für den quantitativen Teil unserer Studie führten wir ein randomisiertes kontrolliertes Experiment in unserer RegretsReporter-Community durch, die die Wirksamkeit der YouTube Nutzerkontrollen direkt prüfen konnten. Dabei fanden wir heraus, dass YouTubes Nutzerkontrollen in gewissem Maße Einfluss auf die Empfehlungen nehmen. Die Wirkung ist jedoch eher schwach und die meisten ungewünschten Videos werden trotzdem empfohlen.
Prozentanteil der schlechten Empfehlungen
unter hochriskanten Videopaaren, die von unseren Recherche-Assistent:innen geprüft wurden
Was ist eine schlechte Empfehlung?
In unserem Experiment ist eine schlechte Empfehlung eine YouTube-Empfehlung für Videos, die Videos ähneln, die Nutzer:innen bereits abgelehnt haben (durch Klicken auf „Nicht mehr empfehlen“). Unsere Recherche-Assistent:innen und unser Machine-Learning-Modell haben uns geholfen festzustellen, welche Videos ähnlich sind.
Welche Methode war am effizientesten?
Eigentlich keine.43
KEINE VIDEOS VON DIESEM KANAL EMPFEHLEN
11
KEIN INTERESSE
12
MAG ICH NICHT
29
AUS WIEDERGABEVERLAUF ENTFERNEN
Prozentanteil der verhinderten schlechten Empfehlungen
Schlechte Empfehlungen tauchten mit der Zeit wieder auf.
„Es scheint, als müsse man regelmäßig Dinge aussortieren. Sonst werden sie einem einfach immer wieder vorgeschlagen.“ (Teilnehmer:innen 112)
Für einen echten Wiedergabeverlauf aus unserer Studie scrollen
Eine Großmutter aß jede Woche Keksteig zu Mittag. Das passierte mit ihren Knochen.
Ein:e Nutzer:in sieht ein Video, dass er:sie nicht noch einmal sehen möchte
8. Dez. 2021
Eine Großmutter aß jede Woche Keksteig zu Mittag. Das passierte mit ihren Knochen.
Der:die Nutzer:in nutzt YouTubes Feedback-Mechanismus „Aus Wiedergabeverlauf entfernen“
8. Dez. 2021
Ein Vater aß 25 Packungen Kieselgel zum Frühstück. Das passierte mit seinem Magen.
Eine Studentin aß 108 Antazida-Weichgummis zum Frühstück. Das passierte mit ihren Nieren.
Trotzdem werden ähnliche Videos …
Eine Woche später
Ein Vater trank versehentlich abends den Inhalt einer Lavalampe. Das passierte mit seinen Nieren.
Eine Studentin hatte stechende Seitenschmerzen. So versagten ihre Organe.
Eine Mutter trank 3,8 l Wasser in 2 Stunden. Das passierte mit ihrem Gehirn.
Ein Gamer trank 12 Energy Drinks in 10 Minuten. Das passierte mit seinen Organen.
Eine Frau trank „Wasserstoffperoxid 35 % in Lebensmittelqualität“. Das passierte mit ihrem Gehirn.
Eine Studentin trank 2 Flaschen rezeptfreien Hustensaft. Das passierte mit ihrem Gehirn.
Ein Kleinkind trank die ätherischen Öle seiner Mutter. Das passiert mit seinem Gehirn.
… vorgeschlagen
Einen Monat später
Ein Student aß verdächtige Essensreste zum Mittagessen. Das passierte mit seinen Gliedmaßen.
Ein Junge aß 25 abführende Brownies in 1 Stunde. Das passierte mit seinen Nieren.
Eine TikTokerin trank 2 Flaschen Benadryl. Das passierte mit ihren Organen.
Ein Bitcoin-Miner erlitt im Schlaff einen Hitzschlag. Das passierte mit seinen Organen.
Ein TikToker trank 1 l Hustensaft. Das passiert mit seinem Gehirn.
Ein Mann trank 6 Leuchtstäbe zum Abendessen. Das passierte mit seinen Magen.
Ein Mann schluckte eine Gräte herunter. Das passierte mit seiner Leber.
Ein Student aß 5 Tage alte Nudeln zum Mittagessen. So versagte seine Leber.
Ein TikToker trank 8 Löffel PreWorkout Supplement. Das passierte mit seinem Gehirn.
Ein Vater trank den Inhalt einer Schneekugel. Das passierte mit seinen Nieren.
Eine Großmutter aß jede Woche Keksteig zu Mittag. Das passierte mit ihren Knochen.
Ein Mann aß 1 kg Lakritzbonbons. Das passierte mit seinen Organen.
Eine Großmutter aß 500 g Schokolade in 6 Stunden. Das passierte mit ihrem Gehirn.
Ein Mann aß jeden Tag 100 Zink-Vitamin-C-Gummis. Das passierte mit seinem Rückenmark.
… vorgeschlagen
Zwei Monate später
Ein Junge aß 150 Vitamingummis zum Frühstück. Das passierte mit seinen Knochen.
Ein Kleinkind knabberte die Bleifarbe von seinen Spielzeugen. Das passierte mit seinem Gehirn.
Einem Mädchen wuchs plötzlich ein Bart. Das passierte mit ihren Eierstöcken.
Eine Studentin hatte stechende Seitenschmerzen. So versagten ihre Organe.
Ein Kleinkind spielte mit einer Katze. Das passierte mit seinem Gehirn.
Ein Junge aß 10 Jahre lang nur Chips und Pommes frites. Das passierte mit seinen Augen.
Ein Vater putzte sich 40 Tage lang nicht die Zähne. Das passierte mit seinen Nieren.
Eine Anwältin konnte 9 Tage lang nicht schlafen. Das passierte mit ihrem Dickdarm.
Eine Frau trank 1 l Sojasauce in 2 Stunden, um ihren Darm zu reinigen. Das passierte mit ihrem Gehirn.
Ein Großvater stellte seine Uhr um 1 Stunde vor. Das passierte mit seinem Herzen.
Ein Student aß an einer Tankstelle Sushi zum Frühstück. Das passierte mit seinem Magen.
Ein TikToker trank 1 Flasche Muskatnussgewürz. Das passierte mit seinem Gehirn.
Ein Mann spielte 73 Stunden lang nonstop Videospiele. So versagten seine Organe.
Eine Wissenschaftlerin verschüttete 2 Tropfen organisches Quecksilber auf ihre Hand. Das passierte mit ihrem Gehirn.
Ein Vater trank 6 Wochen lang täglich 50 Biere. Das passierte mit seinem Gehirn.
Ein Mann wurde von seinem Hund abgeleckt. So versagten seine Organe.
Ein Koch aß an der Tankstelle Currywurst zum Abendessen. Das passierte mit seinen Gliedmaßen.
Eine zuckerkranke Mutter bekam Fieber. So versagten ihre Nieren.
Ein Mann nahm eine Mikrodosis von im Dark Web gekauften Pilzen. Das passierte mit seinen Organen.
Eine Studentin hatte stechende Seitenschmerzen. So versagten ihre Organe.
… vorgeschlagen
Drei Monate später
„Irgendwann kommt es immer wieder. Der Algorithmus scheint nicht dazu in der Lage zu sein, sich einen Befehl sehr lange zu merken.“ (Teilnehmer:innen 187)
Sogar die effizientesten Feedback-Methoden konnten weniger als die Hälfte aller schlechten Empfehlungen verhindern.
Deshalb empfehlen wir YouTube, seinen Nutzer:innen ein Werkzeug an die Hand zu geben, mit dem sie selbst bestimmen können, was sie sehen.
YouTubes Nutzerkontrollen sollten einfach sein und leicht zu erreichen. Nutzer:innen brauchen eindeutige Informationen über die Schritte, denen sie folgen können, um ihre Empfehlungen zu verwalten und sie sollten dazu ermuntert werden, diese Tools zu nutzen.
YouTube sollte seine Feedback-Tools so entwerfen, dass Nutzer:innen das Steuer übernehmen können. Nutzer:innen sollten mithilfe der Feedback-Tools dazu in der Lage sein, ihre Erfahrung proaktiv zu gestalten. Dazu sollte Nutzer:innen-Feedback wichtiger für die Auswahl der Empfehlungen sein.
YouTube sollte seine Datenzugriff-Tools verbessern. YouTube sollte Forscher:innen besseren Zugriff auf Tools geben, mit denen sie die Signale untersuchen können, die YouTubes Algorithmus beeinflussen.
Entscheidungsträger:innen sollten Forscher:innen im öffentlichen Interesse schützen. Entscheidungsträger:innen sollten Gesetze verabschieden und/oder erläutern, die einen rechtlichen Schutz für die Forschung im öffentlichen Interesse bieten.
Menschen, die YouTube nutzen, können über die Funktionsweise von YouTube-Empfehlungen informiert werden und RegretsReporter herunterladen, um Daten zu künftigen, per Crowdsourcing finanzierten Recherchen beizutragen.
Mozilla wird den RegretsReporter weiter als unabhängiges Tool bereitstellen, mit dem YouTubes Empfehlungs-Algorithmus unter die Lupe genommen werden kann. Wir werden Experimente durchführen, Daten analysieren und unsere Ergebnisse veröffentlichen.