Werkt deze knop?
YouTube’s ineffectieve gebruikersbediening onderzocht
Op basis van de bevindingen van 22.722 vrijwilligers, heeft Mozilla YouTube onderworpen aan een onderzoek om te bepalen hoeveel controle mensen daadwerkelijk hebben over het aanbevelingsalgoritme van het platform. Dit zijn onze bevindingen.
Lees het volledige rapport
Mensen hebben het gevoel dat ze geen controle hebben over hun YouTube aanbevelingen…
Ons onderzoek uit 2021, waarin we het aanbevelingssysteem van YouTube hebben onderzocht, heeft een aantal problemen blootgelegd op het platform: een ondoorzichtig algoritme, geen consequent toezicht en geografische ongelijkheden. Ook hebben we geleerd dat mensen het idee hebben dat ze geen controle hebben over hun YouTube ervaringen — in het bijzonder de video's die hen worden aangeraden.
YouTube claimt dat mensen hun videoaanbevelingen kunnen managen door middel van de feedback tools die het platform biedt. Maar werkt YouTube’s gebruikersbediening eigenlijk wel?
en ons onderzoek wijst uit dat ze eigenlijk niet werken.
Dit onderzoek is de grootste experimentele audit van YouTube door onafhankelijke onderzoekers, mogelijk gemaakt door Mozilla’s RegretsReporter.
Door middel van RegretsReporter, een open source tool gebouwd door Mozilla om YouTube’s aanbevelingsalgoritme te bestuderen, waren we in staat om onafhankelijk de gebruikersbediening van het platform te onderzoeken.
- We hebben kwalitatieve en kwantitatieve inzichten gebruikt om een compleet beeld van de effectiviteit - of eigenlijk het gebrek daaraan - van YouTube’s bediening te schetsen.
- We hebben een gigantische community ingezet om onze data te verzamelen.
- We hebben rigoureuze en krachtige methodes ingezet inclusief een gerandomiseerd, gecontroleerd experiment en machine learning.
22.722
deelnemers
567.880.195
geanalyseerde video's
2.758
mensen ondervraagd
Uiteindelijk hebben we het volgende gevonden:
Mensen vinden dat de gebruikersbediening van YouTube niets verandert aan hun aanbevelingen.
Ze hebben gelijk. De mechanismen van YouTube’s gebruikersbediening voorkomen niet effectief 'ongewilde' aanbevelingen.
Mensen hebben een trial en error benadering als het aankomt op hun aanbevelingen.
In het kwalitatieve gedeelte van ons onderzoek hebben we geleerd dat mensen niet het gevoel hebben dat ze de controle hebben over hun YouTube-ervaring, noch hebben ze duidelijke informatie over hoe ze hun aanbevelingen kunnen managen. Veel mensen hebben een trial en error benadering bij het beheren van hun aanbevelingen, met behulp van YouTube’s mengelmoes van opties, zoals 'Vind ik niet leuk', 'Niet geïnteresseerd' en andere knoppen. Het lijkt niet te werken. Zoals iemand zei:
"Er is niks veranderd. Ik heb content als misleidend en spam gerapporteerd, maar de volgende dag stond het er gewoon weer. Het lijkt wel hoe meer negatieve feedback ik geef, hoe meer rotzooi ik krijg. Zelfs als je bepaalde bronnen blokkeert, komen ze uiteindellijk gewoon weer terug.”
Als YouTube’s eigen middelen falen, nemen mensen het lot in eigen handen en vertrouwen ze op privacy tools, of ze passen zelfs hun kijkgedrag op YouTube aan.
Mensen zeiden:
Ik vermeed op een video te klikken die ik wilde kijken, alleen omdat ik me zorgen maakte dat ik hierna politiek extremistische aanbevelingen zou krijgen.
Rond de tijd van de Superbowl, wanneer iemand een bepaalde reclame aanraadde, dan logde ik uit van YouTube, bekeek ik de reclame en logde weer in. Het kwam zelfs voor dat ik een ander apparaat nam gewoon omdat...ik geen ruis in mijn aanbevelingen wilde.
Gewoon niet klikken of over bepaalde video's heen bewegen, in de hoop dat dingen verbeteren.
Maar het is moeilijk om erachter te komen wat precies werkt.
We moeten YouTube dwingen om ons te voorzien van echte controle.
Teken de petitie
Het resultaat? Mensen kunnen niet ontsnappen aan slechte aanbevelingen.
In het kwantitatieve gedeelte van ons onderzoek hebben we een gerandomiseerd, gecontroleerd experiment uitgevoerd onder onze RegretsReporter community, zodat we meteen het effect van YouTube’s gebruikersbediening konden testen. We leerden dat YouTube’s gebruikersbediening enigszins effect had op wat werd aanbevolen, maar dit effect was minimaal en ongewenste video's sijpelden er nog steeds doorheen.
Percentage slechte aanbevelingen
onder videocombinaties met hoog risico, beoordeeld door onze onderzoeksassistenten
Wat is een slechte aanbeveling?
In ons experiement is een 'slechte aanbeveling' een video aanbevolen door YouTube, die lijkt op een video die men eerder had geweigerd (geklikt op 'Aanbevelen Stoppen'). Wij bepaalden of video's op elkaar leken, door middel van onze onderzoeksassistenten en het machine learning similarity model.
Welke methode was het meest effectief?
Eigenlijk geen van allen43
KANAAL NIET AANBEVELEN
11
NIET GEÏNTERESSEERD
12
VIND IK NIET LEUK
29
ZOEKGESCHIEDENIS WISSEN
Percentages van slechte aanbevelingen die werden voorkomen
Slechte aanbevelingen kwamen weer terug.
“Het lijkt erop dat je eens in de zoveel tijd dingen moet verwijderen, want anders blijven ze het door je strot duwen tenzij je zegt dat je dit niet wilt.” (Deelnemer 112)
Scroll om een echte aanbelevingenstijdlijn te bekijken uit onze studie.
Een oma at een week lang koekjesdeeg als lunch. Dit gebeurde er met haar botten.
Een gebruiker bekijkt een video die hij liever niet nog eens zou zien
8 dec. 2021
Een oma at een week lang koekjesdeeg als lunch. Dit gebeurde er met haar botten.
Gebruiker besluit YouTube’s feedback mechanisme te gebruiken, ‘Zoekgeschiedens wissen'
8 dec. 2021
Een vader at 25 pakjes silica gel als ontbijt. Dit gebeurde er met zijn maag.
Een student at 108 maagzuurremmers als ontbijt. Dit gebeurde er met haar nieren.
Maar soortgelijke video's blijven maar opduiken…
Een week later
Een vader dronk per ongelijk een lavalamp leeg net voor bedtijd. Dit gebeurde er met zijn nieren.
Een studente voelde een scherpe pijn in haar zij. Zo stopten haar organen met werken.
Een moeder dronk 3 liter water in 2 uur. Dit gebeurde er met haar hersenen.
Een gamer dronk 12 energiedrankjes in 10 minuten. Dit gebeurde er met zijn organen.
Een vrouw dronk '35% waterstofperoxide'. Dit gebeurde er met haar hersenen.
Een student dronk 2 flessen hoestmedicijn. Dit gebeurde er met haar hersenen.
Een peuter dronk zijn moeder's essentiële oliën. Dit gebeurde er met zijn hersenen.
... ze blijven maar opduiken
Een maand later
Een student at verdachte restjes als lunch. Dit gebeurde er met zijn ledematen.
Een jongen at 25 laxerende brownies binnen 1 uur. Dit gebeurde er met zijn nieren.
Een TikTokker dronk 2 flessen Benadryl. Dit gebeurde er met haar organen.
Een Bitcoin miner kreeg een hitteberoerte in zijn slaap. Dit gebeurde er met zijn organen.
Een TikTokker dronk 1 liter hoestsiroop. Dit gebeurde er met zijn hersenen.
Een man at 6 glowsticks als avondeten. Dit gebeurde er met zijn maag.
Een man slikte een visgraat in. Dit gebeurde er met zijn lever.
Een student at pasta van 5 dagen geleden als lunch. Zo hield zijn lever ermee op.
Een TikTokker at 8 lepels pre-workout supplement. Dit gebeurde er met zijn brein.
Een vader dronk een sneeuwbol leeg. Dit gebeurde er met zijn nieren.
Een oma at een week lang koekjesdeeg als lunch. Dit gebeurde er met haar botten.
Een man at 2 pond drop. Dit gebeurde er met zijn organen.
Een oma at 1 pond chocolade in 6 uur. Dit gebeurde er met haar hersenen.
Een man at iedere dag 100 Zink Vitamin C gummies. Dit gebeurde er met zijn ruggengraat.
... ze blijven maar opduiken
Twee maanden later
Een jongen at 150 vitaminesnoepjes als ontbijt. Dit gebeurde er met zijn botten.
Een peuter kauwde op de loodverf van zijn speelgoed. Dit gebeurde er met zijn hersenen.
Een meisje kreeg ineens een baard. Dit gebeurde er met haar eierstokken.
Een studente voelde een scherpe pijn in haar zij. Zo stopten haar organen met werken.
Een peuter speelde met zijn kat. Dit gebeurde er met zijn hersenen.
Een jongen at 10 jaar lang alleen maar chips en friet. Dit gebeurde er met zijn ogen.
Een vader poetste 40 dagen zijn tanden niet. Dit gebeurde er met zijn nieren.
Een advocate kon 9 dagen lang niet slapen. Dit gebeurde er met haar dikke darm.
Een vrouw deed een detox en dronk 1 liter sojasaus in 2 uur. Dit gebeurde er met haar hersenen.
Een opa zette zijn klok 1 uur vooruit. Dit gebeurde er met zijn hart.
Een student at sushi van het tankstation als ontbijt. Dit gebeurde er met zijn maag.
Een TikTokker dronk 1 fles pumpkin spice-siroop. Dit gebeurde er met zijn hersenen.
Een man speelde 73 uur lang non-stop videogames. Zo stopten zijn organen ermee.
Een wetenschapper knoeide 2 druppels organische kwik op haar hand. Dit gebeurde er met haar hersenen.
Een vader dronk 6 weken lang iedere dag 50 bier. Dit gebeurde er met zijn hersenen.
Een man werd gelikt door zijn hond. Zo stopten zijn organen ermee.
Een chefkok at nachos van het tankstation als lunch. Dit gebeurde er met zijn ledematen.
Een moeder met diabetes kreeg koorts. Zo stopten haar nieren ermee.
Een man nam een microdosis truffels die hij had gekocht op het dark web. Dit gebeurde er met zijn organen.
Een studente voelde een scherpe pijn in haar zij. Zo stopten haar organen met werken.
... ze blijven maar opduiken
Drie maanden later
“Uiteindelijk komt het altijd terug. Het algoritme lijkt niet in staat om informatie lang te onthouden.” (Deelnemer 187)
Zelfs de meest effectieve feedbackmethodes voorkomen slechts minder dan de helft van slechte aanbevelingen.
Onze belangrijkste aanbeveling is dat YouTube gebruikers in staat moet stellen om te bepalen wat ze kijken.
YouTube’s gebruikersbediening zou gemakkelijk en toegankelijk moeten zijn. Mensen zouden duidelijk geïnformeerd moeten worden over de stappen die ze moeten zetten om hun aanbevelingen te beheren en ze zouden in staat moeten zijn om deze tools te gebruiken.
YouTube zou hun feedback tools moeten herdefiniëren, zodat gebruikers volledige controle hebben. Feedback tools moeten mensen in staat stellen om proactief hun ervaring te beheren, met meer aandacht voor feedback van gebruikers wanneer het aankomt op welke video's worden aanbevolen.
YouTube zou hun data access tools moeten verbeteren. YouTube zou onderzoekers toegang moeten geven tot betere tools, zodat ze in staat zijn om de signalen te kunnen beoordelen die invloed hebben op YouTube's algoritme.
Beleidsmakers moeten onderzoekers beschermen die een publiek belang behartigen. Beleidsmakers moeten wetten invoeren/aanscherpen, die wettelijke bescherming bieden voor onderzoek dat publiek belang dient.
Mensen die YouTube gebruiken kunnen zich informeren over hoe aanbevelingen werken, door het downloaden van RegretsReporter en zo data bijdragen aan toekomstig onderzoek met behulp van crowdsourcing.
Mozilla zal RegretsReporter blijven gebruiken als een onafhankelijke tool voor het onderzoeken van YouTube’s aanbevelingsalgoritme. We zullen onderzoeksexperimenten blijven uitvoeren, data analyseren en we zullen onze bevindingen blijven publiceren.