YouTube Regrets
Mozilla heeft samen met 37.380 YouTube-gebruikers een onderzoek gedaan om schadelijke YouTube-aanbevelingen beter te begrijpen. Dit zijn onze bevindingen.
Het volledige rapport downloadenIn 2019 heeft Mozilla talloze verhalen gedocumenteerd van mensen wiens leven is beïnvloed door het aanbevelingsalgoritme van YouTube. Mensen werden blootgesteld aan desinformatie, ontwikkelden een ongezond zelfbeeld en kwamen vast te zitten in bizarre digitale doolhoven. Hoe meer verhalen we lazen, hoe meer we ons realiseerden hoe belangrijk Youtube is geworden in het leven van heel veel mensen en hoeveel impact YouTube-aanbevelingen kunnen hebben op hun welzijn.
Maar als YouTube wordt geconfronteerd hun aanbevelingsalgoritme, dan is ontkenning en ontwijking hun standaardreactie.
In reactie op de halsstarrige weigering om te reageren, heeft Mozilla een browserextensie ontwikkeld: RegretsReporter, waarmee mensen gegevens kunnen delen over de YouTube-video’s waar ze spijt van hebben dat ze deze hebben bekeken. Door een van de grootste onderzoeken naar YouTube met behulp van crowdsourcing, hebben we nieuwe informatie kunnen blootleggen die vraagt om dringende aandacht en actie van wetgevers en het publiek.
We weten dat YouTube video’s aanbeveelt die hun eigen inhoudsbeleid schenden en die mensen over de hele wereld beschadigen – en dat moet stoppen.
Wat is een YouTube Regret?
Het concept van een ‘YouTube Regret’ komt voort uit een crowdsourcing-campagne uit 2019, opgezet door Mozilla, waarbij gevallen werden gedocumenteerd waarbij YouTube’s aanbevelingsalgoritme mensen naar bizarre en soms gevaarlijke routes leidde. We zijn hierbij bewust weggebleven van een specifieke ‘definitie’ voor een YouTube Regret, zodat we een totaalbeeld konden krijgen van betreurenswaardige ervaringen die mensen via YouTube hebben gehad.
Wat voor de één een YouTube Regret is, is dat niet voor de ander. Soms duurt het weken of maanden nadat een video is aanbevolen, voordat deze boven komt drijven als YouTube Regret – een ervaring die duidelijker is over te brengen als een verhaal dan als op video’s gebaseerde gegevens.
Deze benadering draait bewust om de ervaringen van mensen om bij te dragen aan een discussie die normaal gesproken voornamelijk juridisch en theoretisch wordt gevoerd. Er ontstaat geen duidelijk onderscheid over wat voor type video’s wel of niet via YouTube beschikbaar zou moeten zijn, of moet worden gepromoot door het algoritme.
Soms zijn YouTube Regrets
We stellen hoge eisen aan de video’s die prominent worden weergegeven in onze aanbevelingen op de startpagina van YouTube of via het paneel ‘Volgende’.
Youtube-blog
De meest gerapporteerde categorie was desinformatie, voornamelijk Covid-19-gerelateerd.
Ons onderzoek draait dan wel om het totaalbeeld van YouTube Regrets, toch is het belangrijk op te merken dat sommige video’s erger zijn dan andere. YouTube heeft Gemeenschapsrichtlijnen opgesteld, die definiëren wat er wel en niet toegestaan is op YouTube. Samen met een team van onderzoeksassistenten van de Universiteit van Exeter, hebben we de aan ons gerapporteerde video’s naast deze Gemeenschapsrichtlijnen gelegd en onze eigen definitie gemaakt van welke video’s niet op YouTube zouden moeten staan, of niet zouden moeten worden aanbevolen. Van deze video’s was de categorie die het meest voorkwam desinformatie (vooral COVID-19-gerelateerd). De categorieën die daarna het meest naar voren kwamen waren gewelddadige of expliciete inhoud, haatzaaien en spam/oplichtingspraktijken. Andere opmerkelijke categorieën waren kindveiligheid, intimidatie & cyberpesten en dierenmishandeling.
Verschillende typen Regretted Content
Ons onderzoek is uitgevoerd onder echte YouTube-gebruikers.
Details: 37.380 vrijwilligers verdeeld over 190 landen hebben Mozilla’s RegretsReporter-browserextensies voor Firefox en Chrome geïnstalleerd.
Voor dit rapport hebben we gegevens verzameld van
3.362
Meldingen
1.662
Vrijwilligers
91
Landen
De meldingen zijn ingestuurd tussen juli 2020 - mei 2021. De vrijwilligers die de extensie hebben gedownload, maar geen melding hebben gemaakt vormden een belangrijk deel van ons onderzoek. Deze gegevens – bijvoorbeeld hoe vaak men YouTube gebruikt – was essentieel voor ons inzicht in hoe vaak betreurenswaardige ervaringen op YouTube voorkomen en hoe dit tussen landen varieert.
Nadat de gegevens waren geanalyseerd door een team van onderzoeksassistenten verbonden aan de University of Exeter, formuleerde Mozilla drie hoofdpunten van kritiek met betrekking tot YouTube-aanbevelingen: van een problematisch algoritme tot slecht bedrijfstoezicht en geografische ongelijkheden. En op basis van onze onderzoeken uit het verleden weten we dat deze problemen kunnen zorgen voor blijvende schade bij mensen.
Dit zijn onze bevindingen
De meeste video’s die mensen hebben bekeken en waar ze spijt van hadden, komen via aanbevelingen.
YouTube Regrets zijn voornamelijk het resultaat van het aanbevelingsalgoritme, oftewel video’s die YouTube kiest om uit te lichten, in plaats van dat mensen ze zelf uitkiezen.
71% van alle Regret-meldingen kwamen voort uit aanbevelingen aan onze vrijwilligers en de kans dat mensen spijt hadden van het bekijken van de video was 40% groter bij aanbevolen video’s dan bij de video’s waar ze zelf bewust naar zochten.
De YouTube Regrets die onze vrijwilligers rapporteerden waren al heel vaak bekeken, maar het is onmogelijk te achterhalen hoe vaak dit door het aanbevelingsalgoritme van YouTube kwam, omdat YouTube deze informatie niet vrijgeeft.
Gerapporteerde video’s
5.794
weergaven per dag
Andere video’s
3.312
weergaven per dag
Wat we wel kunnen zeggen, is dat gerapporteerde video’s sneller werden weergegeven dan andere video’s.
Op het moment dat ze werden gerapporteerd, had YouTube Regrets een gemiddelde van 5.794 weergaven per dag dat ze op het platform stonden, terwijl andere video’s die door onze vrijwilligers werden bekeken slechts 3.312 weergaven per dag hadden.
YouTube beveelt video’s aan die in strijd zijn met hun eigen beleid.
Onze gegevens tonen aan dat het algoritme van YouTube diverse video’s aanbeval die later van het platform werden verwijderd, omdat ze de eigen Gemeenschapsrichtlijnen van YouTube schonden.
Bij 40% van de gevallen waarbij aanbevolen YouTube Regrets werden verwijderd, heeft YouTube geen gegevens vrijgegeven over de reden voor het verwijderen van deze video’s.
Wat we wel weten is dat op het moment van rapporteren, ze bij elkaar 160 miljoen weergaven hadden gerealiseerd, een gemiddelde van 760 duizend views per video, vergaard in gemiddeld 160 dagen dat de video’s live stonden, op het moment dat ze werden gerapporteerd. Het is onmogelijk te bepalen hoeveel van deze weergaven het resultaat zijn van aanbevelingen, omdat YouTube deze informatie niet vrijgeeft.
160.000.000
weergaven in ~ 5 maanden
760
weergaven per video
Het niet-Engelstalige deel van de wereld wordt het hardst geraakt.
Zodra YouTube wordt geconfronteerd met het feit dat ze twijfelachtige inhoud aanbevelen, schept het bedrijf doorgaans op dat hun beleidsaanpassingen hebben geleid tot ‘gemiddeld 70% vermindering van de kijktijd van dit type inhoud, via niet-geabonneerde aanbevelingen in de VS.’ Maar hoe zit het met de rest van de wereld?
We hebben geconcludeerd dat het aantal Regrets 60% hoger is in landen waar Engels niet de voertaal is.
Dit is in lijn met de verklaringen van YouTube die suggereren dat ze in eerste instantie met deze beleidswijzigingen hebben gefocust op Engelstalige landen.
*Onder de landen die zijn geclassificeerd met Engels als voertaal, is de verhouding 11,0 Regrets per 10.000 bekeken video’s (het 95% betrouwbaarheidsinterval ligt tussen 10,4 en 11,7). In landen waar Engels niet de voertaal is, is de verhouding 60% hoger met 17,5 Regrets per 10.000 bekeken video’s (het 95% betrouwbaarheidsinterval ligt tussen 16,8 en 18,3)
36
van de niet-Engelstalige video’s waren gerelateerd aan de pandemie
14
van de Engelstalige video’s waren gerelateerd aan de pandemie
We zagen ook dat misleidende of schadelijke aan de pandemie gerelateerde video’s voornamelijk voorkomen onder niet-Engelse Regrets.
Van de YouTube Regrets waarvan wij bepaalden dat ze niet op YouTube zouden moeten staan of zouden moeten worden aanbevolen door YouTube, zagen we dat slechts 14% van de Engelse video’s aan de pandemie gerelateerd waren. Onder de niet-Engelse video’s is dat 36%.
YouTube Regrets kunnen mensenlevens voor altijd veranderen.
Uit onze eerdere onderzoeken blijkt dat deze video-aanbevelingen een aanzienlijke impact kunnen hebben op mensenlevens.
“Bij mijn coming-out als transgender voor mezelf en mijn vrienden, heb ik het meeste spijt van het feit dat ik op Youtube verhalen van andere transgenders en queers heb bekeken. Door alleen het woord ‘transgender’ in te typen, kreeg ik ontelbare video’s die mijn interne worsteling beschreven als een psychische aandoening en als iets dat niet zou moeten bestaan. YouTube herinnerde me eraan waarom ik zo lang in de kast heb gezeten.
Nog steeds krijg ik zo nu en dan een aanbeveling van YouTube, waarin wordt uitgelegd dat mijn genderidentiteit verkeerd is – en ik realiseer me ook weer meteen hoeveel haat ik en anderen zoals ik krijgen. Ik ben al iets ouder en ik probeer al heel lang om te gaan met deze problemen, waarvoor ik ook in therapie ben, maar ik kan me niet voorstellen hoe het is voor mensen die geen toegang hebben tot hulp. YouTube is onderdeel geworden van de pijn rond mijn coming-out en is een herinnering hoe verschrikkelijk de wereld kan zijn voor mensen die anders zijn. Ik moet juist trots zijn, ondanks plekken als YouTube.”
“Toen mijn zoon een peuter was, keek hij graag naar video’s van ‘Thomas the Tank Engine’ op YouTube. Toen ik een keer controleerde wat hij aan het doen was, zat hij een videocompilatie te kijken met expliciete beelden van treinongelukken.”
“Mijn kleindochter van acht gebruikte onze tablet om kindervideo’s te bekijken. Als nietsvermoedende grootouders dachten we dat ze veilig was. De volgende dag zaten we aan tafel tijdens het avondeten, waar ze openhartig tegen haar ouders sprak over haar angst voor kanker.
Zoals later bleek, veranderde de video over kinderen met medische uitdagingen die geweldige, inspirerende dingen kunnen doen, in een duister verhaal met gruwelijke, rauwe beelden met rottende huid en verminkingen. We proberen nu te zorgen dat ze kanker begrijpt en haar ervan te overtuigen dat ze niet bang hoeft ze zijn om te eten of water te drinken.”
“Mijn lieve dochter van 10 zocht onschuldig naar ‘tapdansvideo’s’ en kwam in een spiraal terecht van aanbevolen video’s over extreme ‘dans’ en onnatuurlijke lichaamshoudingen, die haar vreselijke onveilige adviezen geven met mogelijk lichamelijk letsel en schade aan haar lichaamsbeeld… Waardoor ze nu slechts beperkt eet en drinkt. Ik weet niet hoe ik de aangerichte schade aan haar beïnvloedbare geest kan omkeren.”
“Mijn ex-vrouw, die psychische problemen heeft, begon drie jaar geleden complottheorievideo’s te kijken en geloofde ze stuk voor stuk. YouTube bleef haar paranoia en angst maar voeden, video na video. Ik smeekte haar te stoppen, maar dat deed ze niet – ze kon het niet. Op een gegeven moment wist ze zeker dat een helikopter in buurt van ons huis door de overheid gestuurd was, om haar en onze dochter mee te nemen (in werkelijkheid waren ze de stroomkabels aan het controleren) en belde me op in blinde paniek. Ze is er nu van overtuigd dat de wereld ieder moment kan vergaan en is een religieuze fundamentalist geworden.
Ze weigert iedere vorm van professionele hulp omdat ze niemand meer vertrouwt – vooral dokters, de politie en overheidsorganisaties niet. YouTube blijft haar maar angstvideo’s voorschotelen. Ons huwelijk is voorbij. Haar buitensporige angst heeft haar en ons leven samen volledig opgeslokt.”
Ons advies: er moet dringend actie worden ondernomen om het YouTube-algoritme te verbeteren.
YouTube’s algoritme zorgt elke dag voor 700 miljoen uur kijktijd op het platform. De gevolgen hiervan zijn simpelweg te groot om hen te vertrouwen het zelf op te lossen. Hieronder treft u een overzicht van Mozilla’s aanbevelingen voor YouTube, beleidsmakers en mensen die YouTube gebruiken. De details van deze aanbevelingen zijn te vinden in het volledige rapport.
Beleidsmakers moeten van YouTube eisen dat ze de gegevens van hun algoritme openbaar maken en onderzoekshulpmiddelen en juridische bescherming creëren voor echt, kritisch toezicht op het platform.
YouTube en andere bedrijven moeten audits van hun algoritme publiceren en zorgen dat mensen controle hebben over hoe hun gegevens worden gebruikt voor aanbevelingen, inclusief zorgen voor een afmeldingsoptie voor gepersonaliseerde aanbevelingen.
Mensen die YouTube gebruiken zouden zich moeten informeren over hoe YouTube-aanbevelingen werken en RegretsReporter downloaden om bij te dragen aan toekomstig onderzoek op basis van crowdsourcing.
Mozilla blijft RegretsReporter inzetten als een onafhankelijk hulpmiddel om YouTube’s aanbevelingsalgoritme nauwgezet te controleren. We zijn van plan de extensie bij te werken om mensen gemakkelijker toegang te geven tot de gebruikersinstellingen van YouTube om ongewilde aanbevelingen te blokkeren en we blijven onze analyses en toekomstige aanbevelingen publiceren.