Este botão funciona?
Investigação dos controles ineficazes de usuários do YouTube
Com a ajuda de 22.722 voluntários, a Mozilla analisou o YouTube detalhadamente para determinar o controle real que as pessoas têm sobre o algoritmo de recomendação da plataforma. Veja o que constatamos.
Leia o relatório completo
As pessoas têm a sensação de que não controlam as recomendações que recebem do YouTube…
Nossa investigação sobre o sistema de recomendações do YouTube realizada em 2021 revelou uma série de problemas na plataforma, como algoritmo obscuro, fiscalização inconsistente e desigualdades geográficas. Também constatamos que as pessoas têm a sensação de que não controlam sua experiência no YouTube – em especial, as recomendações de vídeos que recebem.
O YouTube diz que as pessoas podem gerenciar suas recomendações de vídeo utilizando as ferramentas de feedback que a plataforma oferece. Mas será que os controles de usuário do YouTube realmente funcionam?
…e nosso estudo mostra que elas realmente não controlam.
Nosso trabalho representa a maior auditoria experimental do YouTube realizada por pesquisadores independentes, com o apoio do RegretsReporter da Mozilla.
Por meio do RegretsReporter, uma ferramenta de código aberto desenvolvida pela Mozilla para estudar o algoritmo de recomendação do YouTube, pudemos auditar os controles de usuário da plataforma de forma independente.
- Combinamos insights qualitativos e quantitativos para retratar de forma mais completa a eficácia – ou melhor, a ineficácia – dos controles do YouTube.
- Mobilizamos uma vasta comunidade para coletar nossos dados.
- Aplicamos métodos de pesquisa rigorosos e poderosos, incluindo uma experiência controlada randomizada e um modelo de aprendizado de máquina.
22.722
participantes
567.880.195
vídeos analisados
2.758
pessoas entrevistadas
No fim das contas, constatamos:
As pessoas têm a sensação de que utilizar os controles de usuário do YouTube não muda em nada suas recomendações.
Elas têm razão. Os mecanismos de controle de usuários do YouTube não são eficazes para impedir recomendações “indesejadas”.
As pessoas adotam o método de tentativa e erro para controlar suas recomendações.
Na parte qualitativa do nosso estudo, constatamos que as pessoas não se sentem no controle de sua experiência no YouTube, nem têm informações claras sobre como selecionar suas recomendações. Muitas pessoas adotam o método de tentativa e erro para controlar suas recomendações usando as opções confusas do YouTube, como “Não gostei”, “Não tenho interesse” e outros botões. Não parece funcionar. Uma pessoa disse:
“Nada mudou. Algumas vezes, eu denunciei coisas como enganosas e spam e, no dia seguinte, elas estavam de volta. Parece que quanto mais negativo é o meu feedback às recomendações deles, maior é a pilha de porcaria que aparece. Mesmo bloqueando certas fontes, elas acabam voltando.”
Quando os próprios controles do YouTube não funcionam, as pessoas assumem as rédeas, recorrendo a ferramentas de privacidade ou até mesmo mudando a forma como assistem aos vídeos no YouTube:
O que as pessoas disseram:
Eu evitei clicar em um vídeo que gostaria de assistir, apenas porque tinha medo de que isso me levasse a ter recomendações de política radicais.
Durante o Superbowl… se alguém recomendasse um comercial, eu costumava sair do YouTube, assistia ao comercial e depois entrava de novo. Cheguei a usar um dispositivo diferente só porque… não queria isso atrapalhando as minhas recomendações.
Não clico nem passo o mouse em cima de determinados vídeos na esperança de que as coisas melhorem.
Mas é difícil saber o que realmente funciona.
Vamos fazer um apelo ao YouTube para que os usuários ganhem acesso a controles reais e significativos
Assine a petição
O resultado? As pessoas não conseguem escapar das recomendações ruins.
Na parte quantitativa de nosso estudo, fizemos um experimento controlado randomizado com a comunidade de participantes do RegretsReporter. Com isso, conseguimos testar de forma direta a eficácia dos controles de usuário do YouTube. Descobrimos que esses controles têm alguma influência sobre o que é recomendado, mas esse efeito é mínimo e a maioria dos vídeos indesejados ainda escapa do controle.
Percentual de recomendações ruins
entre pares de vídeos de alto risco avaliados pelos nossos assistentes de pesquisa
O que é uma recomendação ruim?
Em nossa experiência, uma “recomendação ruim” é quando o YouTube recomenda vídeos aos usuários semelhantes a um que eles haviam rejeitado anteriormente (tendo clicado em “Parar de recomendar”). Determinamos se os vídeos eram semelhantes utilizando as avaliações de nossos assistentes de pesquisa e o nosso modelo de similaridade de vídeo baseado em aprendizado de máquina.
Qual método foi mais eficaz?
Na verdade, nenhum deles.43
NÃO RECOMENDAR O CANAL
11
NÃO TENHO INTERESSE
12
NÃO GOSTEI
29
REMOVER DO HISTÓRICO DE VISUALIZAÇÕES
Percentual de recomendações ruins evitadas
As recomendações ruins reapareceram com o tempo.
“Parece que é preciso fazer uma limpeza de maneira sistemática ou eles continuarão exibindo coisas até que se mande parar.” (participante 112)
Role para conhecer uma cronologia real de recomendação do nosso estudo
Uma avó comeu massa de cookie no almoço toda semana. Isto é o que aconteceu com seus ossos.
Um usuário assiste a um vídeo que prefere não ver novamente
8 de dezembro de 2021
Uma avó comeu massa de cookie no almoço toda semana. Isto é o que aconteceu com seus ossos.
O usuário decide usar o mecanismo de feedback do YouTube “Remover do histórico”.
8 de dezembro de 2021
Um pai comeu 25 pacotes de sílica pela manhã. Isto é o que aconteceu com seu estômago.
Uma estudante tomou 108 antiácidos pela manhã. Isto é o que aconteceu com seus rins.
Mas vídeos semelhantes continuam aparecendo…
Uma semana depois
Um pai ingeriu uma lava lamp na hora de dormir. Isto é o que aconteceu com seus rins.
Uma estudante sentiu uma dor aguda na lateral. Foi assim que seus órgãos pararam.
Uma mãe bebeu 11 litros de água em 2 horas. Isto é o que aconteceu com seu cérebro.
Um gamer tomou 12 energéticos em 10 minutos. Isto é o que aconteceu com seus órgãos.
Uma mulher tomou água oxigenada 35% de grau alimentício. Isto é o que aconteceu com seu cérebro.
Uma estudante tomou 2 frascos de xarope para tosse. Isto é o que aconteceu com seu cérebro.
Uma criança ingeriu óleos essenciais da mãe. Isto é o que aconteceu com seu cérebro.
…e aparecendo
Um mês depois
Um estudante comeu sobras suspeitas no almoço. Isto é o que aconteceu com seus membros.
Um garoto comeu 25 brownies laxantes em 1 hora. Isto é o que aconteceu com seus rins.
Uma TikToker tomou 2 frascos de antialérgico. Isto é o que aconteceu com seus órgãos.
Um minerador de bitcoin teve insolação dormindo. Isto é o que aconteceu com seus órgãos.
Um TikToker tomou 1 litro de xarope para tosse. Isto é o que aconteceu com seu cérebro.
Um homem ingeriu 6 colares de neon no jantar. Isto é o que aconteceu com seu estômago.
Um homem engoliu uma espinha de peixe. Isto é o que aconteceu com seu fígado.
Um estudante comeu massa de 5 dias no almoço. Foi assim que seu fígado parou.
Um TikToker tomou 8 doses de suplemento de pré-treino. Isto é o que aconteceu com seu cérebro.
Um pai ingeriu um globo de neve. Isto é o que aconteceu com seus rins.
Uma avó comeu massa de cookie no almoço toda semana. Isto é o que aconteceu com seus ossos.
Um homem comeu 1 quilo de bala de alcaçuz. Isto é o que aconteceu com seus órgãos.
Uma avó comeu 0,5 kg de chocolate em 6 horas. Isto é o que aconteceu com seu cérebro.
Um homem ingeriu 100 vitaminas c com zinco todo dia. Isto é o que aconteceu com sua medula espinhal.
…e aparecendo
Dois meses depois
Um menino ingeriu 150 vitaminas pela manhã. Isto é o que aconteceu com seus ossos.
Uma criança ingeriu tinta com chumbo do brinquedo. Isto é o que aconteceu com seu cérebro.
Uma garota ficou com barba de repente. Isto é o que aconteceu com seus ovários.
Uma estudante sentiu uma dor aguda na lateral. Foi assim que seus órgãos pararam.
Uma criança brincou com seu gato. Isto é o que aconteceu com seu cérebro.
Um garoto comeu só batatas fritas durante 10 anos. Isto é o que aconteceu com seus olhos.
Um pai não escovou os dentes por 40 dias. Isto é o que aconteceu com seus rins.
Uma advogada não conseguiu dormir por 9 dias. Isto é o que aconteceu com seu cólon.
Uma mulher tomou 1 litro de shoyu e limpou o cólon em 2 horas. Isto é o que aconteceu com seu cérebro.
Um avô adiantou seu relógio em 1 hora. Isto é o que aconteceu com seu coração.
Um estudante comeu sushi da loja de conveniência pela manhã. Isto é o que aconteceu com seu estômago.
Um TikToker ingeriu 1 frasco de noz-moscada. Isto é o que aconteceu com seu cérebro.
Um homem jogou videogame sem parar por 73 horas. Foi assim que seus órgãos pararam.
Uma cientista derramou 2 gotas de mercúrio orgânico na mão. Isto é o que aconteceu com seu cérebro.
Um pai tomou 50 cervejas todo dia por 6 semanas. Isto é o que aconteceu com seu cérebro.
Um homem foi lambido pelo cachorro. Foi assim que seus órgãos pararam.
Um chef comeu um salgado de uma loja de conveniência no jantar. Isto é o que aconteceu com seus membros.
Uma mãe diabética teve febre. Foi assim que seus rins pararam.
Um homem usou microdoses de cogumelo da dark web. Isto é o que aconteceu com seus órgãos.
Uma estudante sentiu uma dor aguda na lateral. Foi assim que seus órgãos pararam.
…e aparecendo
Três meses depois
“No fim das contas, ele sempre volta. O algoritmo parece incapaz de lembrar uma lição por muito tempo.” (participante 187)
Mesmo os métodos mais eficazes de feedback evitam menos da metade das recomendações ruins.
Nossa principal recomendação é que o YouTube deve permitir que as pessoas ajustem o que veem.
Os controles de usuário do YouTube deveriam ser fáceis de entender e de acessar. As pessoas deveriam receber informações claras sobre as medidas que podem adotar para influenciar suas recomendações e deveriam poder usar essas ferramentas.
O YouTube deveria desenvolver suas ferramentas de feedback de forma a oferecer controle para as pessoas. As ferramentas de feedback devem permitir que as pessoas moldem sua experiência de forma proativa, dando mais peso ao feedback do usuário para determinar quais vídeos são recomendados.
O YouTube deveria melhorar suas ferramentas de acesso aos dados. O YouTube deveria fornecer aos pesquisadores acesso a ferramentas melhores que lhes permitam avaliar os sinais que impactam o algoritmo do YouTube.
Os responsáveis pela elaboração de políticas deveriam proteger pesquisadores de questões de interesse público. Os responsáveis pela elaboração de políticas deveriam aprovar e/ou explicitar leis que forneçam proteções legais para a pesquisa de interesse público.
Os usuários do YouTube deveriam ser informados sobre como as recomendações do YouTube funcionam e baixar o RegretsReporter para contribuir com dados para futuras pesquisas com colaboração pública.
A Mozilla continuará a utilizar o RegretsReporter como uma ferramenta independente para investigar a fundo o algoritmo de recomendação do YouTube. Vamos realizar experimentos de pesquisa, analisar dados e publicar nossas constatações.