¿De verdad sirve este botón?
Una investigación sobre los inefectivos controles de usuario de YouTube
Con la ayuda de 22 722 voluntarios, Mozilla escudriñó YouTube para averiguar qué tanto control tienen realmente las personas sobre el algoritmo de recomendaciones de la plataforma. A continuación, el resultado de nuestra indagación.
Leer el informe completo
Las personas consideran que no tienen el control de las recomendaciones de YouTube…
Nuestra investigación de 2021 sobre el sistema de recomendaciones de YouTube reveló una variedad de problemas en la plataforma: un algoritmo opaco, supervisión inconsistente y desigualdades geográficas. También averiguamos que las personas consideran que no controlan su experiencia en YouTube, en especial las recomendaciones de videos.
YouTube dice que las personas pueden gestionar las recomendaciones de videos mediante las herramientas para enviar comentarios que ofrece la plataforma, pero… ¿realmente funcionan los controles de usuario en YouTube?
Pues en realidad no, como descubrimos con nuestra investigación.
Nuestro trabajo constituye la más extensa auditoría experimental practicada por investigadores independientes a YouTube mediante RegretsReporter de Mozilla.
Con RegretsReporter, una herramienta de fuente abierta que Mozilla creó para estudiar el algoritmo de recomendaciones de YouTube, pudimos auditar de manera independiente los controles de usuario de la plataforma.
- Combinamos análisis cualitativos y cuantitativos para elaborar un retrato completo de la efectividad, o más bien inefectividad, de los controles de YouTube.
- Recopilamos nuestros datos gracias a la participación de una comunidad a escala masiva.
- Aplicamos métodos de gran alcance y rigurosos, inclusive una prueba controlada aleatoria y un modelo de aprendizaje automático.
22 722
participantes
567 880 195
videos analizados
2 758
personas encuestadas
Básicamente, hallamos que:
las personas consideran que usar los controles de usuario de YouTube no cambia para nada sus recomendaciones;
están en lo cierto. La configuración de los controles de usuario de YouTube no impide eficazmente las recomendaciones "no deseadas".
Ensayo y error para controlar las recomendaciones.
La parte cualitativa de nuestra investigación nos mostró que las personas consideran que no controlan su experiencia en YouTube, ni tienen información clara de cómo filtrar las recomendaciones recibidas. Es a base de ensayo y error que muchas intentan controlar las recomendaciones, probando la variedad de alternativas en YouTube —como "No me gusta", "No me interesa" y otros botones— para ver si finalmente lo logran. Pero ni así. Una persona dijo:
"No cambia nada. Algunas veces denuncio cosas como engañosas y como spam, pero al día siguiente aparecen de nuevo. Casi siento que entre más envío comentarios negativos sobre sus sugerencias, más crece la montaña de basura. Aun bloqueando algunas fuentes, reaparecen con el tiempo".
Cuando los controles de YouTube fallan, las personas no se quedan de brazos cruzados: se valen de las herramientas de privacidad e incluso cambian la manera como ven videos en YouTube.
Al respecto comentaron:
He llegado a evitar dar clic en algún video que quisiera ver, solo porque me preocupa que hacerlo ocasione que me lleguen recomendaciones extremas políticamente.
Cuando llega el Supertazón… si alguien recomienda un comercial en especial, acostumbro salirme de YouTube, veo el anuncio y luego vuelvo a entrar. Incluso a veces lo veo desde otro dispositivo, solo porque no quiero que eso enturbie mis recomendaciones.
No hago clic ni pongo el cursor sobre cierto tipo de videos, para ver si así las cosas mejoran.
Pero es difícil saber qué funciona realmente.
Exijamos a YouYube que empodere a los usuarios con controles verdaderamente efectivos.
Fimar la petición
¿Conclusión? Las personas no pueden librarse de las malas recomendaciones
En la parte cuantitativa de nuestra investigación, realizamos una prueba controlada aleatoria entre nuestra comunidad de participantes de RegretsReporter para comprobar directamente la efectividad de los controles de usuario de YouTube. Descubrimos que esos controles de usuario influyen un poco en qué se recomienda, pero su efecto es mínimo y la mayor parte de los videos no deseados logran colarse.
Porcentaje de malas recomendaciones
entre los pares de videos de alto riesgo que nuestros asistentes de investigación evaluaron
¿Qué es una mala recomendación?
En nuestro experimento, se consideró como mala una recomendación de YouTube si los videos recomendados se parecen a los que los usuarios ya rechazaron anteriormente (mediante hacer clic en "Dejar de recomendar"). Determinamos la similitud de los videos a partir de la evaluación de nuestros asistentes de investigación y con base en nuestro modelo de identificación automática de videos similares.
¿Cuál fue el método más efectivo?
Realmente ninguno.43
NO RECOMENDAR CANAL
11
NO ME INTERESA
12
NO ME GUSTA
29
ELIMINAR DE HISTORIAL
Porcentaje de malas recomendaciones evitadas
Las malas recomendaciones reaparecieron con el tiempo.
"Parece como si tuvieras que meter tijera cada cierto tiempo o, de lo contrario, no te dejan en paz". (Participante 112)
Desplázate para ver una cronología de recomendaciones real con base en los resultados de nuestra investigación
Una abuelita almorzó masa para donas todas las semanas. Sus huesos quedaron así.
Un usuario ve un video que preferiría no volver a ver
8 de diciembre de 2021
Una abuelita almorzó masa para donas todas las semanas. Sus huesos quedaron así.
El usuario decide usar la opción de 'Eliminar de historial' en la configuración de opciones de YouTube
8 de diciembre de 2021
Un padre desayunó 25 paquetes de gel de sílice. A su estómago le sucedió esto.
Una estudiante desayunó 108 gomitas de antiácido. A sus riñones les sucedió esto.
Pero no dejan de aparecer videos similares…
Una semana después
Un padre bebió por error una lámpara de lava a la hora de dormir. Esto le pasó a sus riñones.
Una estudiante sintió un dolor agudo en el costado. Así dejaron de funcionarle sus órganos.
Una madre se tomó 11 litros de agua en 2 horas. Esto le sucedió a su cerebro.
Un gamer se tomó 10 bebidas energizantes en 10 minutos. Esto le pasó a sus órganos.
Una mujer tomó "peróxido de hidrógeno 35% grado alimenticio". Esto le pasó a su cerebro.
Una estudiante se tomó 2 botellas de jarabe para la tos que no requiere receta médica. A su cerebro le pasó esto.
Un bebé se tomó aceite esencial de su mamá. Esto le sucedió a su cerebro.
... y vuelven a aparecer
Un mes después
Un estudiante almorzó sobras en mal estado. Esto le pasó en las extremidades.
Un niño se comió 25 brownies laxantes en 1 hora. A sus riñones les sucedió esto.
Una tiktoker se tomó 2 botellas de benadryl. Esto le sucedió a sus órganos
Un minero de bitcoin se insoló mientras dormía. Esto le pasó a sus órganos.
Un tiktoker se tomó un litro de jarabe para la tos. A su cerebro le pasó esto.
Un hombre se comió 6 tubitos luminosos durante la cena. Esto le sucedió a su estómago.
Un hombre se tragó una espina de pescado. A su hígado le sucedió esto.
Un estudiante almorzó pasta de hacía 5 días. Así se le paralizó el hígado.
Un tiktoker tomó 8 cucharadas de suplemento preentrenamiento. Esto le pasó a su cerebro.
Un padre bebió una esfera de nieve. A sus riñones les pasó esto.
Una abuelita almorzó masa para donas todas las semanas. Sus huesos quedaron así.
Un hombre se comió 1 kilo de caramelo de regalíz. Esto le pasó a sus órganos.
Una abuelita se comió medio kilo de chocolate en 6 horas. Esto le pasó a su cerebro.
Un hombre comió 100 gomitas de vitamina C y zinc a diario. Esto le pasó a su médula espinal.
... y vuelven a aparecer
Dos meses después
Un niño desayunó 150 gomitas de vitaminas. Esto pasó con sus huesos.
Un bebé se comió la pintura de plomo de sus juguetes. A su cerebro le sucedió esto.
A una chica le creció repentinamente la barba. Esto le pasó a sus ovarios.
Una estudiante sintió un dolor agudo en el costado. Así dejaron de funcionarle sus órganos.
Un bebé jugó con su gato. Esto le pasó a su cerebro.
Un niño comió solamente papas fritas y a la francesa durante 10 años. Esto le pasó a sus ojos.
Un padre no se cepilló los dientes durante 40 días. Esto le pasó a sus riñones.
Una abogada no pudo dormir durante 9 días. Esto le pasó a su colon.
Una mujer se tomó 1 litro de salsa de soya para limpiar el colon. Esto le pasó a su cerebro.
Un abuelo adelantó su reloj una hora. Esto le pasó a su corazón.
Un estudiante desayunó sushi de una gasolinera. Esto le pasó a su estómago.
Un tiktoker se tomó una botella de nuez moscada. A su cerebro le sucedió esto.
Un hombre jugó videojuegos sin parar durante 73 horas. Así se le paralizaron los órganos.
Una científica derramó 2 gotas de mercurio orgánico en su mano. A su cerebro le pasó esto.
Un padre se tomó 50 cervezas diarias durante 6 semanas. Esto le pasó a su cerebro.
Un hombre dejó que su perro lo estuviera lamiendo. Así se le paralizaron los órganos.
Un chef cenó nachos de una gasolinera. Esto le pasó en las extremidades.
A una madre diabética le dio fiebre. Así se le paralizaron los riñones.
Un hombre se microdosificó hongos comprados en la red oscura. Esto le pasó a sus órganos.
Una estudiante sintió un dolor agudo en el costado. Así dejaron de funcionarle sus órganos.
... y vuelven a aparecer
Tres meses después
"Con el tiempo vuelven a aparecer. Parece que el algoritmo es incapaz de recordar por mucho tiempo una lección". (Participante 187)
Los métodos de información sobre la experiencia más efectivos no logran impedir ni siquiera la mitad de las malas recomendaciones.
Nuestra principal recomendación es que YouTube permita a las personas configurar lo que ven.
Debería ser fácil entender cómo usar los controles de usuario de YouTube e ingresar a ellos. Las personas deberían contar con información clara de qué herramientas usar para influir en las recomendaciones que reciben y realmente poder usarlas.
YouTube debería diseñar sus herramientas de información sobre la experiencia de tal manera que las personas tengan el mando. Tales herramientas deberían posibilitar la configuración proactiva de la experiencia de los usuarios, de manera que puedan influir más en qué videos les recomiendan.
YouTube debería mejorar sus herramientas de acceso a los datos. YouTube debería proporcionar a los investigadores acceso a mejores herramientas que les permitan evaluar las señales que afectan el algoritmo de YouTube.
Los formuladores de políticas deberían proteger a los investigadores para el interés público. Los formuladores de políticas deberían aprobar o aclarar las leyes que amparan jurídicamentee la investigación para el interés público.
Los usuarios de YouTube pueden informarse acerca de cómo funcionan las recomendaciones de YouTube y descargar RegretsReporter con el fin de aportar datos para futuras investigaciones colaborativas.
Mozilla seguirá usando RegretsReporter como herramienta independiente para escudriñar el algoritmo de recomendaciones de YouTube. Seguiremos realizando experimentos indagatorios, analizando datos y publicando nuestros hallazgos.