Los métodos populares empleados para revelar contenido sintético obtienen resultados de tan solo «Bajo» o «Suficiente» en el análisis de Mozilla. Persisten deficiencias en el contexto de un año, 2024, en que se celebrará un máximo histórico de elecciones

(BERLÍN, ALEMANIA | 26 DE FEBRERO DE 2024) — A medida que el contenido generado por IA de presidentes y estrellas del pop se propaga por Internet, las formas más populares de detección y divulgación presentan un rendimiento «Bajo» o, en el mejor de los casos, «Suficiente», según un nuevo análisis de Mozilla.

La investigación, «In Transparency We Trust? Evaluating the Effectiveness of Watermarking and Labeling AI-Generated Content» (¿Confiar nuestra salvación en la transparencia? Evaluación de la eficacia de las marcas de agua y el etiquetado para el contenido generado por IA), constató que las estrategias y tecnologías para ayudar a los usuarios de Internet a distinguir el contenido sintético, como las marcas de agua y el etiquetado, se enfrentan a desafíos importantes. Por medio de un control de adecuación, los investigadores evaluaron siete métodos diferentes legibles por máquina y orientados al ser humano, ninguno de los cuales obtuvo un resultado de «Bueno».

LEER EL ESTUDIO

La falta de protecciones efectivas es especialmente urgente, ya que más de la mitad de la población mundial se prepara para votar en elecciones este año, incluidos los EE. UU., India, Rusia, Sudáfrica y México. Miles de millones de personas acudirán a las urnas en el contexto de una proliferación de chatbots de IA, generadores de texto e imágenes y plataformas de clonación de voz de fácil acceso. Estas herramientas y el contenido que producen ya están socavando la integridad de las elecciones en Argentina, Eslovaquia, India y otros lugares.

La investigación de Mozilla ofrece recomendaciones para fortalecer la detección y la divulgación. Por ejemplo, priorizar los métodos legibles por máquina acompañados por mecanismos de detección fiables en el punto de distribución. Además, nuevos enfoques de gobernanza, como los espacios reglamentarios controlados centrados en el ser humano, permitirían a los responsables políticos poner a prueba nuevas regulaciones para determinar su impacto.

En palabras de Ramak Molavi Vasse'i, líder de investigación de Mozilla en transparencia de la IA y coautora del informe: «A la hora de identificar contenido sintético, estamos en un momento de "vaso medio lleno, vaso medio vacío". Las actuales tecnologías de marca de agua y de etiquetado son prometedoras e ingeniosas, en especial cuando se usan de forma combinada. Sin embargo, no bastan para contrarrestar de manera eficaz los peligros del contenido sintético no divulgado, en particular de cara a docenas de elecciones en todo el mundo».

Molavi Vasse'i añade: «Empresas como OpenAI han publicado normas para las elecciones con el fin de evitar un uso abusivo de sus productos, pero los requisitos voluntarios no bastan. Y aunque empresas como Meta han propuesto esfuerzos a escala sectorial para etiquetar el contenido generado por IA, resulta fundamental que las normas abiertas se elaboren con la participación de todas las partes interesadas, en especial de los posibles afectados. Además, se debe evitar que una coalición de agentes poderosos, como Meta, Google y Adobe, se erija en guardián de la integridad del contenido».

Las actuales tecnologías de marca de agua y de etiquetado son prometedoras e ingeniosas, en especial cuando se usan de forma combinada. Sin embargo, no bastan para contrarrestar de manera eficaz los peligros del contenido sintético no divulgado, en particular de cara a docenas de elecciones en todo el mundo.

Líder de investigación de Mozilla en transparencia de IA

______

CONCLUSIONES PRINCIPALES

Los métodos de divulgación orientados al ser humano no resultan eficaces

Las etiquetas visibles y las advertencias audibles dependen en gran medida de la percepción del destinatario. Además, son vulnerables frente a manipulaciones y pueden no prevenir o abordar con eficacia el daño una vez se ha producido. Si bien estos métodos tienen por objetivo informar, pueden conducir a una sobrecarga de información, aumentando la desconfianza pública y la polarización social.

Adecuación general: BAJA

Los métodos legibles por máquina pueden ser eficaces cuando se combinan con mecanismos de detección sólidos

Las marcas de agua invisibles incrustadas durante la creación y distribución de contenido ofrecen una relativa seguridad frente a la manipulación por parte de agentes malintencionados. Aún así, su efectividad general se ve comprometida sin herramientas de detección fiables y neutras.

Adecuación general: SUFICIENTE

Necesidad de un enfoque de gobernanza holístico

Ni los métodos orientados al ser humano ni los legibles por máquina proporcionan por sí solos una solución integral. Se debe adoptar un enfoque polifacético que combine medidas tecnológicas, regulatorias y educativas para mitigar de manera eficaz los daños del contenido generado por IA no divulgado.

_______

DEFINICIONES

(Métodos legibles por máquina)

Marca de agua criptográfica: la información secreta se codifica en las funciones criptográficas (o circuitos) del contenido, que en adelante solo se pueden detectar, eliminar o cambiar mediante un proceso de cifrado/descifrado.

Marca de agua de componentes de frecuencia: el contenido se descompone en diferentes componentes de frecuencia y a continuación se inserta una marca de agua en bandas de baja frecuencia que son menos vulnerables a ataques y alteraciones.

Marca de agua de metadatos: se incrusta una descripción de la información del autor, las marcas de tiempo, el historial de edición y el software utilizado en el contenido.

Marca de agua estadística: la información se inserta en los patrones estadísticos de la estructura de datos del contenido. Por lo general, esto implica alterar píxeles, marcos de color, componentes de sonido u otros valores de una manera imperceptible.

(Métodos orientados al ser humano)

Etiquetas de audio: elementos audibles colocados directamente sobre el contenido que revelan su origen.

Divulgaciones y descripciones: se utiliza la información escrita como pies, rótulos, descripciones o etiquetas para informar a los usuarios sobre el contenido.

Etiquetas visuales: elementos escritos o gráficos, como etiquetas o iconos nutricionales, colocados directamente sobre el contenido para divulgar su origen.

Contactos de prensa:

Europa: Tracy Kariuki, [email protected]

EE. UU.: Helena Dea Bala, [email protected]