Acelerar los avances hacia una IA confiable

PREFACIO

El trabajo de Mozilla en IA no es nuevo: llevamos años financiando, construyendo y abogando por enfoques de IA confiables. En 2020, publicamos un documento técnico que esbozaba nuestra visión de la IA confiable en un momento incipiente para la tecnología. Desde entonces, muchas cosas han cambiado. Hoy en día, la IA es cada vez más poderosa y está cada vez más presente en nuestra sociedad, y sus promesas y peligros son cada vez más evidentes. Aunque cada vez son más las personas y organizaciones que trabajan para que la IA sea más fiable, el alcance del reto también sigue creciendo. Y, al haber avanzado en la creación de barreras para los sistemas de IA, el ecosistema de la IA también se ha vuelto cada vez más cerrado y concentrado.

Dada la rapidez con la que la IA ha cambiado recientemente, nos pareció necesario hacer un balance de los avances que hemos logrado hasta ahora y el trabajo que queda por hacer. Este nuevo reporte proporciona una actualización sobre el trabajo realizado hasta la fecha en las cuatro áreas estratégicas que detallamos en nuestro documento de 2020, y mapea las iniciativas clave que están ocurriendo en estas áreas, tanto en Mozilla como en todo el ecosistema. Pero principalmente, el documento también pone en relieve nuestro creciente interés por la importancia del código abierto en el desarrollo de una IA más confiable. Esperamos que este reporte sea tanto una guía como un mapa, ayudando a los lectores a articular su propio mensaje contundente sobre una IA confiable, a construir e invertir en un mejor futuro para la IA, y a encontrar oportunidades para colaborar con otros en el ecosistema de la IA. Por otra parte, creemos que nuestra labor colectiva puede encaminarnos a fomentar verdaderamente la apertura, competencia y responsabilidad en la IA.

Te invitamos a comentar el informe en particular y el estado del ecosistema de la IA en general. Tus comentarios y una serie de eventos públicos nos servirán como retroalimentación de la comunidad de IA que utilizaremos para fortalecer nuestra comprensión y visión del futuro de una IA confiable. Envíanos un correo electrónico a [email protected] para comentarnos el informe y/o darnos tus ejemplos favoritos de IA utilizada en formas que fomentan la confianza y mejoran la vida de las personas.

Resumen ejecutivo

La inteligencia artificial en el mundo de hoy

Nos encontramos en un punto de inflexión para la IA y para la sociedad en general. La tecnología ha posibilitado enormes beneficios para la sociedad: desde soluciones mediante IA en la farmacología y el cambio climático, hasta el aumento de la productividad de las personas y las pequeñas empresas. Aunque estos beneficios son enormes, los daños causados por la IA nunca habían sido tan apremiantes. La IA se utiliza de forma que facilita el engaño y el acoso en las redes sociales, perpetúa los prejuicios en el sistema de justicia penal y extrae información sensible de la actividad en línea de las personas.

Las fallas estructurales del ecosistema de la IA nos impiden ver todo su potencial y, al mismo tiempo, permiten que los daños de la IA queden sin control. Sabemos que muchas de las innovaciones y aplicaciones de la IA han sido impulsadas por el código abierto y la ciencia abierta; por ejemplo, el influyente documento transformer de Google y el marco TensorFlow se hicieron ampliamente accesibles, lo que apoyó muchas innovaciones de IA en todos los sectores. Sin embargo, ahora, muchas de las grandes tecnológicas denigran los enfoques abiertos y competitivos de la IA en favor de sus propios modelos de IA patentados y sus negocios lucrativos de informática en la nube. Esto dificulta la competencia en el ecosistema de la IA.

Sabemos por otros sectores que la competencia es crucial para impulsar la investigación y el desarrollo, crear productos más económicos y seguros, así como estimular la inversión y la creación de empleos. De igual forma, la falta de apertura y de competencia dificulta promover la responsabilidad en la IA porque reduce la investigación y cooperación independientes, inhibe el escrutinio de ciudadanos y autoridades normativas e incrementa las barreras del mercado a los nuevos participantes centrados en crear una IA responsable.

En un mundo en el que la IA toca cada sector y faceta de la sociedad, necesitamos cambios estructurales que aborden las causas de fondo tras los perjuicios actuales ocasionados por la IA y den paso a sus beneficios positivos. Así podremos llegar a una IA confiable: con una tecnología que se construya y despliegue de forma que favorezca la responsabilidad y la agencia, y promueva el bienestar individual y colectivo.

Una historia conocida para Mozilla

En Mozilla, estamos muy familiarizados con esta situación. En los albores de la internet comercial, a finales de la década de 1990, Microsoft estuvo a punto de monopolizar el mercado de los navegadores web, amenazando con bloquear a los usuarios, acabar con los competidores y frenar la innovación en línea. Internet estaba a punto de transformar la sociedad, pero el acceso a la red estaba cada vez más controlado por una entidad. En respuesta, Mozilla creó el navegador Firefox de código abierto, que añadió la competencia tan necesaria en el mercado, elevando el estándar de privacidad, seguridad y funcionalidad en toda la industria. En los 25 años desde entonces hemos seguido combatiendo el poder de las grandes tecnológicas sobre el Internet a través de nuestros productos, inversiones y activismo.

Por eso nos preocupamos al ver surgir un patrón similar en el ecosistema de la IA durante la última década. En 2020, expusimos una visión de una IA confiable que puso de relieve muchos de los problemas que observamos en el ecosistema de la IA. Describimos cuatro vías que podríamos seguir para lograr una IA confiable a gran escala y movilizamos a la comunidad de Mozilla para que las utilizaran.

Desde entonces, Mozilla ha estado activamente construyendo, invirtiendo y abogando por avanzar aún más en este camino. Estamos invirtiendo en nueva tecnología y nuevos productos para demostrar los principios de la IA confiable en acción, ofreciendo a los consumidores más opciones y control. Sensibilizamos a formuladores de políticas en todo el mundo sobre los riesgos y beneficios actuales de la IA para conformar reglamentos más inteligentes y propiciar dinámicas de mercado más justas. Continuamos convocando a constructores, investigadores y activistas con mentalidad similar para consensuar el desarrollo responsable de la IA y financiar iniciativas que la hagan más confiable. Ayudamos a los consumidores a analizar con más cuidado los productos de IA de su elección y exhortamos a los legisladores a priorizar la apertura y la responsabilidad en las políticas públicas sobre IA.

Avances y próximos pasos hacia una IA confiable

En nuestro documento original de análisis, propusimos cuatro vías clave para fomentar el desarrollo de una IA más confiable: (1) cambiar las normas de desarrollo de la IA, (2) desarrollar nueva tecnología y nuevos productos, (3) sensibilizar a los consumidores y (4) fortalecer la normatividad y los incentivos de la IA. Este informe describe en dónde hemos logrado los avances más positivos y en dónde aún queda trabajo por hacer.

Conclusiones clave

Este informe muestra que hemos logrado avances significativos desde 2020 y que aún hay mucho más trabajo por hacer. Es hora de redoblar nuestros esfuerzos y volver a comprometernos con nuestros principios básicos, y este informe describe cómo hacerlo. Describe el trabajo continuo de Mozilla para cambiar la narrativa sobre la IA, hacer que la IA generativa de código abierto sea más confiable y generalizada, además de empoderar a los consumidores con opciones reales sobre la IA. Destaca cómo seguiremos invirtiendo en el ecosistema de la IA confiable y de código abierto, y cómo ayudaremos a los legisladores a desarrollar y poner en marcha una regulación pragmática de la IA. También insta a constructores, consumidores, formuladores de políticas, defensores e inversionistas por igual a aprovechar sus respectivas posturas para llevar al ecosistema de IA en una mejor dirección.

Será necesario que todos trabajemos juntos para hacer realidad esta visión. No hay tiempo que perder; pongamos manos a la obra.

Introducción: Retos, riesgos y oportunidades de la IA

Mayor atención ciudadana a la IA

Las inversiones y los avances en la IA llevan décadas produciéndose, pero los beneficios transformadores de la tecnología y su potencial para causar daños duraderos se han disparado en los últimos tres años. El lanzamiento de sistemas de IA generativa basados en grandes modelos de lenguaje (LLM) como ChatGPT, Bard y Stable Diffusion ha cautivado la imaginación del público, permitiendo por primera vez que las personas comunes interactúen con sistemas de IA utilizando un lenguaje natural. La sensibilización generalizada de los consumidores ha desatado una fiebre del oro de IA para las grandes tecnológicas, los empresarios y los inversionistas, con nuevos actores y grandes tecnológicas luchando por dominar un mercado en rápido crecimiento. Al mismo tiempo, cada vez más personas denuncian cómo los modelos de IA pueden ser abusivos, sesgados, opacos y perjudiciales a gran escala. Los medios han luchado por discernir entre la expectativa y la realidad de la IA. La opinión pública tiene sentimientos encontrados acerca de la IA, y algunos temen por sus trabajos. Los artistas han demandado por supuesta infracción de derechos de autor en los datos de entrenamiento de IA. Asimismo, los activistas, académicos y expertos en tecnología sostienen intensos debates sobre qué peligros de la IA deben abordarse primero y cuáles enfoques de desarrollo de IA son los más seguros.

La creciente sensibilización sobre los riesgos de la IA es algo positivo. Sin un público bien informado que presione por una mayor transparencia y rendición de cuentas, las grandes empresas de tecnología utilizarán la IA para priorizar las ganancias por encima de todo, lo que perjudicará a las personas al consolidar aún más su poder de mercado. Si se salen con la suya, podríamos perder la oportunidad de conformar un universo de IA que beneficie a las personas de todo el mundo y no solamente llenar los bolsillos de la meca en Silicon Valley.

Gran parte del debate acerca del futuro de la IA se ha centrado en dos posturas: optimismo desenfrenado y miedo existencial. Un bando sostiene que prácticamente toda la IA y todas las tecnologías son universalmente buenas y no deben “restringirse” mediante reglamentos u otros medios para mitigar el riesgo. El otro bando afirma que la IA supone una amenaza existencial para la humanidad y debe restringirse en formas que puedan tanto limitar sus beneficios actuales como exacerbar sus riesgos existentes.

Sin embargo, existe una tercera corriente de opinión que ofrece una perspectiva más matizada y práctica de los riesgos y beneficios de la IA. En Mozilla, pertenecemos al bando de los realistas de la IA, cautelosamente optimistas acerca del potencial positivo de la IA y dedicados a resolver los daños actuales de la IA, como el sesgo, la discriminación y la pérdida de empleos. Este bando no es nuevo. Muchas personas y organizaciones de la sociedad civil han promovido esta perspectiva durante años. Tal como la comunidad más amplia de código abierto y otras fundaciones, grupos de expertos, investigadores y activistas, consideramos que abordar hoy mismo los problemas de la IA con apertura y transparencia servirá al bien común de la sociedad y la economía, y mitigará los riesgos tanto cotidianos como catastróficos.

Con el fin de dar forma a nuestros siguientes pasos como colectividad, planteamos los cinco retos principales que observamos en el panorama actual de la IA:

• Muchas personas malinterpretaron la historia de la IA. Durante el último año, la historia de la IA en lucha entre los optimistas y los fatalistas desvió la atención de los enfoques más pragmáticos y reflexivos de la IA. Lejos de los reflectores, los realistas de la IA ponían manos a la obra para aprovechar los enormes beneficios de la IA y encarar cuestiones espinosas relacionadas con los problemas sociales y los mercados cerrados. Esta puede ser —y debería ser— la historia en la que todos nos enfoquemos.
• Las grandes tecnológicas y los modelos cerrados dominan el campo. Dadas las capacidades crecientes y mayor utilización de la IA, ahora resulta fundamental habilitar la competencia y el acceso al mercado, la investigación independiente y el escrutinio público de los sistemas de IA, así como un mayor margen para que los nuevos participantes creen productos de IA confiables. En años recientes, el ecosistema de la IA dio un giro radical hacia la tecnología cerrada: las empresas líderes de IA dejaron de publicar documentos de análisis y empezaron a vender el acceso a las interfaces de programación de aplicaciones (API). Al mismo tiempo, las grandes tecnológicas han invertido copiosamente en participantes como OpenAI y Anthropic como una forma de controlar el campo de juego y fortalecer sus propios negocios de informática en la nube. Lo anterior está obstaculizando los enfoques abiertos que son fundamentales para crear un mejor ecosistema de IA para todos.
• La IA generativa de código abierto no ha llegado a la corriente principal. Durante el último año, se lanzó una enorme ola de modelos de IA generativa de código abierto, desde Llama hasta Falcon y Mistral. Si bien estos nuevos modelos están ganando popularidad y ofrecen una gran promesa, todavía queda un largo camino por recorrer antes de que sean fáciles de usar y fáciles de confiar. La IA generativa de código abierto no se generalizará hasta que abordemos estas cuestiones.
• Todavía hay problemas fundamentales en el desarrollo de la IA. La causa principal de muchos de los daños de la IA se puede rastrear hasta los aspectos fundamentales del ecosistema de la IA, incluyendo la población que está construyendo la IA y las formas en que están recopilando y etiquetando los datos. Por ejemplo, debido a que la mayoría de los conjuntos de datos de entrenamiento de LLM se construyen utilizando datos ampliamente disponibles en la web, los sistemas reproducen sesgos y estereotipos que causan daño en el mundo real. Además, el sector tecnológico aún carece de diversidad, es decir, perspectivas valiosas quedan fuera del desarrollo de la IA, lo que impide que dichos modelos reflejen toda la variedad de experiencias humanas.
• Los formuladores de políticas avanzan, pero la tecnología y los perjuicios avanzan más rápido. En 2023, los avances en la Ley de Inteligencia Artificial de la Unión Europea y el lanzamiento de la Orden Ejecutiva de los Estados Unidos sobre la IA segura, segura y confiable, han demostrado que los legisladores comprenden la urgencia de tomar medidas políticas más firmes en relación con la IA. Sin embargo, el rápido crecimiento de la IA y sus daños asociados avanzan mucho más rápido que el desarrollo y la implementación de nuevas regulaciones. Mientras tanto, empresas como OpenAI, Meta y Google repercuten enormemente en la economía a tan solo un año del lanzamiento de ChatGPT.

Este hito en la historia de la tecnología es la mejor oportunidad para que los realistas de la IA influyan en el rumbo del sector y nos conduzcan hacia un mejor futuro tecnológico para todos. Construir una IA confiable es una tarea urgente y complicada, y los riesgos que ello implica resultan imposibles de abordar para una persona o empresa por su cuenta. Por eso, en nuestro documento original de análisis de 2020 Creación de una IA confiable, hicimos énfasis en que se requiere de la cooperación de todo el ecosistema, y por eso estamos trabajando en colaboración con otros en los productos, la investigación y las políticas públicas que se necesitan para una IA confiable.

Fomentar la apertura y la competencia

En nuestro documento de análisis de 2020, publicado mucho antes de la IA estuviera en boca de todos como ahora, nuestro equipo en Mozilla destacó la importancia de desarrollar inteligencia artificial de confianza, partiendo de la acción y la responsabilidad como aspectos centrales. Mediante la acción, los usuarios recuperan el control de sus experiencias en internet partiendo de la base de la privacidad, la transparencia y el bienestar. La responsabilidad significa que las empresas deben rendir cuentas cuando sus sistemas de IA causen perjuicio a través de resultados discriminatorios, abuso de datos o prácticas inseguras.

Desde entonces, creemos que el código abierto y el amplio acceso al mercado son ingredientes imprescindibles para promover la acción y la responsabilidad en la era de la inteligencia artificial. Hemos notado que las empresas que tanto han dañado al Internet y a la sociedad durante los últimos 20 años son las mismas que están desarrollando IA de ecosistema cerrado predominantemente. Muchas de las innovaciones más increíbles de la IA surgen del código abierto y de la ciencia abierta. Sin embargo, los investigadores realizan cada vez menos publicación de acceso libre porque las empresas que los financian le dan prioridad a la venta del acceso a servicios en la nube. Esas mismas empresas ahora desacreditan los métodos de código abierto para la IA en favor de sus propios modelos exclusivos. Los nuevos participantes del mercado con financiamiento de las grandes tecnológicas ya consolidadas abogan por limitar quién puede construir o tener acceso a los sistemas más poderosos de IA y mencionan los posibles riesgos de seguridad cuando critican la IA de código abierto. Olvidan que los actores malintencionados pueden abusar también de los modelos cerrados o estos pueden ser implementados por desarrolladores mal equipados. De hecho, la apertura es un ingrediente clave para lograr seguridad y responsabilidad. No podemos aceptar que un enfoque de caja negra, en manos de unas cuantas empresas, sea el único camino seguro y lógico a seguir.

El código abierto por sí mismo no resolverá todos los problemas de la IA, pero puede favorecer un entorno de innovación, transparencia y desarrollo de comunidad si se utiliza de manera responsable. También, en combinación con mercados competitivos, puede ayudar a asegurar que los avances en IA sean accesibles para todos porque contribuiría a la base de conocimientos colectivos y posibilitaría diversas perspectivas para conformar y reglamentar dicha tecnología. Por eso fondeamos, construimos y colaboramos con socios que trabajan en favor de una IA de código abierto confiable, comercialmente exitosa y útil para los humanos de todo el mundo. Llevamos mucho tiempo aprovechando el código abierto en beneficio de la sociedad y queremos lograr lo mismo para la IA.

En este informe mostraremos que tanto Mozilla como el ecosistema en general avanzan con paso firme hacia una IA confiable, pero aún queda trabajo por hacer. Sabemos que solos no podremos cambiar el rumbo. Por ello, este informe —y todo nuestro trabajo— tiene que ver con crear una comunidad mundial comprometida con una IA confiable. Así es como construimos un futuro mejor.

Cambiar las normas de desarrollo de la IA

En nuestro documento de análisis de 2020, instamos a un cambio en las normas y lineamientos del sector tecnológico con respecto a la manera de construir la IA. Pusimos de relieve la necesidad de una mayor diversidad de participantes en el diseño de la IA como condición imprescindible para la confiabilidad. Hoy, estamos viendo el impacto de esa falta de diversidad tanto en los conjuntos de datos utilizados para entrenar los LLM, como en quién establece las normas de desarrollo de la IA.

Los modelos de IA se entrenan utilizando grandes cantidades de datos de todo el internet, pero ya que este no es accesible para todos, los datos que usamos son de por sí incompletos. En consecuencia, los resultados de los LLM están limitados por los lenguajes y contenidos que prevalecen más en línea, incluidos el discurso de odio y otras publicaciones perjudiciales de los rincones más recónditos de la red.

Además, si solo un pequeño grupo de personas de Silicon Valley construye IA y desarrolla las prácticas de confianza y seguridad que configurarán el futuro de la industria, los productos de IA carecerán de los matices de otras perspectivas culturales y experiencias vividas. Esto tiene consecuencias reales para las personas y comunidades históricamente excluidas de la tecnología, que se sentirán el impacto a medida que se extienda el uso de la IA.

Avances positivos

Aunque el sector tecnológico aún es en su mayoría abrumadoramente blanco y masculino, las mujeres y las personas de comunidades subrepresentadas han pasado los últimos tres años ejerciendo presión para influir en la trayectoria del desarrollo de la IA.

Un ejemplo de esto es la labor de la Dra. Timnit Gebru, a quien despidieron de su cargo de codirectora del equipo de IA ética de Google en 2020 por expresar sus inquietudes sobre el sesgo en una primera versión del LLM. Desde entonces, es una defensora de la diversidad en la tecnología y se pronuncia respecto al poder de mercado centralizado de las grandes empresas que construyen sistemas de IA con repercusiones en todo el mundo. Un año después de que la despidieran, fundó el Distributed Artificial Intelligence Research Institute (DAIR), “un espacio para la investigación de IA independiente, arraigada en la comunidad, libre de la influencia dominante de las grandes tecnológicas”. Desde sus inicios, DAIR se ha enfocado en elevar la voz de las personas marginadas en la investigación sobre los daños asociados con la tecnología de IA. La organización también se concentra en construir comunidad con el fin de acelerar la creación de tecnologías para un mejor futuro.

También reconocemos la evolución de la Conferencia de la ACM sobre Equidad, Responsabilidad y Transparencia (ACM FAccT), la cual ha hecho un esfuerzo deliberado para aumentar la participación de grupos subrepresentados en la conferencia, ampliando la gama de voces incluidas en las discusiones que darán forma al futuro de la industria.

En Mozilla, hemos brindado apoyo financiero a nuestros Becarios de IA Confiable, quienes están abordando una amplia gama de problemas, desde los sistemas algorítmicos racializados en las aplicaciones de citas hasta las repercusiones de las tecnologías de IA en las comunidades rurales. Varios de nuestros investigadores han obtenido reconocimiento a su labor en foros internacionales, como Inioluwa Deborah Raji y Abeba Birhane, nominadas para la lista TIME100 de IA de 2023 por su trabajo sobre herramientas de auditoría algorítmica de código abierto. El trabajo de Birhane cuestionó la idea de que los modelos de IA cada vez más grandes solucionarán el problema de la toxicidad y sesgo en los resultados generados, y descubrió que “cuanto más grandes los conjuntos de datos, más abundante el contenido que incita al odio”. Mozilla Ventures también invirtió en Lelapa AI, que busca detonar los inmensos beneficios potenciales de la tecnología de IA que históricamente ha excluido las lenguas africanas.

También existe una enorme demanda de talento con experiencia en IA confiable y son muy pocas las personas que la tienen. Tanto el sector tecnológico como el sector académico necesitarán invertir grandes cantidades en formación en IA para satisfacer dicha necesidad. Con el fin de preparar a una generación de constructores con capacitación en IA confiable, nos asociamos con universidades en el desafío de informática responsable (RCC), cuya finalidad es que los planes de estudio enseñen a los estudiantes a reflexionar sobre el contexto social y político de la informática. El RCC ha otorgado fondos por $2.7 millones a 33 instituciones en tres continentes.

Trabajo por hacer

Las directrices ampliamente aceptadas por la industria sobre cómo construir la IA de forma responsable aún están en proceso de cambio. Por ejemplo, el Center for Research on Foundation Models de la Universidad de Stanford introdujo un Índice de transparencia del modelo de fundación (FMTI), cuyo objetivo era evaluar el grado de transparencia de 10 de los principales desarrolladores de modelos fundaciones de IA. Otros índices similares resultan prometedores, pero también conllevan sus propias limitaciones. El análisis de Stanford enseguida fue objeto de escrutinio, ya que los críticos señalaron las deficiencias del FMTI y su sesgo hacia los modelos cerrados.

También observamos un preocupante retroceso en los esfuerzos por diversificar las principales empresas tecnológicas que crean IA. Después del asesinato de George Floyd y las subsecuentes manifestaciones por la justicia racial en 2020, los directivos de empresas en todo Estados Unidos se comprometieron a contratar, ascender y retener a más personas de color. El esfuerzo ya está dando frutos, pero la tendencia podría correr peligro ahora que hay montones de grupos de intereses especiales y que dirigentes como Elon Musk despotrican contra los principios de DEI. En 2023, Google y Meta se contaban entre las empresas que recortaron gastos en DEI.

También debemos considerar la falta de diversidad regional en el desarrollo de la IA. El enfoque en los esfuerzos centrados en occidente oculta el trabajo de los constructores en áreas con sectores tecnológicos menos desarrollados, como Sudamérica y el continente africano, así como la explotación de los trabajadores que etiquetan datos en países como la India y Filipinas. La inteligencia artificial impactará la vida en todo el mundo, por lo que es crucial contar con un conjunto más amplio de voces que participen en su diseño y despliegue. La ONU estima que casi 2,600 millones de personas carecen de acceso a internet, por lo que los datos que se utilizan para entrenar los modelos de IA no son representativos de las experiencias de un tercio de la población mundial. Sin más aportaciones de un conjunto diverso de personas, los lineamientos y mejores prácticas emergentes podrían no ajustarse a las necesidades culturales y económicas de otras regiones.

En Mozilla, continuamos con nuestro compromiso de crear y apoyar la diversidad, equidad e inclusión en los equipos internos. Pero sabemos que se requiere una transformación más amplia: involucrar a un conjunto de diversos participantes para conformar el futuro de la IA es parte medular de la estrategia programática de Mozilla al informar lo que financiamos y dónde trabajamos. En particular, el programa Africa Innovation Mradi ha convocado y financiado a constructores de IA africanos desde 2020, y promueve modelos de innovación basados en las necesidades específicas de los usuarios en África.

Desarrollar nuevas tecnologías y nuevos productos

En 2020, hicimos hincapié en la necesidad de que surgieran más tecnologías fundacionales como bloques de construcción de IA fiables para los desarrolladores. Conforme el universo de la IA se vuelve más y más cerrado, es cada vez más importante que esos pilares se ajusten a los principios de apertura, competencia y responsabilidad.

Los enfoques de código abierto no necesariamente producen una IA confiable y los intereses corporativos pueden capturarlos y apropiarse de ellos. A pesar de lo anterior, un primer paso crucial hacia una mayor responsabilidad y acción es que las herramientas de inteligencia artificial puedan ser objeto de inspecciones públicas, modificarse y combinarse. Asimismo, la apertura puede jugar un papel protagónico en la promoción de un mercado de IA más equitativo, pues un ecosistema sano de código abierto facilita que los participantes más pequeños compitan con los consolidados.

Ya hemos visto cómo las grandes tecnológicas ganan miles de millones de dólares al acumular la mayor cantidad posible de datos de usuarios, y parecen dispuestas a aplicar esa misma estrategia a sus ofertas de IA. De ahí que el surgimiento de otros modelos de negocio para las tecnologías de consumo sea una condición clave para lograr una IA más confiable. Con el fin de promover la competencia, los inversionistas también deben apoyar a los emprendedores iniciadores de nuevas herramientas y modelos de negocio de IA que se centren en la acción humana y protejan la privacidad de las personas.

Por último, necesitamos incrementar el desarrollo y adopción de herramientas que puedan ayudar a que los sistemas de IA se responsabilicen más. Por ejemplo, las tecnologías reforzadoras de la privacidad, como el aprendizaje federado, podrían reducir riesgos durante todo el ciclo de vida de la IA y ayudar a hacerla más responsable. Otras herramientas de desempeño y de evaluación de riesgos también pueden ayudar a que los desarrolladores logren sistemas de IA más confiables.

Avances positivos

Los modelos propietarios tuvieron una ventaja en la última fase de la carrera de la IA, sin embargo, está surgiendo una variedad de LLM y de recursos de código abierto para contrarrestarlos.

En todo el ecosistema de IA, la familia de LLM de Meta ha captado la mayor atención en las discusiones de IA de código abierto, pero existen cientos de otros modelos, como el GPT-NeoX-20B de EleutherAI, el BLOOM de Hugging Face, el Falcon-180B del Instituto de Innovación Tecnológica, y el Mixtral 8x7B de Mistral, que reflejan de mejor manera los valores de código abierto. Hugging Face, una plataforma y comunidad cuyo objetivo es “democratizar el aprendizaje automático positivo” está potenciando estos modelos a través de su Tabla de clasificación de LLM abiertos. Al dar seguimiento, evaluar y clasificar modelos abiertos de IA presentados por la comunidad, la empresa le proporciona a los equipos pequeños y desarrolladores individuales un recurso fundacional aprobado para construir productos más transparentes.

En Mozilla también hemos contribuido a dicho ecosistema. En marzo de 2023, invertimos $30 millones para la creación de Mozilla.ai, una empresa emergente y comunidad dedicada a hacer que este floreciente campo de los modelos de IA de código abierto sea más confiable y útil. La empresa está empezando a desarrollar una visión más comunitaria para la colaboración entre los seres humanos y la inteligencia artificial. Esto incluye la construcción de modelos de lenguaje especializado pequeños (SSLM) que pueden utilizarse para perfeccionar los modelos de acuerdo al conocimiento de los expertos en la materia, asegurando al mismo tiempo que dichos expertos puedan adaptar los modelos a sus necesidades específicas. Consideramos que herramientas como estas ayudarán a lograr sistemas de IA más accesibles, confiables y útiles.

También estamos desarrollando e invirtiendo activamente en bloques de construcción de código abierto que ofrecen más agencia y hacen que la IA sea más "local". Como parte del objetivo más amplio de poner la IA a disposición de todos a través del código abierto, Mozilla lanzó llamafile, un LLM de código abierto versátil y de un solo archivo que facilita muchísimo ejecutar y distribuir los LLM en un equipo local, como una laptop. Hemos ampliado nuestro trabajo en proyectos como Common Voice —el corpus de datos de voz colaborativo, multilingüe y de código abierto más grande del mundo—, que ahora contiene más de 100 conjuntos de datos lingüísticos, incluidos muchos idiomas locales que las grandes tecnológicas no han incluido. Common Voice es la principal iniciativa de la Fundación Mozilla para mitigar el sesgo en la IA al democratizar la tecnología de voz para todos y fue reconocida como un bien público digital por la iniciativa de la Alianza de Bienes Públicos Digitales apoyada por la ONU.

Mozilla también trabaja en diversos recursos documentales diseñados para ayudar a los desarrolladores a construir IA en forma responsable. Esto incluye nuestra Guía de IA, una colección de recursos de código abierto impulsada por la comunidad sobre temas como los conceptos básicos de la IA y la forma de elegir modelos de aprendizaje automático. Cuenta también con una serie de proyectos notables de la comunidad de la IA para obtener ideas e inspiración. Por ejemplo, incluye nuestro Proyecto de Herramientas de Auditoría de Código Abierto (OAT), que busca ayudar a los desarrolladores, investigadores y formuladores de políticas a entender el panorama de las auditorías a la IA.

Además, hemos invertido enormemente en desarrollar un ecosistema de IA confiable. Mozilla Ventures ya ha invertido $4 millones en empresas incipientes de nueva creación que se enfocan en la IA confiable, incluidas Themis AI, Fiddler AI, Armilla AI, Truepic y Flower. El equipo de Themis ha desarrollado un marco de software para ayudar a los modelos de aprendizaje automático a reconocer cuando están generando resultados poco fiables, mientras que Fiddler AI está generando confianza en la IA al ofrecer herramientas de observabilidad y explicabilidad. Truepic construye tecnologías de autenticidad de contenidos que pueden ayudar a detener la difusión de desinformación por medio de imágenes manipuladas mediante IA. Asimismo, en 2023, la Fundación Mozilla destinó $1.3 millones a fondos técnicos para apoyar proyectos de IA confiable a través del Mozilla Technology Fund, el Data Futures Lab y las iniciativas de subvenciones relacionadas.

Trabajo por hacer

Los modelos de IA de código abierto están cobrando auge, pero no se generalizarán hasta que sean más fáciles de usar, más eficaces y más confiables. Para lograrlo, la comunidad de código abierto debe enfocarse en hacer que estos bloques de construcción esenciales de la IA sean tan útiles y exitosos como sea posible, con el fin de que adquieran más relevancia en el mercado. Cuando se eliminen las barreras que impiden construir mejores herramientas de IA, mejorarán los enfoques de código abierto y crecerá el ecosistema de la IA confiable.

Uno de los mayores impedimentos para el desarrollo de IA de código abierto es la gran capacidad informática que se requiere para construir y entrenar los LLM. La empresa de chips NVIDIA ha experimentado una demanda récord de sus unidades de procesamiento de gráficos (GPU), que pueden costar hasta $30,000 cada una. Entrenar un modelo como GPT-4 requiere miles de esos chips, un costo prohibitivo para que los equipos pequeños y desarrolladores individuales construyan su propia infraestructura de IA. Si las empresas acaudaladas como Microsoft y Google, así como las que estas respalda, son las únicas que pueden pagar suficientes GPU para entrenar sus modelos, los sistemas transparentes y confiables de IA no se concretarán jamás. Los gobiernos pueden ayudar al fondear la capacidad de cómputo de la IA para proyectos públicos de investigación y empresas emergentes locales, como lo han empezado a hacer en los Estados Unidos, el Reino Unido y la Unión Europea. Los desarrolladores también trabajan en facilitar la construcción de sistemas de IA utilizando chips AMD, como hicimos en nuestra reciente actualización de llamafile.

Otro reto en la construcción de nueva tecnología y nuevos productos es la falta de claridad respecto al significado de “apertura” en el contexto de la IA. La comunidad de código abierto aún debe alcanzar un consenso sobre una definición concreta de la IA de código abierto o sobre las barreras de seguridad adecuadas para lanzar modelos de IA al público. Esto es fundamental, ya que la apertura por sí misma no llevará a la creación de modelos confiables ni mitigará sus riesgos. En septiembre de 2023, la empresa francesa emergente Mistral AI lanzó su propio LLM de código abierto, llamado Mistral 7B, que calificó como más poderoso que la plataforma LLaMA-2 de Meta. Sin embargo, los investigadores rápidamente hicieron sonar las alarmas porque el sistema carecía de filtros para moderar el contenido, lo que permitía que los usuarios solicitaran al sistema instrucciones para hacer una bomba o autolesionarse. Otros modelos tienen medidas de seguridad incorporadas para prevenir que los chatbots respondan a preguntas similares, pero el fundador de Mistral declaró que la seguridad es responsabilidad de los desarrolladores de aplicaciones de IA, no de las empresas que construyen los LLM.

Con el fin de enfrentar estos retos en 2024, la Universidad de Columbia y Mozilla colaboran en una serie de talleres para conceptualizar las diferentes dimensiones de la apertura en la IA. El proyecto involucrará a personas y organizaciones que desde hace tiempo participen en el código abierto, con el fin de crear una amplia coalición que pueda enfrentarse a las grandes tecnológicas y aliente a los constructores a abrir en forma responsable su desarrollo de inteligencia artificial. Con este y otros esfuerzos, continuaremos abriendo el camino para definir y desarrollar herramientas y sistemas de código abierto que sean seguros, accesibles y transparentes.

Sensibilizar a los consumidores

Una de las vías clave de nuestro documento de análisis de 2020 fue la generación de demanda pública de productos de IA más confiables. Esto incluye tanto a los consumidores cotidianos como a las organizaciones de la sociedad civil que crean consciencia y defienden los intereses del consumidor. Un público bien informado es pieza clave del rompecabezas de responsabilidad de la IA. Cuando una masa crítica de usuarios rechaza las prácticas dudosas, las grandes tecnológicas no tienen otra opción más que hacer cambios para atender sus inquietudes. Sus resultados financieros dependen de ello.

Avances positivos

El rápido ascenso de ChatGPT y la gran cobertura que le dieron los medios volvieron esta IA un tema de conversación. Muchas empresas en distintos sectores experimentan con ChatGPT, con lo cual millones de personas lo utilizan en su lugar de trabajo. Así que esos riesgos tan anunciados por los investigadores desde hace años están siendo el foco de atención. Varias encuestas recientes encontraron que a más del 75% de los consumidores les preocupa la desinformación derivada de la IA y menos del 40% la consideran segura. Años de activismo y formulación de políticas relacionadas con la privacidad, la desinformación y la responsabilidad de las plataformas tecnológicas han creado un público más informado, escéptico y opinante, lo que resulta crucial en la era de la IA.

La opinión del público sobre la IA se forma en el contexto conocido de los derechos laborales, humanos y del consumidor. Los líderes de movimientos han acelerado su comprensión sobre la manera como la IA afectará a sus partidarios y han conformando actitudes y expectativas. Por ejemplo, las inquietudes relacionadas con la IA fueron un elemento central de las huelgas en Hollywood durante 2023. Después de varios meses de paros laborales que pusieron en pausa a las industrias del cine y de la televisión, los guionistas y actores lograron concesiones relacionadas con la IA en los contratos colectivos que amparaban a cientos de miles de empleados. Los contratos no prohíben por completo la IA generativa, pero colocan barreras en torno a la manera como los estudios pueden utilizarla, disipando así los miedos acerca de los recortes de guionistas y las imágenes generadas por IA. Esta victoria inicial es un buen augurio de los futuros esfuerzos sindicalistas en otros sectores.

Las organizaciones activistas también se han enfocado en volver más conscientes a los consumidores sobre los peligros de la IA y los ha instado a elegir tecnologías más confiables cuando se encuentren disponibles. Consumer Reports lanzó tres cortometrajes que exploran los sesgos algorítmicos en dispositivos médicos, préstamos hipotecarios y reconocimiento facial como parte de su campaña Bad Input. Documentales como Coded Bias (2021) iniciaron conversaciones para una audiencia generalizada sobre temas como la desinformación y el sesgo racial en los algoritmos de reconocimiento facial. En su libro de 2023, Unmasking AI, la Dra. Joy Buolamwini abunda en las experiencias propias que se muestran en Coded Bias y en la fundación de la Algorithmic Justice League. Incluso aquellas personas con visiones más extremistas sobre la inteligencia artificial han desempeñado un papel clave en la sensibilización de los consumidores. Por ejemplo, en 2023, el Center for Humane Technology presentó una conferencia con gran audiencia sobre los riesgos actuales de las tecnologías de IA, con lo que contextualizó cómo la carrera por explotar económicamente la IA puede ocasionar fallas de seguridad.

Desde 2021, las campañas públicas y el activismo más extenso de Mozilla sobre cuestiones relacionadas con la IA y la tecnología de consumo han movilizado a más de 500,000 personas en todo el mundo, logrando cambios significativos en los productos y en las normas de la industria. Estas campañas han aumentado la conciencia del consumidor sobre los problemas relacionados con la IA y la tecnología que utilizan en su vida cotidiana, desde motores de búsqueda y plataformas de redes sociales hasta timbres de video y automóviles. En julio de 2023, Slack implementó una función de bloqueo luego de una campaña de la sociedad civil que nosotros encabezamos. En septiembre de 2023, YouTube anunció que daría a los investigadores de la sociedad civil acceso a datos cruciales, luego de una campaña de Mozilla que duró varios años. En ese mismo mes, la Alianza para la Innovación Automotriz solicitó una ley federal de privacidad en los Estados Unidos, luego de la presión pública generada por la serie de informes *Privacidad no incluida de Mozilla, que recientemente se centró en los problemas de privacidad de los automóviles conectados. Ese mismo año también lanzamos una nueva temporada de nuestro IRL Podcast, enfocado en que los desarrolladores de IA lleven productos responsables al mercado.

Más allá de la concienciación, también observamos la llegada al mercado de nuevos productos de consumo basados en principios de IA fiables. Empresas establecidas como Intel y Adobe, startups como Reality Defender y organizaciones de investigación como MIT Media Lab están trabajando en formas de identificar deepfakes, certificar la autenticidad de las imágenes y luchar contra la desinformación y la mala información. Twilio ha introducido la iniciativa AI Nutrition Facts, que ofrece una manera amigable para que el consumidor entienda la manera como un producto de IA utiliza sus datos. En agosto de 2023, el grupo DeepMind de Google también lanzó la versión beta de SynthID, una herramienta para colocar marcas de agua e identificar contenido generado por IA.

En mayo de 2023, Mozilla adquirió Fakespot, una empresa que protege a los consumidores al utilizar IA para detectar reseñas de productos y vendedores fraudulentos en tiempo real. Nuestra tecnología analiza miles de millones de reseñas de consumidores para identificar rápidamente las actividades sospechosas y después recomendar mejores alternativas a los consumidores. A finales de 2023, lanzamos Fakespot Chat, que utiliza el poder de la IA generativa para responder con rapidez a las preguntas de los compradores sobre productos, lo que ahorra tiempo y dinero a los consumidores.

Trabajo por hacer

Aunque observamos un impulso positivo para dar a los trabajadores más voz en la introducción de herramientas y sistemas de IA en el lugar de trabajo, la mayoría de los usuarios ocasionales de herramientas de IA generativa no piensan de manera crítica si dichos sistemas son o no confiables. Como existen pocas alternativas conocidas a las herramientas populares basadas en modelos cerrados, muchos consumidores pueden sentirse obligados a elegir las herramientas de las empresas cuya tecnología ya está integrada en su vida cotidiana.

No podemos culpar a los consumidores por elegir las herramientas más convenientes y aparentemente fiables, sobre todo cuando las alternativas son limitadas. La comunidad de código abierto debe seguir construyendo tecnología de IA para brindar mejores opciones a las personas. Las organizaciones de la sociedad civil deben seguir alertando sobre el potencial de la IA descontrolada para causar daños en el mundo real, así como financiar mejores alternativas. De igual manera, los legisladores deben preservar un mercado competitivo con sólidas protecciones para los consumidores, ofreciendo al ecosistema más amplio de la IA las salvaguardas necesarias para prosperar.

En Mozilla, trabajamos para desarrollar tecnologías más fiables de IA en nuestros propios productos de consumo para los próximos años, así como ampliando nuestra investigación colaborativa sobre el funcionamiento del algoritmo de recomendación de TikTok. También tendremos que seguir sensibilizando a los consumidores sobre los riesgos para la privacidad de la IA y fomentar la demanda de más enfoques de preservación de la privacidad utilizados en los productos de IA.

Fortalecer la normatividad y los incentivos de la IA

La última vía en nuestro documento original de análisis se centró en la necesidad de que los gobiernos de todo el mundo desarrollen la visión, habilidades y capacidades necesarias para reglamentar eficazmente la IA. Aunque las normas del sector y las exigencias de los consumidores juegan un papel importante en la promoción de la IA confiable, no llegaremos muy lejos sin políticas que incentiven prácticas más responsables y mecanismos legales para que las empresas se responsabilicen.

Avances positivos

Nuestros colegas defensores e investigadores llevan años exigiendo que se tomen medidas en materia de regulación de la IA, pero el auge de la IA generativa ha hecho que sea imposible ignorar estas peticiones. El amplio conocimiento de la IA por parte de los consumidores ha aumentado la presión sobre los legisladores para que se pongan manos a la obra. Como nunca antes, distintas políticas públicas en el mundo entero buscan formular y aplicar reglamentos eficaces y meditados sobre la IA.

La Unión Europea avanza mucho más rápido que otras regiones. Los legisladores han llegado en principio a un acuerdo sobre la Ley de IA de la Unión Europea, una legislación pionera en su género propuesta inicialmente en abril de 2021. El marco adopta un enfoque basado fundamentalmente en el riesgo para regular la IA, con normas separadas para los modelos más potentes de IA de propósito general. No obstante las limitaciones de este enfoque, la Ley de Inteligencia Artificial de la Unión Europea se convertirá en la ley de IA más integral del mundo y repercutirá enormemente en los esfuerzos de gobernanza mundial de la IA. Esta ley complementará otras leyes europeas de tecnología recientes, incluidas la Ley de Servicios Digitales (DSA) y la Ley de Mercados Digitales (DMA).

Desde que se ideó la Ley de Inteligencia Artificial de la Unión Europea, nuestros equipos de políticas y activismo han contribuido enormemente a su formulación. Junto con nuestros aliados, logramos ejercer presión en favor de más transparencia, reglas vinculantes para los modelos fundacionales y obligaciones específicas de debida diligencia en toda la cadena de valor de la IA. Todavía queda trabajo por hacer. Seguiremos luchando por lograr que la ley sea un éxito, hasta que sea totalmente implementada.

En los Estados Unidos, donde se ubican las oficinas principales de muchos de los nombres más importantes de IA, el debate legislativo está empezando a repuntar. El gobierno de Biden busca pasar de los compromisos voluntarios a las reglas concretas sobre la seguridad de la IA. En octubre de 2023, el presidente Biden aprobó su Orden Ejecutiva para una IA segura y confiable, cuyas directrices mejoran la seguridad, privacidad, equidad y competencia, e un avance bienvenido para garantizar que el desarrollo de la IA venga acompañado de suficientes barreras de seguridad normativas. En noviembre de 2023, la vicepresidenta Harris anunció la guía para proyectos de políticas para mitigar riesgos cuando el gobierno federal utiliza la IA. De esta manera el poder de compra del gobierno federal respalda la conformación de mejores normas de IA en el sector.

Aunque Estados Unidos no ha podido concretar la legislación integral sobre la privacidad, los legisladores anhelan reglamentar correctamente la IA. Además de los compromisos voluntarios por parte de las empresas de IA en la Casa Blanca en el verano de 2023, Chuck Schumer, líder de la mayoría del Senado, celebró una serie de foros de información sobre la IA a puertas cerradas para los legisladores, con la participación de directores generales de empresas tecnológicas, investigadores y líderes de derechos civiles. Es fundamental que se escuche una amplia variedad de voces en estos foros y resulta alentador que la comunidad de políticas públicas busque la experiencia en inteligencia artificial, incluso la de Mozilla y sus colaboradores, con el fin de formular mejores leyes.

En la declaración escrita que Mozilla elaboró para el foro, destacamos la necesidad de que las políticas de IA hagan de la privacidad, la apertura y la transparencia el eje de una legislación responsable. Instamos a los responsables de las políticas a mirar más allá de una noción binaria de IA abierta versus IA cerrada. Un entorno equilibrado donde ambos ecosistemas puedan florecer impulsará la innovación, garantizará la competencia y protegerá los derechos y la seguridad de las personas, al tiempo que mitigará los riesgos potenciales. También hicimos énfasis en la necesidad de que los legisladores defiendan la privacidad en las tecnologías de IA por defecto, con una legislación integral de privacidad, como la propuesta Ley de los Estados Unidos para la Protección y Privacidad de Datos en primera línea.

Nuestros líderes también ofrecen su experiencia en Mozilla.ai del Reino Unido y rindieron testimonio oral ante el Comité de Comunicaciones y Asuntos Digitales de la Cámara Alta del Reino Unido, como parte de su investigación sobre los LLM. En nuestras observaciones, destacamos el papel que pueden desempeñar los enfoques abiertos de IA en la innovación, las fallas del mercado que impiden que los participantes más pequeños tengan acceso a recursos de cómputo como las GPU, así como la necesidad de una mayor inversión del gobierno en infraestructura de la IA para promover la competencia. Discutimos también la importancia de enseñar a empresas, escuelas y servicios públicos qué son capaces de hacer estos modelos y cómo implementarlos en forma segura en diversos contextos.

Trabajo por hacer

Se requiere reglamentación para hacer que la IA sea más confiable y mitigar los riesgos de la tecnología. Al mismo tiempo, las autoridades normativas deben tener en cuenta el impacto de dichas reglas sobre la competencia y apertura en la IA. Cualquier marco normativo debe garantizar que el mercado de la IA permanezca abierto a la competencia y a la innovación de empresas que desafíen a los gigantes del sector. Para lograrlo, debe proteger la apertura y el código abierto.

La apertura y la transparencia son fundamentales si queremos que los beneficios de la IA lleguen a la mayoría de la humanidad, en lugar de verlos aplicados únicamente a casos de uso en los que el beneficio es el principal motivador. Los recientes debates políticos sobre la apertura han carecido de matices, en parte debido a la enorme influencia de las grandes tecnológicas ya consolidadas que intentan moldear los debates normativos para su propio beneficio. Los creadores de modelos propios y exclusivos han señalado hipotéticas amenazas catastróficas como los problemas más graves en los que deben enfocarse los legisladores, dejando de lado perjuicios de la IA como la parcialidad y la discriminación. En octubre de 2023, junto con más de 1800 firmantes, rechazamos esta dinámica en nuestra Declaración conjunta sobre seguridad y apertura de la IA:

Sí, los modelos disponibles en forma abierta conllevan riesgos y vulnerabilidades: los actores malintencionados pueden abusar de los modelos de IA o estos pueden ser implementados por desarrolladores mal equipados. Sin embargo, hemos observado una y otra vez que lo mismo puede decirse de las tecnologías propias y exclusivas, y que el creciente acceso y escrutinio del público hacen que la tecnología sea más segura, no más peligrosa. La idea de que el control estricto y exclusivo de los modelos fundacionales de IA es el único camino a seguir para protegernos de los perjuicios a escala de sociedad resulta, en el mejor de los casos, ingenua y, en el peor, peligrosa.

Existen procesos gubernamentales que pueden ayudarnos a analizar algunas de estas grandes interrogantes acerca de la gobernanza y la regulación del código abierto. Como lo indica la orden ejecutiva del gobierno de Biden, la Administración Nacional de Telecomunicaciones e Información (NTIA) del Departamento de Comercio de los Estados Unidos está revisando los riesgos y beneficios de los LLM disponibles en forma abierta, e invita a la ciudadanía a comentar para sustentar los posibles enfoques normativos. Mozilla se propone presentar una respuesta a la solicitud de comentarios asociada para informar del enfoque de la NTIA sobre esta cuestión.

Al combinarse con protecciones al consumidor y reglas estrictas para prevenir prácticas monopólicas, la apertura estimula la innovación y acelera la competencia al proporcionar recursos comunes para el ecosistema en general. La competencia fomenta inversiones, nuevos empleos y mejores elecciones para las empresas y los consumidores. Para que los beneficios del auge de la IA no solo lleguen a las grandes tecnológicas, los legisladores deben priorizar la implementación y el fortalecimiento de las reglas existentes de competencia para afrontar mejor los retos actuales.

Además, mientras los legisladores se educan sobre las complejidades del panorama de la IA, los actores malintencionados están listos para utilizar las herramientas de IA generativa para sembrar desinformación e inestabilidad política, un daño que está ocurriendo en este momento. Con más de 40 elecciones nacionales programadas para 2024, los responsables de políticas deben actuar más rápidamente para abordar las amenazas de este año. Debemos aprovechar esta oportunidad para estudiar y encarar los impactos de la IA sobre la política mundial, así como fortalecer nuestros sistemas para la siguiente ronda de elecciones. Para ello, Mozilla destaca la labor de los investigadores de todo el mundo que están descubriendo desigualdades en la manera como las plataformas abordan las elecciones mundiales. Ponemos de relieve el enfoque político de "copiar y pegar" que las plataformas tienden a adoptar en las elecciones mundiales, en especial en países de la mayoría global, y mostramos el impacto devastador que tales decisiones pueden tener en el ecosistema informativo de un país, especialmente si las instituciones democráticas son relativamente frágiles.

El camino a seguir para lograr una IA confiable

El universo de la IA avanza más rápidamente que nunca y el ecosistema de IA confiable crece a la par. Para aprovechar el auge positivo de los últimos tres años, debemos tomar medidas específicas en cada una de nuestras cuatro vías clave: normas del sector, nueva tecnología y nuevos productos, demanda de los consumidores, y normatividad e incentivos.

Próximos pasos para Mozilla

Seguiremos trabajando para ganarnos la confianza de los usuarios en la IA en todo el proyecto Mozilla, centrándonos en la apertura como principio rector. Si ampliamos el potencial de los enfoques de código abierto y abogamos por mercados justos y abiertos, podremos hacer realidad nuestra visión de un panorama de IA digno de confianza en el que la agencia y la responsabilidad ocupen un lugar central.

Lo próximo en nuestra lista de cosas por hacer:

• Cambiar la narrativa pública sobre la IA (confiable). Tenemos la oportunidad de aprovechar los enormes beneficios de la IA, así como una necesidad urgente de encarar cuestiones espinosas relacionadas con los problemas sociales y los mercados cerrados. Mozilla trabajará con activistas, constructores y legisladores de políticas para garantizar que salga a la luz esta historia más matizada sobre la IA. Trabajamos con organizaciones de la sociedad civil en todo el mundo para edificar un poder político sostenido y cambiar la narrativa. Asimismo, ponemos en primer plano la voz de los constructores, líderes tecnológicos e innovadores responsables para ayudarlos a determinar la agenda de la IA en la cobertura mediática, los debates políticos y la cultura popular.
• Hacer que la IA generativa de código abierto sea más fiable —y más generalizada—. La IA generativa de código abierto está cobrando auge. Nuestro objetivo es garantizar que los modelos de código abierto sean confiables, seguros, útiles y fáciles de usar. Proyectos de Mozilla como la plataforma de modelos pequeños de lenguaje especializado, Communal AI, el conjunto de datos Common Voice y llamafile son modelos locales y más accesibles dirigidos directamente a ese objetivo.
• Empoderar a los consumidores —y brindarles alternativas reales—. En una era en la que la inteligencia artificial forma parte intrínseca de nuestra cotidianidad, debemos abogar por productos que ejemplifiquen y prioricen las más altas normas de privacidad, seguridad y transparencia. Al aprovechar la valiosa información obtenida de tecnologías como Fakespot, profundizamos nuestra dedicación para integrar capacidades de IA de vanguardia que realmente puedan empoderar a los consumidores en nuestra gama de productos. Estamos ampliando el impacto de estos esfuerzos con iniciativas como * Privacidad no incluida, que son fundamentales para equipar a los consumidores con el conocimiento esencial para tomar decisiones informadas sobre los productos.
• Invertir en el ecosistema de IA confiable y de código abierto. Ninguna empresa u organización puede servir de contrapeso a las grandes tecnológicas, pero una comunidad sí. Continuaremos ampliando nuestra inversión en empresas incipientes, proyectos de código abierto y organizaciones sin fines de lucro que construyen IA confiable, a través de la inversión directa y del otorgamiento meditado de subvenciones. Con los recursos adecuados, este ecosistema cuenta con el potencial para desafiar a los grandes actores y llevar a la AI por mejor camino.
• Ayudar a que las autoridades legislativas formulen e implementen reglamentos pragmáticos de IA. El Acta de IA de la UE, la Orden Ejecutiva de IA de los EE. UU. y las iniciativas similares en otros países demuestran que los legisladores toman en serio la IA digna de confianza. Mozilla está destinando más recursos para ayudarlos a aprobar políticas y reglamentos útiles y pragmáticos tanto desde el punto de vista político como operativo. Esta labor incluye la publicación de investigaciones sobre temas como los modelos de IA de código abierto, la competencia y la privacidad, que pueden servir de apoyo a los legisladores al convocarlos a éstos para compartir conocimientos y experiencias, así como la difusión de avances positivos en la formulación de políticas en todo el mundo.

Pasos a seguir para el ecosistema de IA confiable

Tenemos el compromiso de hacer lo que nos toca, pero no podemos lograr que la IA confiable sea una realidad si todo el ecosistema tecnológico no trabaja en conjunto. Puedes colaborar de varias maneras:

• Constructores: Busquen —y colaboren en— proyectos confiables de IA de código abierto. En lugar de recurrir a los modelos patentados más conocidos, aprovecha los avances en los LLM de código abierto y aprende de recursos seleccionados como nuestra Guía de IA. Conforme desarrolles nuevas herramientas, interactúa con constructores, usuarios e investigadores de una amplia variedad de orígenes con el fin de ampliar tu perspectiva. Comprender de qué manera la IA impactará a las personas que no piensan como tú hará que tu proyecto o producto sea mucho mejor.
• Consumidores: Sean críticos y sepan que pueden elegir. Los consumidores no pueden controlar quién construye la IA, pero pueden elegir productos más confiables cuando estén disponibles y exigirlos cuando no lo estén. Sabemos que la presión del público puede llevar al cambio, incluso dentro de las empresas más poderosas del planeta. Mira más allá del factor "guau” de las nuevas herramientas de IA e infórmate acerca de los pros y los contras antes de experimentar. Las guías accesibles como nuestra serie * Privacidad no incluida ofrecen comparaciones claras en lenguaje sencillo para ayudarte a tomar decisiones informadas sobre todo tipo de cosas, desde asistentes de voz hasta productos inteligentes para el hogar.
• Legisladores: Prioricen la apertura y la rendición de cuentas en las nuevas reglas para la IA. Las grandes tecnológicas están presionando en favor de que se reglamenten las licencias de LLM, como supuesta medida de seguridad. Pero sabemos por experiencia que limitar a quién puede acceder a nuevas tecnologías digitales o beneficiarse de ellas no nos hace más seguros. La apertura y la responsabilidad pueden ser el antídoto, y los responsables de la formulación de políticas deben moldear la legislación en consecuencia.
• Activista de la sociedad civil: Busca intersecciones entre la IA y los problemas que preocupan a tu comunidad. Ya sea que una organización se enfoque en los derechos humanos, la justicia climática, los derechos LGBTQ+ o la justicia racial, la IA es relevante. La filantropía puede compensar la influencia de las empresas tecnológicas ya consolidadas al contribuir a que los participantes más pequeños inicien enfoques de IA que no solo eleven los precios de las acciones, sino también a la sociedad. Dirige las subvenciones a proyectos centrados en la acción, la transparencia y la responsabilidad en la IA, y busca aquellos que se relacionen con el trabajo que ya estás haciendo.
• Inversionista: Financiar empresas, organizaciones y proyectos enfocados en la IA confiable. Suena tentador apostar por los grandes líderes del sector; sin embargo, los modelos de negocio alternativos de IA que dan prioridad a la privacidad y bienestar de los usuarios representan una gran oportunidad. No importa si eres capitalista de riesgo, inversionista institucional o filántropo, apoyar financieramente el crecimiento del ecosistema de IA confiable ayudará a mitigar los riesgos de la IA y, al mismo tiempo, extenderá los rendimientos más allá de las grandes tecnológicas.

La inteligencia artificial impacta todos los rincones del mundo. Y para garantizar que cumpla su promesa con la humanidad, debemos seguir activando una amplia coalición de expertos en tecnología, activistas, legisladores y ciudadanos comunes con diversas perspectivas. Aún queda mucho por hacer, pero con un movimiento basado en la apertura, la acción y la responsabilidad, un universo de IA más confiable está al alcance. Manos a la obra.

Envíanos un correo electrónico a [email protected] para darnos tu opinión sobre este reporte y/o tus ejemplos favoritos de IA utilizada en formas que fomentan la confianza y mejoran la vida de las personas.

Lecturas complementarias

• Esta es la verdadera lección a extraer del debacle de OpenAI, editorial de la revista Fast Company, diciembre de 2023: En un artículo de opinión, Mark Surman de Mozilla explica cómo la lucha de gobernanza de OpenAI en noviembre evidencia la necesidad de instituciones públicas que prioricen los intereses de la humanidad por encima de las ganancias, especialmente en la era de la IA, a pesar del fracaso del modelo sin fines de lucro de OpenAI.
• When AI doesn’t speak your language, Coda, octubre de 2023: Destaca los retos a los que se enfrentan las lenguas de la minoría en la IA. Una mejor tecnología podría apoyar el uso de la lengua e incrementar la vigilancia, simultáneamente.
• El presente de la IA importa más que su futuro imaginado, editorial de la revista The Atlantic (oped), octubre de 2023: Inioluwa Deborah Raji, investigadora de Mozilla, escribe acerca de su experiencia al asistir a uno de los foros de información sobre la IA del senador Chuck Schumer y por qué los daños actuales son más urgentes que los riesgos existenciales hipotéticos de la IA.
• ¿Cómo deben los reguladores pensar en "IA"?, (video) de la Dra. Emily M. Bender, octubre de 2023: La Dra. Bender intervino en una mesa redonda virtual sobre IA en el lugar de trabajo convocada por el congresista Bobby Scott, en la que desglosó los seis tipos diferentes de automatización y ofreció recomendaciones para la regulación de la IA.
• La lucha por la IA de código abierto, Ben’s Bites (newsletter), octubre de 2023:.Este artículo resume la postura de conocidas empresas de IA sobre la cuestión de la regulación del software avanzado de IA de código abierto
• Artificial Intelligence: Advancing Innovation Towards the National Interest, testimonio por escrito ante el Congreso de Clément Delangue de Hugging Face, junio de 2023: En su testimonio, el director general de Hugging Face subraya la importancia de la innovación en la IA abierta y la necesidad de mecanismos que garanticen que la IA sea segura, transparente y en consonancia con los intereses nacionales.
• Probamos ChatGPT en bengalí, kurdo y tamil. Falló., Rest of World, septiembre de 2023 : Las pruebas de Rest of World revelaron que ChatGPT tiene dificultades con muchos idiomas subrepresentados. Con frecuencia, el sistema inventa palabras y presenta fallas en la lógica y en la obtención de información básica, lo que evidencia lagunas en los datos de entrenamiento de IA y la necesidad de soporte adaptado al idioma.
• The Battle Over Books3 Could Change AI Forever, WIRED, septiembre de 2023: Esta obra detalla la pugna por el conjunto de datos de entrenamiento Books3, que se creó a partir de una vasta colección de obras literarias con derechos de autor y ahora es objeto de controversias entre defensores del acceso abierto y los propietarios de los derechos de autor que pelean por tener control y compensación.
• LoRA Fine-tuning Efficiently Undoes Safety Training from Llama 2-Chat 70B, LessWrong, octubre de 2023: Este estudio demuestra lo fácil que es manipular los modelos de IA para que reviertan el entrenamiento de seguridad y plantea inquietudes sobre los riesgos de modelos públicos que se han lanzado.
• Removing RLHF Protections in GPT-4 via Fine-Tuning, Universidad de Illinois Urbana-Campaign y Universidad de Stanford, noviembre de 2023: Este estudio revela que los atacantes pueden eliminar las protecciones del aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) en modelos de lenguaje como GPT-4, y destaca la necesidad de una mayor protección contra el posible uso indebido.
• AI Red-Teaming Is Not a One-Stop Solution to AI Harms, Data & Society, octubre de 2023: Esta descripción de políticas públicas afirma que, si bien las pruebas de penetración aplicadas mediante equipo rojo a la IA pueden identificar vulnerabilidades técnicas, deben combinarse con otras herramientas de rendición de cuentas, incluidas evaluaciones de impacto algorítmico, auditorías externas y consultas públicas.
• DeepMind reportedly lost a yearslong bid to win more independence from Google, The Verge, mayo de 2021: Google rechazó la solicitud de DeepMind de una mayor autonomía y que se le considerara una organización sin fines de lucro, debido a las pérdidas financieras constantes de esta subsidiaria de IA y al deseo de Google de comercializar su investigación sobre IA.
• These fake images reveal how AI amplifies our worst stereotypes, The Washington Post, noviembre de 2023: Los generadores de imágenes mediante IA como Stable Diffusion y DALL-E siguen perpetuando los molestos estereotipos relacionados con el género o la raza, a pesar de los esfuerzos por desintoxicar sus datos de entrenamiento, lo que muestra el problema urgente del sesgo inherente en los sistemas de IA.
• OpenAI is getting trolled for its name after refusing to be open about its A.I., Fortune, marzo de 2023: La revista detalla la crítica hacia OpenAI por usar lenguaje “abierto”, a pesar de su enfoque en modelos propios y exclusivos de código cerrado.
• Meta puede llamar a Llama 2 código abierto tanto como quiera, pero eso no significa que lo sea, editorial de la revista The Register, julio de 2023: Steven J. Vaughan-Nichols sostiene que el lanzamiento de Llama 2 por parte de Meta bajo una "licencia comunitaria" no cumple con los principios de código abierto, lo que significa que el uso que la empresa hace del término tiene más que ver con el marketing que con los principios de la comunidad de código abierto.

Enlaces adicionales

• Base de datos de incidentes de IA: Cataloga la historia colectiva de los daños causados por la IA.
• Herramienta de recopilación de daños de la Algorithmic Justice League: Permite que los usuarios reporten perjuicios, sesgos y triunfos de la IA.
• La Iniciativa de Procedencia de Datos: Auditoría de conjuntos de datos a gran escala.

Apéndice - Otros proyectos de Mozilla para una IA confiable

Cambiar las normas de desarrollo de la IA

• Desafío de Informática Responsable: En 2023, Mozilla aportó 2,7 millones de dólares a universidades de Kenia, India y EE. UU. para incorporar la informática responsable a sus planes de estudio. ¿El resultado? Miles de estudiantes —los constructores de IA del futuro— encaran cuestiones éticas en la tecnología.
• ¿Es eso incluso legal? guía: Mozilla instruye a los constructores de IA sobre cómo desarrollar sistemas de IA confiables dentro de los marcos regulatorios existentes en todo el mundo. Nuestra guía ofrece investigación y asesoría sobre gobernanza de datos para constructores en Alemania, India, Kenia y Estados Unidos.
• Africa Innovation Mradi: Este programa aprovecha el papel de Mozilla como guardián de la web abierta para promover la innovación basada en las necesidades únicas de los usuarios de la región africana, empezando por África Oriental y Meridional.
• Mozilla Trustworthy AI Fellowships: Mucho antes de que existiera ChatGPT, los investigadores de una IA confiable de Mozilla estudiaban las fallas, los límites y el potencial de la IA. Desde 2019, más de 50 investigadores han explorado los efectos de la IA en la sociedad.
• Festival de Mozilla (MozFest): Muy a menudo, las decisiones más urgentes sobre la IA se toman en silos. El Mozfest es el antídoto de Mozilla para este problema. El evento convoca y conecta a miles de activistas, ingenieros, filántropos y legisladores de todo el mundo para construir y vislumbrar una IA más confiable.
• Lelapa AI: Mozilla Ventures invirtió en Lelapa AI, una empresa en Sudáfrica que acaba de lanzar su primer producto: Vulavula, una nueva herramienta de IA que convierte la voz en texto y detecta nombres de personas y lugares en texto escrito en cuatro lenguas sudafricanas. Hace poco, Pelonomi Moila, directora general de Lelapa, fue nominada para la lista TIME100 de IA.

Desarrollar nuevas tecnologías y nuevos productos

• Desafío de IA responsable: En mayo de 2023, Mozilla organizó un evento con 175 asistentes, 7 talleres y 3 ponentes destacados para explorar cómo nuestros principios de IA confiable podían utilizarse para proporcionar un manual a los constructores. El evento otorgó premios por $100 000 a los ganadores del desafío que propusieron proyectos de IA responsable.
• Mozilla Internet Ecosystem (MIECO): MIECO financia a los innovadores que construyen una experiencia más sana en internet. Uno de los proyectos beneficiados es llamafile, que vuelve los grandes modelos de lenguaje de código abierto mucho más accesibles tanto para los desarrolladores, como para los usuarios finales.
• Guía de IA de Mozilla: Un recurso impulsado por la comunidad que reúne a desarrolladores para iniciar e impulsar innovaciones de IA generativa.
• Common Voice de Mozilla: Investigadores, académicos y desarrolladores en todo el mundo utilizan Common Voice, el conjunto de datos multilingüe y de código abierto más grande del mundo, para entrenar tecnología por voz y hacerla más incluyente y accesible.
• Mozilla Technology Fund (MTF): Desde 2022, MTF ha apoyado proyectos de código abierto que exploran cómo la IA afecta a cuestiones que van desde los prejuicios al cambio climático. Un proyecto notable, Countering Tenant Screening, expone los prejuicios y la discriminación en los servicios de selección basados en IA que utilizan los arrendadores.
• Data Futures Lab (DFL) de Mozilla: La carrera por recopilar datos para construir y probar modelos de IA ha planteado nuevas cuestiones jurídicas y éticas sobre el origen y la propiedad de la información. El Data Futures Lab de Mozilla incuba productos y plataformas al rediseñar radicalmente cómo debe ser una gestión de datos confiable.
• Mozilla.ai: Mozilla ha sido un colaborador clave en el Desafío de Eficiencia de los Grandes Modelos de Lenguaje de NeurIPS 2023, el taller de la Conferencia sobre Descubrimiento de Conocimiento y Minería de Datos (KDD) sobre la evaluación de sistemas de recomendación, y la investigación sobre nuevas formas de realizar de manera eficiente la clasificación de pocos disparos en modelos cerrados como chatGPT.
• Themis AI: Mozilla Ventures invirtió en Themis AI, una empresa en Cambridge, Massachusetts, que surgió del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del Instituto de Tecnología de Massachusetts (MIT). Themis aborda el sesgo y la incertidumbre en los modelos de IA y ha desarrollado CAPSA, una herramienta que puede calcular automáticamente la incertidumbre para cualquier modelo de aprendizaje automático.

Sensibilizar a los consumidores

• * Privacidad No Incluida: La guía * PNI expone las realidades y los riesgos de los dispositivos conectados a Internet. La guía de 2023 se enfocó en los automóviles y generó un interés sin precedente: al hacer mención de nuestra investigación, Ed Markey, senador de los Estados Unidos, le escribió a 14 empresas automotrices de ese país exigiéndoles información acerca de su recopilación, uso y venta de datos personales.
• IRL Podcast: La última temporada de IRL presentó a innovadores de IA confiable de la sociedad civil, la industria y las políticas públicas de distintas partes del mundo, que vincularon con la IA los problemas que les importan. El objetivo fue recordarle a la creciente audiencia de IRL que no se puede sacar al ser humano del algoritmo. Desde que salió la Temporada 7 en octubre de 2023, IRL ha tenido más de 100 000 descargas.
• Activismo filantrópico: En 2023, Mozilla participó en una colaboración con la oficina de la vicepresidenta Kamala Harris sobre el papel de la filantropía en la IA junto con otras fundaciones líderes. Asimismo, publicamos un conjunto de Principios de financiamiento de la IA que se inspiran en los más de 4 años que llevamos financiando una IA confiable.
• Open Source Research and Investigation Team: El equipo OSRI utiliza datos colaborativos para que los sistemas de IA opacos e influyentes sean más transparentes y responsables. El equipo ha redactado varios informes de investigación original sobre el algoritmo de recomendaciones de YouTube.
• Semana de innovación de Mozilla: En diciembre de 2023, Mozilla compartió una vista tras bambalinas de algunas de nuestras transmisiones sobre exploraciones impulsadas por IA –incluidas Solo, MemoryCache, AI Guide y llamafile– en nuestra plataforma AI Discord y en el canal Mozilla Developer de YouTube. Su objetivo fue compartir con transparencia en qué estamos trabajando y qué esperamos lograr.
• MemoryCache:Este proyecto de innovación de Mozilla es un trabajo de exploración inicial que aumenta un modelo personal en el dispositivo con archivos locales guardados desde el navegador para reflejar una experiencia más personalizada y adaptada a través de la lente de la privacidad y la agencia.

Fortalecer la normatividad y los incentivos de la IA

• Declaración conjunta sobre seguridad y apertura de la IA: Firmada por más de 1800 científicos, responsables políticos, ingenieros, activistas, emprendedores, académicos y periodistas, esta carta abierta hace un llamado a los legisladores de todo el mundo para que adopten la apertura, la transparencia y el acceso generalizado con el fin de mitigar los daños de los sistemas de IA.
• Norma C2PA: La empresa en la que Mozilla Ventures tiene inversiones, Truepic — miembro clave de la C2PA —, aboga por una norma técnica abierta para la verificación de contenido, incluso para la IA generativa. La norma C2PA permitirá que los editores, creadores y consumidores tengan la capacidad de rastrear el origen del contenido generado por IA.
• Campañas de defensa en la Unión Europea y los Estados Unidos: Mozilla participó de manera extensa en la Ley de Inteligencia Artificial de la Unión Europea y con los responsables de la formulación de políticas en los Estados Unidos en torno a la gestión de riesgos de la IA y la responsabilidad.

Agradecemos a los siguientes colaboradores: J. Bob Alotta, Ashley Boyd, Ian Carmichael, Moez Draief, Max Gahntz, Linda Griffin, Stephen Hood, Saoud Khalifah, Santiago Martorana, Mohamed Nanabhay, Alondra Nelson, Kasia Odrozek, Becca Ricks, Victor Storchan, Udbhav Tiwari, Imo Udom, Suba Vasudevan y Claire Woodcock.