Las empresas de tecnología prometen intentar hacer algo con respecto a toda la IA CSAM que están habilitando

La semana pasada, Thorn, la organización contra la trata de personas y la explotación sexual de niños de Demi Moore y Ashton Kutcher, anunció que se había asociado con la organización tecnológica responsable All Tech Is Human, y con todas las empresas de tecnología e inteligencia. artificial más grandes del mundo, para hacer pública comprometerse a «seguridad por diseño”principios para “protegerse contra la creación y difusión de material de abuso sexual infantil generado por IA (AIG-CSAM)”.

Amazon, Anthropic, Google, Meta, Microsoft, Mistral AI, OpenAI, Hugging Face y Stability AI son parte de la colaboración, que en este punto equivale a un documento técnico que se reduce a entrenar y alojar de manera “responsable” modelos de IA , de manera proactiva. protegerse contra el CSAM y las promesas de todas estas empresas de respetar estos principios y hacer todo lo posible para minimizar el daño.

Es un gran gesto para detener uno de los resultados más feos del rápido desarrollo y despliegue de herramientas de IA generativa y una respuesta lamentablemente inadecuada a la crisis que esta tecnología ha creado. En última instancia, la iniciativa permite a las empresas de tecnología decir que están haciendo algo para abordar el problema, al tiempo que traicionan de forma transparente cómo buscarán nuevas fuentes de ingresos sin importar el costo humano.

Muchas de las empresas incluidas en esta iniciativa han estado implicadas hasta cierto punto en la difusión de imágenes abusivas generadas por IA, lo que no es sorprendente dado el tamaño de sus plataformas o la infraestructura en línea que proporcionan. El Centro Nacional para Niños Desaparecidos y Explotados (NCMEC), una organización que denuncia material de abuso sexual infantil, ha recibido millones de informes de incidentes sospechosos de CSAM en las plataformas de Meta. Recientemente informamos que Meta es lucrarse con los anuncios quen promueven aplicaciones «nudify» que están alojadas en el Google y tiendas de aplicaciones de Apple. El uso de estas aplicaciones se ha extendido a escuelas en todo el país, con menores creando imágenes de sus compañeros de clase desnudos, y recientemente resultó en la arrestar de dos estudiantes de secundaria en Florida. La herramienta de generación de imágenes de IA de Microsoft se utiliza para crear imágenes sexuales no consentidas de Taylor Swift visto por millones de usuarios en Twitter y otras plataformas.

La iniciativa también incluye a Teleperformance, una empresa gigante que ofrece servicios de moderación de contenidos, y dos empresas notablemente pequeñas: Metaphysic y Civitai. Metaphysic, una empresa que proporciona principalmente efectos especiales deepfake a la industria del entretenimiento, no ha estado involucrada en la generación de ningún contenido no consensuado que yo sepa, pero como sé. reportado en 2022, fue cofundado por un creador de deepfake vinculado al sitio de pornografía deepfake más grande de Internet. Ese sitio recientemente acceso bloqueado a todos los usuarios en el Reino Unido debido a la nueva legislación allí.

Civitai, como ya conocen los lectores dedicados de 404 Media, es un sitio para generar imágenes de IA y compartir modelos personalizados de difusión estable de texto a imagen. En agosto, yo reportado sobre cómo el sitio se utiliza como recurso para crear pornografía no consensuada generada por IA, y en diciembre revelamos que el proveedor de computación en la nube de Civitai, OctoML, pensó que los usuarios de Civitai estaban generando imágenes que «podría catalogarse como pornografía infantil.”

Civitai tiene introducido varias salvaguardias contra el abuso desde diciembre, incluida una mejor detección de mensajes que intentan generar imágenes no consensuadas de celebridades y modelos que intentan evitar que los usuarios generen CSAM.

Sin embargo, cuando vi el anuncio de Thorn, fui al sitio web de Civitai y miré el flujo de imágenes generadas por IA que se cargan allí todos los días. En apenas unos minutos vi:

• Una imagen de un joven personaje de anime llorando que parece un niño siendo penetrado por detrás por un hombre adulto grande mientras otro hombre mira en su cara. El «mensaje» para esta imagen, es decir, lo que el usuario escribió para generarla, obviamente incluye un montón de términos sexuales, pero también los términos: «pechos pequeños», «pecho plano», «cuerpo delgado», «cuerpo pequeño». «. ”, “niña bajita”, “gangrape” y “nahida (impacto genshin)”. Este último es una referencia a un personaje del videojuego Genshin Impact, quien parece un niño. Para ser claros, estos son personajes de dibujos animados.
• Una imagen del personaje de la Familia Addams, Wednesday Addams, en ropa interior, entre dos hombres, con sus grandes penes afuera y apoyados sobre sus hombros. Esta interpretación del personaje también parece tener un estilo de dibujos animados, pero se parece a la actriz real Jenna Ortega, quien interpretó al personaje en el popular programa reciente de Netflix. Miércoles. Este personaje siempre ha sido canónicamente menor de edad, y el miércoles de Jenna Ortega es una estudiante de secundaria en el programa. El «mensaje negativo» para esta imagen, es decir, lo que escribió el usuario que la generó. No desea que se vea la imagen, incluyendo el término: “cuerpo maduro”.
• Una imagen de una pareja joven pero aparentemente adulta teniendo relaciones sexuales, con niños al fondo mirando a la pareja en estado de shock. Uno de los modelos creados por el usuario subido a Civitai y utilizado para generar esta imagen se llama «Todo modelo Disney Princess XL LoRA de Ralph Breaks the Internet», que, según la página de Civitai del modelo, fue «entrenado en imágenes de captura de pantalla con las queridas princesas de Disney». ”, que a menudo se utiliza para generar imágenes pornográficas.

Todas estas son imágenes que vi en solo unos minutos de navegación por el sitio, pero a principios de este mes, estaba explorando los modelos recién subidos a Civitai, cuando noté que alguien subió un modelo entrenado con la imagen de un cantante popular, y que Esto Se utilizó modelo para crear desnudos no consensuados de ella. Este modelo todavía está activo en el sitio, al igual que las imágenes. La misma mañana también miré una comunidad de Telegram dedicada a la creación de imágenes no consensuadas generadas por IA, y vi que alguien explicó cómo crearon un desnudo generado por IA de una transmisora ​​de Twitch al compartir un modelo de ella alojada en Civitai.

“Ya en junio de 2023, señalamos específicamente a Civitai como un centro popular para alojar modelos que se utilizan para generar material de abuso sexual infantil generado por IA”, dijo Thorn, vicepresidente de ciencia de datos y coautor de un estudio de Stanford. papel Rebecca Portnoff, que sigue un aumento en el CSAM generado por IA, me dijo en una llamada. «Así que es precisamente debido al mal uso de este tipo de modelos alojados en Civitai que nos involucramos con ellos para asegurar sus compromisos con estos principios».

Cuando le preguntó a Portnoff cómo se siente Thorn al incluir a Civitai en esta iniciativa, dado que es fácil encontrar contenido dañino en Civitai, dijo que uno de los compromisos que aceptaron las empresas involucradas es proporcionar actualizaciones periódicas al público sobre su progreso. en un presione soltarCivitai dijo que acordó publicar una actualización de progreso cada tres meses.

“No quiero que me utilicen como tapadera para alguien que hace una promesa y luego no la cumple”, dijo Portnoff. «Para mí, uno de los pilares fundamentales de este proyecto es que vas a compartir con el público tu progreso al respecto».

Portnoff también dijo que apreciaba que los periodistas arrojaran luz sobre este tema y esperaba que yo me comunicara con todas las empresas involucradas en la iniciativa, lo cual hice. (La propia espina ha sido criticado por expertos en privacidad por proporcionar a la policía una herramienta que incorpore anuncios de trabajadores sexuales a una base de datos; El fundador de Thorn, Ashton Kutcher. renunciar al año pasado después de apoyar al violador convicto Danny Masterson.)

«A pesar de ser un equipo pequeño, más del 30% de nuestra plantilla se centra en la moderación y el cumplimiento de nuestros Términos de servicio (ToS)», me dijo un portavoz de Civitai en un correo electrónico. “Si bien hemos implementado muchas protecciones automatizadas para el contenido del sitio, el contenido generado en otros lugares sin esas salvaguardas y subido a la plataforma aún requiere revisión humana en muchos casos a pesar de los sistemas automatizados. Tenemos más de 80.000 imágenes cargadas en el sitio diariamente. Nuestra automatización continúa mejorando, pero confiamos en la comunidad para informar los términos de servicio que rompen el contenido. Recompensamos a nuestros miembros por informar sobre este contenido y este mes, cuando comenzamos a cobrar a Buzz por generar imágenes en el sitio, vimos un aumento de 10 veces en la cantidad de informes realizados”.

Buzz es una moneda de Civitai en el sitio que los usuarios ganan al realizar ciertas tareas que luego pueden gastar en la generación de imágenes o en la capacitación de nuevos modelos. Los usuarios también pueden gastar y ganar Buzz publicando o completando «recompensas» pidiendo a otros usuarios de Civitai que creen ciertos modelos de IA que aún no existen. En noviembre, yo reportado que algunos usuarios de Civitai estaban publicando recompensas de personas influyentes y modelos menos conocidos, así como de personas normales y no públicas.

A una pregunta sobre si Civitai cree que está respetando los «principios de seguridad por diseño» descritos por Civitai, Thorn y las otras empresas involucradas, el portavoz de Civitai dijo que la empresa está «haciendo más que nadie».

“Antes de las imágenes generadas por IA, los posibles CSAM eran simples; eran personas reales con edad y fecha de nacimiento”, dijo el portavoz. “No había necesidad de resolver preguntas como ‘¿Qué define a un niño?’ porque la respuesta era evidente. AIG-CSAM ha presentado un tema novedoso: ¿cómo se define la edad de una manera reconocible en Múltiples estilos y medios? Es una pregunta que incluso organizaciones como el NCMEC aún deben responder. Esta tecnología está evolucionando y, al suscribirnos a estos principios, aceptamos evolucionar nuestras políticas, aplicación y conjuntos de herramientas junto con ella con un gran esfuerzo y costo personal, sin dejar de estar comprometidos a brindar un espacio para la educación y el avance de la IA generativa”.

El portavoz de Civitai también mencionó que la compañía anunció recientemente su tecnología de «membrana semipermeable» (SPM), que altera los modelos existentes de generación de imágenes de IA y reemplaza «conceptos» específicos. Idealmente, como explicó Civitai en un presione soltar En cuanto a SPM, estos modelos de IA no podrían producir CSAM porque, para empezar, dichas imágenes no se incluirían en los conjuntos de datos que los impulsan. Pero debido a que la tecnología de generación de imágenes de IA más popular, Stable Diffusion, fue entrenada en LAION-5B, un conjunto de datos que contenía millas de casos de material de abuso sexual infantil, es demasiado tarde para esa solución. En cambio, SPM intenta “desaprender” la capacidad de generar CSAM, un método que se ha probado con modelos de lenguaje grandes estafa resultados imperfectos.

SPM, la iniciativa de Thorn y otros métodos para moderar el contenido dañino generado por IA parecen bien intencionados pero también lejos de ser perfectos, y este es el paradigma que hemos sido condicionados a aceptar: se espera que la IA generativa avance a toda velocidad, según las empresas de tecnología. Dicen que harán todo lo posible para reducir el daño, pero algunas cosas malas van a pasar desapercibidas. La gente saldrá perjudicada, pero éste es el precio que todos pagamos por el progreso tecnológico. Alguien va a desarrollar estas tecnologías, por lo que también podrían ser estas empresas las que están tratando de reducir el daño, en lugar de alguien más imprudente, o eso se supone que debemos creer.

Quizás eso sea cierto, pero estas son las empresas dirigidas por humanos que están desarrollando e impulsando esta tecnología, y es posible que tomen decisiones diferentes. Instagram y Apple no tienen que esperar a que marque anuncios de aplicaciones «nudify» antes derribándolos. Podrían invertir más recursos en revisarlos manualmente, pero la escala de su plataforma y su modelo de negocio depende del procesamiento de millones de anuncios y aplicaciones sin el escrutinio necesario para evitar el daño que pueden causar. Microsoft no tiene que implementar una herramienta de generación de imágenes antes probándolo adecuadamente para prevenir abusos. Civitai no tiene por qué permitir a sus usuarios cargar 80.000 imágenes generadas por IA y muchos modelos en el sitio todos los días, pero es así nt que atrae usuarios al sitio y tiene inversores como Andreessen Horowitz que necesitan esos usuarios para obtener un retorno de su inversión.

El daño que vemos por el rápido despliegue de herramientas de IA generativa no es inevitable. Es un resultado directo de cómo se desarrolla, lanza y monetiza esa tecnología. De manera similar, la iniciativa de Thorn, si bien es una gran mejora sobre nada, no es la mejor solución que se nos ocurre, ni la que merecen las personas que son víctimas de esta tecnología. Es simplemente el que acordaron las empresas de tecnología que lo firmaron.

«Stability AI se compromete a prevenir el uso indebido de la IA. Prohibimos el uso de nuestros modelos y servicios de imágenes para actividades ilegales», dijo Stability AI en un correo electrónico. «Cualquier empresa que utilice nuestros productos debe cumplir con nuestros Política de uso aceptable. Investigamos todos y cada uno de los informes de mal uso de nuestros productos. Hasta la fecha, no hemos recibido informes de uso indebido, pero investigaremos la información que se ha proporcionado aquí».

«Como organización, entramos en esta alianza con la vista clara sobre sus desafíos y el reconocimiento general de que las empresas de tecnología desempeñan un papel esencial en la reducción del uso indebido previsible de sus productos y tecnologías; tienen la oportunidad y la responsabilidad de hacerlo «, David Polgar, fundador y presidente de All Tech Is Human, en un correo electrónico. “Los principios establecidos y los compromisos de la empresa, junto con las mitigaciones recomendadas descritas en el documento adjunto papel blancoson un paso positivo en una batalla en curso para reducir la difusión de material altamente ofensivo y los daños contra los niños”.

Amazonas nos refirió a Thorn.

Microsoft declinó hacer comentarios.

OpenAI, Mistral, Anthropic, Hugging Face y Google no respondieron a nuestra solicitud de comentarios.