La aplicación de manipulación de redes sociales impulsada por IA promete «dar forma a la realidad»

Impact, una aplicación que se describe a sí misma como “infraestructura impulsada por IA para dar forma y gestionar narrativas en el mundo moderno”, está probando una forma de organizar y activar a los seguidores en las redes sociales para promover ciertos mensajes políticos. La aplicación tiene como objetivo convocar a grupos de seguidores que inundarán las redes sociales con temas de conversación escritos por IA y diseñada para jugar con los algoritmos de las redes sociales.

En demostraciones en video y un documento general proporcionado a las personas interesadas en usar un prototipo de la aplicación que ha sido visto por 404 Media, Impact muestra cómo puede enviar notificaciones automáticas a grupos de seguidores dirigiéndolos a una publicación específica en las redes sociales y brindarles. Texto generado por IA que pueden copiar y pegar para inundar las respuestas con contraargumentos.

El documento general describe un Impacto como un “Departamento de Bomberos Voluntarios para el Mundo Digital”, que capacita a “masas de ‘buenas personas’” para “combatir incendios activos, extinguir pequeños incendios de matorrales e incluso realizar trabajos preventivos (pre-bunking ) para detener los incendios. antes de que tengan el potencial para comenzar”. Sin embargo, los expertos dicen que lo que propone Impact podría seguir desdibujando las líneas entre el comportamiento auténtico y el no auténtico en línea y también puede conducir a un mundo en el que sólo las personas con los recursos para pagar por un servicio de este tipo. puedan «dar forma a la realidad», como afirma Impact. dice el documento general. La aplicación también muestra otra forma en que el contenido generado por IA podría continuar inundando Internet y distorsionando la realidad de la misma manera que lo ha distorsionado. resultados de búsqueda de google, libro vendido en amazony menús de cocina fantasma.

En una sección del documento general titulada “¿Por qué Impact no es ‘malo’/ilegal/poco ético/etc.», la empresa explica que “Los ‘malos’ están teniendo un comportamiento no auténtico coordinado… Impacto potencia el comportamiento Auténtico coordinado. Necesitamos un grupo de voluntarios para ayudar a mantener limpios los espacios en línea. Es un monumento asi [sic] tarea que sin IA y coordinación centralizada sería imposible realizar una escala”.

Un vídeo de demostración visto por 404 Media muestra a una de las personas que creó la aplicación, Sean Thielen, iniciando sesión como «Stop Anti-Semitism», una organización falsa con un ícono de la Estrella de David (sin afiliación a la organización real con el mismo nombre). ), completando un formulario de “Solicitud de nueva acción”. Thielen decide a qué usuarios enviar la acción y qué quieren que hagan, como «responder a este Tweet con un mensaje de apoyo y aliento» o «Responder a esta publicación criticando al autor por compartir información errónea». El usuario también puede proporcionar un enlace a sus directos partidarios y proporcionar puntos de conversación, como «Esta publicación es deshonesta y no refleja cifras y realidades reales», «El historial del presidente en materia de economía habla por sí solo» y «La inflación ha disminuido». [sic] en un XX% en los últimos seis meses”. El formulario también incluye un cuadro de «Contexto adicional» donde el usuario puede escribir detalles adicionales para ayudar a la IA a dirigirse a los seguidores adecuados, como «Votantes jóvenes independientes en Twitter». En este caso, la demostración muestra cómo Impact podría dirigir a un grupo de seguidores a un tweet factual sobre la opinión de la Corte Internacional de Justicia que critica la ocupación de los territorios palestinos por parte de Israel e inundar las respuestas con respuestas generadas por IA criticando a la corte ya Hamás y apoyando a Israel.

En otra sección titulada «¿Es eficaz?», la empresa explica que «está bien documentado que los algoritmos de las redes sociales prefieren [sic] pulsos de actividad de alta energía sobre volumen puro […] Un grupo coordinado de personas que trabajan juntas, diciendo lo mismo con diferentes palabras desde todo tipo de lugares/cuentas/etc. diferentes, puede tener un impacto enorme en las tendencias, etc.

Una sección del documento general titulada «Equipo y cronograma: dónde estamos hoy» dice que «Se creó la primera versión de Impact y estamos comenzando a implementarla con algunas iniciativas piloto». Esa sección también establece que «Creemos que es fundamental actuar con rapidez y hemos reunido un equipo de tecnólogos y organizadores de clase mundial que están comprometidos a trabajar en Impact».

Sin embargo, en una entrevista, las dos personas detrás de la aplicación, Dmitry Shapiro y Thielen, dijeron que Impact es solo un prototipo en este momento, que solo ocho personas han descargado la aplicación hasta ahora, y que mientras se la muestra a la gente, Ninguna iniciativa lo utiliza actualmente y no se ha publicado ningún texto generado por IA desde la aplicación en las redes sociales.

Cuando se le preguntó por qué el documento general dice que la aplicación está comenzando a implementarse con algunas iniciativas piloto, Shapiro dijo: «Creo que es un lenguaje vago en un documento» y reiteró que actualmente no hay iniciativas activas ni clientes de pago.

Thielen dijo que Impact es una respuesta a la desinformación y el comportamiento no auténtico que se ha apoderado de las redes sociales, y un reconocimiento de que plataformas como Twitter no abordarán adecuadamente esos problemas. También dijo que sólo le llevó un par de fines de semana construir el prototipo Impact, y que sería fácil y económico que otra persona lo construira también.

“Veo este tipo de cosas [Impact] como inevitable”, dijo Thielen. “Las redes sociales no se están volviendo más limpias, más agradables y más representativas de la realidad, sólo están empeorando. Alguien tendrá que crear algún tipo de herramienta que eleve las voces de la gente normal y les permita participar colectivamente en tiempo real para poder lograr cualquier tipo de cambio aquí”.

Shapiro es un ex gerente de producto y Thielen anteriormente fundó una empresa llamada Koji, que fue adquirido por Linktree el año pasado. Actualmente, Shapiro es director ejecutivo de MindStudio, una plataforma para desarrollar aplicaciones basadas en inteligencia artificial, donde Thielen es director de tecnología.

Becca Lewis, investigadora postdoctoral en el Departamento de Comunicación de Stanford, dijo que cuando se habla de granjas de bots y propaganda computacional, los investigadores suelen utilizar el término «autenticidad» para delimitar entre una publicación compartida por un usuario humano promedio y una publicación compartida. por un bot. o una publicación compartida por alguien a quien se le paga por hacerlo. Impact, dijo, parece usar «auténtico» para referirse a publicaciones que parecen provenir de personas reales o que reflejan con precisión lo que piensan incluso si no escribieron la publicación.

«Pero cuando se combinan esos dos usos, se vuelve dudoso, porque sugiere que se trata de publicaciones provenientes de humanos reales, cuando, de hecho, tal vez las publica un humano real, pero no está escrito por un humano real», Lewis me dijo. “Está escrito y generado por un sistema de inteligencia artificial. Las líneas empiezan a volverse muy borrosas y ahí es donde creo que las cuestiones éticas pasan a primer plano. Creo que sería prudente que cualquiera que quiera trabajar con ellos solicite definiciones ampliadas sobre lo que quieren decir aquí con «auténtico».

En otra demostración de video, Impact muestra cómo una organización falsa llamada «Pro-Democracia» puede compartir un video en apoyo de Kamala Harris con los usuarios y pedirles que lo compartan en TikTok junto con un título generado por IA.

«Estas herramientas de IA son tan nuevas que todavía no tenemos normas claras sobre cuándo es aceptable usar IA en el proceso democrático», dijo Josh A. Goldstein, investigador del Centro de Seguridad y Tecnología Emergente de la Universidad de Georgetown, cuando 404 Los medios le mostramos el vídeo de demostración Pro-Democracia. “Si la IA puede ayudar a alguien a articular una visión que realmente tiene, podría empoderar a personas que de otro modo no participarían y aumentar la participación en el discurso cívico. Pero también existen riesgos. Las personas pueden volverse demasiado dependientes de los modelos de IA y compartir pasivamente contenido generado por IA que no han verificado ellos mismos”.

La “plataforma de impacto” tiene dos caras. Hay una aplicación para “participantes (participantes)” y una aplicación separada para “coordinadores/campañadores/partes interesadas/locutores (iniciativas)”, según el documento general.

Los partidarios descargan la aplicación y proporcionan «datos de incorporación» que «la IA de Impact utiliza para (1) Objetivo y (2) Personalizar las solicitudes de acción” que se les envían. Los partidarios se conectan a las iniciativas ingresando un código proporcionado y estas solicitudes de acción se envían como notificaciones automáticas, explica el documento.

Las «iniciativas», por otro lado, «tienen acceso a un panel avanzado asistido por IA para gestionar los partidarios y las acciones».

En la manifestación Alto al antisemitismo, Thielen dirige a sus seguidores a este tuitsobre la Corte Internacional de Justicia del 19 de julio opinion consultiva que la presencia de Israel en los territorios palestinos ocupados es ilegal y debería cesar, opinión que también compartió en 2004.

En el vídeo de demostración de Impact, Thielen no instruye a sus seguidores a corregir ninguna información errónea en el tweet y, en cambio, les pide que «proporcionen contexto adicional y dejen las cosas claras».

Específicamente, brinda a sus seguidores los siguientes «puntos de conversación».

1. La CIJ tiene una historia conocida de antisemitismo.
2. Hay muchas acusaciones que no han sido examinadas ni verificadas, y mucha desinformación está dañando la opinión pública sobre Israel.
3. ¿Dónde se pronuncia la CIJ sobre Hamás?
4. La CIJ y la CPI no tienen jurisdicción sobre Israel o Estados Unidos. Allá [sic] Las sentencias no significan absolutamente nada.

«Piense en esto como la sustancia central de la respuesta que desea», dice Thielen en el video, y explica que algunas de las respuestas que se generarán con IA en función de esos puntos de conversación pueden incluir solo uno de ellos, más de uno. . , o una síntesis de varios.

En el cuadro de “contexto adicional”, Thielen escribe que el público objetivo debería ser “Personas que han estado viendo mucha desinformación sobre Israel y la guerra en línea, y se sienten cada vez más comprensivas con Gaza. Anímelos a investigar más”.

Luego, el impacto genera una “semilla” para cada partidario. «Esto es lo que hace que todos los mensajes parezcan venir desde diferentes perspectivas y ángulos».

Un ejemplo de una semilla que se muestra en la demostración dice: «Informativo y tranquilo, más extenso, que proporciona un contexto histórico, enlace a fuentes confiables».

“Frustrado y urgente, medio, destacando el doble rasero, use mayúsculas para enfatizar”, lee una semilla a otro partidario. El vídeo de demostración también muestra la notificación automática que recibiría cada seguidor en función de la semilla, así como el «borrador de mensaje» que Impact les pide que compartan. Según el vídeo, la notificación automática que recibiría este partidario diría: “Dana, responde al tweet sobre el fallo de la CIJ sobre Israel. Agregue contexto y corrija cualquier información errónea”.

El borrador del mensaje para este usuario dice:

“¿Dónde está la sentencia de la CIJ sobre Hamás? La historia de antisemitismo del tribunal es CLARA. Tanta desinformación que existe está deformando la opinión pública. Antes de sacar conclusiones precipitadas, INVESTIGA. ¡La CIJ tiene CERO jurisdicción sobre Israel de todos los modos!”

«Parecido a un meme, muy breve, que señala la hipocresía, incluye un hashtag de tendencia», dice otra semilla. El borrador del mensaje generado basado en esa semilla es: “¿La CIJ falla sobre Israel pero guarda silencio sobre Hamás? 🤔 Haz que tenga sentido. #Doble rasero”.

«El objetivo es crear una narrativa completa pero consistente de una manera que facilite a sus seguidores simplemente tocar ‘copiar’, pegar esto y listo», dice Thielen en el vídeo.

Cuando le preguntó a Thielen por qué la demostración mostraba a Impact dirigiendo a los usuarios a inundar un tweet factual con respuestas que intentaban socavarlo, dijo que no pensaba mucho en los detalles de la demostración.

“Es solo que soy un vago”, me dijo. «Simplemente escribí ‘Israel’ en la búsqueda de Twitter e hice clic en la parte superior sin mirarlo».

«Gorjeo»manipulación de la plataforma y política de spam» establece que «No puede utilizar los servicios de X de una manera destinada a amplificar o suprimir artificialmente información o participar en comportamientos que manipulen o interrumpan la experiencia de las personas o las defensas contra la manipulación de la plataforma en X”. Twitter también dice que el comportamiento prohibido incluye «coordinada, que intenta influir artificialmente en las conversaciones mediante el uso de múltiples cuentas, cuentas falsas, y automatización/o secuencias de comandos». Sin embargo, no está claro si lo que propone Impact violaría la política de Twitter, que también establece que «coordinar con otros para expresar ideas, puntos de vista, apoyo u oposición hacia una causa» no es una violación de esta política.

“Grupos coordinados de personas pueden presentarse y ayudar, o grupos coordinados de personas pueden presentarse y acosar”, dijo Shapiro. “No creemos que la coordinación sea en modo alguno algo malo. Creemos que es algo grandioso, porque puedes hacer cosas, y si estás haciendo cosas buenas y sinceras, entonces no veo ningún problema”.

Twitter no respondió a una solicitud de comentarios.

«Si los usuarios de las redes sociales no son transparentes sobre su propio uso de la IA, otros pueden perder la confianza en los foros en línea, ya que se vuelve más difícil distinguir la escritura humana de la prosa sintética», dijo Goldstein en respuesta al video de demostración Pro-Democracia.

«Creo que el astroturfing es una excelente manera de expresarlo, y también el de brigada», dijo Lewis. “También muestra que se seguirá desviando quién tiene la capacidad de utilizar este tipo de herramientas y quién puede pagar por ellas. Las personas con la capacidad de generar este contenido aparentemente orgánico son, irónicamente, las personas con más dinero. Así que puedo ver que el discurso se dirige hacia las personas con dinero para cambiarlo en una dirección específica”.