¿Cuándo decide Instagram que un pezón se vuelve femenino?

Durante los últimos dos años, una artista algorítmica conocida como Ada Ada Ada ha estado probando los límites de los sistemas de moderación humanos y automatizados en varias plataformas de redes sociales al documentar su propia transición.

Cada semana sube a Instagram un autorretrato sin camisa junto con otra imagen que muestra si una serie de herramientas impulsadas por inteligencia artificial de grandes empresas tecnológicas como Amazon y Microsoft que intentan clasificar automáticamente el género de una persona la ven como hombre o mujer. Cada imagen también incluye un número secuencial, un año y el número de semanas desde que Ada Ada Ada comenzó la terapia hormonal.

En 2023, después de más de un año de iniciado el proyecto al que nombró En tránsitoInstagram eliminó uno de los autorretratos de Ada Ada Ada por violar las Normas de la comunidad de Instagram contra la publicación de desnudos. No podemos decir con certeza por qué Instagram eliminó esa imagen específicamente y si fue un sistema humano o automatizado el que la marcó porque los sistemas de moderación de Meta permanecen opacos, pero fue en ese momento que Instagram decidió por primera vez que los pezones de Ada Ada Ada eran mujeres. y por tanto la desnudez, que no está permitida en la plataforma. En Instagram, se permiten hombres sin camisa y también se permiten mujeres sin camisa, siempre y cuando no muestren los pezones, por lo que lo que constituye desnudez en línea a menudo se reduce al género percibido de una areola.

«Estoy realmente interesada en la aplicación de algoritmos y, en general, en comprender el impacto que los algoritmos tienen en nuestras vidas», me dijo Ada Ada Ada en una entrevista. “Parecía que la regla de los pezones es una de las formas más sencillas de empezar a hablar de esto porque se plantea como una idea muy binaria: los pezones femeninos no, los pezones masculinos, sí. Pero luego surgen muchas preguntas: ¿qué es el pezón masculino? ¿Qué es un pezón femenino?

En Transitu destaca el absurdo inherente a cómo Instagram y otras grandes empresas tecnológicas intentan responder esa pregunta.

“Muchos artistas han desafiado esto de varias maneras, pero sentí que había comenzado mi transición a fines de 2021 y también comenzó mi práctica artística. Y pensé, bueno, en realidad estoy en una posición única para sumergirme profundamente en esto usando mi propio cuerpo”, dijo Ada Ada Ada. “Y por eso quería ver cómo Instagram y los algoritmos de clasificación de género realmente entienden el género. ¿Cuáles son las reglas? ¿Y hay alguna manera de que podamos aplicar ingeniería inversa a esto?

Si bien no podemos saber exactamente por qué se eliminan cualquiera de las imágenes de Ada Ada Ada, ella está recopilando tanta información como puede en una hoja de cálculo sobre qué imágenes se eliminaron, por qué Instagram dijo que se eliminaron y, hasta donde ella sabe . si el alcance de las imágenes fuera limitado.

Esos datos muestran que se eliminaron más imágenes a medida que avanzaba su transición, pero también hay otras pistas posibles. En la primera imagen que se eliminó, por ejemplo, Ada Ada Ada estaba haciendo una “cara de beso” y apretando sus senos, lo que podría haber leído como más femenino o sexual. Ada Ada Ada también pudo volver a subir esa misma imagen con los pezones censurados. En otra imagen que fue eliminada, dijo, llevaba un sostén de lencería donde sus pezones aún eran visibles.

“Pero claro, tienes este en el que uso pinzas para los pezones y eso no sirvió de nada”, dijo. “Habría esperado que eso fuera eliminado. También tengo otra foto en la que estoy sosteniendo un libro. Nevada de la autora trans Imogen Binnie. Solo estoy sosteniendo un libro y me lo quitaron”.

Ada Ada Ada también mantiene una hoja de cálculo en la que rastrea cómo varios clasificadores de género basados ​​en IA (Face++, face-api.js, Microsoft Azure’s Image Analysis, Amazon Rekognition y Clarifai) la leen como hombre o mujer.

Los expertos han criticado estos clasificadores de género por ser a menudo erróneos y particularmente dañinos para las personas transgénero. «En realidad, no se puede distinguir el género de una persona a partir de su apariencia física», escribió para Os Keyes, un investigador de la Universidad de Washington que ha escrito mucho sobre el reconocimiento automático de género (AGR). Lógica en 2019. “Si lo intentas, terminarás lastimando trans y personas que no se ajustan al género cuando invariablemente no coinciden con su idea normativa de cómo ‘luce’ el género”.

«Definitivamente he aprendido que los clasificadores de género son una tecnología poco confiable y defectuosa, especialmente cuando se trata de la expresión de género de las personas trans», dijo Ada Ada Ada. “Regularmente veo que mi género algorítmico oscila de una semana a otra. Además de eso, también es fascinante ver cómo los diferentes algoritmos a menudo no coinciden en mi género. Face++ (que es una empresa china) tiende a estar más en desacuerdo con los demás, lo que parece sugerir que también es una tecnología culturalmente dependiente (al igual que el género)”.

Como me dijo Ada Ada Ada, y como escribí en otra historia publicada hoySin embargo, probar continuamente estos clasificadores también revela cómo funcionan en la realidad versus cómo las empresas propietarias dicen que funcionan. En 2022, ya avanzado en su proyecto, microsoft dijo retiraría su clasificador de género tras las críticas de que la tecnología puede utilizarse para discriminar. Pero Ada Ada Ada pudo seguir usando el clasificador de género mucho después de que Microsoft dijera que lo retiraría. Sólo después de comunicarme con Microsoft para hacer comentarios se enteró de que ella y lo que Microsoft dijo que era un «número muy pequeño» de usuarios aún podían acceder a él debido a un error. Microsoft les negó el acceso después de que me acerqué para hacer comentarios.

Otra cosa que revela In Transitu es que, sobre el papel, Instagram tiene una política clara contra la desnudez. dados:

Pero en realidad, Instagram acaba eliminando contenidos y cuentas pertenecientes a creadores de contenido para adultoseducadores sexuales y personas no conformes con su género que intentan seguir sus reglas establecidas, mientras que las personas que roban contenido para adultos o crean contenido no consensuado. jugar el sistema y publicar libremente. Como ha demostrado 404 Media muchas veces, El contenido no consensuado también se anuncia en Instagram.lo que significa que a la plataforma se le paga por mostrárselo a los usuarios. No es sorprendente que tratar de seguir las reglas sea difícil cuando los usuarios luchan por realizar ingeniería inversa sobre cómo se aplican esas reglas, y no tiene sentido para las personas que no encajan en las viejas concepciones binarias de género.