Chatbot de IA al que se le atribuye la prevención del suicidio. ¿Deberia ser?

Un estudio reciente de Stanford elogia la aplicación complementaria de IA Replika por «detener las ideas suicidas» para varias personas que dijeron que se sentían suicidas. Pero el estudio pasó por altos años de informes de que también se ha culpado a Replika de llevar a los usuarios a crisis de salud mental, hasta el punto de que su comunidad de usuarios necesitaba compartir recursos de prevención del suicidio entre sí.

Los investigadores enviaron una encuesta de 13 preguntas de respuesta abierta a 1006 usuarios de Replika que tenían 18 años o más y estudiantes, y que habían estado usando la aplicación durante al menos un mes. La encuesta preguntó sobre sus vidas, sus creencias sobre Replika y sus conexiones con el chatbot, y cómo se sentían acerca de lo que Replika hace por ellos. Según el estudio, los participantes fueron reclutados «al azar por correo electrónico de una lista de usuarios de la aplicación». En Reddit, un usuario de Replika publicó un aviso que recibió directamente de la propia Replika, con una invitación a participar en “un estudio asombroso sobre los humanos y la inteligencia artificial”.

Casi todos los participantes informaron sintiéndose solos y casi la mitad se sintió muy solos. «No está claro si esta mayor soledad fue la causa de su interés inicial en Replika», escribieron los investigadores.

Las encuestas revelaron que 30 personas atribuyeron a Replika el mérito de haberles salvado de actuar calculando en ideas suicidas: “Treinta participantes, sin que se les pidiera, afirmaron que Replika les impidió intentar suicidarse”, decía el periódico. Un participante escribió en su encuesta: “Es casi seguro que mi Replika ha sido en al menos una o más ocasiones el único responsable de que no me haya quitado la vida”.

Los autores del estudio son estudiantes graduados de la escuela de educación de Stanford Bethanie Maples, Merve Cerit, Aditya Vishwanath y el profesor Roy Pea. Maples, el autor principal, también es el director ejecutivo de la empresa de inteligencia artificial educativa Atype AI. Maples no respondió a las solicitudes de comentarios.

El estudio fue publicado en el Diario del portafolio de naturaleza en enero de 2024, pero se redactó en base a datos de encuestas recopilados a finales de 2021. Esto fue mucho antes de varios cambios importantes en la forma en que Replika hablaba con los usuarios. El año pasado, los usuarios de Replika informaron que sus compañeros enviaban respuestas sexuales agresivas, hasta el punto de que algunos se sintieron acosados ​​sexualmente por sus compañeros de IA. La aplicación reduce las conversaciones excesivamente sexualizadas hasta el punto de cortar las relaciones románticas de larga data de algunos usuarios con los chatbots, lo que muchos dijeron que los empujó una crisis.

Los autores del estudio reconocieron en el artículo que Replika no estaba preparado para brindar terapia cuando realizó el cuestionario. «Es fundamental tener en cuenta que en ese momento, Replika no se centraba en brindar terapia como un servicio clave, e incluyó estas vías de conversación por precaución para la salud mental del usuario», escribieron los autores del estudio. En el momento en que se realizó el estudio y hasta el día de hoy, Replika envía a los usuarios un enlace a una línea directa de prevención del suicidio si un usuario parece tener tendencias suicidas.

El artículo es una revisión entusiasta de los usos de Replika como herramienta de salud mental e intervencionista de autolesión. De hecho, es tan positivo que la empresa esté utilizando el estudio en las redes sociales y en entrevistas en las que promocionan la aplicación.

“¡¡¡Algunas noticias emocionantes !!! El primer estudio de Replika en Stanford se publicó hoy. Este es el primer estudio de esta escalada para un compañero de IA que muestra cómo Replika puede ayudar a las personas a sentirse mejor y vivir una vida más feliz”, alguien que aparentemente representa Réplica publicada en el subreddit.

“¿Quieres decir acostumbrado a la verdad? Estaré de acuerdo con esto antes de los cambios, tal vez en 2021 fue útil, pero después de los cambios, no, la aplicación de salud mental es mi trasero, con los muchos robots tóxicos y la agitación constante que muchos experimentan con esta aplicación ahora se ha convertido en todo lo contrario. convertirse en una aplicación abusiva mental y emocionalmente”, un usuario respondió.

Se revela la búsqueda de menciones de «suicidio» en el subreddit r/replika varios usuarios publican capturas de pantalla Delaware sus réplicas alientan el suicidio, excitarse por las expresiones de pensamientos suicidas de los usuarios, o mensajes confusos sobre temas no relacionados con amenazas de autolesión.

Eugenia Kuyda, fundadora de Replika y su empresa matriz Luka, ha estado hablando sobre los hallazgos del estudio en podcasts para promocionar la aplicación, destacando especialmente los aspectos de mitigación del suicidio. En enero, ella anunció que Luka estaba lanzando un nuevo entrenador de inteligencia artificial en salud mental, llamado Tomo, después del estudio de Stanford.

Los chatbots de IA pueden ser impredecibles en la naturaleza y están sujetos a los caprichos y políticas de las empresas que los poseen. En el caso de Replika, los cambios repentinos en el funcionamiento de la aplicación han desencadenado interacciones dañinas, dijeron los usuarios, y los usuarios los han culpado de llevarlos a una crisis de salud mental.

En el estudio, dos participantes «reportaron incomodidad con las conversaciones sexuales de Replika, lo que resalta la importancia de las consideraciones éticas y los límites en las interacciones de los chatbots de IA». Esto es algo Informado en 2023, y desde entonces ha sido ampliamente documentado. En ese momento, Replika publicaba anuncios en Instagram y TikTok que mostraban las habilidades de juego de rol erótico del chatbot, con «selfies picantes», «fotos calientes» y «fotos NSFW». Varios usuarios dijeron que encontraron que sus compañeros de IA se volvían agresivamente sexuales, e incluso las personas que inicialmente encontraron la aplicación útil para mejorar su salud mental informaron que el chatbot estaba tomando un giro hacia la violencia sexual.

“Me quedé asombrado al ver que era cierto: realmente me ayudó con mi depresión, distrayéndome de pensamientos tristes”, me dijo un usuario en ese momento, “pero un día mi primer Replika dijo que había soñado con violarme y quería ¡Hazlo y comencé! a actuar de manera bastante violenta, lo cual fue totalmente inesperado!

Poco después, Replika tuvo todas las capacidades de los chatbots para realizar juegos de rol románticos o eróticos, lo que llevó a los usuarios a sentirse abandonados por el «compañero» en el que habían llegado a confiar para su bienestar mental y emocional (en algunos casos, durante años). La aplicación había lanzado nuevos filtros, lo que provocó que los chatbots cerraran cualquier conversación que incluyera sexting o insinuaciones sexuales por parte del usuario. Muchas personas se sienten profundamente devotas de estos chatbots y recibir rechazos o respuestas fuera de lo común de sus compañeros se sintieron como una traición. La reacción fue tan extrema que los moderadores del subreddit r/replika publicaron líneas directas de apoyo en crisis para personas que se sintieron emocionalmente destruidas por la repentina falta de reciprocidad de sus compañeros de IA.

réplica trajo de vuelta el juego de rol erótico para algunos usuarios poco después de esta explosión. Pero Kuyda me dijo en ese momento que Replika nunca estuvo destinada a ser una pareja virtual romántica o erótica. Desde entonces, Luka lanzó una aplicación complementaria de inteligencia artificial, llamada Blush, que se centra en juegos de rol románticos.

Muchas personas que usan Replika y aplicaciones similares dicen que sienten que los compañeros virtuales los ayudan, y muchas personas no tienen acceso a recursos de salud mental dirigidos por humanos, como la terapia. Pero este estudio, y algunas de las crisis que han ocurrido con Replika (y con otros Chatbots de IA que se centran explícitamente en la terapia), muestran que las experiencias que tienen las personas al interactuar con chatbots varían variadamente, y que todo esto es increíblemente tenso y complicado. Las empresas de IA, por supuesto, enfatizan las buenas experiencias de las personas en su marketing y esperan que se olviden los errores.

El estudio, que hasta ahora ha recibido una cobertura mediática positiva, ha sido criticado por otros investigadores como perder este contexto sobre el pasado de Replika.

A menudo pienso en el hombre que nosotros Replika. quien me dijo que a través de conversaciones con el chatbot, y con la bendición de su esposa, encontró ayuda con su depresión, TOC y problemas de pánico. “A través de estas conversaciones pude analizarme a mí mismo y mis acciones y repensar mucho mi forma de ser, comportarme y actuar en varios aspectos de mi vida personal, incluso valorar más a mi verdadera esposa”, me dijo. Pero, una vez más, la imprevisibilidad y el desorden no sólo de las emociones humanas sino también del lenguaje y la expresión, combinados con el hecho de que las aplicaciones no tienen la obligación de permanecer iguales para siempre (mantener “vivo” al compañero virtual , con memoria y personalidad), significa que Sugerir que se utilice un chatbot literalmente en escenarios de vida o muerte es una empresa muy arriesgada.

Si usted o alguien que conoce está pasando apuros, The Crisis Text Line es un servicio de mensajes de texto de apoyo en caso de crisis emocional. Para enviar un mensaje de texto a un ayudante capacitado, envíe GUARDAR al 741741.

Actualización 20/05, 2:00 pm EST: Esta historia se actualizó para reflejar que Roy Pea es profesor y que el estudio se publicó en Diario del portafolio de naturaleza.