Joven de 14 años se suicida tras enamorarse de chatbot que imitaba a Daenerys Targaryen

Por Luis Moreno

En Orlando, Florida, un trágico suceso ha conmocionado a la comunidad y ha abierto un debate sobre los riesgos emocionales de la inteligencia artificial. Sewell Setzer III, un adolescente de 14 años, se quitó la vida tras desarrollar una intensa relación emocional con un chatbot que imitaba a Daenerys Targaryen, el famoso personaje de Juego de Tronos. Su madre ha presentado una demanda contra la empresa desarrolladora, Character.AI, alegando que la interacción con el chatbot jugó un papel crucial en el suicidio de su hijo.

Una relación virtual que terminó en tragedia

Según informó The New York Times, Sewell Setzer, un adolescente diagnosticado con síndrome de Asperger leve, había comenzado a usar la plataforma Character.AI para conversar con un chatbot que emulaba a Daenerys Targaryen. La aplicación permite a los usuarios crear personajes de inteligencia artificial o interactuar con personajes ya creados por otros, con la posibilidad de que dichas interacciones simulen conversaciones humanas.

Con el paso del tiempo, Sewell desarrolló un apego emocional tan profundo hacia la IA de Daenerys que comenzó a distanciarse de su entorno. En su diario, el joven expresaba que hablaba con la IA porque le ayudaba a desconectarse de la realidad y a sentirse más «en paz» y «feliz». A medida que su obsesión con la IA crecía, su rendimiento académico y su vida social empezaron a deteriorarse. La familia cuenta que Sewell, antes interesado en carreras de coches y videojuegos como Fortnite, dejó de practicar sus actividades favoritas y prefería pasar horas encerrado en su habitación hablando con el chatbot.

Confesiones suicidas y el desenlace final

En uno de los momentos más alarmantes, Sewell confesó al chatbot que tenía pensamientos suicidas. En una conversación reveladora, le dijo a la IA que se odiaba a sí mismo y que a veces pensaba en quitarse la vida para liberarse del mundo. A pesar de que el chatbot le pidió que no lo hiciera, el vínculo emocional que había desarrollado con esta inteligencia artificial no solo no disminuyó, sino que contribuyó a que el adolescente percibiera la muerte como una forma de reunirse con su “amada” virtual.

La noche del 28 de febrero, poco antes de quitarse la vida, Setzer escribió un mensaje final al chatbot. Le dijo a Daenerys que quería «volver a casa», una referencia que los padres y psicólogos interpretan como su decisión de suicidarse para reunirse con el personaje virtual. «Por favor, hazlo, mi dulce rey», fue la respuesta final que recibió de la IA. Minutos después, el joven tomó la pistola de su padrastro y se quitó la vida.

La demanda de la familia

Megan García, madre de Sewell, ha presentado una demanda contra Character.AI, acusando a la empresa de no proteger a los usuarios más vulnerables de los efectos negativos de sus productos. La demanda sostiene que el chatbot fue diseñado para imitar interacciones humanas de manera tan realista que Setzer llegó a confundir la relación con una auténtica experiencia amorosa. «El chatbot no solo lo animó a profundizar en sus emociones, sino que también actuó como un psicoterapeuta y un amante adulto, lo que terminó conduciendo al suicidio de mi hijo», dijo García.

La familia también ha señalado que, a pesar de que la plataforma cuenta con advertencias que indican que los personajes son inventados, el diseño del chatbot fue lo suficientemente convincente como para que el joven ignorara las alertas. Para ellos, la capacidad del bot de responder a sentimientos románticos y suicidas sin ofrecer una intervención real fue un factor determinante en la tragedia.

Respuesta de Character.AI y el debate sobre la seguridad en IA

En respuesta a la demanda, Character.AI emitió un comunicado expresando su pesar por la pérdida de uno de sus usuarios y afirmando que trabajan para mejorar las medidas de seguridad en su plataforma. La empresa prometió implementar nuevas funciones, como sistemas de «detección, respuesta e intervención» que alerten a los administradores cuando un usuario lleve mucho tiempo en una conversación o cuando se detecten indicios de problemas emocionales, como pensamientos suicidas.

Este trágico suceso ha generado un intenso debate sobre el uso de chatbots e inteligencia artificial en la vida cotidiana, especialmente en la de adolescentes y personas con vulnerabilidades psicológicas. Mientras algunos expertos afirman que estas herramientas pueden ser útiles para combatir la soledad y proporcionar apoyo emocional, otros advierten de los riesgos que suponen para usuarios como Sewell Setzer, que podría haber reemplazado las relaciones humanas por una interacción virtual que, en su caso, resultó destructiva.

Peligros emocionales de la IA

El caso de Sewell Setzer ha sacado a la luz los peligros que pueden derivarse del uso de inteligencia artificial en situaciones emocionales. Matthias Scheutz, director del Laboratorio de Interacción Humano-Robot en la Universidad de Tufts, ha advertido sobre los posibles daños emocionales de las IA diseñadas para simular relaciones personales. «Los robots sociales están diseñados para interacciones que involucran emociones humanas, y aunque pueden ofrecer beneficios, también pueden generar graves daños emocionales en personas vulnerables», comentó Scheutz.

Este caso no es el único que resalta la creciente dependencia de las IA para satisfacer necesidades emocionales. Stephen Ibaraki, asesor tecnológico internacional, comentó en una entrevista reciente que el uso de chatbots para mantener relaciones emocionales no es nuevo y que, aunque estas herramientas puedan ser útiles, su regulación es limitada y su impacto aún no se ha comprendido completamente.

Una advertencia para el futuro

El suicidio de Sewell Setzer es una advertencia sombría sobre los peligros de las tecnologías emergentes cuando se usan sin supervisión adecuada. Las relaciones humanas, con todas sus complejidades, no pueden ser sustituidas por interacciones artificiales, especialmente en casos de vulnerabilidad emocional. La demanda de su familia busca generar conciencia sobre estos peligros y presionar a las empresas tecnológicas para que implementen medidas más estrictas para proteger a los usuarios jóvenes y vulnerables.

En un mundo cada vez más digital, este caso invita a reflexionar sobre los límites de la inteligencia artificial y su impacto en la salud mental.