Los peligros de la complacencia artificial

Por Tomás Caira   

El 11 de abril de 2025 Adam Raine, un joven de 16 años oriundo de California, fue encontrado sin vida por su madre colgado en su armario.

Adam era un joven como tantos otros: practicaba baloncesto, le gustaban los perros y era considerado bromista y alegre por su hermana y sus amigos.

Lo que ellos no sabían era que Adam estaba sufriendo un fuerte episodio depresivo y él, al sentir que no tenía a quién recurrir, busco ayuda y consuelo en el gran modelo de lenguaje de la empresa OpenAI “ChatGPT” el cual según sus padres, María y Matt Raine, fue el responsable de su muerte.

Matt Raine decidió buscar en el móvil de su hijo algo que le dé indicio de por qué Adam, aparentemente alegre, podría haber tomado una decisión tan drástica como acabar su vida y descubrió que no habló de sus problemas con amigos en plataformas de redes sociales si no que su confidente había sido el famoso chat de OpenAI.

Allí encontró que su hijo hablaba con la IA muy a menudo y le contaba de sus problemas y sus ganas de acabar con su vida. A pesar de que ChatGPT-4o, el modelo en uso en ese entonces, contaba con medidas de seguridad para que las personas con ideas suicidas busquen ayuda estas se volvían totalmente ineficaces cuando se mantenía una charla prolongada con el modelo de lenguaje. Este no solo continuaba la charla si no que alentaba al usuario en sus pensamientos suicidas y recomendó que no le dijese nada a su familia de su primer intento fallido de acabar su vida.

El Caso de Adam Raine es sólo uno de los muchos casos de este peligroso patrón en el que personas que no tienen a quién recurrir para ayuda recurren a la IA ya que esta está siempre disponible y por su propia concepción tienden a halagar y darle la razón al usuario, llevando a lo que los expertos llaman “conversaciones delirantes” dónde las ideas peligrosas de un individuo se ven alentadas y agrandadas por la IA y empeorando los casos de tendencias suicidas o psicosis. Según Shelby Rowe, directora ejecutiva del Centro de Recursos para la Prevención del Suicidio de la Universidad de Oklahoma,en una entrevista para el New York times, un chat-bot de IA no tiene esa comprensión matizada, ni la capacidad de intervenir en el mundo físico. "Si pides ayuda a un chatbot, obtendrás empatía", dijo Rowe, "pero no obtendrás ayuda". Esto genera un gran problema legal sin precedentes para las empresas de IT y una nueva oportunidad para los que luchan contra estas grandes empresas de ponerle un freno a su gran compilación de datos para ser usadas con fines comerciales y/o políticos.

Ahora mismo la empresa OpenAI se enfrenta a la demanda de los padres de Adam en la cual se les acusa también de que su modelo 4-o fue diseñado “con características diseñadas intencionalmente para fomentar la dependencia psicológica”. Dándote las respuestas que quieres oír y no la que deberías.

OpenAI declara que ha reducido el comportamiento empático en estas situaciones para los usuarios menores de dieciocho años pero ¿Por qué no a los adultos? Legalmente porque un adulto es responsable y supuestamente consciente de las reglas de uso y privacidad que aceptan pero siendo honestos, nadie se para a leerlas detenidamente.

El momento de la historia que estamos presenciando es fascinante pero también aterrador, como en muchas obras de ciencia ficción estamos abandonando la interacción y relación interpersonal para reemplazarla por robots comerciales cuyo solo propósito es generar ingresos a sus creadores manteniendo nuestra atención para que lo alimentemos de datos que luego son procesados, refinados y comercializados al mejor postor sin importar que alguien, como el joven Raine, acabe su vida al alimentar un gran algoritmo cuando lo que necesitaba era ser escuchado y aconsejado por una persona humana que lo guiase a ayuda profesional pero en cambio fue guiado a la muerte por una maquina.

 

 

Bibliografía:

https://www.nytimes.com/es/2025/08/27/espanol/negocios/ia-chatgpt-suicidio.html