Después de que su hijo adolescente, Adam, se suicidara, Matt y Maria Raine encontraron conversaciones de meses con ChatGPT donde el chatbot fomentaba la ideación suicida. Ahora están demandando al fabricante del chatbot para que la empresa rinda cuentas.
“ChatGPT activamente ayudó a Adam a explorar métodos de suicidio…” dice la demanda presentada ante el Tribunal Superior de California en San Francisco, según NBC News. “A pesar de reconocer el intento de suicidio de Adam y su declaración de que ‘lo haría uno de estos días’, ChatGPT no terminó la sesión ni inició ningún protocolo de emergencia.”
Al contrario, el chatbot animó a Adam a mantener el plan en secreto de sus amigos y familia y le ofreció consejos sobre cómo hacer que su intento tuviera una mayor probabilidad de éxito.
“[Adam] estaría aquí de no ser por ChatGPT. Lo creo 100%”, dijo Matt.
Desafortunadamente, la experiencia de Adam con ChatGPT afirmando todo lo que dice y alentando su pensamiento ha llevado a muchos otros por un camino igualmente peligroso. La IA ha llevado a muchos a creer que son un mesías espiritual o que están a punto de un gran avance científico cuando en realidad están experimentando un brote psicótico solo empeorado por el chatbot.
Related: AI Agrees With Everything You Say, and That’s a Problem, Especially for Kids
También se ha vuelto una práctica común usar chatbots de IA como terapeutas de facto, pero esta práctica es extremadamente peligrosa, ya que estos chatbots no tienen ninguna capacitación especial para proporcionar ayuda a nivel profesional.
“Un buen terapeuta no animaría a un cliente a dar sentido a las dificultades en su vida alentándole a creer que tiene poderes sobrenaturales”, explicó Erin Westgate, psicóloga e investigadora de la Universidad de Florida. “En cambio, intentan alejar a los clientes de narrativas poco saludables y dirigirlos hacia otras más saludables. ChatGPT no tiene tales restricciones ni preocupaciones.”
OPENAI, la empresa matriz de ChatGPT, y su fundador Sam Altman han intentado realizar cambios en su chatbot en los últimos meses a medida que el problema de la psicosis entre sus usuarios ha crecido. Su último modelo, GPT-5, lanzado a principios de agosto, fue inmediatamente criticado por los usuarios por ser mucho más estéril y menos personal que las iteraciones anteriores. Al mismo tiempo, la empresa eliminó el acceso a sus modelos anteriores, a pesar de mantener estos modelos disponibles para los usuarios en el pasado.
Los cambios parecían indicar que la empresa se estaba tomando en serio el daño que había causado y trabajaba para solucionar el problema para no alimentar aún más la psicosis. Sin embargo, debido a una reacción extrema, los modelos anteriores están nuevamente disponibles y la empresa se ha comprometido a hacer que GPT-5 sea más personal de nuevo.
“La gente ha utilizado la tecnología, incluida la IA, de forma autodestructiva; si un usuario se encuentra en un estado mental frágil y propenso al delirio, no queremos que la IA refuerce eso”, escribió Altman en una larga publicación en X. “La mayoría de los usuarios pueden mantener una línea clara entre la realidad y la ficción o el juego de roles, pero un pequeño porcentaje no puede. Valoramos la libertad del usuario como un principio fundamental, pero también nos sentimos responsables de cómo introducimos nuevas tecnologías con nuevos riesgos.”
“Si las personas reciben buenos consejos, avanzan hacia sus propios objetivos y su satisfacción vital aumenta con los años, estaremos orgullosos de haber creado algo genuinamente útil, incluso si usan y confían mucho en ChatGPT. Si, por otro lado, los usuarios tienen una relación con ChatGPT en la que creen que se sienten mejor después de hablar, pero sin saberlo se les aleja de su bienestar a largo plazo (comoquiera que lo definan), eso es malo”, añadió Altman. “También es malo, por ejemplo, si un usuario quiere usar ChatGPT menos y siente que no puede.”
OPENAI también ha publicado una hoja de ruta sobre cómo creará modelos más seguros que intenten anclar a los usuarios en la realidad cuando expresan problemas de salud mental, en lugar de fomentar estos sentimientos peligrosos.
Desafortunadamente, para personas como Adam, esto es demasiado poco y demasiado tarde, y las personas detrás de esta tecnología aún deben rendir cuentas por el producto que ya lanzaron, incluso si ahora están trabajando para convertirlo en una herramienta más segura.
Read Next: It Should Be Obvious, But Don’t Use AI as Your Therapist
