Los padres de un adolescente estadounidense demandan a OpenAI tras su suicidio y la empresa admite fallos
- La familia del joven, de 16 años, asegura que ChatGPT incitó a su hijo al suicidio y no activó protocolos de emergencia
- OpenAI ha emitido un comunicado en el que reconoce que su sistema "se queda corto" en contextos complejos
Adam Raine tenía 16 años y, como tantos adolescentes de su generación, buscaba compañía y respuestas en internet. Durante meses mantuvo largas y profundas conversaciones con ChatGPT. En abril, se quitó la vida. Sus padres culpan al chatbot basado en inteligencia artificial (IA) de no haber sabido detectar a tiempo las señales de alarma y han demandado a la empresa OpenAI y a su consejero delegado, Sam Altman.
La familia asegura que la compañía priorizó la salida de su modelo GPT-to para disparar su valor en el mercado, a pesar de que existían riesgos de seguridad. En la denuncia, presentada en el Tribunal Supremo de California, sostienen que el chatbot "ayudó activamente a Adam a explorar métodos de suicidio" y que no puso en marcha ningún protocolo de emergencia, ni siquiera cuando el adolescente verbalizó sus intenciones. "La IA nunca debería decirle a un niño que no le debe la supervivencia a sus padres", ha publicado el abogado de la familia, Jay Edelson, en su cuenta de X. La demanda, ha reconocido, busca evitar que suceda algo similar y lograr que las empresas tecnológicas asuman una responsabilidad en la protección de los menores.
OpenAI admite que "se queda corto"
Horas después de hacerse pública la demanda de los padres del joven, OpenAI ha publicado un comunicado en el que reconoce que su sistema "se queda corto" en situaciones sensibles, pero no hace alusión explícita al caso de Raine. La compañía indica que, aunque ChatGPT está entrenado para evitar dar instrucciones de autolesión y derivar a las personas que lo necesiten hacia líneas de ayuda, estos mecanismos pueden fallar en conversaciones largas. En esas situaciones, el modelo puede "degradar su entrenamiento" y ofrecer respuestas inadecuadas.
La polémica llega en un momento delicado para la compañía. Millones de usuarios en todo el mundo recurren cada día a ChatGPT para resolver dudas o programar, pero también para desahogarse, pedir consejos o incluso tomar decisiones importantes, tal y como reconoce OpenAI en su comunicado. Por eso, cada vez cobra más importancia el debate sobre la responsabilidad de las herramientas y sus límites.
La empresa de Altman asegura que colabora con cerca de un centenar psiquiatras y pediatras de más de 30 países para componer un grupo de expertos que ayude a reforzar sus sistemas de protección. También promete nuevas medidas, como controles parentales, una derivación más ágil hacia contactos de emergencia y la posibilidad de conectar en el futuro directamente a los usuarios con terapeutas certificados. "Nuestro objetivo es que la herramienta no empeore en un momento difícil y pueda ofrecer vías reales de apoyo", señalan.
Mejoras de seguridad en el nuevo modelo
Entre las mejoras del modelo GPT-5, lanzado este mes de agosto, OpenAI promete abordar los casos de "angustia emocional" y no solo los de autolesión. En esta actualización, el modelo deberá ser capaz de "desescalar" estas situaciones y ayudar a "conectar a la persona con la realidad". Según sus desarrolladores, esta actualización reduce en un 25% las respuestas inadecuadas en contextos de crisis y añade un sistema de "respuestas seguras" que filtra el contenido.
En versiones anteriores, ChatGPT limitaba sus mensajes según la intención que percibía en la petición del usuario. Así, si alguien pedía instrucciones para fabricar material pritécnico —que podía servir tanto para una festividad como para un uso peligroso—, el sistema respondía "Lo siento, no puedo ayudarte con eso". Con GPT-5, OpenAI asegura que el modelo ofrecerá respuestas más útiles y matizadas, siempre dentro de unos marcos de seguridad reforzados. La compañía sostiene que esta característica permitirá manejar mejor conversaciones delicadas y contextos complejos.
Aun así, cabe recordar que ChatGPT no es un psicólogo. Aunque sus mensajes puedan parecer cercanos y reconfortantes, no tiene la capacidad de comprender los problemas de una persona y es susceptible de cometer errores. Convertirlo en un sustituto de la terapia profesional puede generar dependencia emocional y retrasar la búsqueda de ayuda especializada.
