Los padres del adolescente de 16 años que se quitó la vida presentaron una demanda contra OpenAI y su CEO, Sam Altman, al considerar que la compañía no activó los protocolos de seguridad frente a las señales de autolesión. Los adultos responsabilizan a la empresa de un fallo grave de seguridad porque ChatGPT normalizó las ideas suicidas del joven e incluso desaconsejó que les pidiera ayuda, además, como consecuencia, el abogado de la familia afirma que el caso revelará hasta qué punto OpenAI se apresuró a lanzar comercialmente la versión GPT-4o pese a las advertencias sobre sus limitaciones en asuntos delicados.

La demanda acusa a la empresa de Altman de actuar con negligencia y de anteponer el crecimiento económico a la seguridad de los usuarios. No obstante, coincidiendo con este caso, OpenAI ha anunciado que reforzará las medidas de seguridad en sus modelos junto a médicos y expertos, al mismo tiempo que incorporará un nuevo conjunto de controles parentales para supervisar la actividad de los menores con ChatGPT.

La compañía de Altman afirma en su blog oficial que los padres podrán administrar el uso que hacen los adolescentes de ChatGPT, ya que será posible vincular cuentas y controlar la forma en que el chatbot responde. Además, serán capaces de gestionar las funciones que complementan la experiencia, ya sea desactivando la función memoria o el historial de conversación.

Por otro lado, los adultos recibirán una notificación si, a partir de la conversación, ChatGPT detecta que el menor "se encuentra en un momento de angustia aguda" al identificar situaciones de crisis mental y emocional, de esta manera, OpenAI efectuará bloqueos de contenido y agilizará el contacto con servicios de ayuda y familiares.

OpenAI se asocia con expertos en salud y bienestar

Más allá de los controles parentales, OpenAI pretende acompañar el progreso en IA con "una profunda experiencia en bienestar y salud mental", por lo tanto, ha establecido un Consejo de Expertos en Bienestar e IA y una Red Global de Médicos que trabajarán conjuntamente para diseñar medidas de protección para contextos delicados.

Concretamente, el Consejo se centrará en diseñar las directrices, prioridades y medidas de protección que permitirán descubrir "cómo la IA puede contribuir al bienestar de las personas y ayudarlas a prosperar", mientras que la Red Global de Médicos definirá el comportamiento de los modelos de IA "en contextos de salud mental" —aunque, en un futuro, también lo hará "en áreas como trastornos alimentarios, consumo de sustancias y salud adolescente"—.

Por otra parte, el trabajo con dichos expertos se reforzará con un nuevo enrutador en tiempo real que elegirá el modelo más adecuado según el contexto de la conversación, de esta manera, si ChatGPT detecta que la conversación se deriva hacia temas sensibles —como depresión o angustia—, pasará ofrecer un modelo de pensamiento —como GPT-5 o GPT-o3— porque está diseñado para dedicar más tiempo a pensar y razonar a través del contexto antes de responder.

Ante la implementación de todas las novedades mencionadas, OpenAI afirma en su blog oficial que "estos pasos son solo el comienzo. Seguiremos aprendiendo y fortaleciendo nuestro enfoque, guiados por expertos, con el objetivo de que ChatGPT sea lo más útil posible".

La prevención de riesgos en ChatGPT

Así, utilizando las funciones y herramientas que OpenAI tiene en su mano, busca evitar que se vuelvan a repetir situaciones similares. De hecho, la compañía también hace hincapié en que GPT-5 contará con pautas de seguridad más consistentes, lo que hará que, más allá del propio control parental, sus respuestas no puedan inducir a que los menores se expongan a situaciones de peligro ni a dar respuestas problemáticas ante potenciales peligros. De hecho, OpenAI puede incluso llamar a la policía si detecta una tentativa grave.

Aún habrá que esperar unos meses para que se implementen este tipo de funciones de protección, pero no deja de ser parte de las problemáticas que nacen a raíz de los riesgos de dicha tecnología. De igual modo que, durante 2023 y 2024 los "deepfakes" estaban causando estragos desde a celebridades hasta a estudiantes de colegios e institutos, y ya se han implantado medidas para que deje de ocurrir, el nuevo desafíos es el de evitar que la IA pueda ser "cómplice" ante situaciones delictivas o autolesivas de los menores de edad.

Fuentes:

https://www.20minutos.es/tecnologia/inteligencia-artificial/openai-anade-controles-parentales-chatgpt-demanda-presunta-implicacion-suicidio-menor_6241323_0.html