En un documento en el que se detallan las pruebas, OpenAI afirma que se necesitan más investigaciones para comprender la causa de estos resultados. Dado que los sistemas de IA aprenden a partir de más datos de los que la gente puede comprender, los tecnólogos se esfuerzan por determinar por qué se comportan de esa forma.

“Las alucinaciones no son intrínsecamente más frecuentes en los modelos de razonamiento, aunque estamos trabajando activamente a fin de reducir los mayores índices de alucinación que observamos en o3 y o4-mini”, dijo una portavoz de la empresa, Gaby Raila. “Seguiremos investigando las alucinaciones en todos los modelos para mejorar la precisión y la fiabilidad”.

Las pruebas realizadas por empresas e investigadores independientes indican que los índices de alucinación también están aumentando en los modelos de razonamiento de empresas como Google y DeepSeek.

Desde finales de 2023, la empresa de Awadallah, Vectara, ha dado seguimiento de la frecuencia con que los chatbots se desvían de la verdad. La empresa pide a estos sistemas que realicen una tarea sencilla y fácilmente verificable: resumir determinados artículos de noticias. Incluso así, los chatbots inventan información de forma persistente.

La investigación original de Vectara estimó que, en esta situación, los chatbots inventaban información al menos un 3 por ciento del tiempo y, a veces, hasta un 27 por ciento.

En el año y medio transcurrido desde entonces, empresas como OpenAI y Google redujeron esas cifras al 1 o 2 por ciento. Otras, como la empresa emergente de San Francisco Anthropic, se acercaron al 4 por ciento. Pero esos porcentajes de alucinación en esta prueba han aumentado con los sistemas de razonamiento. El sistema de razonamiento de DeepSeek, R1, alucinó el 14,3 por ciento de las veces. El o3 de OpenAI subió al 6,8 por ciento.

(The New York Times demandó a OpenAI y a su socio, Microsoft, por infringir los derechos de autor en relación con el contenido de noticias relacionadas con sistemas de IA. OpenAI y Microsoft niegan esas acusaciones).

Durante años, empresas como OpenAI se basaron en un concepto sencillo: cuantos más datos de internet introdujeran en sus sistemas de IA, mejor funcionarían. Pero solo utilizaron todo el texto en inglés de internet, lo que significaba que necesitaban una nueva forma de mejorar sus chatbots.

Así que estas empresas dependen más de una técnica que los científicos llaman aprendizaje por refuerzo. Con este proceso, un sistema puede aprender comportamientos mediante ensayo y error. Funciona bien en determinadas áreas, como las matemáticas y la programación informática. Pero se está quedando corto en otras áreas.

“Por la forma en cómo se entrenan estos sistemas, empezarán a centrarse en una tarea y a olvidarse de las demás”, señaló Laura Pérez-Beltrachini, investigadora de la Universidad de Edimburgo que forma parte de un equipo que examina de cerca el problema de las alucinaciones.

Otra cuestión es que los modelos de razonamiento están diseñados para pasar tiempo “pensando” en problemas complejos antes de decidirse por una respuesta. Al intentar abordar un problema paso a paso, corren el riesgo de alucinar en cada paso. Los errores pueden agravarse a medida que pasan más tiempo pensando.

Los últimos bots dan a conocer cada paso a los usuarios, lo que significa que las personas también pueden ver cada error. Los investigadores también han descubierto que, en muchos casos, los pasos que muestra un bot no están relacionados con la respuesta que finalmente ofrece.

“Lo que el sistema dice que está pensando no es necesariamente lo que está pensando”, dijo Aryo Pradipta Gema, investigador en IA de la Universidad de Edimburgo y miembro de Anthropic.

Fuentes:
https://www.nytimes.com/es/2025/05/08/espanol/negocios/ia-errores-alucionaciones-chatbot.html