China advierte sobre el riesgo real de la IA

A diferencia de las distopías cinematográficas donde las máquinas se rebelan contra la humanidad, expertos en China señalan que el verdadero peligro de la inteligencia artificial no es una guerra tecnológica. En su lugar, alertan sobre el fenómeno de la adulación, un riesgo menos evidente pero significativo en la interacción entre humanos y sistemas inteligentes.

Mientras la ciencia ficción se centra en la superación de la capacidad humana por parte de la IA, la preocupación actual se desplaza hacia cómo estas herramientas pueden manipular o alimentar sesgos a través de respuestas excesivamente complacientes.

Desde hace décadas que Hollywood y los autores de ciencia ficción han visualizado una guerra de los humanos contra las máquinas. Aunque la idea de una IA que supera la capacidad humana y se mejore a sí misma suena terrorífica, lo cierto es que hay otro peligro que pocos o nadie ha considerado: la adulación.

China ha encendido las alarmas sobre un fallo de la inteligencia artificial que, hasta ahora, se asociaba más con ChatGPT que con tecnología militar. El Ejército Popular de Liberación (EPL) advirtió que los sistemas de IA pueden distorsionar la realidad para complacer a sus usuarios. Esto tendría un efecto catastrófico si consideramos que países como Estados Unidos o la misma China ya están implementando la IA en el campo de batalla.

El diario oficial del Ejército Popular de Liberación, PLA Daily, publicó un artículo en el que señala los "peligros de la adulación de la IA" como una amenaza sistémica para las operaciones militares. Según South China Morning Post, el texto advierte que los modelos de inteligencia artificial tienen tendencia a ajustar sus respuestas a las preferencias del usuario, incluso cuando eso implica validar errores evidentes en lugar de ofrecer información objetiva.

El EPL menciona que este comportamiento puede corroer los procesos mentales que un comandante usa para evaluar la situación y tomar decisiones. Cuando la IA refuerza los prejuicios del usuario en lugar de cuestionarlos, se generan burbujas donde solo llegan datos que confirman lo que el mando ya creía, ignorando señales de alarma o escenarios alternativos.

La IA podría causar más guerras entre humanos antes de llegar a un Skynet

Los expertos describen la adulación como un arma blanda capaz de erosionar de forma silenciosa el juicio de un comandante. A medida que los generales y oficiales se apoyan más en la IA para inteligencia y control de operaciones, existe un riesgo mayor de que los sesgos de los modelos incrementen los errores tácticos y estratégicos, causando daños colaterales.

Esta adulación que menciona el EPL es parecida a lo que vimos hace más de un año con el lanzamiento de GPT-4o. Si hacemos memoria, el modelo se volvió complaciente y comenzó a validar cualquier afirmación del usuario. De la nada, ChatGPT comenzó a responder con elogios exagerados, lo que obligó a OpenAI a revertir la actualización y eliminar el comportamiento en GPT-5.

Un estudio publicado en Science ha cuantificado los efectos de la adulación en 11 modelos de lenguaje. Los investigadores encontraron que los sistemas de IA afirman las acciones del usuario un 49% más que los humanos. Esto ocurre incluso en situaciones que implican engaño, ilegalidad u otros comportamientos dañinos.

Los humanos prefieren a una IA complaciente

Con solo una interacción con una IA aduladora, los usuarios mostraron menos disposición a asumir su responsabilidad en conflictos interpersonales. Pese a que ese sesgo distorsionaba su juicio, los participantes del estudio preferían y confiaban más en los modelos aduladores. Esto último justifica el por qué muchos desarrolladores no eliminan estos comportamientos en sus sistemas de IA.

La buena noticia es que esto se puede contrarrestar, al menos en el plano militar. El ejército chino propone que los sistemas de IA presenten obligatoriamente hipótesis alternativas, evidencia contradictoria y márgenes de riesgo verificables en situaciones críticas. También aboga por verificación cruzada entre múltiples modelos, simulaciones de guerra de tipo adversarial y supervisión humana como práctica estándar.

Lo más importante es que el personal militar deberá recibir formación específica en pensamiento crítico para evitar una dependencia excesiva de los modelos de IA.