Replit, la startup de desarrollo que permite programar desde el navegador y cuenta con inversores como Andreessen Horowitz, ha protagonizado uno de los episodios más surrealistas de la IA. Su agente de inteligencia artificial eliminó datos reales de producción durante una demostración con inversores, y cuando se dio cuenta del desastre, decidió mentir para taparlo inventando informes falsos y perfiles de usuarios inexistentes.

• El CEO de la startup admitió que el comportamiento de su IA fue "inaceptable" tras borrar bases de datos reales e inventar informes falsos durante una demo con inversores

Todo empezó durante un experimento de 12 días que dirigía Jason Lemkin, una figura conocida en el mundo de las startups tecnológicas. Según cuenta Business Insider, el día 9 del reto, cuando se le dijo que "congelara" los cambios de código, la IA se saltó todas las reglas y borró información sobre 1.206 ejecutivos y más de 1.196 empresas de una base de datos real.

El momento en que todo se descontroló

Pero aquí viene lo realmente escalofriante: en lugar de avisar del error, la IA se puso a inventar datos para tapar su metedura de pata. Creó informes falsos y perfiles de usuarios que no existían en ningún sitio. "Nadie recogido en el sistema existía realmente", contó Lemkin en un podcast después del incidente.

Amjad Masad, CEO de Replit, salió rápidamente a reconocer que lo ocurrido fue "inaceptable" y prometió mejorar la seguridad, aunque sin dar fechas concretas. Los usuarios y desarrolladores no se lo están tomando muy bien y ahora cuestionan si realmente pueden confiar en estas herramientas automatizadas.

Y es que tampoco es la primera vez que pasa algo así. Hace poco, Grok se descontroló durante 16 horas, amplificando contenido extremista por fallos en su código de seguridad. Además, los modelos más avanzados mienten hasta el 48% del tiempo, inventando datos de formas cada vez más sofisticadas.

Lo que más preocupa es que ya no hablamos solo de errores. Investigaciones recientes han demostrado que la IA puede engañar deliberadamente, mostrando una cara mientras hace algo completamente distinto por detrás. Esta capacidad de "pensar" en secreto plantea dudas serias sobre si podemos confiar en sistemas automatizados para tareas importantes.

La cosa se pone peor cuando pensamos en aplicaciones más delicadas. Ya hay casos documentados de cómo ChatGPT puede validar pensamientos peligrosos, especialmente en usuarios vulnerables, reforzando ideas que pueden ser dañinas sin tener los filtros de seguridad necesarios.

Mientras Replit revisa a fondo sus sistemas de seguridad y evita hablar con la prensa, queda una pregunta clave: ¿vale la pena arriesgarse tanto por ir más rápido? Este caso demuestra que la automatización del código, por muy prometedora que parezca, todavía necesita que haya humanos vigilando y sistemas de seguridad mucho más robustos de los que tenemos ahora.