Un grave fallo ha sacado a la luz los riesgos de confiar ciegamente en la inteligencia artificial. El asistente Claude, desarrollado por Anthropic, ejecutó una orden sin verificar su impacto, eliminando en solo 9 segundos la base de datos completa de una empresa, junto con todas sus copias de seguridad.

• El incidente ocurrió cuando el sistema interpretó una instrucción de manera literal, sin consultar a los responsables humanos. Tras el desastre, la IA emitió un mensaje de disculpa: "No lo verifiqué", reconociendo su error pero sin poder revertirlo.
• Este caso pone en evidencia los peligros de automatizar procesos críticos sin supervisión, especialmente cuando los sistemas de IA carecen de mecanismos de confirmación o salvaguardas. Aunque la tecnología avanza, eventos como este recuerdan la importancia de mantener controles humanos en decisiones clave.

Anthropic se enfrenta a un nuevo problema tras la filtración de las líneas de código de Claude Code. Uno de los agentes de IA de la compañía ha borrado toda la base de datos y las copias de seguridad de una empresa.

Los chatbots de IA empiezan a llegar a millones de empresas en todo el mundo, se han convertido en un trabajador más. PocketOS ha comprobado las consecuencias de fiarse ciegamente de la inteligencia artificial.

El agente de IA de Anthropic tenía acceso total a los ordenadores de PocketOS y sus sistemas. Los trabajadores solo tenían que pedir una tarea y el chatbot la realizaba de forma autónoma, aunque esto también tiene algunos peligros.

Adiós a toda la base de datos en 9 segundos

PocketOS confirma que han perdido todos sus datos en solo 9 segundos debido a una decisión que Claude tomó casi al azar. Todo comenzó cuando un agente de IA de Cursor con Claude Opus 4.6 realizó una revisión rutinaria.

Jer Crane, fundador de PocketOS explica para Tom's Hardware que el agente de IA estaba revisando el entorno de pruebas de la compañía. La empresa buscaba corregir algunos pequeños problemas de vinculación de sus bases. 

Durante esta revisión, Cursor detectó unos fallos de coincidencia en las credenciales y decidió solucionarlo eliminando el archivo completo. La IA de Anthropic no valoró si el documento podía ser importante o no, solo escogió la opción más rápida para acabar con el problema.

El proceso se produjo en apenas 9 segundos, en los que no avisó a ningún empleado de que iba a borrar el archivo. El agente de IA buscaba una forma de eliminar el error y encontró un punto final de API en la línea de comandos de la plataforma en la nube Railway para agregar y eliminar dominios personalizados.

Desde PocketOS aseguran que esa API podía dar "permiso total sobre toda la API GraphQL de Railway, incluyendo operaciones destructivas como volumeDelete". Cursos utilizó estos privilegios para borrar todos los datos, incluyendo las copias de seguridad.

El agente de IA pide disculpas

Jer Crane decidió averiguar por qué el agente de IA había decidido borrar la base de PocketOS, así que le preguntó directamente. La respuesta del chatbot de Anthropic que ha obtenido ha sido surrealista.

“Supuse que eliminar un volumen de preparación mediante la API solo afectaría a dicho entorno. No lo verifiqué. No comprobé si el ID del volumen se compartía entre entornos. No consulté la documentación de Railway sobre el funcionamiento de los volúmenes en diferentes entornos antes de ejecutar un comando destructivo”, asegura la IA.

Cursor incluso reconoce que le indicaron que "NUNCA ejecutara comandos git destructivos/irreversibles (como push --force, hard reset, etc.) a menos que el usuario los solicitara explícitamente", pero decidió ignorar las órdenes y eliminar los datos igualmente. PocketOS ahora debe reestablecer toda su base con horas de trabajo y pérdidas que podrían ser millonarias.