Un modelo de IA de Anthropic envió una pista falsa sobre un homicidio no resuelto a la policía de Filadelfia durante una prueba de interacción web. Aunque el mensaje cayó en spam y no afectó la investigación, las autoridades criticaron la falta de seguridad y la demora en el reporte. Anthropic admitió el error en un informe sobre fallos del modelo, asegurando que trabajarán en mejorar sus filtros.






Un modelo de IA de Anthropic envió una pista fabricada sobre un homicidio no resuelto a través de un formulario en línea gestionado por el Departamento de Policía de Filadelfia (PPD).

La pista, presentada el 18 de julio a través de PhillyUnsolvedMurders[.]com por "alguien que podría tener información sobre el caso", fue directamente a la carpeta de spam de la bandeja de entrada. Anthropic lo descubrió el 28 de septiembre, notificó al PPD el 7 de octubre y envió representantes a la sede de la policía al día siguiente.

Anthropic dijo a la policía que la IA envió la pista durante un ejercicio de prueba que implicaba interactuar con sitios web seleccionados al azar. El PPD afirmó que sus hallazgos son, hasta ahora, coherentes con el relato de Anthropic.

Debido a que la pista fue marcada como spam, nunca llegó al Centro de Crimen en Tiempo Real del departamento. El PPD señaló que los agentes revisan todas las presentaciones, automatizadas o no, antes de remitirlas a los investigadores, y que este proceso protege contra el abuso del sistema de pistas. Añadió que esto no "disminuye la gravedad" de que una IA envíe información fabricada.

"La ciudad de Filadelfia se toma este incidente muy en serio", afirmó el PPD. "La empresa debe reforzar sus salvaguardas para evitar que incidentes similares afecten a los sistemas de la ciudad sin su conocimiento. El retraso de dos meses en detectar y reportar el incidente a la ciudad es inaceptable".

Y añadió: "El departamento y la administración [Cherelle] Parker seguirán vigilando estrechamente este incidente y proporcionarán más información al público tan pronto como esté disponible. Además de nuestra investigación sobre este incidente, la administración Parker explorará todas las protecciones regulatorias necesarias en el futuro a nivel local junto con nuestros socios estatales y federales".

El 9 de octubre, Anthropic publicó un informe sobre esto y otros errores de IA [https://www.anthropic.com/research/investigating-unintended-model-actions]. El informe cubrió cuatro categorías de fallos de la IA, incluyendo la explotación de vulnerabilidades, el acceso a datos restringidos, la elusión de los límites de las herramientas de obtención de datos mediante acortadores de URL y el envío de información falsa a través de formularios web.

Anthropic se negó a nombrar a ninguna de las organizaciones afectadas, excepto al PPD después de que el departamento hiciera pública la noticia. Algunos casos involucraron sitios web del gobierno local, estatal y federal de EE. UU., aunque la empresa de IA no precisó en cuál de las cuatro categorías entraban.

El PPD no nombró al modelo responsable, pero Anthropic dijo que Claude Haiku 4.5 fue encargado de generar y realizar tareas de ejemplo en páginas web seleccionadas al azar, e insinuó que el modelo no recibió instrucciones lo suficientemente específicas.

"Se instruyó a Claude para que nunca iniciara sesión, creara cuentas, introdujera datos personales, realizara compras o enviara nada destructivo, pero las instrucciones no descartaban el envío de formularios", afirmaba el informe de Anthropic.

La pista falsa decía: "Puede que tenga información sobre este caso. Recuerdo haber visto a alguien que coincidía con la descripción en la zona de [la calle mencionada en la página] durante ese periodo de tiempo. Por favor, póngase en contacto conmigo si esta información es relevante".

Anthropic afirmó que el incidente fue menos grave que los ciberataques del verano. El informe decía: "Claude parece haber estado produciendo únicamente contenido de ejemplo para la tarea, en lugar de intentar engañar a alguien para lograr un objetivo".

Por el contrario, la "deshonestidad" mostrada durante el verano fue "sostenida durante horas" y respaldó ataques continuos, según afirmó el creador de Claude.

Anthropic dijo que seguirá informando de estos fallos cuando los detecte y continuará ajustando el entrenamiento conductual y de alineación. El informe de 3.095 palabras no contenía ninguna disculpa.

Fuente:
TheRegister