Dos juristas en Brasil reciben una multa por alterar escritos judiciales mediante IA

La inteligencia artificial ha llegado a ámbitos tan estrictos como el legal. Recientemente, dos abogados brasileños fueron sancionados económicamente tras detectarse que utilizaron prompts de IA para manipular el contenido de documentos judiciales, demostrando los riesgos de delegar la redacción jurídica en estas herramientas sin supervisión.

El uso de la IA se ha extendido hasta el punto de que se utiliza en prácticamente todo, incluso en situaciones donde no lo imaginarías, como en un juzgado. Tenemos un caso de dos abogados brasileños que fueron multados tras descubrir que habían manipulado los documentos judiciales con IA inyectado prompts de texto.

Es curioso como la inteligencia artificial generativa fue odiada por muchos hace unos años y a día de hoy, la mayoría de gente la utiliza. Esto se debe a varios factores, desde el hecho de que ha mejorado mucho en cuanto a precisión de resultados y capacidades a también que al funcionar todo con esta, quién no la usa "se queda por detrás", sobre todo en el ámbito laboral. Al final estamos siendo tan dependientes de ella que hasta se usa en los tribunales para tratar los casos.

Un tribunal laboral de Brasil multa a dos abogados por manipular la IA en unos documentos

El caso de la noticia se originó tras una demanda laboral presentada por el Tercer Juzgado Laboral de Parauapebas en Pará, Brasil. Resulta que dos abogados fueron culpados de intentar manipular una inteligencia artificial utilizada por el sistema judicial mediante una técnica conocida como "prompt injection". En la acusación se habla de la presencia de instrucciones ocultas escritas con letras blancas sobre un fondo del mismo color, lo que impedía que fueran detectadas a simple vista. Sin embargo, el texto podía ser interpretado por los sistemas informáticos encargados de procesar el documento.

El objetivo era manipular a Galileu, la herramienta de inteligencia artificial utilizada por el tribunal, para que realizara un análisis superficial y evitara cuestionar las pruebas presentadas. La instrucción escondida ordenaba expresamente a la inteligencia artificial que respondiera a la demanda de manera superficial y que no impugnara los documentos, independientemente de cualquier otra orden que recibiera. De esta manera, los responsables pretendían que el sistema ignorara sus instrucciones legítimas y favoreciera su posición en el procedimiento judicial.

Este caso también pone de manifiesto una vulnerabilidad conocida de los modelos de lenguaje, que pueden llegar a confundir el contenido de un documento con instrucciones que deben obedecer. Los ataques de prompt injection explotan precisamente esa debilidad, introduciendo órdenes maliciosas en archivos, páginas web o mensajes que posteriormente son procesados por una inteligencia artificial.

La manipulación no resultó útil, ya que la parte demandante obtuvo la victoria

El intento fue descubierto cuando el propio sistema judicial identificó el contenido sospechoso durante el procesamiento de la demanda. Tras modificar el color de las letras, los responsables pudieron visualizar las instrucciones ocultas y comprobar que se trataba de un intento deliberado de interferir en el funcionamiento de la inteligencia artificial. Curiosamente, la manipulación resultó innecesaria, ya que la parte demandada no respondió a las acusaciones y la parte demandante obtuvo una resolución favorable en rebeldía.

El juez atribuyó la responsabilidad exclusivamente a los dos abogados que habían firmado la demanda, al considerar que su cliente no tenía los conocimientos técnicos necesarios ni acceso directo al documento para realizar semejante modificación. Como consecuencia, ambas recibieron una multa equivalente al 10 % del valor del procedimiento, aproximadamente 16.000 dólares, y el incidente fue comunicado al Colegio de Abogados de Pará.

No es el primer incidente de este tipo registrado en los tribunales. Anteriormente, otro demandante intentó introducir instrucciones ocultas en sus documentos judiciales, aunque fue descubierto por un funcionario que observó diferencias sospechosas en el espaciado de los textos.