El auge de la inteligencia artificial ha traído avances increíbles, pero también preocupaciones. Una de las ellas es la propagación de deepfakes, contenido sintético que puede manipularse para engañar. Para combatir esto, OpenAI ha desarrollado una herramienta para detectar imágenes creadas con su propia IA generativa, DALL-E 3.

La compañía anunció que está trabajando en nuevos métodos para mejorar la integridad el contenido digital. Entre ellos se encuentra una herramienta que predice si una imagen fue generada por DALL-E 3, su propio modelo de inteligencia artificial. OpenAI menciona que las primeras pruebas son prometedoras: su herramienta identifica correctamente las imágenes creadas con su IA con un 98 % de precisión.

OpenAI añade que este clasificador no es infalible. Si bien soporta modificaciones menores, como compresión, un recorte o cambios en la saturación, una edición mayor podría reducir el rendimiento. Otro detalle importante es que su eficacia en contenido generado por otras IA generativas es menor, ya que solo marca entre un 5 % y un 10 % en su conjunto de datos interno.

La compañía dirigida por Sam Altman abrió su herramienta detectora de imágenes a un grupo cerrado de científicos, investigadores y organizaciones sin fines de lucro de periodismo. La prueba servirá para mejorar y pulir la clasificación de contenido generado por IA en futuras versiones.

"Nuestro objetivo es permitir una investigación independiente que evalúe la efectividad del clasificador, analice su aplicación en el mundo real, surja consideraciones relevantes para dicho uso y explore las características de la IA", dijo OpenAI. "Comprender cuándo y dónde un clasificador puede tener un rendimiento inferior es fundamental para quienes toman decisiones en función de sus resultados."

OpenAI quiere detectar y clasificar el contenido generado por IA

Esta no es la primera vez que OpenAI anuncia una herramienta para detectar el contenido generado por una inteligencia artificial. En febrero de 2023, la compañía anunció con bombo y platillo un clasificador capaz de identificar si un texto se había generado con ChatGPT y otros modelos similares. La herramienta soportaba 34 modelos de lenguaje y solo bastaba introducir el texto para conocer su origen.

Aunque la idea era buena, su rendimiento dejó mucho qué desear. En sus primeras pruebas, el clasificador solo identificó el 26 % del texto escrito por IA. Además, el 9 % de las veces clasificaba contenido de humanos como si proviniera de un modelo de lenguaje. Meses después, OpenAI tiró la toalla y lo retiró de su web argumentando una baja eficacia.

"A partir del 20 de julio de 2023, el clasificador de IA ya no está disponible debido a su baja tasa de precisión. Estamos trabajando para incorporar comentarios y actualmente estamos investigando técnicas de procedencia más efectivas para el texto, y nos hemos comprometido a desarrollar e implementar mecanismos que permitan a los usuarios comprender si el contenido de audio o visual es generado por inteligencia artificial."

Sumado al clasificador, la empresa unió fuerzas con otros gigantes tecnológicos para establecer un sistema de "credenciales de contenido digital". OpenAI se unió al Comité Directivo de la Coalición para la Procedencia y Autenticidad del Contenido y reveló que agregará metadatos del estándar C2PA a todas las imágenes creadas y editadas por DALL-E 3.

"Con el tiempo, creemos que este tipo de metadatos será algo que la gente esperará. Esto llenará un vacío crucial en las prácticas de autenticidad del contenido digital.", declaró OpenAI.

Fuentes:
https://hipertextual.com/2024/05/openai-herramienta-detecta-imagenes-ia-generativa