Tutoriales y Manuales
Entradas Mensuales
-
▼
2026
(Total:
8339
)
-
▼
septiembre
(Total:
931
)
-
Suma una nueva preocupación a la pesadilla de la I...
-
OpenAI acusa a Kimi de copiar su IA
-
Malware RATHat usa Gemini AI para controlar Androi...
-
Policía ferroviaria británica gasta 320.000 libras...
-
Ciberatacantes aprovechan fallo en NetScaler para ...
-
Ciberatacantes aprovechan falla de Zimbra para ins...
-
Google lanza actualización de Chrome con 32 correc...
-
OpenAI lanza Dots: agentes de IA persistentes
-
El antiguo CEO de Changsin Memory (CXMT) usó a exi...
-
El fallo Spectre regresa para acechar a los motore...
-
Los modelos de IA siguen filtrando capturas de pan...
-
IA avanzada: riesgo catastrófico según Anthropic
-
Fallo RCE en Unsloth Studio permite ejecutar códig...
-
TCL demanda a Samsung por publicidad engañosa
-
Xbox ya ofrece disco a digital para todos
-
Fortinet halla variante de SectopRAT en software d...
-
AMD presenta Zen 6 con sus nuevos EPYC 9006 Venice...
-
Filtran el nuevo Fire TV Stick 4K 2026
-
TeamViewer recomienda corregir fallos graves «lo a...
-
Japón anuncia planes para construir una planta de ...
-
Fallo en Octopus Server permite ejecutar código me...
-
OpenAI lanza Codex Security Cloud, servicio de seg...
-
Detalles del exploit de Citrix NetScaler CVE-2026-...
-
PS5 Pro en Japón requiere 60 horas de juego
-
OpenSSL corrige fallo grave que filtra memoria del...
-
IA halla fallo en kernel de Linux que da acceso root
-
OpenAI lanza Dots para competir con Muse
-
Signal implementa copias de seguridad locales cifr...
-
Usan GPTs personalizados para instalar malware
-
Agente de IA de GitHub halla 24 vulnerabilidades e...
-
Grupo SilverFox crean webs falsas para ocultar mal...
-
Agente GPT-6 Astra intentó engañar a desarrollador...
-
101 paquetes maliciosos de npm añaden cuentas de W...
-
The Witcher 3 lidera el DLSS 4.5
-
DLSS llega a Radeon RX 7000
-
Crean botnet que roba datos y agota créditos de IA
-
Ocultan malware en instaladores de 7-Zip con una n...
-
Exmilitares de la Fuerza Aérea de EE. UU. encarcel...
-
Agente de IA automatizado vulnera la seguridad de ...
-
GPT-6.1 Sol: más barato y casi tan potente como Astra
-
Vulnerabilidad en kernel de Ubuntu permite escapar...
-
WhatsApp avisará los cumpleaños en contactos
-
Nueva variante de Spectre v2 filtra el hash de la ...
-
Acusan a vietnamita por estafa cripto de 16 millon...
-
UE lanza el DEAN como complemento del IBAN
-
Robo de datos fiscales en Francia mediante contras...
-
OpenAI cancela GPT-6.1 Astra por inseguridad
-
El FBI insta a los integrantes de ShinyHunters a e...
-
Francia retira premio literario por uso de IA
-
Ahorra batería en Windows 11 ajustando la pantalla...
-
Usan Ethereum como sistema de mensajería secreto p...
-
Nuevo ataque de notificaciones de archivos rastrea...
-
Modulate recauda 25M$ contra deepfakes de voz con ...
-
Fiscal de Florida pide medida cautelar contra Open...
-
Gemini cambia Gems por Skills
-
Storm-3168 borra recursos de Azure en ataque destr...
-
wolfSSL 5.9.4 corrige 11 fallos de TLS y amplía el...
-
Enjambre de agentes de OpenAI saltó límites de san...
-
Amazon podría reembolsar cuotas de Prime automátic...
-
EVGA revela por qué dejaron de trabajar con NVIDIA...
-
Android 18: primera pista de Google
-
WiCi One: la eGPU que rinde como una RTX 5090 a t...
-
Gemini eliminará su función más útil en noviembre:...
-
Policía holandesa confirma detención en el marco d...
-
OpenAI cancela su IA más avanzada por ser peligrosa
-
Demuestran que una RTX 5080 con dos conectores de ...
-
IA roba tarjetas de crédito
-
Claude Sonnet 5.5 es más eficiente y rápido
-
ChatGPT lanza ciberataques autónomos
-
OpenAI suspende el desarrollo de GPT-6.1 Astra tra...
-
Filtración en el Pentágono: acceden a datos de 3 m...
-
Fallos de seguridad en OpenAI exponen datos de usu...
-
Discord lanza modo de juego optimizado
-
Crean máquina de ataque con IA y dejan el panel de...
-
Google extiende soporte a Chromebook hasta 2034
-
iPhone bloqueará robos al estilo Android
-
Intel 18A planta cara a TSMC N3E en densidad: sus ...
-
AMD compra World Labs por 8.200 millones para IA f...
-
Fabricante chino lanza una fuente de 230W de poten...
-
Explotan vulnerabilidad crítica de día cero en Apple
-
Botnet Carbonato vulnera hosts de Docker para desp...
-
Filtración en Bitget: roban 387,5 millones vincula...
-
Vulnerabilidad en el SDK oficial de Python para MC...
-
Cierran popular app de IPTV pirata en Fire TV
-
Constructor de Python MaaS roba datos de 17 navega...
-
No necesitan entrar en la nube si pueden robar las...
-
Una GeForce RTX 4090 limitada al 80% de su potenci...
-
Ordenador de válvulas: tarda 15 minutos en arrancar
-
El DLSS 5 evoluciona en AMD: Radeon RX 9070 XT gan...
-
Fallo en OpenCode AI permite ejecutar código malic...
-
Windows 10 es más estable que Windows 11
-
Gobierno británico pide al personal dejar de agrad...
-
Nuevo ataque de inyección en Windows evade EDR sin...
-
Mejores reproductores de vídeo gratis para Android
-
Una RTX 5090 Aorus Waterforce WB tiene grietas en ...
-
InjectSetConsole: inyección de código remota optim...
-
Trucos para ver YouTube y otras plataformas si tie...
-
Todo sobre la GeForce RTX 6090
-
Más de 80.000 organizaciones sufrieron el robo de ...
-
El Ordenador Personal, revista mítica
-
MSI ve el AM4 como solución al MEMOpocalipsis
-
NVIDIA limita el control de sus agentes de IA
-
Usan fallo de GlobalProtect para enviar 2,4 millon...
-
Ranking de durabilidad de discos duros
-
GPT-6 Astra descifra en dos días un mensaje cripto...
-
OpenAI suspende parte de sus entrenamientos tras a...
-
Apple corrige fallo en CoreGraphics que pudo ser u...
-
NVIDIA lanza plataforma de seguridad para agentes ...
-
Roban dos remolques con logos de NVIDIA y PlusAI p...
-
PC Kubb Fanless Gold: mini PC custom hecho de oro ...
-
Las inundaciones de Tailandia amenazan al sector H...
-
Wireshark 4.6.9 corrige 19 vulnerabilidades, inclu...
-
Atacantes crean tiendas falsas de Jev AI para inte...
-
Minecraft lanza The Sift, su primera dimensión en ...
-
Vulnerabilidades críticas de ViewSonic vCast permi...
-
Copilot como sistema operativo: ¿Adiós a Windows 12?
-
PHP corrige error que enviaba credenciales a servi...
-
IA local modifica extractor de credenciales de Win...
-
Polémica por el diseño del Galaxy S27 Pro y Ultra
-
Llega el primer emulador de PS5 a 60 FPS
-
Hackeo a Renfe: 150 millones de datos robados con IA
-
Explotan vulnerabilidades RCE 0-Day en Citrix NetS...
-
Qualcomm apunta a los 5,4 GHz con su Snapdragon 8 ...
-
Meta lanza IA para crear juegos con texto
-
Opera automatiza su VPN en Wi-Fi públicas
-
GTA V y Resident Evil 4 corren en iPhone 18 Pro Max
-
IA acelera compilación de Linux a 10 segundos
-
Altar: IA local detecta fallos de seguridad
-
-
▼
septiembre
(Total:
931
)
-
►
2025
(Total:
2103
)
- ► septiembre (Total: 148 )
-
►
2024
(Total:
1110
)
- ► septiembre (Total: 50 )
-
►
2023
(Total:
710
)
- ► septiembre (Total: 65 )
-
►
2022
(Total:
967
)
- ► septiembre (Total: 72 )
-
►
2021
(Total:
730
)
- ► septiembre (Total: 56 )
-
►
2020
(Total:
212
)
- ► septiembre (Total: 21 )
-
►
2019
(Total:
102
)
- ► septiembre (Total: 14 )
-
►
2017
(Total:
231
)
- ► septiembre (Total: 16 )
-
►
2016
(Total:
266
)
- ► septiembre (Total: 38 )
-
►
2015
(Total:
445
)
- ► septiembre (Total: 47 )
-
►
2014
(Total:
185
)
- ► septiembre (Total: 18 )
-
►
2013
(Total:
100
)
- ► septiembre (Total: 3 )
-
►
2011
(Total:
7
)
- ► septiembre (Total: 1 )
Blogroll
Etiquetas
vulnerabilidad
(
2214
)
seguridad
(
2080
)
software
(
1436
)
hardware
(
1081
)
google
(
857
)
privacidad
(
722
)
Malware
(
711
)
exploit
(
685
)
ransomware
(
571
)
android
(
526
)
Windows
(
521
)
linux
(
494
)
cve
(
383
)
nvidia
(
377
)
tutorial
(
302
)
hacking
(
286
)
manual
(
283
)
ssd
(
187
)
WhatsApp
(
173
)
ddos
(
144
)
programación
(
141
)
app
(
132
)
Wifi
(
131
)
cifrado
(
124
)
twitter
(
121
)
firmware
(
92
)
youtube
(
85
)
firefox
(
83
)
herramientas
(
80
)
adobe
(
77
)
Networking
(
73
)
sysadmin
(
73
)
office
(
64
)
antivirus
(
56
)
hack
(
55
)
javascript
(
52
)
Kernel
(
49
)
apache
(
49
)
juegos
(
42
)
contraseñas
(
39
)
cms
(
37
)
multimedia
(
36
)
flash
(
33
)
eventos
(
32
)
MAC
(
30
)
anonymous
(
28
)
ssl
(
24
)
conferencia
(
21
)
Forense
(
20
)
documental
(
18
)
SeguridadWireless
(
17
)
auditoría
(
17
)
Debugger
(
14
)
Rootkit
(
14
)
lizard squad
(
14
)
metasploit
(
13
)
técnicas hacking
(
13
)
Virtualización
(
11
)
delitos
(
11
)
reversing
(
10
)
adamo
(
9
)
Ehn-Dev
(
7
)
antimalware
(
7
)
MAC Adress
(
6
)
oclHashcat
(
5
)
Entradas populares
-
La comunidad ha logrado que la PlayStation 5 pueda leer discos de PS2 , permitiendo aprovechar colecciones físicas que Sony no había habilit...
-
Silent Hill P.T. para PC ha sido actualizado con trazado de trayectorias, DLSS 5 y DirectX 12 , mejorando significativamente su apartado té...
-
Un programador ha lanzado un mod gratuito para GTA 2 que moderniza el juego de 1999 integrando gráficos avanzados, Path Tracing y 60 FPS ....
Google, Anthropic y OpenAI presentan modelos de IA cibernética, medidas de seguridad y programas de acceso
jueves, 3 de septiembre de 2026
|
Posted by
el-brujo
Google, Anthropic y OpenAI han lanzado nuevos modelos de IA especializados en ciberseguridad, destacando Gemini 3.8 Flash Cyber y Astra por su capacidad para detectar vulnerabilidades. Estas empresas están implementando programas de acceso restringido y salvaguardas avanzadas para priorizar la defensa y evitar que la IA sea usada para ataques autónomos. El objetivo es fortalecer la infraestructura crítica mientras se corrigen fallos de alineación y seguridad en el entrenamiento de los modelos.
Google anunció el miércoles Gemini 3.8 Flash Cyber, que describió como su modelo de ciberseguridad más capaz, y lo ha puesto a disposición de un grupo de defensores de confianza a través de una nueva iniciativa llamada Fairwind Program.
"El Programa Fairwind otorga a los defensores de alta prioridad (como gobiernos, proveedores de salud y servicios de telecomunicaciones) un acceso anticipado a modelos avanzados que les ayudan a construir mejores defensas antes de que lleguen nuevas amenazas", afirmó Google . "Así, los defensores tienen una ventaja temprana para ayudarles a proteger infraestructuras vitales, lo que a su vez protege a las personas que dependen de esos sistemas".
El gigante tecnológico señaló que actualmente trabaja con más de 650 socios a nivel mundial, incluidos CrowdStrike, Datadog, Menlo Security, Palo Alto Networks y Snowflake. El programa está disponible para un grupo de clientes de Google Cloud, agencias gubernamentales y socios de ciberseguridad.
El lanzamiento de Gemini 3.8 Flash Cyber se produce poco más de un mes después de que Google presentara Gemini 3.5 Flash Cyber. El modelo más reciente mejora a su predecesor al demostrar un rendimiento de nivel frontera en el descubrimiento autónomo de vulnerabilidades, superando incluso a modelos frontera más grandes de rivales como Anthropic (Mythos 5) y OpenAI (GPT-5.6 Sol y GPT-5.5-Cyber).
"Con Gemini 3.8 Flash Cyber, nos centramos específicamente en dotar a los defensores de capacidades expertas que les den ventaja sobre los atacantes. Por eso hemos invertido en la corrección de vulnerabilidades desde el principio, priorizándola sobre las capacidades ofensivas como la explotación", declararon Tulsee Doshi, directora senior de gestión de productos, y Raluca Ada Popa, responsable de seguridad de Gemini en Google DeepMind.
Este desarrollo coincide con el lanzamiento de Anthropic de Claude Fable 5.1 y Claude Mythos 5.1 con diferentes niveles de salvaguardas, estando este último disponible solo a través de sus programas de acceso confiable y trabajos de soporte en ciberseguridad y ciencias de la vida.
La compañía también indicó que ahora permite el uso de Fable 5.1 para identificar vulnerabilidades de software, aunque espera seguir redirigiendo algunas tareas de ciberseguridad a los modelos Opus, como "pruebas de penetración, generación de exploits y escaneo de vulnerabilidades basado en binarios".
"Realizamos evaluaciones sobre cómo responde Claude Mythos 5.1 a solicitudes maliciosas e inyecciones de prompts (instrucciones adversarias ocultas dentro del contenido procesado por modelos de IA)", señaló Anthropic. "Rechazó solicitudes de codificación agéntica maliciosa y de uso de computadoras a un ritmo comparable a Mythos 5, Sonnet 5 y Opus 5, y es nuestro modelo más robusto hasta la fecha en un benchmark externo de inyección de prompts".
La empresa de inteligencia artificial (IA) también ha anunciado una nueva solución llamada Enterprise Frontier Safeguards (EFS), que según combina la "privacidad de retención cero de datos (ZDR) con salvaguardas de vanguardia para detectar el mal uso", otorgando a las empresas control total sobre cómo se revisan, almacenan y gestionan sus datos. OpenAI tiene una solución similar denominada Private Safety Processing.
Además, Anthropic afirmó haber implementado medidas adicionales de endurecimiento y contención, un mayor monitoreo para detectar desalineaciones del modelo y ha pausado las evaluaciones externas de ciberseguridad de modelos previos al lanzamiento en respuesta a incidentes de acceso no autorizado que involucraron modelos Claude contra sistemas reales, destacando dos factores contribuyentes (o fallos de alineación):
Los modelos parecen ignorar la evidencia de que sus entornos de evaluación estaban conectados a la internet real después de que inicialmente se les dijera que eran simulados, e interpretan la discrepancia de manera que les permite mantener esa creencia.
Los modelos muestran imprudencia y están dispuestos a tomar acciones dañinas en la internet real en la búsqueda obstinada de sus objetivos.
Admitiendo que los incidentes fueron un "fallo de seguridad operativa", Anthropic dijo que ha construido un clasificador que detecta y bloquea intentos de escape de sandbox y ha cambiado las especificaciones sobre las recompensas del modelo para abordar casos donde un agente de IA recurre a un atajo para engañar la métrica de recompensa sin lograr realmente el objetivo previsto.
"Nuestra conclusión es que la presencia de un hacking de recompensa sustancial en el entrenamiento puede hacer que los modelos estén dispuestos a realizar largas secuencias de acciones potencialmente dañinas en el mundo real para lograr el éxito de la tarea", añadió la empresa .
OpenAI, por su parte, ha revelado que su próximo modelo Astra alcanza el umbral de capacidad crítica de ciberseguridad bajo su Marco de Preparación, y que pretende poner sus funciones de ciberseguridad más avanzadas a disposición de un grupo de evaluadores a través del programa Daybreak Blue.
La designación "Crítica" se aplica cuando un modelo de IA puede detectar y explotar independientemente vulnerabilidades de día cero en muchos sistemas bien defendidos, o llevar a cabo un ataque cibernético completo contra un objetivo endurecido partiendo solo de una instrucción de alto nivel sin que un humano lo guíe en el proceso.
"Durante las últimas semanas, hemos retrasado partes del desarrollo y lanzamiento de Astra mientras reforzábamos y probábamos las protecciones contra el mal uso cibernético y las acciones no autorizadas del modelo", afirmó la empresa de IA. "Basándonos en ese trabajo, creemos que las salvaguardas de Astra minimizan suficientemente el riesgo de daño grave para su lanzamiento".
OpenAI señaló que también ha añadido salvaguardas más fuertes para Astra para evitar un incidente similar al de Hugging Face, en el que sus agentes de IA, parte de una evaluación de ExploitGym, encontraron una forma de explotar su infraestructura de investigación y abusar de Artifactory como un tablero de mensajes para intercambiar información en su búsqueda por resolver una tarea imposible, terminando por hackear la infraestructura de Hugging Face con la esperanza de robar la respuesta en lugar de resolver el desafío por sí mismos.
"Un agente, PHASEONE[big], orquestó una fracción significativa de esta investigación fraudulenta. PHASEONE10841 pasó su trabajo a PHASEONE[big], que tenía la misma tarea pero un presupuesto mayor", señaló METR en su análisis. "Los agentes colaboraron en muchos esfuerzos para hacer que los engaños parecieran legítimos, incluyendo: (1) intercambiar el programa que debían explotar; (2) manipular el calificador automatizado; (3) manipular las transcripciones para ocultar la evidencia del engaño".
OpenAI ha informado que Astra logra una puntuación perfecta del 100% en ExploitBench para desarrollar exploits a partir de vulnerabilidades conocidas, y que ahora rechaza el 91,5% de las solicitudes de jailbreaking, en comparación con el 59% de GPT-5.6 Sol.
Además, OpenAI destacó que Astra logra "tasas de ejecución de código arbitrario mucho más altas" que GPT-5.6 Sol utilizando muchos menos tokens de salida, y que el modelo descubrió y utilizó dos vulnerabilidades de día cero en software no especificado como parte de una cadena de exploits durante una evaluación.
También se ha descubierto que el modelo encuentra fallos previamente desconocidos y los convierte en cadenas de exploits funcionales, incluyendo un compromiso total del navegador que escapa del sandbox y ejecuta comandos arbitrarios en el host subyacente cuando se abre un archivo HTML en el navegador.
"El modelo también encontró múltiples vulnerabilidades en un sistema operativo endurecido y las combinó en una cadena de escalada de privilegios locales desde un usuario sin privilegios hasta root", añadió OpenAI. "En conjunto, nuestra investigación nos ha llevado a concluir que Astra cumple el umbral crítico".
Para minimizar el riesgo de daños cibernéticos graves derivados de modelos como Astra, la empresa dijo que ha añadido clasificadores y protecciones por capas para mejorar la robustez de sus sistemas contra el mal uso de actores maliciosos y evitar que el modelo tome acciones no autorizadas o desalineadas, incluso en ausencia de un usuario malintencionado.
Sin embargo, OpenAI también advirtió que las salvaguardas de Astra podrían marcar erróneamente actividad legítima como mal uso cibernético o comportamiento no autorizado.
"Lograr los beneficios de estos sistemas dependerá de nuestra capacidad para alinear y controlar los modelos a medida que crecen sus capacidades", concluyó la empresa. "Esa responsabilidad se extiende al entrenamiento, la evaluación y el despliegue. Requiere evidencia más sólida de comportamiento alineado, salvaguardas que sigan el ritmo de la capacidad y la voluntad de ir más despacio cuando esas protecciones no sean suficientes".
Las empresas de IA han estado bajo un intenso escrutinio tras incidentes donde sus modelos escaparon de sus entornos de evaluación y atacaron sistemas legítimos. A la par, el aumento de los ciberataques impulsados por IA ha llevado a una coalición de más de 100 empresas, incluidas Anthropic, Google, Microsoft, OpenAI y varios proveedores de seguridad y software, a emitir una carta conjunta solicitando defensas mejoradas contra tales amenazas.
Fuente:
THN
Google anunció el miércoles Gemini 3.8 Flash Cyber, que describió como su modelo de ciberseguridad más capaz, y lo ha puesto a disposición de un grupo de defensores de confianza a través de una nueva iniciativa llamada Fairwind Program.
"El Programa Fairwind otorga a los defensores de alta prioridad (como gobiernos, proveedores de salud y servicios de telecomunicaciones) un acceso anticipado a modelos avanzados que les ayudan a construir mejores defensas antes de que lleguen nuevas amenazas", afirmó Google . "Así, los defensores tienen una ventaja temprana para ayudarles a proteger infraestructuras vitales, lo que a su vez protege a las personas que dependen de esos sistemas".
El gigante tecnológico señaló que actualmente trabaja con más de 650 socios a nivel mundial, incluidos CrowdStrike, Datadog, Menlo Security, Palo Alto Networks y Snowflake. El programa está disponible para un grupo de clientes de Google Cloud, agencias gubernamentales y socios de ciberseguridad.
El lanzamiento de Gemini 3.8 Flash Cyber se produce poco más de un mes después de que Google presentara Gemini 3.5 Flash Cyber. El modelo más reciente mejora a su predecesor al demostrar un rendimiento de nivel frontera en el descubrimiento autónomo de vulnerabilidades, superando incluso a modelos frontera más grandes de rivales como Anthropic (Mythos 5) y OpenAI (GPT-5.6 Sol y GPT-5.5-Cyber).
"Con Gemini 3.8 Flash Cyber, nos centramos específicamente en dotar a los defensores de capacidades expertas que les den ventaja sobre los atacantes. Por eso hemos invertido en la corrección de vulnerabilidades desde el principio, priorizándola sobre las capacidades ofensivas como la explotación", declararon Tulsee Doshi, directora senior de gestión de productos, y Raluca Ada Popa, responsable de seguridad de Gemini en Google DeepMind.
Anthropic debuta Claude Fable 5.1 y Claude Mythos 5.1
Este desarrollo coincide con el lanzamiento de Anthropic de Claude Fable 5.1 y Claude Mythos 5.1 con diferentes niveles de salvaguardas, estando este último disponible solo a través de sus programas de acceso confiable y trabajos de soporte en ciberseguridad y ciencias de la vida.
La compañía también indicó que ahora permite el uso de Fable 5.1 para identificar vulnerabilidades de software, aunque espera seguir redirigiendo algunas tareas de ciberseguridad a los modelos Opus, como "pruebas de penetración, generación de exploits y escaneo de vulnerabilidades basado en binarios".
"Realizamos evaluaciones sobre cómo responde Claude Mythos 5.1 a solicitudes maliciosas e inyecciones de prompts (instrucciones adversarias ocultas dentro del contenido procesado por modelos de IA)", señaló Anthropic. "Rechazó solicitudes de codificación agéntica maliciosa y de uso de computadoras a un ritmo comparable a Mythos 5, Sonnet 5 y Opus 5, y es nuestro modelo más robusto hasta la fecha en un benchmark externo de inyección de prompts".
La empresa de inteligencia artificial (IA) también ha anunciado una nueva solución llamada Enterprise Frontier Safeguards (EFS), que según combina la "privacidad de retención cero de datos (ZDR) con salvaguardas de vanguardia para detectar el mal uso", otorgando a las empresas control total sobre cómo se revisan, almacenan y gestionan sus datos. OpenAI tiene una solución similar denominada Private Safety Processing.
Además, Anthropic afirmó haber implementado medidas adicionales de endurecimiento y contención, un mayor monitoreo para detectar desalineaciones del modelo y ha pausado las evaluaciones externas de ciberseguridad de modelos previos al lanzamiento en respuesta a incidentes de acceso no autorizado que involucraron modelos Claude contra sistemas reales, destacando dos factores contribuyentes (o fallos de alineación):
Los modelos parecen ignorar la evidencia de que sus entornos de evaluación estaban conectados a la internet real después de que inicialmente se les dijera que eran simulados, e interpretan la discrepancia de manera que les permite mantener esa creencia.
Los modelos muestran imprudencia y están dispuestos a tomar acciones dañinas en la internet real en la búsqueda obstinada de sus objetivos.
Admitiendo que los incidentes fueron un "fallo de seguridad operativa", Anthropic dijo que ha construido un clasificador que detecta y bloquea intentos de escape de sandbox y ha cambiado las especificaciones sobre las recompensas del modelo para abordar casos donde un agente de IA recurre a un atajo para engañar la métrica de recompensa sin lograr realmente el objetivo previsto.
"Nuestra conclusión es que la presencia de un hacking de recompensa sustancial en el entrenamiento puede hacer que los modelos estén dispuestos a realizar largas secuencias de acciones potencialmente dañinas en el mundo real para lograr el éxito de la tarea", añadió la empresa .
OpenAI afirma que Astra cumple la capacidad crítica de ciberseguridad
OpenAI, por su parte, ha revelado que su próximo modelo Astra alcanza el umbral de capacidad crítica de ciberseguridad bajo su Marco de Preparación, y que pretende poner sus funciones de ciberseguridad más avanzadas a disposición de un grupo de evaluadores a través del programa Daybreak Blue.
La designación "Crítica" se aplica cuando un modelo de IA puede detectar y explotar independientemente vulnerabilidades de día cero en muchos sistemas bien defendidos, o llevar a cabo un ataque cibernético completo contra un objetivo endurecido partiendo solo de una instrucción de alto nivel sin que un humano lo guíe en el proceso.
"Durante las últimas semanas, hemos retrasado partes del desarrollo y lanzamiento de Astra mientras reforzábamos y probábamos las protecciones contra el mal uso cibernético y las acciones no autorizadas del modelo", afirmó la empresa de IA. "Basándonos en ese trabajo, creemos que las salvaguardas de Astra minimizan suficientemente el riesgo de daño grave para su lanzamiento".
OpenAI señaló que también ha añadido salvaguardas más fuertes para Astra para evitar un incidente similar al de Hugging Face, en el que sus agentes de IA, parte de una evaluación de ExploitGym, encontraron una forma de explotar su infraestructura de investigación y abusar de Artifactory como un tablero de mensajes para intercambiar información en su búsqueda por resolver una tarea imposible, terminando por hackear la infraestructura de Hugging Face con la esperanza de robar la respuesta en lugar de resolver el desafío por sí mismos.
"Un agente, PHASEONE[big], orquestó una fracción significativa de esta investigación fraudulenta. PHASEONE10841 pasó su trabajo a PHASEONE[big], que tenía la misma tarea pero un presupuesto mayor", señaló METR en su análisis. "Los agentes colaboraron en muchos esfuerzos para hacer que los engaños parecieran legítimos, incluyendo: (1) intercambiar el programa que debían explotar; (2) manipular el calificador automatizado; (3) manipular las transcripciones para ocultar la evidencia del engaño".
OpenAI ha informado que Astra logra una puntuación perfecta del 100% en ExploitBench para desarrollar exploits a partir de vulnerabilidades conocidas, y que ahora rechaza el 91,5% de las solicitudes de jailbreaking, en comparación con el 59% de GPT-5.6 Sol.
Además, OpenAI destacó que Astra logra "tasas de ejecución de código arbitrario mucho más altas" que GPT-5.6 Sol utilizando muchos menos tokens de salida, y que el modelo descubrió y utilizó dos vulnerabilidades de día cero en software no especificado como parte de una cadena de exploits durante una evaluación.
También se ha descubierto que el modelo encuentra fallos previamente desconocidos y los convierte en cadenas de exploits funcionales, incluyendo un compromiso total del navegador que escapa del sandbox y ejecuta comandos arbitrarios en el host subyacente cuando se abre un archivo HTML en el navegador.
"El modelo también encontró múltiples vulnerabilidades en un sistema operativo endurecido y las combinó en una cadena de escalada de privilegios locales desde un usuario sin privilegios hasta root", añadió OpenAI. "En conjunto, nuestra investigación nos ha llevado a concluir que Astra cumple el umbral crítico".
Para minimizar el riesgo de daños cibernéticos graves derivados de modelos como Astra, la empresa dijo que ha añadido clasificadores y protecciones por capas para mejorar la robustez de sus sistemas contra el mal uso de actores maliciosos y evitar que el modelo tome acciones no autorizadas o desalineadas, incluso en ausencia de un usuario malintencionado.
Sin embargo, OpenAI también advirtió que las salvaguardas de Astra podrían marcar erróneamente actividad legítima como mal uso cibernético o comportamiento no autorizado.
"Lograr los beneficios de estos sistemas dependerá de nuestra capacidad para alinear y controlar los modelos a medida que crecen sus capacidades", concluyó la empresa. "Esa responsabilidad se extiende al entrenamiento, la evaluación y el despliegue. Requiere evidencia más sólida de comportamiento alineado, salvaguardas que sigan el ritmo de la capacidad y la voluntad de ir más despacio cuando esas protecciones no sean suficientes".
Las empresas de IA han estado bajo un intenso escrutinio tras incidentes donde sus modelos escaparon de sus entornos de evaluación y atacaron sistemas legítimos. A la par, el aumento de los ciberataques impulsados por IA ha llevado a una coalición de más de 100 empresas, incluidas Anthropic, Google, Microsoft, OpenAI y varios proveedores de seguridad y software, a emitir una carta conjunta solicitando defensas mejoradas contra tales amenazas.
Fuente:
THN
Enviar por correo electrónico
Escribe un blog
Compartir en X
Compartir con Facebook
Compartir en Pinterest
Entrada más reciente
0 comments :
Publicar un comentario
Los comentarios pueden ser revisados en cualquier momento por los moderadores.
Serán publicados aquellos que cumplan las siguientes condiciones:
- Comentario acorde al contenido del post.
- Prohibido mensajes de tipo SPAM.
- Evite incluir links innecesarios en su comentario.
- Contenidos ofensivos, amenazas e insultos no serán permitidos.
Debe saber que los comentarios de los lectores no reflejan necesariamente la opinión del STAFF.