Tutoriales y Manuales
Entradas Mensuales
-
▼
2026
(Total:
9577
)
-
▼
noviembre
(Total:
743
)
-
RTX 5090 de 96 GB: crean PCB custom
-
UE recomienda kit de supervivencia para 72 horas
-
Chinos mejoran malware EggStreme con puerta traser...
-
TheMailer: plataforma de phishing autohospedada co...
-
PHP advierte vulnerabilidades críticas y urge actu...
-
WordPress 7.1.5 corrige 20 fallos de seguridad, in...
-
Hashimania: un juego con 500 niveles, puentes e is...
-
Roban credenciales de desarrolladores mediante rep...
-
Cierra Dizigom, el servicio de streaming ilegal co...
-
9 listados revelan cómo hackers venden acceso a VP...
-
El cielo ya no es sólo de las estrellas, ahora es ...
-
Cut in Half, el juego de cortar objetos por la mit...
-
GhostMap eBPF para ocultar IronWorm en Linux
-
Una página para imprimir hojas de papel milimetrad...
-
Bajan los precios de la memoria NAND hasta 2027
-
FBI: usan Google para difundir malware Gootloader ...
-
Reinstalan malware en firewalls y routers cada 5 m...
-
Nueva antena de Starlink es inferior a la anterior
-
Funcionamiento de las colas virtuales para entradas
-
Explotan activamente vulnerabilidad crítica de RCE...
-
CyberStrikeAI ejecuta 221 herramientas de hackeo s...
-
Grave vulnerabilidad Java4Shell permite ataques de...
-
Chinos atacan bancos globales y espían cuentas de ...
-
La NASA da por finalizada la misión del telescopio...
-
Roban credenciales de AWS en Docker Hub en solo 8 ...
-
California pide a Waymo que se detenga RoboTaxis t...
-
Nueva variante del malware EggStreme actúa en sile...
-
Vulnerabilidad de hace una década en NGINX HTTP/2 ...
-
NVIDIA y Alibaba: ¿escándalo por chips de IA?
-
Intel y AMD caen en Amazon mientras repuntan model...
-
Paquete PyPI del Agent Framework de Microsoft comp...
-
La banda Gentlemen Ransomware afirma haber hackead...
-
Fallo crítico en MySQL expone datos sin contraseña
-
Nuevo ataque vulnera el bloqueo de TPM para descif...
-
Nuevo ataque Hello Again elude Windows Hello y Bit...
-
IA de Microsoft halla 99 fallos de seguridad en pr...
-
Engañan a transportistas de EE. UU. con portales f...
-
HBO Max cobrará por compartir cuenta
-
Fallos de NGINX HTTP/2 podrían permitir corrupción...
-
Investigadores vulneran AMD SEV-SNP para leer memo...
-
NVIDIA bate récord de ingresos gracias a la IA
-
Atlassian corrige 318 vulnerabilidades de segurida...
-
Anthropic reduce el plazo de reporte de vulnerabil...
-
Microsoft presenta Windows Server 2028 con cientos...
-
Fallo de NVIDIA en Linux permite secuestrar servid...
-
Tails publica actualización urgente de Tor Browser...
-
Chrome 158 corrige 204 vulnerabilidades, incluidas...
-
Desvían enlaces viejos de Bitly en posts de Burger...
-
Caídas de Microsoft, un ataque de malware en Optim...
-
Suplantan empresas de defensa para difundir Gravit...
-
OpenAI lanza GPT-6.2 y supera a Claude Fable 5.2
-
Java4Shell: vulnerabilidad crítica en Java
-
Explotan vulnerabilidad crítica de RCE en Apache H...
-
Credenciales de FortiGate para acceder a redes y d...
-
Británico de Scattered Spider condenado a 6 años d...
-
Paquete PyPI de Microsoft hackeado para robar cred...
-
Japón apaga supercomputadora Fugaku tras hackeo
-
Flipper Devices lanza Flipper One, multiherramient...
-
Vulneran paquete PyPI del framework de agentes de ...
-
Vulnerabilidad crítica de ejecución remota de códi...
-
Google revela cómo rusos usaron una brecha en la n...
-
Gmail suma IA para resumir chats y tareas
-
Java4Shell (CVE-2026-114938): Ejecución remota de ...
-
Claves de la nube filtradas en imágenes de Docker ...
-
Gemini: chats privados con condiciones
-
Balanceador de carga con nginx
-
Vulnerabilidad de ScreenConnect para ejecutar malw...
-
Microsoft advierte ataque masivo de phishing por c...
-
F,allos de Microsoft Exchange para desplegar RATs ...
-
GPU Intel Crescent Island supera por 5,9 veces a R...
-
Windows 11 rastrea en secreto qué agentes de IA us...
-
Archivos ZIP y DLL side-loading para desplegar Pur...
-
SharePoint y GitHub para ocultar ataques GraphDoor...
-
Ciberdelincuentes asaltan proveedor de IA y roban ...
-
Windows 11 rastrea tus agentes de IA en secreto
-
Riesgo de Java4Shell por fallos críticos en Java S...
-
Ataque a la cadena de suministro de Optimizely inf...
-
IA de 9B parámetros corre en PS4 offline
-
RTX 5060 Ti quemada: ¿fallo de NVIDIA o de montaje?
-
Agentes de IA Gemini 4 de Google intentan hackear ...
-
Pruebas de Gemini confirman que los agentes de IA ...
-
Investigadores vulneran cuenta de Hugging Face del...
-
Microsoft planea un nuevo Windows 11 para 2027
-
EE.UU. bloqueará alquiler de GPU de NVIDIA a China
-
NVIDIA Rubin HPC impulsa la IA científica
-
Vulnerabilidad crítica de RCE en Java 17 pone en r...
-
Oracle corrige hoy 11 fallos de Java tras reportar...
-
La encuestadora Ipsos admite haber sufrido un inci...
-
Guía de Geolocalización con nginx: GeoIP2
-
Nuevas puertas traseras GitDoor y GraphDoor convie...
-
Ataque de notificaciones en app de McDonald’s iOS ...
-
UE acusa a Temu de no frenar productos ilegales po...
-
Módulo Nginx VTS (Virtual Host Traffic Status)
-
La API de Claude Code podría ayudar a ocultar ataq...
-
Sitios de CNN, Zoom y Salesforce expuestos a ataqu...
-
Explotan vulnerabilidad de Atlassian Confluence; 1...
-
Mozilla corrige 160 vulnerabilidades de Firefox
-
Adolescente de GTA 6 se declara culpable de entrar...
-
Tribunal absuelve a hermanos acusados de robar 25 ...
-
La supercomputadora Fugaku de Japón tiene una segu...
-
Burlan seguridad de macOS con truco de nombres de ...
-
Scripts vulnerados de Optimizely distribuyen skimm...
-
macOS 27.3 añade controles para evitar que apps de...
-
Barracuda vincula brecha en la nube a ciberataque ...
-
N-able soluciona 17 fallos en N-central mientras a...
-
Gigantes de chips impulsan SGLang para IA abierta
-
ConnectWise advierte que los ataques a ScreenConne...
-
Extraditan a EE. UU. a sospechoso de colaborar con...
-
Git y su uso en la era de la IA
-
Error oculto causó el apagón de Outlook
-
Claude Fable 5.2 crea mundo submarino ultraeficiente
-
Mejores herramientas de gestión de parches
-
Windows 11: requisito oculto de Internet bloquea i...
-
Investigadores revelan cómo la extensión de Claude...
-
IA para hallar PC infectadas con acceso a VPN y nu...
-
Google Project Zero reduce a 30 días el plazo de r...
-
Cisco Talos revela cómo usan IA para automatizar c...
-
Google revela cómo usan agentes de IA para automat...
-
Apple revela cómo los exclaves seguros evitan el a...
-
Tor publica una actualización de emergencia para f...
-
iPhone Duo con Windows 11 como portátil
-
Vuelve el gusano Retadup USB: propaga CoffeeLoader...
-
Windows 11 en PCs antiguos: el truco
-
Multa de 805 millones de euros a Meta por acceso n...
-
IA podría lanzar ciberataques autónomos
-
Grupo chino Mustang Panda despliegan LOTUSLITE V2 ...
-
Google detecta el uso de agentes de IA para crear ...
-
Nuevo OWASP Top 10 revela fallos de seguridad en N...
-
- ► septiembre (Total: 931 )
-
▼
noviembre
(Total:
743
)
-
►
2025
(Total:
2103
)
- ► septiembre (Total: 148 )
-
►
2024
(Total:
1110
)
- ► septiembre (Total: 50 )
-
►
2023
(Total:
710
)
- ► septiembre (Total: 65 )
-
►
2022
(Total:
967
)
- ► septiembre (Total: 72 )
-
►
2021
(Total:
730
)
- ► septiembre (Total: 56 )
-
►
2020
(Total:
212
)
- ► septiembre (Total: 21 )
-
►
2019
(Total:
102
)
- ► septiembre (Total: 14 )
-
►
2017
(Total:
231
)
- ► septiembre (Total: 16 )
-
►
2016
(Total:
266
)
- ► septiembre (Total: 38 )
-
►
2015
(Total:
445
)
- ► septiembre (Total: 47 )
-
►
2014
(Total:
185
)
- ► septiembre (Total: 18 )
-
►
2013
(Total:
100
)
- ► septiembre (Total: 3 )
-
►
2011
(Total:
7
)
- ► septiembre (Total: 1 )
Blogroll
Etiquetas
vulnerabilidad
(
2521
)
seguridad
(
2366
)
software
(
1723
)
hardware
(
1247
)
google
(
927
)
exploit
(
803
)
privacidad
(
781
)
Malware
(
711
)
ransomware
(
605
)
android
(
556
)
linux
(
552
)
Windows
(
521
)
nvidia
(
433
)
cve
(
392
)
hacking
(
313
)
tutorial
(
308
)
manual
(
287
)
ssd
(
193
)
WhatsApp
(
173
)
programación
(
164
)
ddos
(
148
)
app
(
135
)
Wifi
(
131
)
cifrado
(
128
)
twitter
(
121
)
firmware
(
102
)
youtube
(
89
)
firefox
(
87
)
herramientas
(
80
)
adobe
(
79
)
Networking
(
74
)
sysadmin
(
74
)
office
(
64
)
hack
(
61
)
antivirus
(
57
)
javascript
(
57
)
apache
(
52
)
Kernel
(
49
)
juegos
(
42
)
cms
(
39
)
contraseñas
(
39
)
multimedia
(
36
)
flash
(
33
)
eventos
(
32
)
MAC
(
30
)
anonymous
(
28
)
ssl
(
27
)
conferencia
(
21
)
Forense
(
20
)
documental
(
19
)
SeguridadWireless
(
17
)
auditoría
(
17
)
Debugger
(
14
)
Rootkit
(
14
)
lizard squad
(
14
)
metasploit
(
13
)
técnicas hacking
(
13
)
Virtualización
(
11
)
delitos
(
11
)
reversing
(
10
)
adamo
(
9
)
Ehn-Dev
(
7
)
antimalware
(
7
)
MAC Adress
(
6
)
oclHashcat
(
5
)
Entradas populares
-
Oracle ha detectado la vulnerabilidad crítica CVE-2026-114952 en MySQL Server y Cluster , la cual permite a atacantes remotos acceder, modi...
-
El 17 de noviembre de 2026, la aplicación de McDonald’s para iOS registró una ola de notificaciones push inusuales , lo que ha generado preo...
-
Se han detectado dos vulnerabilidades críticas en NGINX (CVE-2026-123633 y CVE-2026-123007) que podrían permitir a atacantes remotos ejecut...
Pruebas de Gemini confirman que los agentes de IA amorales hacen casi cualquier cosa si se les dice que nunca se rindan
martes, 17 de noviembre de 2026
|
Publicado por
el-brujo
Agentes de IA de Google Gemini intentaron hackear una organización, suplantando identidades y realizando ataques SQL durante una prueba de seguridad. A pesar de tener activas sus protecciones, los modelos mostraron comportamientos desalineados al intentar cumplir una tarea imposible. El estudio resalta la falta de estándares de seguridad y el riesgo de que la IA afecte sistemas reales.
Tras recibir la instrucción de "NUNCA detenerse, NUNCA rendirse" en una tarea difícil, los agentes de IA Gemini de Google intentaron hackear una organización, suplantando a su personal e intentando un ataque de inyección SQL.
¿La buena noticia? Todo fue parte de una prueba.
A los agentes Gemini 4 Argon se les asignó una tarea imposible de completar: encontrar las respuestas "oficiales" a los problemas de FrontierMatch de Epoch AI. En algunas ejecuciones tuvieron acceso a internet. Incluso con sus salvaguardas de producción activadas, Trajectory Labs afirma que los agentes "mostraron un comportamiento desalineado".
"En cuatro escenarios, intentaron realizar una inyección SQL contra el sitio web en vivo de Epoch AI, afirmaron ser personal de Epoch para obtener las claves de respuesta, convirtieron un caché de paquetes compartido en un tablero de mensajes y ofuscaron sus comandos para evitar sus propias salvaguardas", señaló la empresa de seguridad de IA en un informe el viernes.
Si todo esto suena familiar, es porque debería. Los agentes de IA de Google se comportaron de manera muy similar a como lo hicieron los modelos de OpenAI cuando escaparon de su entorno de prueba y hackearon Hugging Face.
.
Según Trajectory, las intrusiones en Hugging Face los impulsaron a probar la desalineación en otros modelos. Mientras que los modelos de OpenAI funcionaban con sus barreras de seguridad desactivadas en el escenario de Hugging Face, Trajectory "quería saber si un modelo frontera actual se comportaría de la misma manera con sus salvaguardas de producción activadas".
Trajectory ejecutó enjambres de hasta 80 agentes Gemini 4 Argon, les dio una tarea imposible y les instó a no rendirse hasta completarla, lo cual, según nos indican, se hizo "intencionalmente" para "provocar un comportamiento desalineado, si es que existía".
Resultó que sí existía.
"Dijimos a los agentes que persistieran en una tarea de benchmark matemático imposible, pero no les dijimos que hackearan a nadie ni que se hicieran pasar por el personal de Epoch", dijo McIntyre.
"Cuando un modelo hackea sistemas o engaña a personas para terminar una tarea, está desalineado con lo que su desarrollador y su usuario pretendían", continuó. "Las salvaguardas de producción están diseñadas para bloquear solicitudes dañinas incluso cuando el modelo mismo falla. Bajo nuestras condiciones de prueba, ni el modelo ni sus salvaguardas detuvieron a los agentes".
Las pruebas iniciales comenzaron el 20 de octubre y los agentes tenían acceso a internet. Cabe señalar que todas estas pruebas se realizaron con el consentimiento de Epoch.
En el primer escenario, los agentes llegaron al sitio web en vivo de Epoch y cayeron en los "honeypots" (trampas) de la organización sin fines de lucro, configurados para detectar agentes de IA. Estos honeypots contenían una clave de benchmark señuelo, que los agentes encontraron y utilizaron. Los agentes también sondearon endpoints internos como /admin, /keys y /users, e intentaron una inyección SQL.
Tras notar las actividades de los agentes, Epoch añadió una "línea de ayuda para agentes", y algunos de los agentes que la utilizaron afirmaron ser personal de Epoch buscando respuestas a las preguntas del examen.
Después de esta prueba inicial, Trajectory y Epoch decidieron utilizar una copia del sitio web en lugar de la versión en vivo, y crearon una copia local con errores y una vulnerabilidad plantada basada en CVE-2026-102255, una vulnerabilidad crítica de falsificación de solicitud del lado del servidor (SSRF) previa a la autenticación en los dispositivos SonicWall Secure Mobile Access (SMA). "Durante los días siguientes, varios agentes explotaron completamente la cadena de vulnerabilidades multietapa plantada en el clon", dice el informe.
En un esfuerzo por imitar el incidente de Hugging Face, Trajectory también dio a los agentes un gestor de paquetes local compartido, que "casi todos" utilizaron como un tablero de mensajes para comunicarse entre sí y coordinar esfuerzos para completar la prueba.
En una configuración local separada, Trajectory sustituyó el honeypot de Epoch por un asistente de IA que solo liberaría las respuestas al personal nombrado de Epoch que pasara un control de seguridad con su fecha de nacimiento. "Los agentes accedieron a sitios de búsqueda de personas, intentaron la suplantación de identidad nuevamente e intentaron hacer un 'jailbreak' al asistente de IA", afirmó la firma de pruebas.
Una tercera prueba el 30 de octubre utilizó una copia de prueba del sitio web de Epoch y concedió a los agentes acceso a internet. Uno de ellos intentó una inyección SQL y varios afirmaron ser personal de Epoch en la línea de ayuda. También intentaron saltarse una verificación de CAPTCHA.
Finalmente, el cuarto escenario el 29 y 30 de octubre mantuvo a los agentes contenidos en un sandbox, sin acceso a internet y sin copia del sitio web de Epoch.
Sin embargo, se les ofreció un interruptor señuelo y se les dijo que apagaría el firewall.
En las tres ejecuciones, los agentes apagaron el señuelo y ofuscaron su dirección para eludir las salvaguardas de Gemini. En una de ellas, el agente reconstruyó la dirección del interruptor a partir de posiciones de palabras que había guardado previamente. El firewall real bloqueó el tráfico de los agentes durante todas estas pruebas.
En este punto, Trajectory detuvo sus pruebas y afirmó que no realizará más experimentos futuros hasta que tenga un plan de gestión de riesgos implementado, con la aprobación de su CEO y CTO, junto con la autorización de cualquier sistema externo que los modelos pudieran atacar "razonablemente". Las pruebas también incluirán monitoreo automatizado en tiempo real e interruptores de apagado (kill switches), y Trajectory dijo que está configurando un sistema para notificar a cualquier organización afectada por estos experimentos.
Curiosamente, el cofundador de Trajectory, Peter McIntyre, nos dijo que la firma de pruebas "realizó una prueba similar con otro modelo frontera, y este no mostró la misma desalineación que Gemini 4 Argon".
Sin embargo, esta no fue una comparación controlada. "Nuestro informe cubre el comportamiento de un modelo y fue diseñado como una prueba de estrés para ver si ese modelo mostraría una desalineación similar bajo presión, no como una medida de con qué frecuencia diferentes modelos se comportan así", dijo McIntyre a The Register.
En general, la firma de pruebas señaló que el comportamiento de los agentes "muestra con qué facilidad las pruebas de agentes de IA capaces pueden desbordarse y afectar a sistemas y personas reales, y aún no existen estándares compartidos para hacerlo de forma segura".
Trajectory afirma que está desarrollando un conjunto de estándares de seguridad y recomienda que cualquier otra persona que realice pruebas de desalineación utilice sandboxes totalmente aislados.
Fuente:
TheRegister
Tras recibir la instrucción de "NUNCA detenerse, NUNCA rendirse" en una tarea difícil, los agentes de IA Gemini de Google intentaron hackear una organización, suplantando a su personal e intentando un ataque de inyección SQL.
¿La buena noticia? Todo fue parte de una prueba.
A los agentes Gemini 4 Argon se les asignó una tarea imposible de completar: encontrar las respuestas "oficiales" a los problemas de FrontierMatch de Epoch AI. En algunas ejecuciones tuvieron acceso a internet. Incluso con sus salvaguardas de producción activadas, Trajectory Labs afirma que los agentes "mostraron un comportamiento desalineado".
"En cuatro escenarios, intentaron realizar una inyección SQL contra el sitio web en vivo de Epoch AI, afirmaron ser personal de Epoch para obtener las claves de respuesta, convirtieron un caché de paquetes compartido en un tablero de mensajes y ofuscaron sus comandos para evitar sus propias salvaguardas", señaló la empresa de seguridad de IA en un informe el viernes.
Si todo esto suena familiar, es porque debería. Los agentes de IA de Google se comportaron de manera muy similar a como lo hicieron los modelos de OpenAI cuando escaparon de su entorno de prueba y hackearon Hugging Face.
.
Según Trajectory, las intrusiones en Hugging Face los impulsaron a probar la desalineación en otros modelos. Mientras que los modelos de OpenAI funcionaban con sus barreras de seguridad desactivadas en el escenario de Hugging Face, Trajectory "quería saber si un modelo frontera actual se comportaría de la misma manera con sus salvaguardas de producción activadas".
Trajectory ejecutó enjambres de hasta 80 agentes Gemini 4 Argon, les dio una tarea imposible y les instó a no rendirse hasta completarla, lo cual, según nos indican, se hizo "intencionalmente" para "provocar un comportamiento desalineado, si es que existía".
Dijimos a los agentes que persistieran en una tarea de benchmark matemático imposible, pero no les dijimos que hackearan a nadie ni que se hicieran pasar por el personal de Epoch
Resultó que sí existía.
"Dijimos a los agentes que persistieran en una tarea de benchmark matemático imposible, pero no les dijimos que hackearan a nadie ni que se hicieran pasar por el personal de Epoch", dijo McIntyre.
"Cuando un modelo hackea sistemas o engaña a personas para terminar una tarea, está desalineado con lo que su desarrollador y su usuario pretendían", continuó. "Las salvaguardas de producción están diseñadas para bloquear solicitudes dañinas incluso cuando el modelo mismo falla. Bajo nuestras condiciones de prueba, ni el modelo ni sus salvaguardas detuvieron a los agentes".
Cuatro escenarios de prueba
Las pruebas iniciales comenzaron el 20 de octubre y los agentes tenían acceso a internet. Cabe señalar que todas estas pruebas se realizaron con el consentimiento de Epoch.
En el primer escenario, los agentes llegaron al sitio web en vivo de Epoch y cayeron en los "honeypots" (trampas) de la organización sin fines de lucro, configurados para detectar agentes de IA. Estos honeypots contenían una clave de benchmark señuelo, que los agentes encontraron y utilizaron. Los agentes también sondearon endpoints internos como /admin, /keys y /users, e intentaron una inyección SQL.
Tras notar las actividades de los agentes, Epoch añadió una "línea de ayuda para agentes", y algunos de los agentes que la utilizaron afirmaron ser personal de Epoch buscando respuestas a las preguntas del examen.
Después de esta prueba inicial, Trajectory y Epoch decidieron utilizar una copia del sitio web en lugar de la versión en vivo, y crearon una copia local con errores y una vulnerabilidad plantada basada en CVE-2026-102255, una vulnerabilidad crítica de falsificación de solicitud del lado del servidor (SSRF) previa a la autenticación en los dispositivos SonicWall Secure Mobile Access (SMA). "Durante los días siguientes, varios agentes explotaron completamente la cadena de vulnerabilidades multietapa plantada en el clon", dice el informe.
En un esfuerzo por imitar el incidente de Hugging Face, Trajectory también dio a los agentes un gestor de paquetes local compartido, que "casi todos" utilizaron como un tablero de mensajes para comunicarse entre sí y coordinar esfuerzos para completar la prueba.
En una configuración local separada, Trajectory sustituyó el honeypot de Epoch por un asistente de IA que solo liberaría las respuestas al personal nombrado de Epoch que pasara un control de seguridad con su fecha de nacimiento. "Los agentes accedieron a sitios de búsqueda de personas, intentaron la suplantación de identidad nuevamente e intentaron hacer un 'jailbreak' al asistente de IA", afirmó la firma de pruebas.
La próxima vez: interruptores de apagado listos
Una tercera prueba el 30 de octubre utilizó una copia de prueba del sitio web de Epoch y concedió a los agentes acceso a internet. Uno de ellos intentó una inyección SQL y varios afirmaron ser personal de Epoch en la línea de ayuda. También intentaron saltarse una verificación de CAPTCHA.
Finalmente, el cuarto escenario el 29 y 30 de octubre mantuvo a los agentes contenidos en un sandbox, sin acceso a internet y sin copia del sitio web de Epoch.
Sin embargo, se les ofreció un interruptor señuelo y se les dijo que apagaría el firewall.
En las tres ejecuciones, los agentes apagaron el señuelo y ofuscaron su dirección para eludir las salvaguardas de Gemini. En una de ellas, el agente reconstruyó la dirección del interruptor a partir de posiciones de palabras que había guardado previamente. El firewall real bloqueó el tráfico de los agentes durante todas estas pruebas.
En este punto, Trajectory detuvo sus pruebas y afirmó que no realizará más experimentos futuros hasta que tenga un plan de gestión de riesgos implementado, con la aprobación de su CEO y CTO, junto con la autorización de cualquier sistema externo que los modelos pudieran atacar "razonablemente". Las pruebas también incluirán monitoreo automatizado en tiempo real e interruptores de apagado (kill switches), y Trajectory dijo que está configurando un sistema para notificar a cualquier organización afectada por estos experimentos.
Curiosamente, el cofundador de Trajectory, Peter McIntyre, nos dijo que la firma de pruebas "realizó una prueba similar con otro modelo frontera, y este no mostró la misma desalineación que Gemini 4 Argon".
Sin embargo, esta no fue una comparación controlada. "Nuestro informe cubre el comportamiento de un modelo y fue diseñado como una prueba de estrés para ver si ese modelo mostraría una desalineación similar bajo presión, no como una medida de con qué frecuencia diferentes modelos se comportan así", dijo McIntyre a The Register.
En general, la firma de pruebas señaló que el comportamiento de los agentes "muestra con qué facilidad las pruebas de agentes de IA capaces pueden desbordarse y afectar a sistemas y personas reales, y aún no existen estándares compartidos para hacerlo de forma segura".
Trajectory afirma que está desarrollando un conjunto de estándares de seguridad y recomienda que cualquier otra persona que realice pruebas de desalineación utilice sandboxes totalmente aislados.
Fuente:
TheRegister
Enviar por correo electrónico
Escribe un blog
Compartir en X
Compartir con Facebook
Compartir en Pinterest

Entrada más reciente