DOOM es un juego icónico en la industria al poderse jugar incluso en un test de embarazo digital. Es por ello que DOOM se ha simulado al completo con GameNGen. A nivel de rendimiento, con una única TPU, el juego funcionaba a 20 frames por segundo (20 FPS). La predicción externa de fotogramas alcanza una PSNR (Proporción Máxima de Señal a Ruido) de 29,4. Esto es comparable a la compresión JPEG. Es más, se indica que la IA podrá simular otros juegos clásicos por encima de los 20 FPS.

Los evaluadores humanos sólo son ligeramente mejores que el azar a la hora de distinguir clips cortos del juego de clips de la simulación. GameNGen se entrena en dos fases: (1) un agente RL aprende a jugar al juego y se graban las sesiones de entrenamiento, y (2) se entrena un modelo diffusion para producir el siguiente fotograma, condicionado por la secuencia de fotogramas y acciones anteriores. Los aumentos condicionados permiten una generación autorregresiva estable en trayectorias largas.

¿Cómo han conseguido esto?

Para recrear el juego DOOM en tiempo real, sin usar un motor gráfico tradicional, primero se creó un agente de IA. Este agente, especializado en aprendizaje por refuerzo, se utilizó para jugar automáticamente al juego original de DOOM. Como este agente genera datos de sus partidas, sus acciones y observaciones fueron utilizadas para entrenar un modelo generativo basado en diffusion.

Este modelo, una versión adaptada de Stable Diffusion, se entrenó para generar las imágenes del juego frame por frame. Durante el entrenamiento, se añadía ruido a las imágenes previas para ayudar al modelo a corregir errores y mantener la consistencia visual a lo largo del tiempo. Sin embargo, la compresión de imágenes del modelo inicial afectaba la calidad de detalles importantes, como el HUD del juego. Para solucionar esto, se ajustó el decodificador del modelo, mejorando la calidad de las imágenes sin perder la ventaja de usar un modelo preentrenado. El resultado de todo ello es GameNGen.

En conjunto, esta IA logró generar una versión de DOOM visualmente estable y detallada, sin necesidad de un motor gráfico convencional, al combinar técnicas avanzadas de generación y ajuste de imágenes. Estos son los primeros pasos de una IA creando un juego en tiempo real. Pero NVIDIA ya predijo que un futuro DLSS 10 podría interactuar con el motor gráfico de los juegos. Hasta el punto de que la IA sería capaz de renderizar todas las imágenes de un juego. Ese futuro comienza a tomar forma con GameNGen, y parece que llegará mucho antes de que se lance el DLSS 10.

Fuentes:

https://elchapuzasinformatico.com/2024/08/gamengen-ia-crea-doom-en-tiempo-real-sin-motor-grafico/