Ray3, una IA de Luma, destaca por su capacidad de editar videos de manera sencilla y de meterte dentro de una película, compitiendo con herramientas como Sora de OpenAI y ofreciendo resultados prometedores en la generación y modificación de contenido audiovisual.

Google y OpenAI se han convertido en un referente para la generación de imágenes y videos de IA. Basta ver lo que puedes conseguir con Sora, Nano Banana o el nuevo ChatGPT Image, que ofrecen resultados ultrarrealistas en unos cuantos pasos. Pese a ello, existe una IA que pocos conocen y es capaz de modificar videos y ponerte dentro de una película.

Conocido como Ray3 Modify, este nuevo modelo permite editar videos para cambiar el fondo, los personajes o efectos especiales. Desarrollado por la empresa Luma, la IA forma parte de una plataforma llamada Dream Machine, que genera videos e imágenes realistas con consistencia y buen manejo de físicas. Lo que hace impresionante a Ray3 Modify es su capacidad para modificar el contenido sin necesidad de un prompt de texto.

De acuerdo con una publicación en su web, Ray3 Modify puede mantener el movimiento, intención y emoción del video original. Uno de los ejemplos muestra a una persona simulando que monta a un caballo y la IA consigue identificar el movimiento y ajusta todos los valores de la escena. El resultado final incluye al mismo actor, pero con un fondo, atuendo y movimientos adaptados al viejo Oeste.

Otro ejemplo detalla lo fácil que es alterar un producto o convertir a un actor en múltiples personajes sin necesidad de maquillaje o efectos especiales. Puedes subir un video y definir las características para que Ray3 Modify te convierta en un orco, caballero o una Mona Lisa de carne y hueso.

La IA de Luma aventaja a Sora y Gemini en la edición de video

A diferencia de OpenAI y Google, que ofrecen una aplicación capaz de generar videos a partir de una instrucción de texto, Luma va un paso adelante. Ray3 Modify utiliza material de referencia para transformar el metraje original acorde a tus necesidades. También es posible subir un fotograma de referencia de inicio y fin para generar un video con ayuda de la IA.

"Los modelos de vídeo generativos son increíblemente expresivos, pero también difíciles de controlar", dijo Amit Jain, cofundador y CEO de Luma AI. "Los equipos creativos pueden capturar actuaciones con una cámara y luego modificarlas inmediatamente para que estén en cualquier lugar imaginable, cambiar de vestuario o incluso volver a grabar la escena con IA, sin recrear la grabación física".

Ray3 Modify es una extensión de Ray3, el modelo de video generativo de Luma AI. De acuerdo con sus creadores, la IA es capaz de comprender la intención del creador y evaluar sus propias generaciones para mejorarlas. Ray3 produce videos con coherencia en términos de narrativa, interacciones físicas y adherencia, así como la posibilidad de dibujar sobre las imágenes para indicar qué es lo que deseas.

En términos generales, esta IA está pensada para estudios de producción o cineastas independientes que no tienen los recursos para añadir efectos especiales o hacer un reshoot. Ray3 Modify reimagina las escenas cambiando el entorno, iluminación y aspecto visual sin alterar el movimiento y la emoción original.

El nuevo modelo de Luma estará disponible a través de su plataforma Dream Machine, aunque necesitarás pagar una suscripción mensual. El coste de la membresía parte en los 8 dólares, pero tiene una limitante de 50 videos con marca de agua. Los niveles más altos permiten generar y editar contenido 4K HDR para poder usarlos en películas o documentales.