Está basado en el modelo de imagen Stable Diffusion, que le ganó popularidad y algunas demandas por usar datos protegidos por derechos de autor para su entrenamiento. Stability AI explicó que el entrenamiento del nuevo sistema de video pasó por tres fases: pre entrenamiento de texto a imagen, pre entrenamiento de video y ajuste fino de video de alta calidad.

La empresa asegura que su herramienta fue superior a los competidores comerciales RunwayML y Pika Labs en los estudios de preferencias de los usuarios. Stability AI explicó que está disponible como un modelo de código abierto en GitHub y aclaró que todavía no está pensada como una solución comercial o de uso público. La versión limitada para investigadores les permitirá perfeccionar aspectos sobre calidad y seguridad antes de su lanzamiento general.

Stability AI lanzará una plataforma web para generar videos

Stability AI destaca que su modelo de video se puede adaptar fácilmente a diversas tareas posteriores. Por ejemplo, la síntesis de múltiples vistas a partir de una sola imagen con ajuste fino en conjuntos de datos de múltiples vistas. «Estamos planeando una variedad de modelos que se basan y amplían esta base, similar al ecosistema que se ha construido alrededor de Stable Diffusion», dijo en el comunicado.

La empresa también puso a disposición una lista de espera de una nueva plataforma web, que incluirá una interfaz de texto a video. «Esta herramienta mostrará las aplicaciones prácticas de Stable Video Diffusion en numerosos sectores, incluidos la publicidad, la educación, el entretenimiento y más», agregó.

Stability AI lanzó a principio de mes Stable 3D. Es una aplicación impulsada por inteligencia artificial que genera objetos 3D texturizados para plataformas de modelado y desarrollo de juegos. Esta herramienta está disponible en vista previa privada para clientes. La compañía resaltó en su blog que está diseñada para permitir a los no expertos generar modelos 3D con calidad de borrador «en minutos».

La polémica por los derechos de autor de Stable Diffusion sigue pasando factura. Uno de sus vicepresidentes, Ed Newton-Rex, renunció este mes como director de audio en Stability AI. No estaba de acuerdo con la posición de la compañía de considerar como «uso legítimo» el entrenamiento con obras protegidas por derechos de autor. Esta postura le ganó una pelea en tribunales con Getty Images, una de las agencias de fotografía más importantes del mundo.

Fuentes:
https://hipertextual.com/2023/11/stable-video-diffusion-para-hacer-videos-con-inteligencia-artificial