Microsoft ha registrado una patente de una nueva herramienta de inteligencia artificial diseñada para modificar el rostro y el discurso de los usuarios en vídeos en tiempo real.

Esta tecnología permite ajustar los movimientos labiales y las expresiones faciales de forma instantánea con el objetivo de suprimir errores de pronunciación, tartamudeos, muletillas o gestos que resulten inadecuados durante una transmisión en directo.

Microsoft ha registrado una patente para desarrollar una inteligencia artificial capaz de modificar lo que dice una persona durante una retransmisión en directo y adaptar los movimientos de sus labios y su rostro para que parezca que ha pronunciado otras palabras. La tecnología podría eliminar muletillas, corregir tartamudeos e incluso traducir a otros idiomas sin limitarse a generar subtítulos. Su objetivo es intervenir tanto en el sonido como en la imagen para ofrecer al espectador una versión modificada de lo que está viendo, con cambios que resulten naturales.

La propuesta va más allá de los sistemas habituales de traducción o limpieza de audio, ya que también contempla generar nuevos fotogramas para sincronizar los gestos del hablante con la voz modificada. La solicitud, presentada por Microsoft Technology Licensing por ahora, es una patente y no una función anunciada para Windows, Teams u otros servicios de la compañía. Aunque el documento contempla su aplicación en retransmisiones televisivas, clases, presentaciones empresariales, ceremonias de premios y acontecimientos deportivos.

Cómo funciona la IA de Microsoft para modificar vídeos en directo

Es importante mencionar que el sistema combina agentes de inteligencia artificial con modelos generativos, donde primero analiza el audio de la retransmisión para reconocer las palabras pronunciadas e identificar aquellas que deben cambiarse según unas instrucciones o las preferencias del usuario. Después, otro modelo genera el sonido alternativo y modifica los fotogramas necesarios para que los labios y las expresiones faciales coincidan con la nueva voz.

La patente también contempla intervenir en los fragmentos anteriores y posteriores a cada modificación. Así, la IA puede reconstruir las transiciones para evitar que el espectador perciba saltos en la imagen o cambios bruscos en el sonido, mientras que la documentación utiliza como referencia un procesamiento de entre uno y diez segundos, aunque no demuestra que ese rendimiento se haya conseguido en un producto real.

Cabe señalar que una de sus aplicaciones sería traducir conferencias y entrevistas mientras se están emitiendo, donde el espectador podría escuchar al ponente en otro idioma y ver cómo sus labios se adaptan a la nueva locución, sin depender exclusivamente de subtítulos o de una voz superpuesta que no coincida con sus movimientos.

También podría mejorar la fluidez de las conversaciones eliminando pausas, muletillas como "eh" o "um", errores de pronunciación y tartamudeos. Otra posibilidad descrita consiste en sustituir palabras malsonantes o expresiones consideradas ofensivas, ya que la patente incluso plantea corregir afirmaciones incorrectas mediante consultas en Internet o bases de datos, aunque no acredita que la IA pueda verificar cualquier información con precisión.

La personalización es otra característica contemplada en el documento de la patente, en el cual, el sistema podría utilizar perfiles con información sobre la edad, el idioma, la ubicación, la formación o los antecedentes culturales del espectador para decidir qué modificaciones aplicar. También se mencionan datos relacionados con muestras de voz e imagen.

Esto plantea un problema de transparencia, donde dos personas podrían ver la misma retransmisión y escuchar versiones distintas de una declaración, sin que necesariamente sean conscientes de los cambios. Microsoft contempla conservar el material audiovisual original como referencia, denominado ground truth, para poder compararlo con el resultado generado.

Cuándo llegará esta IA de Microsoft

La solicitud identifica a Sheng Ju, Xiaofeng Gao, entre otros miembros del equipo, como inventores de esta tecnología y contempla el uso de distintos dispositivos, incluidos móviles, tabletas y gafas de realidad aumentada. También menciona procesadores CPU, GPU y NPU para ejecutar las operaciones de inteligencia artificial.

Sin embargo, Microsoft no ha anunciado una fecha de lanzamiento ni ha confirmado que vaya a convertir esta propuesta en un servicio como Teams, pero su desarrollo permitiría adaptar las retransmisiones a distintos públicos, pero también obligaría a establecer mecanismos claros para distinguir el contenido original del contenido generado por IA.