Así es Lumiere, la nueva IA de Google enfocada en el vídeo. Todo lo que podrá hacer

Durante los últimos años hemos escuchado cada vez más acerca de la posibilidad de generar imágenes con inteligencia artificial, mediante prompts de texto: breves descripciones de aquello que esperamos generar, que una IA transforma en una imagen. Estas herramientas han mejorado considerablemente con el paso del tiempo, pero en en el caso de los vídeos generados con IA, los avances todavía son limitados.

Google quiere dar un golpe sobre la mesa en este sentido, y para ello ha presentado Lumiere, un modelo de inteligencia artificial que puede crear vídeos mediante órdenes de texto, y los resultados prometen tener mucha más fluidez que lo que hemos visto en otras propuestas y alternativas hasta ahora.

Lumiere no solo puede crear vídeos a partir de texto, sino también modificar vídeos existentes

Lo que hace más interesante a Lumiere es que, a diferencia de los desarrollos de otras compañías en generación de vídeo mediante texto, Lumiere no requiere de unir fotogramas para crear un vídeo, sino que puede crear el vídeo de una sola vez, por lo que el resultado es mucho más fluido y natural, evitando crear vídeos con inconsistencias temporales. Esto lo logra gracias a un nuevo sistema desarrollado por sus creadores, el cual han bautizado como Space-Time U-Net.

Los responsables de Lumiere explican que han usado “un conjunto de datos que consiste en unos 30 millones de vídeos que incluyen un texto como descripción” para entrenar su modelo de inteligencia artificial, sin ofrecer más detalles, al menos hasta ahora.

Todo esto se traduce en múltiples capacidades para Lumiere. La IA generativa de vídeos de Google puede:

• Crear vídeos a partir de texto: escribes la descripción, y Lumiere lo hace realidad
• Crear vídeos a partir de imágenes: lo que significa que puede convertir imágenes estáticas en vídeos con movimiento.
• Generar vídeos estilizados en base a imágenes: la IA puede usar una imagen como referencia de estilo al crear los vídeos que el usuario le pida.
• Editar vídeos: puede modificar partes de un vídeo existente. Por ejemplo, en un vídeo de una mujer corriendo es posible pedirle “que la mujer esté hecha de flores”, y la IA lo hará realidad.
• Hacer “cinemagraphs”: o dicho de otro modo, animar partes específicas de imágenes

¿Cuáles son los límites (actuales) de Lumiere?

Al momento de publicar su estudio, los creadores de Lumiere explican que su IA puede generar hasta 80 fotogramas para crear vídeos con una duración máxima de 5 segundos y una resolución 1.024x1.024 píxeles.

Y es que Lumiere todavía se encuentra en desarrollo, y por este motivo todavía no está disponible para el público. Se desconoce cuándo podremos probar esta IA, y cuándo Google podrá implementar su tecnología en alguno de sus productos finales. Después de todo, la compañía tiene grandes ambiciones en materia de inteligencia artificial, con la llegada de Gemini y la integración de distintas características basadas en IA directamente en el sistema operativo Android.

Lumiere puede que todavía no esté lista, pero aún así es una IA que ya mismo ofrece resultados prometedores. La pregunta es, ¿cuán realistas serán sus vídeos en 2, 3 o 5 años?

En Xataka Android | Si el borrador mágico de Google Fotos me dejaba sin palabras, lo del Pixel 8 Pro es pura brujería