Recientemente, Google nos ha sorprendido con el lanzamiento de un nuevo modelo de inteligencia artificial, si bien esta vez no se trata de un modelo de lenguaje y/o chatbot (como Bard o Gemini), sino de una IA generativa de vídeo denominada 'Lumiere' (en honor a los hermanos creadores del cinematógrafo).

Tanto la propia Google como Meta habían publicado en los últimos meses otros modelos de generación de vídeo a partir de prompts de texto que, sin embargo, quedaban aún lejos de lo que venían logrando los modelos de imagen estática. Lumiere llega ahora con el objetivo de recortar distancias en ese campo.

Para ello, Google ha entrenado este modelo usando una descomunal base de datos de 30 millones de vídeos, lo que le permite no sólo mejorar la generación de vídeo a partir de texto, sino realizar otra serie de tareas relacionadas que abren todo un abanico de posibilidades creativas. Resumamos rápidamente todo que puede hacer:

Texto a vídeo: La base para cada modelo de vídeo.
Imagen a vídeo: La segunda base para los modelos de vídeo en la actualidad, convierte imágenes fijas en vídeos.
Generación 'estilizada': Utilizando una imagen de referencia, Lumiere puede generar vídeos basados en el estilo de una imagen que nosotros proporcionemos.

Cinemagraphs: Lumiere puede animar únicamente partes específicas de imágenes estáticas.

Edición de vídeo: Equivalente al 'inpainting' de la generación de imágenes, Lumiere puede editar cualquier …