En Helping AI master video understanding el investigador de IBM Research AI, Dan Gutfreund, cuenta un poco cómo el uso del vídeo está acelerando el desarrollo de tecnologías y modelos que proporcionan “comprensión” automática a la inteligencia artificial.

Utilizando un repositorio de un millón de clips de vídeos, de tres segundos de duración cada uno, las redes neuronales son capaces de predecir qué va a suceder o qué está sucediendo en los vídeos. También “desarrollan la habilidad” de aprender qué partes del vídeo son las más importantes de cara a identificad momentos de la vida cotidiana.

Durante décadas los investigadores en el campo de la visión artificial han intentando desarrollar modelos de comprensión visual que se asemejen al nivel de los humanos. Sólo en los últimos años y gracias a los avances en el aprendizaje automático hemos comenzado a desarrollar modelos que están a la altura del rendimiento humano, aunque de momento se limitan a un puñado de tareas y a ciertos conjuntos de datos.

Este logro se debe fundamentalmente a dos factores: los conjuntos de datos etiquetados masivamente y las mejoras significativas en la capacidad de los ordenadores, que permiten procesar grandes conjuntos de datos con millones de parámetros en tiempos razonables.

El conjunto de datos, recopilados en Moments in Time Dataset, hace uso de clips de vídeo públicos que recogen momentos cotidianos en los que aparecen personas, animales, objetos y fenómenos naturales. El proyecto se basa en identificar qué sucede en esos clips etiquetándolos con palabras que describen …