Cuando OpenAI anunció el lanzamiento de GPT-4, afirmó que su chatbot de última generación incluiría también capacidades visuales; esto es, que podríamos subir fotos a la plataforma de igual manera que pegamos textos, y que GPT-4 reconocería su contenido y nos aportaría información sobre dichas imágenes.

Lo cierto es que las nuevas funcionalidades de GPT-4 se han ido activando poco a poco: aún no todos los usuarios tienen acceso a su función de plugins, y a nadie se le han activado por ahora las capacidades visuales, aunque hayamos podido verlas en acción en la presentación de OpenAI.

¿Qué han conseguido con esa tardanza en su lanzamiento? Que un proyecto 'open source' se les adelante. ¿Su nombre? MiniGPT-4. Empiezan mal, porque es un nombre tramposo (MiniGPT-4 no hace uso de la tecnología de OpenAI), sin embargo, a nivel técnico, luce por méritos propios. 'MiniGPT-4' consiste en crear un combo lenguaje-visión, conectando:

un chatbot cuyos creadores afirman que se equipara en rendimiento a GPT-3.5 (Vicuna, una versión mejorada de Alpaca, que a su vez es una versión opensource de LLaMA de Meta)…
con otra IA de reconocimiento de imágenes, capaz de describir con palabras cualquier imagen que le presentemos (concretamente BLIP-2, también opensource, y que ya fue usado por Microsoft para integrarlo en su 'VisualGPT').

Su versión web es insoportablemente lenta, pero permite su ejecución en local en el PC

En Genbeta

Así es Auto-GPT, una nueva …