Ethan Mollick es profesor en la Wharton School de la Universidad de Pensilvania, donde se especializa en estudiar el impacto de las startups y la innovación en la economía. Sin embargo, en los últimos meses se ha destacado cada vez más como una referencia informativa en materia de inteligencia artificial.

Y eso ha provocado que poco a poco se popularice un concepto que gusta de usar cada vez que se enfrenta a un nuevo modelo de lenguaje: el 'test de la manzana'. Dicho test es una forma de evaluar IAs, más concretamente la capacidad de los 'modelos de lenguaje' (como GPT-4, por ejemplo) para manejar tareas lingüísticas con un mínimo de complejidad.

Su creador, por lo que parece, fue Daniel Monge, quien el 17 de abril del año pasado afirmaba sobre OpenAssistant (un modelo de lenguaje minoritario y open source) que dicha IA no era capaz de superar el 'test de la manzana' y describía éste como pedirle al chatbot que escriba "10 oraciones que terminen con la palabra 'manzana'".

Sin duda, puede parecer una prueba algo pobre para juzgar a ChatGPT, Gemini, Bing Chat, Claude y compañía. Aunque quizá sólo estás pensando eso porque para ti puede resultar sencillo superar esa prueba... pero, como decía Monge, resulta "una tarea no trivial para un modelo autorregresivo" (los modelos de lenguaje como GPT son autorregresivos porque usan sus propios valores pasados como entrada para predecir sus valores futuros).

Poniendo a prueba

Empecemos echando un vistazo a ChatGPT... pero usando GPT-3.5 (el …