Microsoft y NVIDIA acaban de anunciar el modelo de generación de lenguaje natural Megatron-Turing (MT-NLG), impulsado por sus tecnologías DeepSpeed y Megatron. Es un modelo monolítico de lenguaje transformado que, según las empresas fabricantes destaca por ser "el mayor y más potente modelo monolítico de lenguaje transformado entrenado hasta la fecha".
NVIDIA y Microsoft, han logrado una eficiencia de entrenamiento con su nuevo lenguaje. Entre sus puntos fuertes encontramos que se unen una infraestructura de entrenamiento acelerada por una GPU de última generación con una pila de software de aprendizaje distribuido. En el siguiente gráfico, las empresas han hecho una comparativa entre Megatron-Turing y otros modelos, como es el principal conocido hasta ahora, el GPT-3:

Como sucesor de Turing NLG 17B y Megatron-LM, MT-NLG tiene el triple de parámetros que el mayor modelo existente de este tipo lo que le ofrece mayor precisión en un amplio conjunto de tareas de lenguaje natural. Tiene la capacidad de predicción para finalizar palabras, comprensión de lectura, razonamiento de sentido común, inferencias en lenguaje natural y desambiguación del sentido de las palabras.

Desde Nvidia explican que habrá que ver cómo la MT-NLG dará forma a los productos del futuro y motivará a la comunidad para ampliar los límites del procesamiento del lenguaje natural (PLN). Los modelos lingüísticos con un gran número de parámetros, más datos y más tiempo de entrenamiento adquieren una comprensión más rica y matizada del lenguaje, por ejemplo, adquiriendo la capacidad de …