La división de IA (Inteligencia Artificial) de Google ha liberado su biblioteca de código abierto, GPipe, la cual busca entrenar redes neuronales “eficientemente”, basándose en Lingvo, un marco de trabajo de TensorFlow para el modelaje de secuencias. Esta biblioteca de software es aplicable a toda red neuronal que consista en muchas capas secuenciales, afirma el ingeniero de Google, Yanping Huang, en donde además -indica- permite que los investigadores puedan escalar el desempeño fácilmente.
Las redes neuronales profundas (DNN por sus siglas en inglés), tienen muchas tareas en el aprendizaje de máquinas, incluyendo el reconocimiento de la voz, el reconocimiento visual y el procesamiento del lenguaje. Todo esto tiene sus propios inconvenientes y GPipe busca minimizarlos, haciendo que a través del paralelismo se puedan escalar estas redes (en su entrenamiento), para superar las limitaciones.

Huang y colegas explican en un artículo llamado: “GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism“), cómo se ha implementado GPipe, que usa dos técnicas de IA: Una es usar el gradiente estocástico síncrono descendiente y la segunda es el paralelismo vía pipeline, un sistema de ejecución de las tareas en donde la salida de un programa es la entrada del siguiente en la cadena de la aplicación.
La mayoría de las ganancias en el desempeño usando GPipe se deben a la manera mucho mejor de usar la memoria en los modelos de la IA. Sobre la segunda generación de tensores en Google Cloud (llamadas TPUs), se tienen 8 núcleos y 64 GB de memoria (8 por …