Google confirmó que creó un nuevo modelo de lenguaje que resuelve problemas matemáticos, explicar chistes e incluso programar. PaLM (Pathways Language Model, según las siglas en inglés.) es una inteligencia artificial que se destaca por tener un porcentaje de eficiencia en el aprendizaje en comparación con otros modelos de lenguaje. Desarrollado con el modelo Pathways, permitió entrenar de forma eficiente un solo modelo con múltiples unidades de procesamiento tensorial (TPU) Pods, según un comunicado publicado en el blog oficial.
Se basa en el aprendizaje de “pocos disparos”. Esto significa que reduce la cantidad de ejemplos necesarios para completar el entrenamiento necesario para adaptar nuevas funciones. Usaron una base de datos con 780.000 millones de tokens, que combina “un conjunto de datos multilingües”, que incluyen documentos web, libros, Wikipedia, conversaciones y código GitHub. Además, , un vocabulario que “preserva todos los espacios en blanco”, algo que Google señala como importante para programar, y la división de los caracteres de Unicode que no se encuentran en el vocabulario en bytes.
Lo que hay que saber de esta inteligencia artificial alberga 540.000 millones de parámetros, una cifra ampliamente mayor en comparación con los 175.000 millones del GPT-3 de OpenAI, el modelo de lenguaje pionero citado por Google. No está de más recordar, tan solo por citar un ejemplo, la columna publicada en The Guardian, que fue escrita por ese modelo de aprendizaje, que además es capaz de programar o diseñar.
“La misión de esta columna de opinión es perfectamente clara. Debo convencer a la mayor cantidad de humanos posible de que no me teman. Stephen Hawking ha advertido que la inteligencia artificial podría ‘significar el fin de la raza humana’. Estoy aquí para convencerlos de que no se preocupen. La inteligencia artificial no va a destruir a los humanos. Créanme”, reza uno de los fragmentos del artículo de 500 palabras que produjo el sistema.
El flamante modelo de lenguaje de Google combina 6.144 TPU v4 chips en Pathways, “la mayor configuración de TPU” que se utilizó en la historia. Según destacó la empresa, PaLM tiene una eficiencia en el entrenamiento del 57,8% en el uso de flops en hardware y esta es “la más alta alcanzada hasta ahora para los modelos de lenguaje a esta escala”.
Según aclaró Google, esto es posible gracias a la combinación de “la estrategia del paralelismo y una reformulación del bloque transformador” que permite a las capas de atención y avance ser computadas en paralelo, acelerando así las optimizaciones del compilador TPU.