Los grandes modelos lingüísticos (LLM) vienen en todos los sabores. Cada vez son más grandes en cuanto al número de parámetros y más capaces de aprender y procesar los datos. Cuantos más parámetros tenga un modelo, más complejo será y más datos podrá procesar. Sin embargo, esto tiene el inconveniente de que su formación y despliegue resultan caros.

Cuando hablamos de inteligencia artificial todos tenemos, más o menos claro, a qué nos estamos refiriendo. Sin embargo, con la popularización de esta tecnología han ido surgiendo nuevos conceptos que están profundamente vinculados a ella y que son muy importantes, pero que al mismo tiempo son menos conocidos. Hoy quiero profundizar en este tema, y me voy a centrar en dos grandes claves, los TOPs y los tokens.

Los tokens son palabras, juegos de caracteres o combinaciones de palabras y signos de puntuación generados por modelos de lenguaje grandes (LLM) cuando descomponen texto. La tokenización es el primer paso del entrenamiento. El LLM analiza las relaciones semánticas entre tokens, como la frecuencia con la que se usan juntos o si se usan en contextos similares. Después del entrenamiento, el LLM usa esos patrones y relaciones para generar una secuencia de tokens de salida en función de la secuencia de entrada.