Los tokens son palabras, juegos de caracteres o combinaciones de palabras y signos de puntuación generados por modelos de lenguaje grandes (LLM) cuando descomponen texto. La tokenización es el primer paso del entrenamiento. El LLM analiza las relaciones semánticas entre tokens, como la frecuencia con la que se usan juntos o si se usan en contextos similares. Después del entrenamiento, el LLM usa esos patrones y relaciones para generar una secuencia de tokens de salida en función de la secuencia de entrada.