Los tokens son palabras, juegos de caracteres o combinaciones de palabras y signos de puntuación generados por modelos de lenguaje grandes (LLM) cuando descomponen texto. La tokenización es el primer paso del entrenamiento. El LLM analiza las relaciones semánticas entre tokens, como la frecuencia con la que se usan juntos o si se usan en contextos similares. Después del entrenamiento, el LLM usa esos patrones y relaciones para generar una secuencia de tokens de salida en función de la secuencia de entrada.

Los tokens son la base del funcionamiento de los modelos de lenguaje grandes (LLM), como ChatGPT. Imagina que un texto es como una construcción hecha con pequeñas piezas, como un Lego. Los tokens son esas piezas individuales. En lugar de letras o palabras completas, los LLM trabajan con estas unidades llamadas tokens.

¿Qué significa token en el contexto de la informática?

Pues tiene muchos significados distintos y muy diversos usos, que incluso no tienen nada que ver unos con otros, pero curiosamente... al final no dejan de ser fichas de feria: representan a 'algo'.

Por ejemplo, en ciberseguridad, un token es una cadena hexadecimal con una longitud prefijada que te da un sistema de autenticación. O también es ese número que se genera de manera pseudo-aleatoria como segundo factor de autenticación.

En criptomonedas, un token representa un activo digital o un derecho asociado a un sistema blockchain. Por ejemplo, en el caso de los NFT, la posesión de un token implica la propiedad digital del activo que representa.

Ahora, vamos a aproximarnos a un uso más cercano al de los LLMs: los compiladores. Imagina un pequeño fragmento de código fuente, por ejemplo, en JavaScript:

console.log("hola mundo");

Un compilador o intérprete verá el código fuente en forma de ‘tokens’, es decir, unidades mínimas de significado, como las palabras o símbolos que componen este código: console (objeto), . (operador), log (método), "hola mundo" (cadena de texto) y ; (terminador).

console.log ( "hola mundo" ) ;

Estos ‘trozos’ permiten que el compilador entienda y analice el código. En los modelos de lenguaje, el concepto es similar, pero aplicado al texto en lenguaje natural: los tokens representan palabras o partes de palabras para que el modelo pueda analizar su significado y contexto.

En resumen, tanto en el mundo analógico como el digital, podríamos deducir que un token es una entidad mínima y única que posee representa un valor y objeto en un sistema. Sí, correcto, cuándo estudiábamos Lengua en el colegio los profes nos hablaban de 'unidad mínima con significado en el lenguaje': ¡los morfemas y lexemas!

¿Qué es la 'tokenización' en el contexto de los LLM?

Hemos dado tantas pistas e información que posiblemente ya podrías escribir el párrafo. Aun así, todavía nos quedan unos trucos en la manga. Tenemos bastante acorralado el término pero nos quedan unos retoques.

Como hemos visto, tanto en los lenguajes de programación como en el lenguaje humano, hay unidades mínimas. Al final, se separan en 'trozos' (tokens) con significado para analizar el significado de la sentencia, frase o palabra.

Es lo que el Procesamiento del Lenguaje Natural (NLP, en sus siglas en inglés) hace. Técnicas que se llevan usando desde el nacimiento de esta rama de la inteligencia artificial (década de los 50).

Para que un ordenador 'entienda' el lenguaje humano se debe hacer una traducción de palabras a números. Porque esto último es lo único que puede hacer realmente una máquina: operar con números. Ese es el verdadero poder detrás de las bambalinas: operar con números y guardar o manipular valores en una memoria.

Lo abordaremos en otra publicación más adelante, pero adelantamos que la 'magia' detrás de los LLM está en la transformación a vectores de las palabras (tokenizadas) y las relaciones entre ellas. Vamos a quedarnos con: tokens -> números.

Pues bien, la 'tokenización' es el proceso de convertir texto a tokens, pequeños 'trozos' de palabras que existen en forma de vectores dentro del LLM. Además, no solo hay una tokenización canónica sino que existen varias técnicas o procesos que se adaptan al tipo de texto que le proporcionemos en la entrada.

La tokenización, un ejemplo práctico

Hay tantas técnicas de tokenización como situaciones diversas que dependen, como hemos comentado, de la entrada a procesar. Existen tokenizadores que se especializan en detectar y separar caracteres sueltos (ideales para lenguajes humanos basados en ideogramas: chino, coreano, japones...), el denominado Unigram.

Tenemos los algoritmos de tokenización por palabras, adecuados para ciertos idiomas, pero con sus limitaciones: no reconocen palabras que no hayan visto antes y pueden ser ineficientes en el almacenamiento: (coche, coches, cochecito, cochazo...).

Con un buen equilibrio tenemos los basados en sub-palabras: BPE (Byte Pair Encoding) y WordPiece, entre otros. Muy cerca de estos están los que operan a nivel de byte, que es el usado, por ejemplo, por ChatGPT.

Para facilitar la comprensión usaremos la tokenización por palabras, de la librería open-source 'tokenizers' del proyecto HuggingFace.

Tokenización por palabras

El método más básico para la tokenización es aquel que divide la entrada en palabras.

Convertir texto en tokens

El conjunto de tokens únicos en los que se entrena un LLM se conoce como su vocabulario.

Por ejemplo, considere la siguiente oración:

I heard a dog bark loudly at a cat

Este texto se puede tokenizar así:

• I
• oído
• a
• perro
• ladrar
• fuerte
• at
• a
• cat

Al tener un conjunto suficientemente grande de texto de entrenamiento, la tokenización puede compilar un vocabulario de muchos miles de tokens.

El método de tokenización específico varía según el LLM. Estos son algunos de los métodos comunes de tokenización:

• Tokenización de palabras: el texto se divide en palabras individuales basadas en un delimitador.
• Tokenización de caracteres: el texto se divide en caracteres individuales.
• Tokenización parcial: el texto se divide en palabras parciales o conjuntos de caracteres.

Por ejemplo, los modelos de GPT, desarrollados por OpenAI, usan un tipo de tokenización parcial que se conoce como codificación de byte-par (BPE). OpenAI proporciona una herramienta para visualizar cómo se tokenizará el texto.

Cada método de tokenización tiene sus ventajas y desventajas

¿Cómo funcionan los tokens de IA?

El trabajo del que hablamos, como hemos indicado antes, implica dividir el texto en unidades más pequeñas -a las que se le asigna un valor o identificador único-. Existen diferentes métodos de tokenización, pero algunos de los más comunes en la actualidad son los siguientes:

• Basada en espacios: Este método divide el texto en función de los espacios entre palabras.
• Trabajo en caracteres: Un trabajo que divide el texto en caracteres individuales.
• Gestión en subpalabras: En este caso, se divide las palabras en unidades más pequeñas, como prefijos, sufijos y raíces.

Una vez que el texto se ha tokenizado, los resultados se pasan a un modelo de lenguaje grande (LLM), que utiliza los tokens para comprender el significado del texto que se ha utilizado para pedir algo y, a continuación, se genera una respuesta.

Diferentes tipos de tokens

Fuentes:

https://telefonicatech.com/blog/tokenizacion-caballero-andante-don-quijote

https://cincodias.elpais.com/smartlife/lifestyle/2024-05-31/no-sabes-lo-que-es-un-token-en-la-ia-te-explicamos-todo-lo-que-debes-saber.html