La ventana de contexto (o "longitud de contexto") de un modelos de lenguaje de gran tamaño (LLM) es la cantidad de texto, en token, que el modelo puede considerar o "recordar" en cualquier momento. De forma sencilla podemos definir la ventana de contexto de un Gran Modelo de Lenguaje como la cantidad de tokens que el modelo puede procesar al momento de interpretar una secuencia de texto.

¿Qué es una ventana de contexto?

La ventana de contexto (o «longitud de contexto») de un gran modelo lingüístico (LLM) es la cantidad de texto, en tokens, que el modelo puede considerar o «recordar» en un momento dado. Una ventana de contexto mayor permite a un modelo de IA procesar entradas más largas e incorporar una mayor cantidad de información en cada salida.

La ventana de contexto de un LLM puede considerarse el equivalente de su memoria de trabajo. Determina la duración de una conversación que puede mantener sin olvidar detalles anteriores. También determina el tamaño máximo de los documentos o muestras de código que puede procesar a la vez. Cuando un mensaje, una conversación, un documento o una base de código superan la ventana de contexto de un modelo de inteligencia artificial, deben truncarse o resumirse para que el modelo pueda continuar. 

En términos generales, aumentar el tamaño de la ventana de contexto de un LLM se traduce en una mayor precisión, menos alucinaciones, respuestas más coherentes del modelo, conversaciones más largas y una mayor capacidad para analizar secuencias de datos más largas. Sin embargo, el aumento de la longitud del contexto no está exento de inconvenientes: a menudo conlleva un aumento de los requisitos de potencia computacional -y, por tanto, de los costes- y un aumento potencial de la vulnerabilidad a los ataques de adversarios.

Ventanas de contexto y tokenización

En el mundo real, la longitud de contexto de un modelo lingüístico no se mide en palabras, sino en tokens. Para entender cómo funcionan las ventanas de contexto en la práctica, es importante comprender cómo funcionan estos tokens.

La forma en que los LLM procesan el lenguaje es fundamentalmente distinta de la forma en que lo hacen los humanos. Mientras que la unidad de información más pequeña que utilizamos para representar el lenguaje es un solo carácter -como una letra, un número o un signo de puntuación-, la unidad de lenguaje más pequeña que utilizan los modelos de IA es un token. Para entrenar un modelo que comprenda el lenguaje, se asigna a cada token un número de identificación; estos números de identificación, en lugar de las palabras o incluso los propios tokens, se utilizan para entrenar el modelo. Esta tokenización del lenguaje reduce significativamente la potencia de cálculo necesaria para procesar y aprender del texto.

La cantidad de texto que puede representar un token es muy variada: un token puede representar un solo carácter, una parte de una palabra (como un sufijo o prefijo), una palabra entera o incluso una frase corta de varias palabras. Considere los distintos papeles que desempeña la letra «a » en los siguientes ejemplos:

«Jeff conducía un coche». 

Aquí, la «un» es una palabra entera. En esta situación, estaría representada por un token distinto.

«Jeff es un amoral».

Aquí, «un» no es una palabra, pero su adición a moral cambia significativamente el significado de la palabra. Por lo tanto, amoral se representaría con dos fichas distintas: una ficha para a y otra para moral.

«Jeff ama a su gato».

Aquí, a es simplemente una letra de la palabra «gato». No tiene significado semántico en sí misma y, por tanto, no necesita ser representada por un token distinto.

Por ejemplo, en la frase “El perro está jugando mientras que el gato acaba de comer y ahora duerme plácidamente” para determinar a qué sujeto se refiere la palabra “duerme” la Red Transformer debe analizar la totalidad del texto y la relaciones entre palabras a diferentes niveles para determinar en últimas que el sujeto es el gato y no el perro.

Así que en últimas el contexto es la relación que existe entre las diferentes palabras y que permite interpretar y codificar adecuadamente la información del texto analizado por el modelo.

Teniendo claro este sencillo concepto, ahora sí podemos ver qué son las ventanas de contexto.

No existe un «tipo de cambio» fijo entre palabra y token, y distintos modelos o tokenizadores -un subconjunto modular de un modelo más amplio responsable de la tokenización- pueden tokenizar el mismo pasaje de escritura de forma diferente. Una tokenización eficaz puede ayudar a aumentar la cantidad real de texto que cabe dentro de los límites de una ventana contextual. Pero para fines generales, una estimación decente sería aproximadamente 1,5 tokens por palabra. El Tokenizer Playground en Hugging Face es una manera fácil de ver y experimentar con cómo los diferentes modelos tokenizan las entradas de texto.