RAG - Retrieval Augmented Generation

¿Qué es la generación aumentada de recuperación (RAG)?

Ahí es donde entra en escena la generación aumentada de recuperación (RAG). La RAG permite optimizar los resultados de un LLM mediante información específica sin necesidad de modificar el modelo subyacente. Esa información particular puede estar más al día que el propio LLM, así como enfocarse en una organización o una industria en particular. Esto permite al sistema de IA generativa proporcionar respuestas contextualmente adecuadas a las consultas, así como basar dichas respuestas en datos extremadamente recientes.

La RAG llamó la atención de los desarrolladores de IA generativa tras la publicación de Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks ("Generación aumentada de recuperación para tareas de NLP que realizan un uso intensivo de información"), un artículo de 2020 publicado por Patrick Lewis y un equipo de Facebook AI Research. El concepto de RAG ha sido acogido con entusiasmo por muchos investigadores académicos y de la industria, que la ven como una forma de mejorar significativamente el valor de los sistemas de IA generativa.

En qué consiste la generación aumentada de recuperación

Tomemos el ejemplo de una liga deportiva que desea que los aficionados y medios de comunicación puedan usar el chat para consultar datos y obtener respuesta a sus preguntas sobre los jugadores, los equipos, la historia y las reglas del deporte, así como las estadísticas y clasificaciones actuales. Un LLM general podría responder a preguntas sobre la historia y las reglas o tal vez describir el estadio de un equipo en particular. Sin embargo, no podría comentar el partido de ayer por la noche ni proporcionar información actualizada sobre la lesión de un deportista en particular porque no dispondría de esa información y, dado que se necesita una potencia de computación significativa para volver a entrenar un LLM, no es factible mantener el modelo al día.

Además del LLM, grande y bastante estático, la liga deportiva posee o puede acceder a muchas otras fuentes de información, como bases de datos, almacenes de datos, documentos con biografías de los jugadores y fuentes de noticias que analizan cada partido en profundidad. La RAG permite a la IA generativa usar esta información. Ahora, el chat puede proporcionar información más oportuna, más adecuada al contexto y más precisa.

En pocas palabras, la RAG ayuda a los LLM a proporcionar respuestas más idóneas.

Conclusiones clave

• La RAG es una técnica de inteligencia artificial relativamente nueva que mejora la calidad de la IA generativa al permitir a grandes modelos de lenguaje (LLM) aprovechar recursos de datos adicionales sin necesidad de volver a entrenarlos.
• Los modelos RAG crean repositorios de conocimientos basados en los datos de la propia organización. Estos repositorios se pueden actualizar continuamente para ayudar a la IA generativa a brindar respuestas adaptadas al contexto y oportunas.
• Los chatbots y otros sistemas conversacionales que utilizan el procesamiento del lenguaje natural pueden beneficiarse enormemente de la RAG y la IA generativa.
• La implementación de RAG requiere tecnologías como bases de datos vectoriales, que permiten la codificación rápida de nuevos datos y la búsqueda en esos datos para alimentar el LLM.

¿Cómo funciona la generación aumentada de recuperación?

Piensa en toda la información de la que dispone una organización: bases de datos estructuradas, PDF y otros documentos no estructurados, blogs, fuentes de noticias y transcripciones de chat de sesiones de servicio al cliente pasadas. En la RAG, esta gran cantidad de datos dinámicos se traduce a un formato común y se almacena en una biblioteca de conocimientos accesible por el sistema de IA generativa.

Los datos de esa biblioteca de conocimientos se procesan en representaciones numéricas utilizando un tipo especial de algoritmo llamado modelo de lenguaje embebido y se almacenan en una base de datos vectorial, en la que se puede buscar rápidamente para recuperar la información contextual correcta.

RAG y grandes modelos de lenguaje (LLM)

Ahora, supongamos que un usuario final envía al sistema de IA generativa una consulta específica, por ejemplo: "¿Dónde se jugará el partido de esta noche, quiénes son los jugadores iniciales y qué dicen los periodistas sobre el enfrentamiento?" La pregunta se transforma en un vector y se utiliza para consultar la base de datos vectorial, que recupera la información pertinente en función del contexto de esa pregunta. Esa información contextual más la consulta original se introducen en el LLM, que genera una respuesta de texto basada tanto en su conocimiento generalizado (algo obsoleto) como en la información contextual, extremadamente oportuna.

Curiosamente, aunque el proceso de entrenamiento del LLM general lleva mucho tiempo y es costoso, este no es para nada el caso de las actualizaciones del modelo RAG. Los nuevos datos se pueden cargar en el modelo de lenguaje embebido y transformar en vectores de forma continua y gradual. De hecho, las respuestas de todo el sistema de IA generativa se pueden incorporar al modelo RAG para mejorar su rendimiento y precisión, porque, de este modo, sabe cómo ha respondido a una pregunta similar anteriormente.

Un beneficio adicional de la RAG es que al utilizar la base de datos vectorial, la IA generativa puede indicar cuál es la fuente de datos citada en su respuesta, algo que los LLM no pueden hacer. Por lo tanto, si el resultado de la IA generativa es inexacto, el documento que contiene esa información errónea se puede identificar y corregir rápidamente, y a continuación la información corregida se puede introducir en la base de datos vectorial.

En resumen, la RAG aporta pertinencia, contexto y precisión a la IA generativa, al ir más allá de lo que el LLM puede hacer.

Generación aumentada de recuperación frente a búsqueda semántica

La RAG no es la única técnica utilizada para mejorar la precisión de la IA generativa basada en LLM. Otra técnica es la búsqueda semántica, que ayuda al sistema de IA a entender el significado de una consulta mediante una comprensión profunda de las palabras y frases específicas de la pregunta.

La búsqueda tradicional se centra en las palabras clave. Por ejemplo, una consulta básica sobre las especies de árboles autóctonas de Francia podría buscar en la base de datos del sistema de IA utilizando "árboles" y "Francia" como palabras clave y conseguir datos que contengan ambas palabras clave, pero el sistema podría no comprender realmente el significado de los árboles en Francia y, por lo tanto, recuperar demasiada información, muy poca o incluso los datos incorrectos. Esa búsqueda basada en palabras clave también puede no recuperar toda la información porque es demasiado literal: los árboles autóctonos de Normandía podrían no incluirse, aunque estén en Francia, porque faltaba esa palabra clave.

La búsqueda semántica va más allá de la búsqueda por palabras clave al determinar el significado de las preguntas y los documentos de origen y usar ese significado para ofrecer resultados más precisos. La búsqueda semántica es una parte integral de la RAG.

Uso de la RAG en aplicaciones de chat

Cuando una persona desea una respuesta instantánea a una pregunta, resulta difícil superar la inmediatez y la facilidad de uso de un chatbot. La mayoría de los bots están entrenados para un número finito de intenciones, es decir, tareas o resultados deseados por el cliente, y responden a esas intenciones. Las funcionalidades de la RAG pueden mejorar los bots actuales al permitir que el sistema de IA proporcione respuestas en lenguaje natural a preguntas que no formen parte de la lista de intenciones.

El paradigma de "hacer una pregunta, obtener una respuesta" hace que los chatbots sean un caso de uso perfecto para la IA generativa, por muchas razones. A menudo, las preguntas requieren un contexto específico para generar una respuesta precisa, y dado que las expectativas de los usuarios de chatbots en cuanto a la pertinencia y la precisión a menudo son elevadas, queda clara la utilidad de las técnicas de RAG. De hecho, para muchas organizaciones, los chatbots pueden ser el punto de partida para el uso de la RAG y la IA generativa.

Para ofrecer una respuesta precisa a una pregunta, por lo general se requiere un contexto específico. Las respuestas a las consultas de los clientes sobre un producto recién lanzado, por ejemplo, no son útiles si los datos se refieren al modelo anterior. De hecho, hasta podrían ser engañosas. Y un excursionista que quiere saber si un parque está abierto este domingo espera información oportuna y precisa sobre ese parque concreto en esa fecha específica.

Beneficios de la generación aumentada de recuperación

Las técnicas de RAG se pueden utilizar para mejorar la calidad de las respuestas de un sistema de IA generativa a las consultas, más allá de lo que un LLM por sí solo puede ofrecer. Los beneficios son los siguientes:

• La RAG tiene acceso a información que puede ser más reciente que los datos utilizados para entrenar el LLM.
• Los datos del repositorio de conocimientos de la RAG se pueden actualizar continuamente sin incurrir en costes significativos.
• El repositorio de conocimientos de la RAG puede contener datos más contextuales que los datos de un LLM general.
• La fuente de la información de la base de datos vectorial de la RAG puede ser identificada. Y como se conoce el origen de los datos, se puede corregir o suprimir la información incorrecta de la RAG.

Retos de la generación aumentada de recuperación

Como la RAG es una tecnología relativamente nueva, lanzada en 2020, los desarrolladores de IA aún están aprendiendo a implementar mejor sus mecanismos de recuperación de información en la IA generativa. Estos son algunos de los desafíos clave:

• Mejorar el conocimiento y la comprensión de la RAG en las organizaciones, dada su novedad.
• Incremento de costes: pese a que la IA generativa con RAG es más cara de implementar que un LLM por sí solo, esta opción resulta menos onerosa que volver a entrenar el LLM frecuentemente.
• Determinar la mejor forma de modelar los datos estructurados y no estructurados de la biblioteca de conocimientos y la base de datos vectorial.
• Desarrollar los requisitos para que un proceso envíe datos de forma gradual al sistema RAG.
• Establecer procesos para gestionar los informes de imprecisiones y corregir o eliminar esas fuentes de información en el sistema RAG.