Recientemente, ha surgido un sorprendente dato que involucra a los sistemas de Generación Aumentada por Recuperación (RAG): se estima que hasta el 70% de estos fracasará al ser implementado en entornos de producción. A pesar de su aparente eficacia en demostraciones y pruebas, enfrentan una serie de desafíos que complican su funcionamiento real.
Shubham Maurya, un experimentado científico de datos de Mastercard, ha compartido su visión, basada en más de ocho años dedicados a la inteligencia artificial. Según Maurya, estos sistemas, que inicialmente parecen prometedores, pueden fallar al intentar cumplir sus funciones cotidianas.
Los sistemas RAG funcionan recuperando información de bases de datos, integrando esa información con modelos de lenguaje y generando respuestas precisas. Sin embargo, Maurya plantea una inquietud clave: ¿por qué no utilizar simplemente modelos de lenguaje avanzados como GPT-5? La razón es la naturaleza cambiante de los datos, lo que puede dejar obsoletos a los modelos preentrenados. Además, el conocimiento específico de cada dominio requiere información interna que los modelos generales pueden no tener.
Existen cuatro principales desafíos que pueden afectar a los sistemas RAG:
1. Desviación del conocimiento: los cambios en los datos pueden causar inconsistencias si el sistema no se actualiza.
2. Decaimiento de la recuperación: un aumento en la cantidad de documentos puede saturar el sistema.
3. Fragmentos irrelevantes: el exceso de información puede complicar las respuestas que ofrece el sistema.
4. Brechas de evaluación: la falta de retroalimentación puede resultar en un desempeño ineficaz.
A pesar de estos obstáculos, Maurya ofrece soluciones. Se recomienda utilizar una búsqueda híbrida que combine diferentes estrategias, como el enfoque basado en grafos para gestionar múltiples tablas interconectadas. Esto permite que los sistemas se adapten mejor a los cambios y optimicen su rendimiento.
La automatización es otro recurso valioso, ya que facilita el seguimiento de los cambios, permitiendo que los sistemas RAG se actualicen dinámicamente. Gracias a un ciclo de retroalimentación continua, estos sistemas pueden mejorar su eficacia y adaptarse al entorno de datos siempre cambiante.
El futuro de los sistemas RAG es prometedor, con avances que prometen integrar datos complejos de manera más eficaz. Según Maurya, lo crucial es entender los desafíos y aplicar soluciones efectivas para construir sistemas robustos que funcionen de manera fiable en producción.
