A medida que las empresas expanden sus usos de la inteligencia artificial generativa, el reto de encontrar un equilibrio entre calidad, costos y latencia se torna más complicado. Los gastos de inferencia constituyen entre el 70% y el 90% de los costos operativos para los modelos de lenguaje grande, y las estrategias detalladas pueden aumentar el volumen de tokens hasta cinco veces, presionando a las organizaciones a buscar formas más eficientes de interactuar con estos modelos. Aunque los métodos tradicionales son efectivos, generan un procesamiento excesivo que impacta los costos y tiempos de respuesta.
La técnica «Chain-of-Draft» (CoD) surge como una solución innovadora, según un estudio de Zoom AI. CoD transforma la manera en que los modelos abordan el razonamiento al optar por pasos de pensamiento más concisos, imitando los patrones de resolución humana en lugar de explicaciones largas. Utilizando Amazon Bedrock y AWS Lambda, se ha demostrado que CoD puede reducir el uso de tokens hasta un 75% y disminuir la latencia en más del 78%, manteniendo la precisión de los métodos tradicionales.
El enfoque CoD se inspira en la idea de que muchas cadenas de razonamiento son redundantes. Al simplificar los pasos al núcleo semántico, permite al modelo enfocarse en la estructura lógica y no en la fluidez del lenguaje, resultando en una menor latencia por inferencias más breves y una notable reducción de gastos.
Sin embargo, CoD no es adecuado para todos los casos. En contextos donde se necesita alta interpretabilidad, como en la revisión de documentos legales o médicos, es esencial un razonamiento detallado. Además, los modelos más pequeños no ven tantos beneficios con CoD comparado con CoT.
En resumen, CoD representa una técnica prometedora para las organizaciones que desean optimizar la inteligencia artificial generativa, reduciendo costos y mejorando tiempos de respuesta, sin sacrificar el razonamiento. Conforme avanza la inteligencia artificial, esta técnica marca un significativo avance hacia modelos de lenguaje más eficientes y eficaces.
