En los últimos años, los modelos de fundación y los modelos de lenguaje de gran tamaño han visto un rápido crecimiento en su número de parámetros, llevando a significativos avances en la comprensión del lenguaje y las capacidades generativas. Sin embargo, este progreso ha venido con costos elevados, demandando grandes capacidades de memoria, GPUs de alto rendimiento y un consumo energético considerable. Esta tendencia es especialmente notable en el ámbito del código abierto, donde se han lanzado modelos cada vez más grandes. En 2023, TII-UAE presentó Falcon 180B, el modelo de código abierto más grande de su tiempo, seguido por Meta en 2024 con Llama 3.1, un modelo de 405 mil millones de parámetros. Para 2025, el modelo público más grande es DeepSeek (V3), con 671 mil millones de parámetros.
Aunque estos modelos ofrecen un desempeño sobresaliente en diversas tareas, su implementación en aplicaciones reales sigue siendo difícil debido a su tamaño y requisitos de infraestructura. Por ejemplo, operar DeepSeek-V3 en modo base requiere 1128 GB de memoria GPU, aunque su versión cuantificada puede ejecutarse en instancias más pequeñas, ofreciendo ventajas económicas y operativas significativas.
La cuantización posterior al entrenamiento surge como una alternativa práctica, convirtiendo pesos y activaciones en enteros de menor precisión, lo que reduce el tamaño del modelo entre dos y ocho veces, minimizando la demanda de memoria y acelerando operaciones en matrices sin reentrenar el modelo. Esto es vital para implementar eficientemente modelos de lenguaje que superan los 100 mil millones de parámetros, un desafío técnico considerable.
El avance en modelos cuantizados ha sido favorecido por la comunidad de desarrolladores, que ha optimizado modelos de lenguaje para lograr inferencias eficientes. Estos modelos se pueden desplegar en plataformas como Amazon SageMaker AI, que ofrece servicios gestionados para modelos de machine learning y deep learning.
Las técnicas de cuantización, como la cuantización consciente de activaciones (AWQ) y la cuantización de transformadores generativos preentrenados (GPTQ), han demostrado ser eficaces en reducir requisitos de recursos, manteniendo la mayoría del desempeño original del modelo. Esto facilita usar grandes modelos en hardware con recursos limitados, disminuyendo tanto el impacto financiero como ambiental.
Con el crecimiento continuo de los modelos de lenguaje y sus aplicaciones, las técnicas de cuantización se perfilan como un enfoque esencial para equilibrar rendimiento y limitaciones de infraestructura. Se ofrece así un camino hacia la implementación eficiente y rentable de la inteligencia artificial, que facilita a las organizaciones avanzar desde el desarrollo hasta la producción en el dinámico campo de la inteligencia artificial.
