Salesforce y Amazon Web Services (AWS) han revelado una colaboración destinada a optimizar la implementación de modelos de inteligencia artificial, específicamente los modelos de lenguaje de gran tamaño. El equipo de Model Serving de la plataforma de inteligencia artificial de Salesforce se dedica a desarrollar y gestionar servicios para estos modelos, proporcionando una infraestructura sólida que facilite la integración de algoritmos de aprendizaje automático en aplicaciones críticas.
Uno de los principales desafíos para el equipo es el despliegue eficiente de estos modelos, asegurando un rendimiento óptimo y una gestión de costos efectiva. Este reto es aún más complejo frente a la diversidad en tamaños y requisitos de rendimiento, que oscilan entre unos pocos gigabytes y 30 GB.
Salesforce ha enfrentado dos retos principales: los modelos más grandes muestran un uso subóptimo de instancias de múltiples GPUs debido a su menor utilización de recursos, mientras que los modelos de tamaño intermedio exigen un procesamiento rápido, resultando en mayores costos por sobreasignación de recursos.
Para superar estos desafíos, Salesforce ha implementado componentes de inferencia de Amazon SageMaker, que facilitan el uso de múltiples modelos base en un único endpoint de SageMaker. Esto permite un control detallado sobre los aceleradores y la memoria asignada a cada modelo, mejorando la utilización de recursos y reduciendo los costos de implementación.
La aplicación de estos componentes de inferencia trae varios beneficios, como la optimización del uso de GPUs y la capacidad de escalar modelos según las necesidades de cada aplicación. Esta estrategia no solo resuelve problemas inmediatos de implementación, sino que también ofrece una base dinámica para el desarrollo continuo de las iniciativas de inteligencia artificial de Salesforce.
Gracias a estas soluciones, Salesforce puede disminuir significativamente los costos de infraestructura y mejorar la eficiencia operativa, logrando ahorros de hasta un 80% en costos de despliegue. Además, optimiza el rendimiento para modelos más pequeños con GPUs de alto rendimiento, garantizando un bajo tiempo de latencia sin costos adicionales elevados.
Mirando hacia el futuro, Salesforce planea utilizar actualizaciones continuas de los componentes de inferencia para mantener sus modelos actualizados de manera eficiente. Esto minimiza la carga operativa y potencia la integración de futuras innovaciones en su plataforma de inteligencia artificial. Con esta estrategia, la compañía está bien posicionada para seguir creciendo mientras mantiene altos estándares de eficiencia y efectividad en costos.
