Amazon ha comunicado avances significativos en el rendimiento de Amazon Bedrock, destacando las mejoras en su función de Importación de Modelos Personalizados. Estas optimizaciones prometen reducir notablemente la latencia, acelerar los tiempos de generación de tokens y mejorar el rendimiento mediante técnicas avanzadas de compilación de PyTorch y gráficos CUDA. Ahora, los usuarios pueden desplegar sus propios modelos a gran escala de manera más eficiente.
Una innovación importante es la caché de artefactos de compilación, que minimiza los retrasos iniciales al arrancar un modelo, manteniendo las métricas de rendimiento esperadas. Esto significa que, aunque haya una pequeña demora al iniciar un modelo por primera vez, las instancias siguientes se inician rápidamente al reutilizar artefactos precompilados.
El motor de inferencia, clave en este proceso, almacena estos artefactos evitando cálculos repetidos. Genera gráficos computacionales optimizados y configuraciones de kernel reutilizables, asegurando un ajuste preciso a cada instancia del modelo gracias a identificadores únicos basados en parámetros de configuración.
Pruebas realizadas demuestran que estas optimizaciones mejoran métricas como el tiempo al primer token (TTFT), la latencia general (E2E) y el rendimiento de tokens por segundo (OTPS), especialmente en el rango de 1 a 32 solicitudes concurrentes. Modelos como el Granite 20B y el Llama 3.1 han mostrado mejoras significativas en eficiencia, proporcionando respuestas más rápidas y fluidas.
Estos beneficios de rendimiento se mantienen consistentes incluso bajo diferentes condiciones de carga, lo cual es esencial para aplicaciones como chatbots y generadores de contenido de IA que requieren escalabilidad sin incrementar la infraestructura.
En conclusión, las actualizaciones en Amazon Bedrock no solo mejoran la experiencia del usuario, sino que también optimizan la infraestructura, adaptándose a las demandas del mercado sin perder calidad en el servicio. Usuarios actuales y nuevos experimentarán estas mejoras desde su primer uso. AWS machine learning blog.
