Amazon ha dado un nuevo paso en la optimización de aplicaciones de inteligencia artificial con el lanzamiento oficial de su herramienta Amazon Bedrock Intelligent Prompt Routing. Esta innovación, que se encontraba en fase de prueba desde diciembre pasado, está diseñada para mejorar la eficiencia en el manejo de solicitudes y respuestas de modelos de lenguaje de gran escala.

La herramienta permite el enrutamiento inteligente de solicitudes a través de diversos modelos dentro de la misma familia, maximizando tanto el costo como la calidad de las respuestas. Esta capacidad dinámica de predecir la calidad de respuesta de diferentes modelos a una solicitud específica, y redirigirla al modelo más adecuado en términos de costo y precisión, representa un avance significativo para quienes trabajan con aplicaciones de inteligencia artificial generativa.

Desde su versión en vista previa, Amazon ha realizado mejoras sustanciales, incorporando retroalimentación de los usuarios y realizando exhaustivas pruebas internas. Con esta versión general, los usuarios tienen la opción de utilizar enrutadores predeterminados de Amazon Bedrock o crear configuraciones personalizadas para ajustar el rendimiento según sus necesidades. Los enrutadores predeterminados ofrecen soluciones listas para implementar, requiriendo una configuración mínima, lo cual simplifica el proceso de implementación para las empresas.

La disponibilidad se ha ampliado a una gama más amplia de modelos, incluyendo las familias de modelos Nova, Anthropic y Meta, con nombres destacados como Claude y Llama. Además, en esta nueva etapa, los usuarios pueden personalizar aún más su configuración seleccionando cuáles modelos utilizar y cómo enrutarlos.

Significativos avances se han logrado en la reducción del tiempo de respuesta, disminuyendo la sobrecarga de los componentes añadidos a las solicitudes en más del 20%. Esto ha permitido alcanzar un rendimiento de aproximadamente 85 milisegundos en el percentil 90, traduciéndose en una disminución notable de la latencia y los costos. Se prioriza así el uso de modelos más económicos sin comprometer la precisión de las tareas.

Los resultados de pruebas internas han demostrado métricas alentadoras en cuanto al rendimiento del sistema de enrutamiento bajo restricciones de costos. Comparado con el uso de modelos más costosos, Amazon Bedrock Intelligent Prompt Routing ha demostrado ahorros significativos, alcanzando hasta un 60% en ciertas configuraciones de modelos.

Se recomienda a los usuarios potenciales realizar pruebas en sus casos específicos para evaluar los beneficios, ya que la efectividad puede variar en función de la tarea y la elección de modelos. A través de AWS, Amazon ha puesto a disposición recursos y guías para facilitar la configuración y el uso de esta herramienta, invitando a desarrolladores y empresas a explotar al máximo esta innovación en sus aplicaciones de inteligencia artificial generativa.