Las organizaciones están aprovechando cada vez más las capacidades de la inteligencia artificial generativa en sus aplicaciones, con el fin de mejorar la experiencia del cliente, optimizar operaciones y fomentar la innovación. Sin embargo, con el crecimiento de las cargas de trabajo de IA generativa, las empresas enfrentan nuevos retos para mantener un rendimiento, fiabilidad y disponibilidad coherentes. Los clientes buscan escalar sus cargas de trabajo de inferencia de IA en múltiples regiones de AWS para asegurar esa consistencia.
Para responder a esta necesidad, Amazon Bedrock ha introducido la inferencia cruzada entre regiones (CRIS, por sus siglas en inglés). Esta función gestiona automáticamente la redirección de las solicitudes de inferencia a través de múltiples regiones, permitiendo a las aplicaciones manejar picos de tráfico con facilidad y alcanzar un mayor rendimiento, eliminando la necesidad de que los desarrolladores anticipen fluctuaciones en la demanda. La CRIS opera a través de “perfiles de inferencia” que definen un modelo base y las regiones a las que las solicitudes pueden ser dirigidas.
Recientemente, se ha anunciado la disponibilidad de la inferencia cruzada global con Claude Sonnet 4.5 de Anthropic en Amazon Bedrock. Esta nueva funcionalidad permite optar entre un perfil de inferencia específico de una geografía o un perfil global. Esto brinda mayor flexibilidad a las organizaciones, ya que Amazon Bedrock selecciona automáticamente la región óptima dentro de la geografía seleccionada para procesar la solicitud, mejorando la eficiencia y el rendimiento del modelo durante picos de uso inesperados.
La inferencia cruzada global ayuda a gestionar ráfagas de tráfico imprevistas usando recursos computacionales en distintas regiones. El sistema emplea un mecanismo inteligente de enrutamiento que considera factores como la disponibilidad del modelo, la capacidad y la latencia para dirigir las solicitudes a la región más adecuada.
Además, al utilizar esta inferencia, Amazon CloudWatch y AWS CloudTrail siguen registrando entradas de registro en la región de origen, lo que simplifica el monitoreo y la gestión centralizada del rendimiento. La seguridad de los datos sigue siendo alta, con cifrado incluido durante el proceso de inferencia, garantizando la protección de la información sensible.
Para implementar la inferencia cruzada global con Claude Sonnet 4.5, los desarrolladores deben especificar el ID del perfil de inferencia global al realizar llamadas API a Amazon Bedrock y configurar permisos adecuados mediante AWS Identity and Access Management.
Esta capacidad no solo optimiza el rendimiento y fiabilidad de las aplicaciones de IA, sino que también mejora la eficiencia de costos, con un ahorro aproximado del 10% en precios de tokens de entrada y salida en comparación con la inferencia cruzada geográfica tradicional. Esto permite a las empresas maximizar su inversión en Amazon Bedrock, utilizando los recursos de manera más eficiente y sin costos adicionales.
Con la evolución de la inferencia cruzada global, las organizaciones que implementen esta capacidad podrán experimentar mejoras significativas en sus aplicaciones de IA, manejando mejor cargas de trabajo voluminosas y escenarios de recuperación ante desastres de manera innovadora y efectiva.
