Amazon Bedrock ha lanzado una nueva funcionalidad de inferencia por lotes, diseñada para satisfacer la creciente demanda de procesamiento masivo en inteligencia artificial generativa. Las organizaciones que buscan alternativas más económicas al procesamiento en tiempo real ahora pueden recurrir a esta solución, que promete reducir costes hasta un 50% en comparación con opciones bajo demanda. Este avance convierte a Amazon Bedrock en una herramienta valiosa para tareas como el análisis de datos históricos y la summarización de textos a gran escala.

Junto con esta innovación, se han incorporado mejoras significativas en el soporte de modelos y en el rendimiento general del sistema. Entre los modelos añadidos se encuentran el Claude Sonnet 4 de Anthropic y modelos de OpenAI, que han demostrado un aumento en el rendimiento por lote respecto a versiones anteriores.

La plataforma ahora permite la administración y el monitoreo optimizado a través de Amazon CloudWatch, dando a los usuarios la capacidad de seguir el progreso de las tareas sin necesidad de desarrollar soluciones personalizadas. Esto asegura una visibilidad completa de los trabajos a nivel de cuenta AWS, lo que es crucial para empresas que gestionan grandes volúmenes de datos.

La inferencia por lotes está destinada a procesos no urgentes que toleran ciertos retrasos, como el enriquecimiento de bases de conocimiento a gran escala y comprobaciones de cumplimiento normativo sobre contenido sensible. Para facilitar el lanzamiento de estos trabajos, los usuarios disponen de la Consola de Administración de AWS, SDKs de AWS y la interfaz de línea de comandos de AWS (CLI).

Amazon Bedrock también ha comenzado a publicar automáticamente métricas en el espacio de nombres AWS/Bedrock/Batch, proporcionando información valiosa sobre el rendimiento y el tamaño del backlog, entre otros aspectos. Se recomienda a los usuarios adoptar un enfoque proactivo, monitoreando cuidadosamente costos y rendimiento, y configurando alertas automáticas para optimizar el uso de recursos.

Con estos avances, Amazon Bedrock no solo mejora la eficiencia de la inferencia por lotes sino que también dota a las organizaciones de herramientas poderosas para maximizar el valor de sus cargas de trabajo en inteligencia artificial. Las empresas están invitadas a implementar estas soluciones para obtener el máximo provecho de sus capacidades.