Las organizaciones actuales se enfrentan al reto de procesar grandes volúmenes de datos de audio, como llamadas de clientes, grabaciones de reuniones, podcasts y mensajes de voz, para extraer valiosos conocimientos. El Reconocimiento Automático de Habla (ASR) es un componente crucial en este proceso, convirtiendo el habla en texto para análisis posteriores. Sin embargo, aplicar ASR a gran escala implica un uso intensivo de recursos y es costoso. Aquí es donde interviene la inferencia asíncrona en Amazon SageMaker AI.
Con la implementación de modelos ASR de última generación, como los modelos Parakeet de NVIDIA en SageMaker AI con puntos finales asíncronos, se pueden manejar cargas de trabajo de audio de manera eficiente. La inferencia asíncrona permite procesar solicitudes prolongadas en segundo plano, facilitando la entrega de resultados a posteriori. Además, su capacidad de escalado automático se ajusta a cero cuando no hay trabajos activos, permitiendo gestionar picos de demanda sin interrumpir otras tareas.
La tecnología de inteligencia artificial de voz de NVIDIA combina modelos de alto rendimiento y soluciones de implementación eficaces. El modelo Parakeet ASR, en particular, ofrece capacidades de reconocimiento de voz avanzadas, alcanzando alta precisión con bajos índices de error. Su arquitectura cuenta con un codificador Fast Conformer, que proporciona un procesamiento 2.4 veces más rápido que los Conformers estándar, sin sacrificar exactitud.
El NIM de NVIDIA consiste en microservicios acelerados por GPU que permiten construir aplicaciones de AI de voz personalizables, con soporte para más de 36 idiomas. Estos modelos son ideales para servicios al cliente, centros de contacto, accesibilidad y flujos de trabajo empresariales globales.
La implementación de esta tecnología facilita una arquitectura integral de inferencia asíncrona, diseñada para cargas de trabajo de ASR y resúmenes. Los componentes clave incluyen la subida de archivos de audio a Amazon S3, el procesamiento de eventos mediante Amazon SNS, y el seguimiento del estado de trabajo en tiempo real con Amazon DynamoDB.
Este flujo de trabajo sigue un patrón impulsado por eventos, donde la subida de archivos de audio activa funciones de Lambda que analizan los metadatos y generan registros de invocación. Una vez transcrito el contenido, se envía a modelos de lenguaje de Amazon Bedrock para generar resúmenes, mientras el sistema maneja errores y puede reiniciar el procesamiento si es necesario.
Esta solución tiene aplicaciones prácticas en análisis de servicio al cliente, transcripción y resumen de reuniones, y generación de documentación legal y de cumplimiento normativo. La infraestructura de NVIDIA, combinada con los servicios de AWS, crea un sistema automatizado y escalable para el procesamiento de contenido de audio, permitiendo a las organizaciones centrarse en obtener valor empresarial y no en la gestión de la infraestructura.
