AWS ha lanzado recientemente AppSync Events, una herramienta que transforma la manera en que se manejan las APIs Websocket, proporcionando mayor seguridad y escalabilidad. Esta innovación permite la transmisión de eventos en tiempo real a un gran número de suscriptores, asegurando una latencia mínima en la comunicación desde modelos de inteligencia artificial generativa hacia los usuarios finales. Con esta implementación, la experiencia de usuario en aplicaciones de IA promete ser casi instantánea en sus respuestas.
En un artículo reciente, AWS expuso cómo AppSync Events puede servir como base para desarrollar una arquitectura de gateway de IA sin servidor. La funcionalidad es compatible con múltiples servicios de AWS, proporcionando una amplia gama de capacidades para arquitecturas de gateway de IA. Para facilitar este proceso, AWS ha compartido código de ejemplo que facilita a los desarrolladores la implementación en sus cuentas.
El concepto de AI Gateway es fundamental, sirviendo como un patrón arquitectónico que mejora la disponibilidad, seguridad y visibilidad de los grandes modelos de lenguaje (LLMs). Esta arquitectura está diseñada para satisfacer las diversas necesidades de una organización: ofrecer respuestas rápidas a los usuarios, proporcionar flexibilidad a los desarrolladores, asegurar gobernanza al personal de seguridad y ofrecer soluciones de monitoreo al equipo de ingeniería de sistemas.
Entre las capacidades del AI Gateway se encuentran la autenticación y autorización mediante Amazon Cognito, acceso a APIs con baja latencia, gestión de autorizaciones, limitación de tasa y medición del tráfico de bots. También permite acceso a diferentes modelos de IA y ofrece herramientas para registrar y analizar el comportamiento de la aplicación. A través de un monitoreo efectivo, facilita al personal reaccionar rápidamente ante eventos importantes.
La arquitectura destaca la importancia de los canales de comunicación seguros entre usuarios y modelos LLM, implementados mediante la utilización de nombres de espacio en AppSync Events. Solo los usuarios autorizados pueden acceder a sus canales mediante funciones Lambda que validan las autorizaciones.
Asimismo, se subraya el control sobre la limitación de tasa y el uso de tokens, un aspecto crucial para las empresas que utilizan IA generativa. Amazon DynamoDB integra contadores atómicos que supervisan el consumo de tokens para prevenir que los usuarios excedan sus límites predefinidos.
Además, AWS ofrece una solución de análisis de datos mediante Amazon Firehose, S3 y Amazon Athena, permitiendo a los desarrolladores extraer información valiosa y transformar datos en tablas estructuradas y consultables.
Con AppSync Events, AWS impulsa el desarrollo de soluciones AI Gateway más eficientes, transparentes y controladas, adaptándose así a las necesidades crecientes de empresas que desean emplear inteligencia artificial de manera segura y efectiva. Esta innovación representa un avance significativo en el alineamiento de la tecnología con las demandas empresariales modernas.
