Amazon ha anunciado una nueva herramienta en su plataforma tecnológica Amazon SageMaker HyperPod, enfocándose en la gobernanza de tareas para optimizar la eficiencia en el entrenamiento de inteligencia artificial (IA) y reducir la latencia en redes. Esta funcionalidad permite una mejor asignación de recursos computacionales en los clústeres de Amazon Elastic Kubernetes Service (EKS), promoviendo un uso más efectivo entre distintos equipos y proyectos.
Con la nueva función, los administradores pueden gestionar la asignación de computación y establecer políticas de prioridad de tareas. Esto resulta en una mayor utilización de recursos, permitiendo que las organizaciones centren sus esfuerzos en acelerar la innovación de IA generativa y reduzcan el tiempo de comercialización, evitando complicaciones en la gestión de recursos.
Las aplicaciones de IA generativa requieren una intensa comunicación entre instancias de Amazon Elastic Compute Cloud (EC2). La disposición física de las instancias en la infraestructura del centro de datos puede impactar en la latencia de estas comunicaciones. Organizar los datos en unidades jerárquicas optimiza el tiempo de procesamiento, ya que las instancias en la misma unidad experimentan tiempos de respuesta más eficientes.
Para mejorar la colocación de cargas de trabajo de IA en clústeres SageMaker HyperPod, se puede utilizar información de topología de EC2 en la presentación de trabajos. Esta información ayuda a minimizar los saltos en la red y a mejorar la eficiencia en el entrenamiento, optimizando la colocación de las cargas de trabajo.
Con la programación consciente de la topología, SageMaker HyperPod mejora la comunicación en la red y gestiona tareas de manera más eficaz. Utiliza etiquetas de topología de red para programar trabajos que optimicen tanto la comunicación como el uso de recursos para las cargas de trabajo de IA generativa.
Los científicos de datos responsables de entrenar y desplegar modelos en instancias computacionales aceleradas deben confirmar la información topológica de los nodos en el clúster y ejecutar scripts que identifiquen qué instancias comparten la misma red, permitiendo así mayor visibilidad y control sobre las instancias de entrenamiento.
Para implementar esta programación, se requiere un clúster EKS y un clúster SageMaker HyperPod con instancias habilitadas para información de topología. Es posible visualizar esta información mediante comandos específicos.
SageMaker HyperPod ofrece métodos para programar tareas utilizando la conciencia de la topología, como la modificación de archivos de manifiesto de Kubernetes o el uso de la interfaz de línea de comandos de SageMaker HyperPod.
Esta nueva funcionalidad representa una innovación notable para mejorar la eficiencia en el entrenamiento de IA, disminuyendo la latencia de comunicación y optimizando los recursos, transformando así la gestión de cargas de trabajo de IA generativa. Se invita a los usuarios a probar esta solución y compartir sus experiencias.
