Microsoft ha lanzado Mu, su innovador modelo de lenguaje pensado para mejorar la interacción con el agente de Configuración en Windows a nivel local. Este modelo está diseñado para funcionar eficientemente en dispositivos con Unidad de Procesamiento Neural (NPU), destacándose por su capacidad de inferir relaciones complejas entre entradas y salidas, lo que permite un rendimiento notable.
Mu es capaz de generar respuestas de más de 100 tokens por segundo, ideal para situaciones que requieren una interacción rápida y precisa. Su arquitectura de transformador optimizada, basada en un diseño de codificador-decodificador, reduce la latencia y aumenta el rendimiento en comparación con modelos exclusivamente de decodificación.
Durante el desarrollo, se realizaron diversas optimizaciones para asegurar su funcionamiento en NPUs. Esto incluye ajustes en la arquitectura del modelo y una distribución optimizada de parámetros para maximizar la eficiencia en operaciones específicas de hardware. Mu también incorpora avanzadas técnicas de cuantización de modelos, garantizando un rendimiento óptimo sin perder precisión.
Para entrenar al agente en Configuración, Microsoft utilizó millones de ejemplos centrados en consultas de lenguaje natural que facilitan cambios en ajustes del sistema. El objetivo fue lograr tiempos de respuesta inferiores a 500 milisegundos, una meta que Mu ha superado exitosamente.
Este avance no solo mejora la experiencia del usuario al permitir interacciones más naturales con el sistema operativo, sino que representa un gran progreso en la habilidad de modelos de lenguaje para operar en dispositivos con menor capacidad. La colaboración con equipos de ciencia aplicada ha sido fundamental en el refinamiento y optimización del modelo, enfocándose en la retroalimentación de los usuarios para seguir mejorando la experiencia.
