Investigadores de Microsoft, USC y UC Davis han presentado un innovador enfoque en el campo de la inteligencia artificial, denominado BeMyEyes, que permite a modelos de lenguaje textuales, como GPT-4 y DeepSeek-R1, realizar tareas visuales sin necesidad de un costoso reentrenamiento. Este sistema conecta modelos visuales pequeños a poderosos modelos de lenguaje a través de una conversación natural, similar a describir una imagen por teléfono. El modelo visual examina imágenes y proporciona descripciones que el modelo de lenguaje utiliza para razonar y resolver problemas complejos.
Los resultados de este método son sorprendentes: al equipar a DeepSeek-R1 con un modelo visual de apenas 7 mil millones de parámetros, los investigadores superaron a GPT-4o, el sistema multimodal de última generación de OpenAI, en diversos puntos de referencia desafiantes. Este descubrimiento desafía la creencia de que se necesitan modelos multimodales enormes para obtener buenos resultados en tareas que combinan visión y lenguaje.
BeMyEyes opta por la colaboración entre agentes especializados. Un agente que percibe, es decir, el modelo visual pequeño, extrae información visual y la describe. En cambio, el agente que razona, el modelo de lenguaje potente, interpreta estas descripciones y aplica un razonamiento sofisticado para resolver tareas.
Este enfoque modular ofrece varias ventajas: mayor eficiencia de costos, ya que solo es necesario ajustar pequeños modelos visuales para nuevas tareas. Además, permite flexibilidad al incorporar nuevos modelos de lenguaje sin necesidad de reentrenarlos extensamente. El sistema facilita cambios hacia dominios especializados, como la imagenología médica, simplemente sustituyendo el modelo de percepción.
El éxito de BeMyEyes también se atribuye a la capacidad de los modelos para interactuar mediante conversaciones múltiples, permitiendo preguntas de seguimiento y aclaraciones, lo que mejora significativamente la calidad de las respuestas y el desempeño general del sistema. Los investigadores han implementado un entrenamiento que utiliza GPT-4o para generar diálogos sintéticos entre modelos, facilitando la colaboración y la comunicación.
Estos hallazgos tienen implicaciones profundas en el desarrollo de la inteligencia artificial. BeMyEyes demuestra que un equipo bien coordinado de modelos especializados puede superar a los sistemas monolíticos, sugiriendo que construir modelos más grandes no siempre es la solución más efectiva. Este marco representa una oportunidad para que la comunidad de código abierto acceda a capacidades multimodales avanzadas sin los significativos recursos que requieren los modelos a gran escala.
A medida que se desarrollen nuevos modelos de lenguaje, estos podrán adquirir capacidades multimodales de forma rápida y efectiva a través de marcos como BeMyEyes, sugiriendo un futuro donde la inteligencia artificial opere como una sinfonía de modelos especializados. Este enfoque plantea que, a veces, la mejor solución es enseñar a las herramientas a trabajar en conjunto en lugar de construir un modelo más grande.
