Nico Finelli, miembro fundador de Vellum, ha arrojado luz sobre el complejo mundo de la inteligencia artificial (IA), destacando la importancia de crear agentes de IA que generen verdadero valor. Con una sólida experiencia en aprendizaje automático y modelos de lenguaje, Finelli ha trabajado con empresas de Fortune 500 y ahora se dedica a guiar a otras organizaciones en la transición de la experimentación a la implementación efectiva.
Una reciente encuesta, que incluyó a más de 1,200 desarrolladores de IA, reveló que solo el 25% de los encuestados está utilizando sus iniciativas de IA en producción. Pese a la considerable atención mediática que recibe la IA generativa, muchas organizaciones enfrentan serios desafíos durante las pruebas. Uno de los problemas más prominentes es el de las «alucinaciones» en los modelos de IA, un obstáculo que el 57% de los encuestados identifica como principal.
Finelli subraya la importancia de la evaluación en el éxito de los sistemas de IA. Señala que muchos equipos afectados por alucinaciones dependen de pruebas manuales y retroalimentación de usuarios, lo cual refleja una falta de procesos de evaluación robustos. La ausencia de tuberías de pruebas automatizadas complejiza la resolución de estos problemas, especialmente debido a la especificidad de las aplicaciones de IA.
Las empresas que consiguen implementar IA en producción suelen mantener un enfoque disciplinado desde el principio. En lugar de seguir modas tecnológicas, se centran en desarrollar casos de uso claros y en integrar retroalimentación constante de desarrolladores y expertos. Esto les permite iterar rápidamente. Aproximadamente el 65-70% de los clientes de Vellum tienen IA en producción, gracias a su capacidad de ajuste rápido y evaluación continua.
En esencia, el éxito en la implementación de agentes de IA reside no solo en la tecnología, sino en la estructura y enfoque durante su desarrollo. Una evaluación efectiva es crucial para transformar la IA de un simple concepto a una herramienta empresarial valiosa y sostenible.
