Amazon ha presentado recientemente dos nuevas plantillas de interfaz de usuario para los clientes de SageMaker AI, denominadas Text Ranking y Question and Answer. Estas herramientas innovadoras están diseñadas para mejorar significativamente la calidad de los modelos de lenguaje al proporcionar retroalimentación estructurada y específica de los usuarios.

La plantilla Text Ranking permite a los anotadores humanos clasificar múltiples respuestas generadas por un modelo de lenguaje grande (LLM) basándose en criterios personalizados, como la relevancia, claridad o precisión factual. Este proceso es fundamental para afinar los modelos mediante Reinforcement Learning from Human Feedback (RLHF), mejorando así la alineación de las respuestas del modelo con las expectativas humanas.

Por otro lado, la plantilla Question and Answer facilita la creación de pares de preguntas y respuestas de alta calidad a partir de textos proporcionados. Estos pares actúan como datos de demostración esenciales para el Supervised Fine-Tuning (SFT), enseñando al modelo a responder con precisión a entradas similares futuras.

Los usuarios que deseen configurar estas plantillas deben acceder a la consola de SageMaker AI, donde encontrarán una nueva categoría de Generative AI bajo el tipo de tarea. Desde allí, pueden iniciar trabajos de etiquetado especificando la ubicación del manifiesto de entrada y la ruta de salida deseada.

Para utilizar la plantilla Text Ranking, se requiere un archivo JSON que detalle el contenido a clasificar, permitiendo así una evaluación estructurada. Las respuestas anotadas se almacenan en un bucket de S3 determinado por el usuario, lo que facilita la evaluación continua del modelo.

La plantilla Question and Answer, a su vez, habilita a los anotadores para generar preguntas y respuestas relevantes a partir de pasajes de texto. Este método es compatible con un formato flexible y cuenta con una función de coincidencia codificada por colores que ayuda a los anotadores a identificar rápidamente las secciones pertinentes del texto.

Además de estas herramientas gráficas, Amazon ofrece una API de Creación de Trabajos de Etiquetado, que permite a los usuarios configurar trabajos de clasificación de manera programática. Esto ofrece una mayor flexibilidad y la posibilidad de integrarse en flujos de trabajo existentes.

Con estas nuevas funcionalidades, Amazon SageMaker AI busca empoderar a los usuarios, permitiéndoles generar conjuntos de datos de alta calidad de manera más eficiente. De este modo, se facilita el entrenamiento y la evaluación de modelos de lenguaje que puedan alinearse mejor con las necesidades y preferencias humanas.