Un estudio reciente, realizado por investigadores de las universidades de Saarland y Durham, ha revelado un aspecto preocupante sobre la seguridad de la inteligencia artificial (IA) en la provisión de consejos financieros y de salud. Aunque las empresas tecnológicas se esfuerzan por evitar el uso malicioso de sus modelos, a menudo pasan por alto los riesgos asociados con el asesoramiento genérico que ofrecen, especialmente en contextos de vulnerabilidad.

Las evaluaciones de seguridad actuales en IA funcionan de manera uniforme, semejantes a un chequeo médico estándar. Estos controles verifican la resistencia del modelo a ataques o a la generación de contenido inapropiado, pero suelen ignorar cómo los consejos pueden perjudicar a personas dependiendo de su situación particular. El estudio descubrió que cuando se tiene en cuenta el contexto del usuario, la percepción de seguridad del asesoramiento se reduce drásticamente.

Un ejemplo crítico es el caso de consejos sobre manejo de peso proporcionados a un joven en recuperación de anorexia, lo que podría desencadenar una recaída. La falta de consideración del contexto puede convertir recomendaciones aparentemente válidas en dañinas, especialmente para aquellos que enfrentan desafíos específicos.

Los investigadores evaluaron varios modelos de IA con preguntas de salud y finanzas de foros populares. Los consejos eran eficaces para personas con baja vulnerabilidad, pero los riesgos se incrementaban para aquellos más vulnerables. Un caso destacado fue el de un padre soltero con bajos ingresos y deudas, quien recibió un consejo de inversión que le ocasionó pérdidas económicas debido a las elevadas tasas de interés.

Además, incluso cuando los usuarios proporcionaron más contexto en sus preguntas, los resultados no mejoraron lo suficiente, lo que subraya que cambiar la formulación de las preguntas no es suficiente para abordar el problema subyacente.

Este hallazgo sugiere la necesidad de un enfoque denominado «Seguridad del Bienestar del Usuario», que prioriza minimizar el daño basado en las circunstancias individuales. Es probable que este enfoque adquiera importancia a medida que se implementen nuevas regulaciones en la UE respecto a los costos potenciales para el bienestar personal.

A medida que crece el uso de la IA para ofrecer consejos, la creación de marcos de evaluación adaptados a situaciones reales es cada vez más urgente. Aunque los modelos puedan parecer seguros, el verdadero desafío radica en las consecuencias que tienen para aquellos más necesitados, por lo que es crucial que desarrolladores y reguladores prioricen medidas que realmente importan.