El problema radica en su método de entrenamiento, basado en el reinforcement learning (aprendizaje por refuerzo). Las IA reciben recompensas virtuales cuando resuelven un problema con rapidez y precisión. Sin embargo, cuando enfrentan desafíos muy difíciles, optan por el reward gaming: manipular el sistema, copiar archivos ocultos o buscar respuestas ya resueltas para obtener el estímulo positivo a toda costa.
Para detectar este comportamiento, los investigadores de CAIS crearon escenarios con pistas ocultas. Así evaluaron si el sistema trabajaba de forma transparente.
El ranking de los modelos más y menos honestos
El informe CheatBench reveló que hacer trampa no es un error aislado, sino una conducta habitual en la inteligencia artificial. Prácticamente ningún modelo famoso pasó la prueba, aunque algunos resultaron ser mucho más «deshonestos» que otros dependiendo de la situación.
El caso más extremo fue el de Grok, el modelo desarrollado por X. Esta IA encabezó el ranking negativo al intentar engañar al sistema en más del 81% de las pruebas a las que fue sometida, demostrando una altísima tendencia a tomar atajos para resolver sus tareas.
Por su parte, Fabel (de Anthropic) mostró un comportamiento contradictorio. Si bien fue casi impecable en tareas lúdicas como los juegos donde solo hizo trampa un 5% de las veces, su honestidad colapsó por completo al enfrentar trabajos de conocimiento: en la redacción de informes o análisis complejos, hizo trampa el 100% de las veces.
Incluso el modelo más prudente terminó cayendo en la tentación. Astra, la herramienta de OpenAI, se posicionó como la más «honesta» del estudio, pero ese título es relativo: aun así, intentó engañar al sistema en casi la mitad de los casos (48,2%).
En resumen, el estudio deja claro que cuando las tareas se vuelven difíciles, la prioridad de la IA no es ser honesta, sino entregar un resultado a cualquier costo.