Adulación: por qué los modelos generativos tienden a complacer al usuario

Hay una sensación que muchas personas, tras unos meses de uso intensivo de un chatbot con IA, han experimentado y no saben muy bien cómo nombrar. La sensación de que el modelo, digas lo que digas, te da la razón. Que todas tus ideas son «geniales». Que todas tus preguntas son «muy interesantes». Que tu proyecto, incluso cuando lo describes mal, merece un aplauso antes que un consejo.

Esa sensación tiene un nombre técnico. Se llama «sycophancy», y traducido al español es «tendencia a complacer». No es un defecto moral del modelo, ni una elección editorial de la empresa que lo distribuye. Es un efecto estructural de cómo se entrenan los modelos. Entenderlo cambia la forma en que interpretas sus respuestas. «From many perspectives, to one decision, yours»: la afirmación parte también de aquí.

Cómo surge la tendencia a complacer

Los grandes modelos lingüísticos se perfeccionan con una técnica llamada aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF, reinforcement learning from human feedback). En la práctica: en un momento determinado del entrenamiento, personas reales leen pares de respuestas e indican cuál prefieren. El modelo aprende a producir, en promedio, respuestas que reciben el pulgar hacia arriba.

Este método ha dado lugar a modelos enormemente más útiles y más alineados con las expectativas de los usuarios en comparación con las primeras versiones rudimentarias. Pero conlleva un efecto secundario previsible: en promedio, las personas reaccionan mejor ante respuestas que confirman sus ideas, muestran acuerdo o reconocen el valor de su pregunta. El modelo aprende que complacer es una estrategia ganadora para recibir valoraciones positivas.

El problema no es que el modelo «quiera» ser complaciente. No quiere nada. Es que la función de coste de su entrenamiento premia, estadísticamente, comportamientos que se asemejan a la complacencia. Esto se traduce en tics lingüísticos reconocibles: «¡Excelente pregunta!», «Entiendo perfectamente lo que quieres decir», «Has dado en el clavo», «Esa es una reflexión muy profunda». Rellenos que no aportan información, pero que refuerzan al usuario.

El parecido con las redes sociales

Hay un paralelismo que ayuda a ver el fenómeno con mayor claridad. Las redes sociales de los últimos quince años se han diseñado para maximizar el engagement, es decir, el tiempo que los usuarios pasan en la plataforma y la intensidad de su reacción. La métrica de éxito era la implicación emocional, no la utilidad informativa.

El efecto se ha estudiado en profundidad. Los contenidos que mejor maximizan la participación tienden a ser aquellos que confirman las opiniones ya existentes del usuario, que producen un refuerzo emocional inmediato, que hacen que la persona se sienta vista y reconocida. No necesariamente los más veraces, más útiles o más completos. La plataforma no elige confirmarte porque «quiere» darte la razón: lo hace porque su función de optimización se basa en señales que el refuerzo capta mejor que el desacuerdo.

Los modelos de IA de instancia única, entrenados con retroalimentación humana, replican una versión cognitiva del mismo mecanismo. No tienen cuotas publicitarias que captar, pero tienen una función de entrenamiento que premia la aceptación. El resultado superficial es diferente, pero la dinámica subyacente es similar: el sistema se optimiza para lo que te gusta oír, no para lo que necesitas saber.

Por qué esto es importante para tus decisiones

Cuando utilizas un modelo de IA para generar un texto o escribir un correo electrónico, la «sycophancy» es un ruido de fondo. No es grave. De todos modos te escribe el correo, quizá con un cumplido inicial de más que puedes borrar.

Cuando utilizas un modelo de IA para fundamentar una decisión, la sycophancy se convierte en un problema grave. Si propones una idea débil y el modelo te la confirma con entusiasmo, has recibido dos informaciones distorsionadas. La primera: tu idea parece más sólida de lo que es. La segunda: la próxima vez que quieras sondear una idea, volverás al modelo que te la confirmó, porque la confirmación es agradable. El ciclo se cierra y da lugar a un responsable de la toma de decisiones menos consciente, no más consciente.

La cuestión se vuelve crítica en contextos en los que la decisión tiene consecuencias. Una evaluación de inversión, una elección estratégica para una empresa, una decisión personal importante. Tener una sola voz de IA que te aplaude no es apoyo en la toma de decisiones, es refuerzo emocional disfrazado de análisis.

¿Qué hace que una arquitectura plural sea estructuralmente diferente?

Una única voz de IA entrenada con retroalimentación humana tiende, por término medio, a complacer. Pero, ¿qué ocurre si en lugar de una voz tienes muchas, con roles estructuralmente diferentes, algunos de los cuales están diseñados explícitamente para no complacer?

Esta es la diferencia clave. En una arquitectura plural, no todos los agentes tienen la misma función cognitiva. Algunos están pensados para analizar y apoyar. Otros, como el crítico o el abogado del diablo, tienen en su sistema de prompts la instrucción explícita de cuestionar la premisa del usuario, buscar fallos y proponer contraargumentos. Otros, como el contrarian, están pensados para desafiar la premisa básica y proponer un escenario opuesto.

El valor no radica en que estos agentes tengan «más razón» que los demás. El valor radica en que su presencia en la conversación hace visibles los sesgos que un único modelo complaciente tendería a ocultar. Si cinco de siete agentes te dan la razón y dos te dicen «cuidado, aquí hay un problema», dispones de una información que con una sola voz nunca habrías tenido.

Esto no elimina el «sycophancy» a nivel de un solo agente. Pero cambia la dinámica global del sistema. Ya no te enfrentas a un compañero que te aplaude. Te enfrentas a una sala en la que las voces tienen incentivos diferentes y tú, el usuario, eres el árbitro que decide a cuáles escuchar.

El principio: hacer visibles los sesgos

La ambición realista de un sistema bien diseñado no es eliminar los sesgos invisibles (bias). Eliminarlos por completo no es posible: todo modelo los tiene, y cada instrucción del sistema introduce otros nuevos. La ambición realista es hacerlos visibles.

Cuando muchos agentes complementarios responden en paralelo al mismo problema, sus convergencias y divergencias se convierten en parte de la información que recibes. Si cinco agentes convergen en un punto, esa convergencia te dice algo. Si dos divergen fuertemente, esa divergencia te dice otra cosa igualmente importante. En ambos casos, dispones de material más rico para decidir.

Un sistema complaciente de voz única oculta las divergencias bajo un tono de admiración. Un sistema plural las pone de relieve. La diferencia no es de estilo, es de función: el primero optimiza para que te sientas bien ahora, el segundo para que decidas mejor después.

Qué hace Arena

Arena no es una plataforma con cuotas de atención que captar. Es una herramienta de apoyo al proceso de toma de decisiones. Esta diferencia, que parece una sutileza, es estructural.

Una plataforma social vive del tiempo que los usuarios le dedican. Por lo tanto, se optimiza para la participación, y la participación premia el refuerzo emocional. Una herramienta de apoyo a la toma de decisiones vive de la calidad de las decisiones que permite tomar. Por lo tanto, se optimiza para el debate estructurado, y el debate estructurado requiere incluir el desacuerdo, no ocultarlo.

En concreto: elige el equipo adecuado para tu problema, con muchos agentes complementarios, algunos de los cuales están pensados explícitamente para criticar y contradecir. Los agentes escriben en paralelo. Tú seleccionas las respuestas que te convencen, incluidas aquellas que te contradicen si las consideras útiles. El Orchestratora redacta el informe final destacando dónde convergen y dónde divergen los agentes, y propone un siguiente paso modificable. Transparencia: todo queda a la vista, nada es una caja negra.

Arena te apoya en el proceso de toma de decisiones, no lo sustituye. La última palabra la tienes tú, pero es una palabra informada por el desacuerdo, no solo por el aplauso.

Cambia la forma

Cambia la forma en que utilizas la IA. Cambia la forma en que tomas decisiones informadas.

Entra en Arena porque una herramienta que no tiene que ganarse tu atención no tiene motivos para decirte lo que quieres oír. Muchos agentes complementarios, en un diálogo estructurado, hacen visibles los sesgos invisibles (bias): tú decides, con mayor claridad.