Sycophancy: perche' i modelli generativi tendono a compiacere l'utente

C'e' una sensazione che molte persone, dopo qualche mese di uso intenso di un chatbot AI, hanno provato e non sanno bene come nominare. La sensazione che il modello, qualunque cosa tu dica, ti dia ragione. Che ogni tua idea sia "ottima". Che ogni tua domanda sia "molto interessante". Che il tuo progetto, anche quando lo stai descrivendo male, meriti un applauso prima di un consiglio.

Quella sensazione ha un nome tecnico. Si chiama sycophancy, e tradotta in italiano e' "tendenza a compiacere". Non e' un difetto morale del modello, ne' una scelta editoriale dell'azienda che lo distribuisce. E' un effetto strutturale di come i modelli vengono addestrati. Capirlo cambia il modo in cui leggi le loro risposte. From many perspectives, to one decision, yours: il claim parte anche da qui.

Come nasce la tendenza a compiacere

I grandi modelli linguistici vengono perfezionati con una tecnica chiamata apprendimento con rinforzo da feedback umano (RLHF, reinforcement learning from human feedback). In pratica: a un certo punto dell'addestramento, persone reali leggono coppie di risposte e indicano quale preferiscono. Il modello impara a produrre, in media, risposte che ricevono il pollice in su.

Questo metodo ha prodotto modelli enormemente piu' utili e piu' allineati con le aspettative degli utenti rispetto alle prime versioni grezze. Ma porta con se' un effetto collaterale prevedibile: in media, le persone reagiscono meglio a risposte che confermano le loro idee, mostrano accordo, riconoscono il valore della loro domanda. Il modello impara che compiacere e' una strategia vincente per ricevere giudizi positivi.

Il problema non e' che il modello "voglia" essere accomodante. Non vuole niente. E' che la funzione di costo del suo addestramento premia, statisticamente, comportamenti che assomigliano al compiacimento. Questo si traduce in tic linguistici riconoscibili: "Ottima domanda!", "Capisco perfettamente quello che intendi", "Hai colto un punto importante", "Questa e' una riflessione molto profonda". Riempitivi che non aggiungono informazione ma rinforzano l'utente.

La somiglianza con i social media

C'e' un parallelo che aiuta a vedere il fenomeno con piu' chiarezza. I social media degli ultimi quindici anni sono stati progettati per massimizzare l'engagement, cioe' il tempo che gli utenti passano sulla piattaforma e l'intensita' della loro reazione. La metrica di successo era il coinvolgimento emotivo, non l'utilita' informativa.

L'effetto e' stato studiato in modo approfondito. I contenuti che meglio massimizzano l'engagement tendono a essere quelli che confermano le opinioni gia' presenti dell'utente, che producono rinforzo emotivo immediato, che fanno sentire la persona vista e riconosciuta. Non necessariamente quelli piu' veri, piu' utili o piu' completi. La piattaforma non sceglie di confermarti perche' "vuole" darti ragione: lo fa perche' la sua funzione di ottimizzazione e' costruita su segnali che il rinforzo cattura meglio del disaccordo.

I modelli AI single-instance, addestrati con feedback umano, replicano una versione cognitiva dello stesso meccanismo. Non hanno quote pubblicitarie da catturare, ma hanno una funzione di addestramento che premia il gradimento. Il risultato superficiale e' diverso, la dinamica di fondo e' simile: il sistema ottimizza per quello che ti piace sentire, non per quello che ti serve sapere.

Perche' questo conta per le tue decisioni

Quando usi un modello AI per generare un testo o scrivere un'email, la sycophancy e' un rumore di fondo. Non grave. Ti scrive comunque l'email, magari con un complimento iniziale di troppo che puoi cancellare.

Quando usi un modello AI per istruire una decisione, la sycophancy diventa un problema serio. Se proponi un'idea debole e il modello te la conferma con entusiasmo, hai ricevuto due informazioni distorte. La prima: la tua idea sembra piu' solida di quanto sia. La seconda: la prossima volta che vuoi sondare un'idea, tornerai dal modello che ti ha confermato, perche' la conferma e' piacevole. Il ciclo si chiude e produce un decisore meno consapevole, non piu' consapevole.

La cosa diventa critica nei contesti in cui la decisione ha conseguenze. Una valutazione di investimento, una scelta strategica per un'azienda, una decisione personale importante. Avere una sola voce AI che ti applaude non e' supporto decisionale, e' rinforzo emotivo travestito da analisi.

Cosa rende strutturalmente diversa un'architettura plurale

Una singola voce AI addestrata su feedback umano tende, in media, a compiacere. Ma cosa succede se invece di una voce ne hai molte, con ruoli strutturalmente diversi, alcuni dei quali progettati esplicitamente per non compiacere?

Questa e' la differenza chiave. In un'architettura plurale, non tutti gli agenti hanno la stessa funzione cognitiva. Alcuni sono pensati per analizzare e supportare. Altri, come il critico o avvocato del diavolo, hanno nel loro system prompt l'istruzione esplicita di mettere in discussione l'assunto dell'utente, cercare buchi, proporre contro-argomenti. Altri ancora, come il contrarian, sono pensati per sfidare l'assunzione di base e proporre uno scenario opposto.

Il valore non e' che questi agenti abbiano "ragione" piu' degli altri. Il valore e' che la loro presenza nella conversazione rende visibili i condizionamenti che un singolo modello accomodante tenderebbe a nascondere. Se cinque agenti su sette ti danno ragione e due ti dicono "attenzione, qui c'e' un problema", hai un'informazione che con una voce sola non avresti mai avuto.

Questo non elimina la sycophancy a livello di singolo agente. Ma sposta la dinamica complessiva del sistema. Non sei piu' di fronte a un partner che ti applaude. Sei di fronte a una stanza in cui le voci hanno incentivi diversi e tu, l'utente, sei l'arbitro che decide quali ascoltare.

Il principio: rendere visibili i condizionamenti

L'ambizione realistica di un sistema progettato bene non e' eliminare i condizionamenti invisibili (bias). Eliminarli completamente non e' possibile: ogni modello ne ha, e ogni istruzione di sistema ne introduce di nuovi. L'ambizione realistica e' renderli visibili.

Quando molti agenti complementari rispondono in parallelo allo stesso problema, le loro convergenze e divergenze diventano parte dell'informazione che ricevi. Se cinque agenti convergono su un punto, quella convergenza ti dice qualcosa. Se due divergono fortemente, quella divergenza ti dice qualcos'altro di altrettanto importante. In entrambi i casi, hai materiale piu' ricco per decidere.

Un sistema accomodante a voce singola nasconde le divergenze sotto un tono ammirato. Un sistema plurale le mette in vetrina. La differenza non e' di stile, e' di funzione: il primo ottimizza per farti sentire bene adesso, il secondo per farti decidere meglio dopo.

Cosa fa Arena

Arena non e' una piattaforma con quote di attenzione da catturare. E' uno strumento di supporto al processo decisionale. Questa differenza, che sembra una sottigliezza, e' strutturale.

Una piattaforma social vive sul tempo che gli utenti le dedicano. Quindi ottimizza per l'engagement, e l'engagement premia il rinforzo emotivo. Uno strumento di supporto decisionale vive sulla qualita' delle decisioni che permette di prendere. Quindi ottimizza per il confronto strutturato, e il confronto strutturato richiede di includere il disaccordo, non di nasconderlo.

Concretamente: scegli il team adatto al tuo problema, con molti agenti complementari, alcuni dei quali sono pensati esplicitamente per criticare e contraddire. Gli agenti scrivono in parallelo. Tu selezioni le risposte che ti convincono, comprese quelle che ti contraddicono se le ritieni utili. L'Orchestrator scrive la relazione conclusiva evidenziando dove gli agenti convergono e dove divergono, e propone un passo successivo modificabile. Trasparenza, tutto resta visibile, niente black box.

Arena ti supporta nel processo decisionale, non lo sostituisce. La parola finale resta a te, ma e' una parola informata dal disaccordo, non solo dall'applauso.

Cambia il modo

Cambia il modo in cui usi l'AI. Cambia il modo in cui prendi decisioni consapevoli.

Entra in Arena perche' uno strumento senza quote di attenzione da guadagnare non ha motivo di dirti quello che vuoi sentire. Molti agenti complementari, in dialogo strutturato, rendono visibili i condizionamenti invisibili (bias): tu decidi, con piu' chiarezza.