L’illusione del controllo umano? Evidenze sui limiti della supervisione nei sistemi di IA

Bollettino ADAPT 3 novembre 2025, n. 38

L’adozione sempre più rapida e diffusa dei sistemi di supporto ai processi decisionali basati sull’intelligenza artificiale (IA) ha suscitato crescenti preoccupazioni circa la garanzia di equità e il rischio di bias, con particolare attenzione agli ambiti ad alto impatto sociale ed economico. Tali preoccupazioni, insieme ad altre questioni legate all’automazione di numerosi processi, come l’analisi dei dati, la selezione del personale, la gestione dei flussi produttivi e il supporto alle decisioni strategiche, hanno indotto l’Unione Europea a promuovere un intervento normativo organico volto a regolamentare l’utilizzo responsabile, etico e trasparente dell’IA. È proprio in questo contesto che è stato promulgato il Regolamento sull’intelligenza artificiale (Regolamento 2024/1689/UE – AI Act), entrato in vigore nell’estate 2024 con l’obiettivo di istituire un quadro giuridico uniforme e in conformità dei valori dell’Unione stessa per quanto riguarda lo sviluppo, l’immissione sul mercato, la messa in servizio e l’uso di sistemi di IA, promuovere la diffusione di un’IA antropocentrica e affidabile, garantendo al contempo un livello elevato di protezione della salute, della sicurezza e dei diritti fondamentali.

Il Regolamento adotta un approccio basato sul rischio, distinguendo tra diverse categorie (rischio minimo, limitato, alto e inaccettabile) a seconda del potenziale impatto dei sistemi di AI sui diritti fondamentali, sulla sicurezza e sul benessere delle persone, e introducendo conseguenti obblighi proporzionati in termini di trasparenza, supervisione e responsabilità. Con specifico riferimento ai sistemi ad alto rischio, il Regolamento introduce requisiti rigorosi relativi alla qualità dei dati, alla tracciabilità, alla documentazione tecnica e alla supervisione umana, al fine di prevenire effetti discriminatori o danni per le persone coinvolte. Seguendo il principio secondo cui l’essere umano deve rimanere al centro dei processi decisionali, in particolare, l’AI Act stabilisce che tali sistemi siano progettati come strumenti al servizio delle persone, nel pieno rispetto della loro dignità, autonomia e capacità di autodeterminazione. Tali sistemi devono essere sviluppati in modo da garantire, per l’intero ciclo di vita, la possibilità per l’utente umano di esercitare un controllo effettivo, comprendere i risultati prodotti e, se necessario, modificarli o annullarli. In questo quadro, il principio della human oversight (supervisione umana) assume un ruolo cardine: già ricompreso tra le sette linee guida etiche per un’IA affidabile elaborate nel 2019 dall’High-Level Expert Group on AI della Commissione europea, è stato recepito in modo dettagliato nell’articolo 14 dell’AI Act, che ne disciplina le modalità e gli obblighi applicativi.

Allo stesso modo, tanto le linee guida quanto il Regolamento insistono sulla necessità di assicurare il rispetto del principio di non discriminazione e di equità, ponendo l’accento sull’importanza di una gestione rigorosa e accurata dei dati impiegati per l’addestramento e il funzionamento degli algoritmi. In particolare, si evidenzia l’urgenza che i dataset siano rappresentativi, esenti da errori e da bias preesistenti, richiamando l’attenzione sui possibili effetti di amplificazione delle disuguaglianze derivanti dalla perpetuazione nei sistemi di IA degli stessi meccanismi di discriminazione già esistenti. In tale contesto, l’articolo 10 del Regolamento stabilisce che i fornitori di sistemi di IA ad alto rischio debbano adottare pratiche di governance dei dati solide e strutturate, atte a valutare le possibili distorsioni suscettibili di incidere sulla salute e sulla sicurezza delle persone, di avere un impatto negativo sui diritti fondamentali o di comportare discriminazioni, comprese dunque procedure sistematiche per la rilevazione, la prevenzione e la mitigazione dei bias.

È evidente, pertanto, l’obiettivo dell’Unione europea di assicurare la qualità, l’affidabilità e l’equità delle decisioni automatizzate, introducendo strumenti concreti di prevenzione e mitigazione dei rischi discriminatori nei processi decisionali supportati dall’IA. Tale esigenza si manifesta con particolare forza nei settori a elevato impatto sociale ed economico, come il settore finanziario e quello della selezione del personale, in cui eventuali distorsioni algoritmiche possono tradursi direttamente in disparità di trattamento e restrizione delle opportunità per intere categorie di individui. Nel contesto europeo, infatti, il settore finanziario risulta fra quelli più esposti agli avanzamenti tecnologici e ai continui mutamenti del quadro normativo. Non stupisce, dunque, che gli intermediari finanziari risultino tra i principali utilizzatori di strumenti basati sull’intelligenza artificiale, sia per attività rivolte all’esterno sia per processi interni. Invero, sebbene l’IA offra il potenziale per migliorarne l’efficienza, essa rischia al contempo di alterarne la tradizionale “funzione sociale”, ad esempio rendendo più difficile l’accesso al credito di aziende e consumatori, incluso l’accesso a servizi finanziari quali finanziamenti e prestiti, con possibili ripercussioni su diritti fondamentali come l’accesso alla casa o ai servizi sanitari. Man mano che i sistemi di IA incidono in misura crescente sulla possibilità degli individui di ottenere risorse finanziarie e servizi essenziali, aumenta infatti il rischio di esiti discriminatori: tali sistemi potrebbero non solo rafforzare disuguaglianze preesistenti basate su origine etnica o razziale, disabilità, età o orientamento sessuale, ma anche introdurre nuove forme di bias, contribuendo ad ampliare ulteriormente le disparità sociali ed economiche (ADAPT si sta occupando del tema nell’ambito del progetto europeo FinAI – Anthropocentric approach to AI to support people and companies. Developing social dialogue on e-skills of workers in the European financial sector; GA 101145653).  Similmente, nel settore delle risorse umane e di selezione del personale, l’impiego di soluzioni algoritmiche nella valutazione dei candidati e nella gestione dei lavoratori può condurre a forme di esclusione automatizzata difficilmente individuabili e contestabili. L’assenza di trasparenza nei criteri di valutazione e nei parametri di addestramento dei sistemi rischia così di svuotare di effettività le tutele antidiscriminatorie tradizionalmente riconosciute dalle normative europee e nazionali, rendendo necessario un ripensamento degli strumenti di controllo e delle garanzie procedurali applicabili.

A fronte di queste sfide, la Commissione Europea ha recentemente pubblicato uno studio condotto dal Joint Research Centre (JRC), intitolato The Impact of Human-AI Interaction on Discrimination, che mette tuttavia in discussione l’idea secondo cui la supervisione umana possa costituire di per sé un rimedio efficace contro la discriminazione nei sistemi decisionali automatizzati.  Il rapporto, in particolare, analizza le interazioni tra professionisti delle risorse umane e operatori del settore finanziario in Italia e Germania con sistemi automatizzati di supporto decisionale, evidenziando come tali interazioni possano influenzare i processi decisionali talvolta con effetti (negativi) rilevanti in termini di equità, bias e discriminazione.

Lo studio ha adottato una metodologia mista, combinando esperimenti in laboratorio e sul campo per analizzare l’interazione tra supervisione umana e sistemi decisionali basati su IA. Nello specifico, nella fase sperimentale in laboratorio, 500 partecipanti hanno svolto compiti concreti di decisione e giochi di fiducia, mentre i dati raccolti sono stati successivamente analizzati tramite sistemi di machine learning. Parallelamente, con le informazioni ottenute, sono stati addestrati due modelli di sistemi di supporto decisionale, di cui uno progettato per ottimizzare l’equità, tutelando in particolare genere e nazionalità, e uno generico orientato all’accuratezza complessiva delle previsioni. Successivamente, l’analisi è stata estesa a un contesto reale mediante un esperimento sul campo che ha coinvolto 1.400 professionisti operanti nei settori delle risorse umane e finanziario. I partecipanti hanno preso decisioni riguardanti assunzioni e concessione di credito, valutando i candidati sulla base di caratteristiche quali performance, livello di istruzione e reddito, sia con il supporto di raccomandazioni fornite dai modelli di IA, sia senza alcun supporto algoritmico, permettendo quindi di osservare come le decisioni umane vengano influenzate dalla presenza o dall’assenza di raccomandazioni algoritmiche, evidenziando le interazioni complesse tra bias umani e suggerimenti automatizzati.

I risultati hanno messo in luce le dinamiche complesse nell’interazione tra supervisione umana e sistemi di supporto decisionale basati sull’IA. L’indagine mostra innanzitutto che fenomeni discriminatori si manifestano anche in assenza di strumenti di IA, riflettendo i bias e le preferenze soggettive dei selezionatori. Quando l’IA viene invece impiegata, le sue raccomandazioni incidono in ogni caso sulle decisioni finali, sia quando l’algoritmo è calibrato per promuovere l’equità, sia quando il sistema è generico, incorporando o talvolta amplificando dinamiche discriminatorie. In particolare, è emerso come la discriminazione di genere a danno degli uomini sia scomparsa con l’utilizzo dell’IA equa (fair AI), mentre come l’IA generica abbia introdotto un bias a sfavore delle donne. Allo stesso modo, l’IA generica ha determinato discriminazione nei confronti dei candidati italiani, favorendo quindi uomini e cittadini tedeschi e influenzando così le scelte a svantaggio di donne e italiani. In sintesi, l’IA progettata per promuovere l’equità ha dimostrato di ridurre in maniera significativa la discriminazione di genere, confermando il suo ruolo positivo nel rendere più imparziali le decisioni. Tuttavia, il contributo delle preferenze individuali dei decisori è rimasto rilevante: i pregiudizi personali hanno continuato a influenzare le scelte, anche in presenza di un supporto algoritmico. In altre parole, l’IA equa pur fungendo da filtro contro i pregiudizi sistemici introdotti dall’algoritmo stesso, non si sostituisce di per sé alla responsabilità dei decisori. Allo stesso modo, però, la supervisione umana, sebbene essenziale, non risulta sufficiente a eliminare completamente i bias residui, come è emerso dal fatto che i partecipanti esposti sia all’IA equa che a quella generica non abbiano riportato differenze nella percezione dei sistemi, neanche sotto il profilo dell’equità,nonostante la chiara spiegazione delle caratteristiche e delle raccomandazioni specifiche di ciascun algoritmo.

Gli approfondimenti qualitativi, ricavati tramite interviste semi-strutturate e workshop con i partecipanti, hanno evidenziato ulteriori sfumature. In particolare, è emerso che i supervisori hanno teso a conformarsi alle raccomandazioni dell’IA quando queste (anche laddove discriminatorie) fossero risultate coerenti con le norme e gli obiettivi dell’organizzazione, percependole come strumenti utili per garantire l’aderenza alle policy interne. Tuttavia, in alcuni casi, gli stessi supervisori sono intervenuti sovrascrivendo le decisioni dell’IA, in modo da allinearle alle proprie preferenze individuali, talvolta caratterizzate da inclinazioni discriminatorie.

Un altro elemento significativo emerso riguarda il valore attribuito alla supervisione umana nei processi decisionali: i decisori hanno ritenuto di poter valutare più accuratamente situazioni specifiche e attribuire un giudizio più adeguato a caratteristiche “soft” dei candidati, come capacità relazionali, performance nei colloqui o competenze non immediatamente quantificabili. Questo suggerisce che, pur disponendo di strumenti automatizzati, i supervisori hanno percepito e percepiscono quindi in situazioni reali la propria valutazione come imprescindibile per integrare le informazioni prodotte dall’IA. Allo stesso tempo, però, è emerso un gap di competenze ed esperienza nell’uso dei sistemi di IA: molti dei soggetti coinvolti hanno segnalato la necessità di ricevere un feedback sistematico sulla correttezza delle decisioni suggerite dagli algoritmi, evidenziando come la supervisione umana non sia ancora pienamente supportata da formazione e strumenti adeguati.

Lo studio ha, quindi, messo in evidenza le difficoltà intrinseche nel garantire equità e non discriminazione anche nelle decisioni assistite dall’intelligenza artificiale, rilevando come i decisori e i supervisori, pur mossi dall’intento di operare scelte corrette, non riescano a prevenire la persistenza di bias tradizionali.I loro giudizi sono, infatti, risultati condizionati da norme sociali, disposizioni legislative, regolamenti, esperienze pregresse e pratiche collettive di cui non sempre sono pienamente consapevoli o che non interrogano criticamente. In tale contesto, la supervisione umana, sebbene imprescindibile, non si dimostra sufficiente a garantire l’assenza di esiti discriminatori e, in taluni casi, può persino amplificarli, poiché i soggetti tendono ad accogliere le raccomandazioni dell’IA quando queste si conformano ai propri bias, mostrando invece resistenza quando le indicazioni risultano in contrasto con le loro preferenze individuali.

In conclusione, le evidenze raccolte indicano chiaramente come oltre a dover progettare algoritmi conformi ai principi di equità sia anche indispensabile sviluppare sistemi di supervisione strutturati, capaci di mitigare l’influenza dei bias umani sulle decisioni supportate dall’IA. Ciò implica anche l’adozione di linee guida operative chiare, la realizzazione di audit regolari sulle decisioni influenzate dall’IA e l’attuazione di percorsi formativi mirati sui bias e sui possibili effetti discriminatori dei processi decisionali dell’IA. Risulta altresì cruciale garantire che gli operatori possano integrare informazioni aggiuntive e contribuire attivamente allo sviluppo di tali sistemi di intelligenza artificiale, instaurando un ciclo di feedback continuo tra componente umana e algoritmo, funzionale a ridurre concretamente discriminazioni e pregiudizi. Un tale approccio favorirebbe l’allineamento dei sistemi di IA a valori e alle norme etiche, promuovendo fiducia e garantendo un utilizzo efficace e responsabile dell’intelligenza artificiale nei contesti per cui è progettata.

Sara Prosdocimi

Ricercatrice ADAPT Senior Fellow

X@ProsdocimiSara