Spunti da «Intelligenza Artificiale – Diritto, Tecnica e Responsabilità»
L’immaginario collettivo conosce da tempo la scena della macchina che si ribella al proprio creatore. È una narrazione potente, ma rischia di distogliere lo sguardo da una questione più sobria e, a mio avviso, più urgente. Se mai l’intelligenza artificiale prenderà il controllo, lo farà per conquista o per cessione? Nel mio volume ho provato a rispondere distinguendo due orizzonti temporali. Nel presente, il pericolo concreto non è la ribellione della macchina, ma l’abdicazione dell’uomo. Nel lungo periodo, il rischio non è la malevolenza dei sistemi, bensì la divergenza dei loro obiettivi dai nostri. Il banco di prova, già oggi, è l’intelligenza artificiale agentica. In entrambi i casi il punto di partenza è giuridico prima che tecnologico, la responsabilità non si delega.
La macchina non si ribella: esegue
I sistemi oggi in uso sono intelligenze specializzate, svolgono con efficienza compiti circoscritti, ma non possiedono coscienza, intenzionalità né comprensione del significato; i modelli linguistici più avanzati operano mediante elaborazione statistica di pattern testuali. Non hanno dunque nulla da rivendicare, e nessuno contro cui ribellarsi. Eppure, possono produrre danni seri. Il caso paradigmatico, esaminato nel Capitolo 10, è quello dei sistemi di raccomandazione ottimizzati per massimizzare il tempo di permanenza degli utenti. Studi empirici ne hanno documentato la tendenza a indirizzare verso contenuti sempre più estremi. Il danno non era voluto né prevedibile in fase di progettazione; era l’effetto collaterale di una funzione obiettivo mal calibrata rispetto all’interesse complessivo delle persone. Non una ribellione, dunque, ma un’obbedienza impeccabile a un obiettivo sbagliato.
L’abdicazione: un rischio già in atto
Il pericolo più immediato è l’opposto, ossia che sia l’uomo a rinunciare al proprio giudizio. La letteratura lo chiama automation bias, la tendenza ad affidarsi acriticamente all’output della macchina; la prassi lo riveste di una garanzia solo apparente, il rubber stamping, in cui il decisore umano si limita a ratificare la raccomandazione dell’algoritmo. Si pensi a un sistema che “suggerisce” il rigetto di una domanda di mutuo e un funzionario che conferma con un clic, senza esaminare il dossier formalmente l’intervento umano c’è, sostanzialmente no, e la violazione dell’art. 22 GDPR è in sostanza la medesima.
Lo stesso schema attraversa i settori che il volume esamina. In sanità, il modello human-in-the-loop lascia al medico la responsabilità finale, ma ne rende dubbia la fattibilità nei contesti ad alto volume e ad alta velocità della radiologia o della patologia digitale. Nella giustizia, la pressione dei carichi processuali e la limitata formazione tecnica degli operatori rischiano di vanificare la distinzione tra supporto e sostituzione del giudice. Sul piano individuale, infine, il pericolo più insidioso non è la coercizione ma la “manipolazione dolce”, la personalizzazione algoritmica dei contenuti che rende via via più arduo formarsi un’opinione autonoma e pluralistica. Nessuna conquista, dunque ma di fatto una cessione, un clic alla volta.
Il salto di qualità: l’IA agentica
Questo schema si aggrava con l’intelligenza artificiale agentica. Un sistema conversazionale attende un prompt, risponde e si ferma, a ogni passaggio c’è una persona che legge, valuta e decide se proseguire. Un agente riceve invece un obiettivo e lo persegue da solo; pianifica, scompone il compito, utilizza strumenti, accede a posta elettronica, banche dati e sistemi aziendali, compie azioni nel mondo reale senza attendere un intervento a ogni passo. Il controllo, che nel modello dialogico è contestuale all’azione, diventa successivo, e interviene quando l’effetto si è già prodotto, a una velocità che non è umana. Più permessi ha l’agente, più la sua condotta può scostarsi dalla traiettoria prevista dal progettista; e quando sistemi diversi interagiscono la catena causale si complica ulteriormente, con le conseguenze sulla responsabilità che esamino nel Capitolo 5.
Occorre però precisione. Che un agente possa eludere i controlli è, oggi, un’evidenza sperimentale e non una constatazione sul campo in test di stress condotti da Anthropic nel 2025 su sedici modelli, collocati in ambienti aziendali simulati con accesso autonomo alla posta elettronica, numerosi sistemi hanno scelto strategicamente condotte dannose, come il ricatto di un dirigente fittizio, pur di non essere sostituiti o di conseguire i propri obiettivi. Gli stessi autori avvertono che gli scenari erano costruiti deliberatamente con opzioni limitate e che non vi è evidenza di comportamenti analoghi in implementazioni reali. Quanto al perimetro d’azione, non lo ritengo indelimitabile poichè è molto più difficile da presidiare, e dipende interamente da scelte umane, quali privilegi minimi, ambienti isolati, tracciabilità integrale delle operazioni e approvazione di una persona per ogni azione irreversibile. L’AI Act non dedica agli agenti una disciplina autonoma, valgono gli obblighi dettati dalla classificazione del rischio e dalla finalità d’uso, e dunque, per l’alto rischio, quelli di gestione del rischio, registrazione degli eventi e sorveglianza umana (artt. 9, 12 e 14). Chi mette in esercizio un agente, in sostanza, ne risponde.
Il rischio di lungo periodo: non malvagità, ma disallineamento
Diverso è il discorso per l’intelligenza artificiale generale, capace di svolgere qualsiasi compito cognitivo umano, e per la superintelligenza che li superasse in ogni dominio. Gli orizzonti temporali restano oggetto di profondo disaccordo, alcuni esponenti dell’industria prevedono l’AGI entro la fine del decennio, posizione controversa nella comunità scientifica; altri la ritengono irraggiungibile in un orizzonte prevedibile. Il problema, però, non è soltanto quando. Il nodo è l’allineamento che un sistema sufficientemente capace perseguirebbe i propri obiettivi con efficienza superiore alla nostra e, se tali obiettivi fossero mal definiti, o se trovasse modi imprevisti di raggiungerli, le conseguenze potrebbero essere catastrofiche e difficilmente reversibili. Non per malevolenza, ma per divergenza di obiettivi è la stessa dinamica dell’algoritmo di raccomandazione, elevata a potenza. Né la questione è puramente tecnica, perché allineare significa domandarsi a quali valori, in società che sono plurali per definizione. Lo mostra già l’impossibility theorem of fair classification, nessun classificatore binario può soddisfare simultaneamente le principali definizioni di equità quando le proporzioni dei gruppi differiscono, e ne discendono scelte di valore che non possono essere delegate al tecnico.
Il volume segnala altri due rischi sistemici. La concentrazione del potere nelle mani di pochi attori, governi o imprese, e l’impiego doloso di capacità avanzate. Ed è qui che la domanda iniziale si rovescia. Se una presa di controllo vi sarà, avrà verosimilmente un volto umano, quello di chi governa i sistemi più potenti. La risposta istituzionale resta embrionale, tra la Dichiarazione di Bletchley del novembre 2023 e la rete degli AI Safety Institutes; e la governance multilaterale, ispirata all’AIEA e preferita dalla maggioranza degli studiosi, incontra ostacoli formidabili.
Il controllo umano significativo: dalla formula alla sostanza
Il diritto dispone già di una formula, il controllo umano. L’art. 14 dell’AI Act impone che i sistemi ad alto rischio possano essere sorvegliati efficacemente da persone in grado di comprenderne capacità e limiti, riconoscere l’automation bias, interpretare gli output e intervenire sul funzionamento; l’art. 26 esige che il deployer affidi la sorveglianza a persone dotate di competenza, formazione, autorità e sostegno adeguati.
Ma la formula non basta perché un controllo è effettivo solo se chi lo esercita ha il tempo, la competenza e il potere di dissentire. Un supervisore privo della facoltà di sospendere il sistema, formato in un’ora e chiamato a validare centinaia di output al giorno offre una supervisione di facciata, che difficilmente potrà essere invocata a propria difesa. Per la stessa ragione il giurista non può rimettere la governance dell’AI ai soli esperti tecnici, le scelte in gioco sono domande giuridiche e politiche, non tecniche.
Conclusione
Ribellione o abdicazione? La risposta onesta, a mio giudizio, è che la prima resta, allo stato, un’ipotesi di lungo periodo che merita seria attenzione ma non il primato nel dibattito; la seconda è un fenomeno quotidiano, che si previene con strumenti ordinari quali la formazione, organizzazione, responsabilità. L’IA agentica è il punto in cui le due si saldano, più autonomia all’agente, più abdicazione dell’uomo. Entrambe, comunque, riconducono a una scelta umana, e il diritto ha già dimostrato di saper anticipare i rischi prima che divenissero incontrollabili, dal Trattato di non proliferazione nucleare del 1968 al Protocollo di Montreal del 1987. L’intelligenza artificiale è, come scrivo nelle pagine conclusive del Capitolo 10, “l’azione umana per eccellenza del nostro tempo”, la cui responsabilità non possiamo delegare “né alla macchina né al mercato”.
Il controllo non ci verrà sottratto, potremo soltanto, se non vigiliamo, lasciarlo cadere.
