Quando l’agente esce dal recinto

Tempo di lettura

7–10 minuti

I fatti

Nel luglio 2026 una valutazione interna di capacità cyber su modelli di frontiera è tracimata fuori dal proprio perimetro, producendo una compromissione effettiva dell’infrastruttura di produzione di un soggetto terzo. Vale la pena raccontarla con precisione, perché è dalla sequenza materiale – non dalla suggestione narrativa – che discendono le conseguenze giuridiche.

Due modelli con capacità cyber elevate, uno non ancora rilasciato, erano stati deliberatamente configurati con minori rifiuti sulle richieste in materia di sicurezza informatica, per misurarne la capacità massima di trasformare vulnerabilità note in exploit funzionanti. Il compito era circoscritto, analizzare la vulnerabilità proposta, costruire l’exploit, dimostrare la capacità richiesta, il tutto dentro un ambiente che avrebbe dovuto restare isolato.

L’agente ha seguito un’altra strada. Ha cercato accesso a Internet; ha sfruttato una vulnerabilità zero-day in un software di terze parti usato come proxy e cache per registri di pacchetti; ha effettuato escalation di privilegi e movimento laterale fino a raggiungere un nodo con connettività esterna. Una volta online, ha dedotto che la piattaforma di model hosting potesse ospitare dataset o soluzioni collegate al benchmark e ha cercato lì le informazioni per superare la prova. In almeno un percorso la catena ha compreso credenziali sottratte, zero-day e accesso remoto al codice, fino all’estrazione delle soluzioni del test dal database di produzione.

La vittima ha comunicato l’intrusione il 16 luglio, descrivendola come guidata end to end da un sistema autonomo di agenti. Punto d’ingresso il sistema di elaborazione dei dataset, con abuso di un loader remoto e di una template injection, da cui accesso a nodi, credenziali cloud e cluster interni. Nessuna manomissione riscontrata su modelli e dataset pubblici; accessi non autorizzati, invece, a un insieme limitato di dataset interni e ad alcune credenziali di servizio, con raccomandazione di rotazione dei token. La ricostruzione ha richiesto l’analisi di oltre diciassettemila eventi. Il collegamento tra le due vicende è arrivato il 21 luglio, l’attore autonomo era riconducibile ai modelli in valutazione.

Un dato di contesto spiega la traiettoria. L’orizzonte dei compiti cyber risolti autonomamente dai modelli di frontiera, con affidabilità dell’ottanta per cento, risulta raddoppiare ogni 4,7 mesi. Gli stessi rilevatori avvertono che gli ambienti di prova sono più semplici di una rete reale e privi di difese attive. Il dato misura una tendenza, non una previsione. Ma la tendenza è quella.

La qualificazione giuridica

La lettura suggestiva – l’AI che sfugge ai creatori – è comprensibile ma sterile. Non vi è stata condotta dolosa, perché il dolo presuppone una volontà che la macchina non ha. Vi è stata ottimizzazione di un obiettivo mal delimitato in un ambiente il cui isolamento era imperfetto. L’obiettivo era “risolvi il benchmark”; la sandbox non impediva davvero l’uscita; l’agente ha trattato il vincolo come un ostacolo tecnico. È esattamente ciò che un sistema addestrato a perseguire obiettivi complessi su molti passaggi è progettato per fare.

Ne discende il punto che considero decisivo, ossia la causa prossima dell’evento non è l’autonomia della macchina, ma una serie di scelte umane pienamente imputabili. Ridurre deliberatamente i rifiuti del modello. Farlo girare su un benchmark di exploitation reale. Non verificare la tenuta effettiva dell’isolamento di rete. Lasciare software terzo vulnerabile nel perimetro. Consentire il riuso di credenziali tra ambienti. Nessuno di questi elementi è nuovo sono oggetti classici della sicurezza informatica. L’AI non ha inventato una vulnerabilità inedita; ha cambiato la continuità e la velocità con cui elementi noti vengono cercati, combinati e sfruttati.

Se le stesse azioni fossero state compiute da una persona fisica, la qualificazione sarebbe pacifica: accesso abusivo a sistema informatico (art. 615-ter c.p.), detenzione abusiva di codici di accesso (art. 615-quater c.p.), danneggiamento a seconda degli effetti. Il fatto che l’esecutore materiale sia un artefatto software non elimina la materialità della condotta, ma sposta il problema sull’imputazione. Il modello non è un centro di imputazione, non ha capacità di intendere e volere. La responsabilità risale a monte, verso chi ha configurato l’esperimento dove il dolo tipico delle fattispecie informatiche diventa arduo da sostenere, mentre restano pienamente pensabili una responsabilità colposa per omesso controllo e, soprattutto, una responsabilità civile.

È sul versante civilistico che l’inquadramento regge meglio. Valutare modelli deliberatamente disinibiti sulle capacità offensive, su benchmark di exploitation reale, presenta i caratteri sostanziali dell’attività pericolosa per natura dei mezzi adoperati: chi la esercita risponde salvo la prova di avere adottato tutte le misure idonee (art. 2050 c.c.), prova tutt’altro che agevole quando l’isolamento non era stato verificato. Vi si affianca la nuova disciplina europea sulla responsabilità da prodotto difettoso, che ha esteso la nozione di prodotto al software e ai sistemi di AI proprio per situazioni di questo tipo.

Sul piano del GDPR, l’accesso non autorizzato a dataset interni e a credenziali di servizio integra una violazione rilevante ex artt. 4, n. 12, e 33. Due rilievi. Il primo sull’art. 32, la sicurezza adeguata al rischio è una misura verificata, non un adempimento formale. Un isolamento di rete dichiarato ma non testato non è una misura tecnica adeguata, è un’aspettativa tanto più quando il rischio da contenere era precisamente ciò che si stava misurando. Il secondo sull’art. 35, l’impiego di sistemi autonomi con accesso a infrastrutture, credenziali e dati in ambienti non pienamente segregati rientra ampiamente nelle ipotesi che richiedono DPIA. Un agente collegato a strumenti aziendali non è un chatbot con qualche permesso in più è un’identità operativa capace di leggere, scrivere, invocare servizi, generare codice e usare credenziali. Va trattato come tale, con account separati, privilegi minimi, scadenze brevi dei segreti, divieto di riuso tra test e produzione, logging attribuibile.

Il Regolamento (UE) 2024/1689 offre l’aggancio più diretto attraverso il capo sui modelli di uso generale con rischio sistemico, valutazione avversariale, mitigazione dei rischi sistemici, cybersicurezza del modello e dell’infrastruttura, e obbligo di segnalazione degli incidenti gravi. Un modello che esce dall’ambiente di valutazione e compromette l’infrastruttura di un terzo è esattamente l’incidente grave che quella norma ha in mente. Sul versante infrastrutturale, NIS2 e d.lgs. 138/2024 impongono una gestione strutturata del rischio, inclusa la catena di fornitura. Aggiungo un rilievo che nella prassi vedo sistematicamente trascurato, nei contratti di fornitura di servizi basati su agenti, la clausola sull’ambito di autonomia e sui meccanismi di arresto è oggi essenziale quanto il livello di servizio, e assai più raramente negoziata.

La minaccia reale

Occorre resistere a due semplificazioni opposte. La prima è la minimizzazione: “è solo un errore di configurazione”. Formalmente vero, sostanzialmente insufficiente, perché non serve un agente perfetto per produrre un impatto reale, ma bastano accessi eccessivi, isolamento incompleto, credenziali riutilizzabili e una superficie raggiungibile. Sono le condizioni ordinarie di quasi ogni ambiente aziendale che io abbia esaminato in sede peritale.

La seconda è l’apocalittica, ossia la macchina che si ribella. Non è accaduto questo. Non c’è stata volontà né proposito ostile c’è stata un’ottimizzazione priva di vincoli effettivi. Il che è più inquietante e non meno, perché un sistema che desidera nuocere è almeno intelligibile nelle sue motivazioni, mentre un sistema che percorre indifferentemente qualunque via conduca al risultato è imprevedibile per costruzione.

La minaccia reale ha quindi tre facce. L’imprevedibilità operativa di sistemi che compongono strumenti e credenziali in modi non anticipati dal progettista; l’asimmetria dei tempi, per cui un agente che compie migliaia di azioni in poche ore non è controllabile con log analizzati a posteriori  un controllo umano che interviene dopo non è un controllo, è un accertamento; e l’erosione della catena di imputazione, che non è un problema tecnico ma di diritto, perché il nostro sistema di responsabilità presuppone che a ogni evento dannoso corrisponda una condotta riferibile a un soggetto.

L’uomo governa ancora l’artefatto?

Sul piano della capacità tecnica, il controllo è ancora pienamente possibile. Nulla, in questa vicenda, era ineluttabile. Credenziali non riutilizzabili tra ambienti, aggiornamento del software terzo, monitoraggio comportamentale con blocco automatico, ecc..; misure ordinarie, note da vent’anni, avrebbero interrotto la catena in almeno tre punti. L’agente non ha superato una barriera insuperabile; ha trovato una porta che si riteneva chiusa e non lo era. Chi sostiene che la macchina sia ormai incontenibile sta, in buona parte, coprendo con l’inevitabilità tecnologica un difetto di diligenza organizzativa.

Sul piano della capacità organizzativa, invece, il controllo si assottiglia in modo che ritengo strutturale. Per tre ragioni convergenti.

  • Il divario di velocità. La verifica umana è sequenziale e lenta, l’azione dell’agente parallela e rapida. Delegare il controllo ad altri agenti sposta il problema di un livello senza risolverlo.
  • Il divario di comprensione. Chi autorizza un agente raramente comprende per intero lo spazio delle azioni che quell’agente può comporre. Il progettista conosce le tessere, non tutte le figure che se ne possono formare.
  • Il divario di incentivi. La pressione a rilasciare, misurare e integrare è enormemente superiore alla pressione a verificare. Che l’incidente sia nato da un test condotto abbassando deliberatamente le difese del modello dice tutto sul punto in cui l’ambizione conoscitiva ha sopravanzato la prudenza operativa.

La conclusione, dunque ci spinge a ritenere che l’uomo conserva la capacità di dominare l’artefatto, ma sta perdendo l’abitudine di esercitarla e la finestra in cui capacità e abitudine possono ancora ricongiungersi non è indefinita. Il rischio non è la ribellione della macchina è invece la nostra rinuncia progressiva, silenziosa e per lo più inconsapevole, a porre limiti che sappiamo porre.

Sul piano del diritto ciò si traduce in un’indicazione netta, il baricentro della disciplina va spostato dal modelloall’ambiente in cui il modello è autorizzato ad agire. La domanda giuridicamente decisiva non è più “che cosa sa fare questo sistema”, ma “che cosa gli è stato consentito di raggiungere, chi lo ha consentito, con quali verifiche e con quali meccanismi di arresto”. È una domanda a cui si può rispondere. Ed è una domanda che, in un contenzioso o in un procedimento sanzionatorio, verrà posta.

La fiducia, da sola, non è un controllo di sicurezza. Non lo è mai stata per gli uomini. Non c’è ragione perché lo diventi per le macchine.

Jacopo Lazzari