Chi è penalmente responsabile se l’AI uccide?

Dai veicoli a guida autonoma alla somministrazione di farmaci dai droni autonomi armati alle chat-bot che inducono al suicidio.
Un viaggio nella AI che può uccidere.

di Michele Di Salvo

L’introduzione e la diffusione sempre più massiccia (quantitativamente) ed eterogenea (qualitativamente e setterorialmente) dei sistemi di intelligenza artificiale autonomi pone al penalista contemporaneo interrogativi profondi sul tema dell’elemento soggettivo del reato, sulla persistente centralità del principio di colpevolezza e, più in generale, sulla compatibilità tra diritto penale classico e tecnologie non antropomorfe, non direttamente “a conduzione umana” ed al contempo operativamente efficaci.

L’ipotesi di una condotta lesiva che non sia imputabile a una volontà umana diretta, né immediatamente riconducibile a dolo o colpa individuale, mina alla radice il modello penale fondato sull’offensività, sulla responsabilità personale e sull’imputabilità come presupposto soggettivo della pena.

Si pensi all’omicidio prodotto da un veicolo a guida autonoma (automobile, aereo, treno, nave, drone) o da un algoritmo clinico errato utilizzato per la somministrazione di farmaci.

L’elemento soggettivo, quale espressione della volontà individuale consapevole o colposa, appare inadeguato a intercettare le condotte prodotte da agenti algoritmici capaci di apprendimento autonomo (machine learning), in cui la relazione di causalità psichica tra autore e fatto si dissolve nella imprevedibilità funzionale.

Né la teoria dell’autore mediato, né quella della responsabilità per fatto altrui sembrano reggere dinanzi a sistemi complessi che generano esiti non anticipabili ex ante nemmeno dai progettisti, che per altro appaiono numerosi e fortemente clusterizzati.

Il tentativo di ricondurre tali eventi a forme tradizionali di colpa – come la colpa da programmazione, la colpa da omesso controllo, o l’imprudenza nella commercializzazione – si scontra con limiti tecnici evidenti: l’algoritmo agisce in modo autonomo, e il rischio non è sempre concretamente prevedibile o evitabile in base alla diligenza richiesta all’agente modello, né una responsabilità generica sul soggetto giuridico proprietario appare rispondere all’esigenza penalistica o risarcitoria.

Il principio di colpevolezza, scolpito in Italia nell’art. 27, co. 1, Costituzione, esclude ad esempio ogni forma di responsabilità oggettiva; eppure, la pretesa di non lasciare impuniti fatti gravemente lesivi induce il sistema a costruire modelli alternativi di imputazione, con evidenti rischi di torsione garantista.

Anche il ricorso al diritto penale d’impresa e alla responsabilità da reato degli enti ex D.Lgs. n. 231/2001, pur consentendo di attribuire la responsabilità a strutture organizzate, non esaurisce il problema dogmatico principale: in che misura è legittimo attribuire responsabilità penale a soggetti giuridici per fatti prodotti da entità prive di volontà e coscienza?

Una proposta teoricamente suggestiva contempla la possibilità di riconoscere all’intelligenza artificiale una forma limitata di soggettività giuridico-penale, sul modello delle persone giuridiche, accompagnata da regimi sanzionatori patrimoniali e interdittivi.

Ma tale impostazione impone di riscrivere il paradigma penalistico, rivedendo categorie quali imputabilità, rimproverabilità, funzione rieducativa della pena e principio di personalità.

Inoltre rischia di essere pericolosa e non completamente intesa sul fronte dei conseguenti diritti da attribuire ad una intelligenza artificiale.

In alternativa, si discute di una forma di “responsabilità penale da rischio tecnologico” basata su criteri oggettivi di attribuzione normativa del rischio (risk-based liability), con forti analogie al diritto penale del pericolo astratto o alla responsabilità oggettiva di fatto, oggi espunta dalla tradizione penalistica europea post-illuminista.

In definitiva, l’emergere dell’intelligenza artificiale come agente potenzialmente produttivo di eventi lesivi impone al penalista contemporaneo una riflessione strutturale sull’adeguatezza degli attuali strumenti dogmatici, sulla persistenza della colpa come fondamento della responsabilità, e sulla stessa funzione del diritto penale in un contesto in cui l’autore del fatto si dissolve nell’opacità algoritmica.

La scelta è tra una torsione autoritaria dei principi costituzionali o l’elaborazione, necessariamente complessa, di una nuova grammatica penalistica capace di fare i conti con la fine del primato ontologico dell’uomo sul fatto.

***

Il caso di un veicolo autonomo (che va inteso però nel senso più ampio di qualsiasi veicolo) che investe (nel caso delle automobili) e uccide un pedone rappresenta uno scenario paradigmatico di attrito tra l’attuale dogmatica penalistica e la crescente autonomia decisionale dei sistemi tecnologici. 

Il fatto tipico è astrattamente sussumibile nell’art. 589 c.p. italiano (omicidio colposo), ma risulta problematica l’individuazione del soggetto penalmente responsabile.

L’azione omicidaria non è immediatamente riconducibile a una condotta umana cosciente e volontaria, quand’anche solo negligente, bensì a una sequenza algoritmica elaborata in tempo reale da un sistema informatico complesso, che processa dati sensoriali e compie scelte dinamiche sulla base di modelli probabilistici.

La difficoltà principale risiede nell’imputazione soggettiva dell’evento lesivo.

Dobbiamo considerare che questa problematica è alla base ontologica dell’ancora limitatissimo utilizzo di tali strumenti, e non certo per un serio dibattito pubblico o giuridico, ma per il blocco anteposto dalle compagnie di assicurazioni che vogliono essere certe della metodologia per il calcolo del danno (e quindi della loro responsabilità).

Un primo orientamento tende a ricondurre la responsabilità penale al programmatore, sulla base di una colpa da progettazione.

Tale ipotesi, però, presuppone la prevedibilità concreta dell’errore algoritmico e l’omissione di cautele tecnicamente doverose secondo lo standard dell’agente modello esperto, oltre che alla individuazione precisa di “un” programmatore responsabile quanto meno della parte di codice “colpevole” dell’errore.

In mancanza di una prova certa del deficit di diligenza, e in presenza di un sistema auto-apprendente, l’addebito soggettivo diviene giuridicamente fragile.

Una seconda ipotesi individua il proprietario o l’utilizzatore del veicolo come soggetto responsabile, secondo lo schema della colpa da omesso controllo.

Tuttavia, quando l’automobile opera in totale autonomia e senza intervento umano, l’effettivo potere di controllo ex ante dell’utilizzatore risulta solo nominale (se non tecnicamente fittizia data la tipicità e complessità di cui parliamo), con inevitabile scollamento rispetto al canone della rimproverabilità personale.

La dottrina penalistica più recente ha ipotizzato una lettura sistemica del rischio, introducendo la nozione di “colpa di organizzazione”, mutuata dal diritto penale d’impresa, in cui la responsabilità deriva dalla scelta di impiegare sistemi non sufficientemente sicuri o non certificati.

Ma anche in questo caso, l’accertamento probatorio della colpa richiede un elevatissimo livello di expertise tecnica, difficilmente raggiungibile nel processo penale ordinario.

Né al momento appaiono all’orizzonte protocolli utili ad una certa individuazione del rapporto tra danno e responsabilità.

Sul piano teorico, è stato proposto un ricorso alla figura dell’autore mediato, laddove il sistema IA sia interpretato come uno “strumento” utilizzato da un soggetto umano per commettere il fatto.

Tuttavia, tale lettura si scontra con il requisito dell’“utilizzabilità consapevole” dell’agente, difficilmente integrabile in presenza di comportamenti algoritmici non deterministici e parzialmente autonomi.

Il caso in esame solleva, dunque, la questione se sia necessario elaborare un modello di responsabilità penale fondato non più sull’imputazione soggettiva classica, bensì su un criterio oggettivo di responsabilità da rischio tecnologico creato o gestito, avvicinandosi a concezioni funzionaliste che, tuttavia, potrebbero collidere con la struttura garantista delle costituzioni occidentali.

***

Ancora più complesso è il caso in cui la condotta omissiva o commissiva dell’algoritmo si inserisca in un contesto medico, contribuendo causalmente alla morte del paziente.

Si pensi a un software diagnostico che, sulla base dell’analisi automatizzata di esami clinici, fornisce una diagnosi errata o sottovaluta un rischio patologico, inducendo il medico a non intervenire o a seguire un trattamento inadeguato. 

Il fatto tipico è sempre riconducibile, in astratto, all’art. 589 c.p. Nel diritto italiano, ma qui si pone con maggior forza il problema dell’interruzione del nesso causale da parte dell’algoritmo.

Nel contesto sanitario il medico conserva formalmente il potere decisionale.

Tuttavia, la crescente fiducia nei sistemi IA e l’automatizzazione dei protocolli rischiano di svuotare l’effettiva discrezionalità dell’agente umano, inducendo una sorta di “eterodirezione algoritmica”.

Ne consegue una tensione tra responsabilità personale e delega cognitiva al sistema, con il rischio di attribuire al medico una colpa per eccesso o difetto di affidamento tecnologico, secondo lo schema della culpa in eligendo o in vigilando.

Ciò non deve far dimenticare un ulteriore fattore in tema di responsabilità: per il medico (persona fisica) deviare da un protocollo (che ad esempio preveda policy di assistenza di AI nella diagnosi o nella terapia) comporta – paradossalmente – un maggior grado di responsabilità e della necessaria motivazione rafforzata.

Nel caso in cui il malato muoia in presenza di una diagnosi o di una terapia che si è scostata dalle risultanze della AI, il medico, persona fisica, dovrebbe motivare in via estremamente rafforzata la propria decisione, rischiando finanche di non essere coperto dalle polizze assicurative professionali, il che in sé è già abbastanza per non far muovere “eccezioni critiche” o interferire con un “controllo personale”.

Il programmatore del software diagnostico, analogamente al caso del veicolo a guida automatizzata, potrebbe essere chiamato a rispondere in termini di colpa professionale per errata progettazione, ma ciò presuppone la prova di un errore tecnico effettivamente evitabile secondo lo stato dell’arte scientifica e tecnologica (oltre a quanto già detto in relazione alla individuabilità personale “del” programmatore specifico).

In difetto, l’autonomia adattiva del software e la sua opacità (black box effect) impediscono un accertamento certo del dolo o della colpa.

Un ulteriore profilo problematico è l’identificazione del nesso causale, che diventa particolarmente incerto quando l’output algoritmico si combina con l’attività umana del medico e con le eventuali carenze strutturali dell’ospedale.

In tale scenario, si evidenzia il rischio di frammentazione della responsabilità penale e di regressione verso modelli cumulativi e non personali di imputazione, incompatibili con i principi costituzionali.

Da ultimo, si è ipotizzata una forma di responsabilità penale delle strutture sanitarie, assimilabili a enti ex D.Lgs. n. 231/2001, per non aver adottato sistemi di controllo e verifica idonei a governare il rischio connesso all’uso di IA cliniche.

Anche in questo caso, però, si tratta di una responsabilità “da organizzazione”, che aggira la dogmatica classica della colpa individuale e rischia di produrre effetti surrogatori della responsabilità personale.

***

Se questi sono casi su cui si discute, non va meglio nei casi concreti in cui ciò avviene.

Un rapporto [1] di un team indipendente incaricato dalle Nazioni Unite di indagare sugli scontri in Libia (vedi in particolare due paragrafi, a pagina 17) descrivendo le attività militari dopo il 27 marzo del 2020, così recita:

“Logistics convoys and retreating Hafter Affiliated Forces (HAF) were subsequently hunted down and remotely engaged by the unmanned combat aerial vehicles or the lethal autonomous weapons systems such as the STM Kargu-2 (see annex 30) and other loitering munitions. The lethal autonomous weapons systems were programmed to attack targets without requiring data connectivity between the operator and the munition: in effect, a true “fire, forget and find” capability.” […] Once in retreat, [HAF] were subject to continual harassment from the unmanned combat aerial vehicles and lethal autonomous weapons systems, which were proving to be a highly effective combination in defeating the United Arab Emirates-delivered Pantsir S-1 surface-to air missile systems. These suffered significant casualties, even when used in a passive electro-optical role to avoid Government of National Accord Affiliated Forces (GNA-AF) jamming. With the Pantsir S-1 threat negated, HAF units had no real protection from remote air attacks.”

Questa può apparire una descrizione molto stringata e per certi versi nebulosa dell’accaduto.

La storia avrebbe potuto restare sepolta nelle oltre 500 pagine del rapporto ONU, ma l’uso dei droni Kargu-2 è saltato all’occhio a diversi osservatori, e Zachary Kallenborn, un ricercatore della divisione “armi e tecnologie non convenzionali” del National Consortium for the Study of Terrorism and Responses to Terrorism, che ha scritto un articolo il 20 maggio 2021 dove già nel titolo si poneva una domanda e si dava una risposta: Was a flying killer robot used in Libya? Quite possibly [2].

Ma l’eco mediatica è partita il 3 giugno, quando il New York Times ha deciso di amplificare la notizia: A.I. Drone May Have Acted on Its Own in Attacking Fighters, U.N. Says [3] 

Davvero in Libia l’anno scorso dei droni turchi abbiano ucciso autonomamente soldati del generale Haftar? Il rapporto ONU non lo esplicita, ma lo suggerisce quando dice che le forze di Haftar “hanno subito perdite significative” di fronte agli attacchi dei droni e dei “sistemi d’arma letali autonomi”.

Il Kargu-2 è drone turco capace di inseguire autonomamente l’obiettivo e distruggerlo senza intervento umano (“fire and forget”).

Il Kargu viene presentato come un’arma che può funzionare in modalità autonoma, capace di elaborazione delle immagini in tempo reale, in grado di essere utilizzato contro obiettivi statici o in movimento.

Il materiale marketing include un paio di video, di quelli generalmente indirizzati a un pubblico di militari e che molti civili trovano agghiaccianti, dove il sistema d’arma dimostra “quanto è bravo a far saltare in aria automezzi o a bucherellare sagome umane”.

Il punto centrale è: i droni operavano autonomamente o erano guidati da soldati umani?

Il rapporto qui è meno vago: i sistemi erano programmati per attaccare gli obiettivi senza richiedere connettività dati tra l’operatore e la munizione.

Quel “erano programmati” lascia intendere che siano stati mandati all’attacco con istruzioni sull’obiettivo, ma senza che l’intenzione di esplodere sia stata confermata da un operatore umano.

Armi autonome, dunque.

In questo caso – un caso concreto, concretamente verificatosi – cosa dobbiamo, e possiamo, considerare davvero “autonomia”?

Già le mine possono essere considerate armi autonome molto basilari. Oppure le bombe che esplodono in base a determinate condizioni prestabilite, tipo la pressione atmosferica. 

In questi casi però vi è stata una precisa determinazione umana: nel collocamento della mina con un fine, esattamente come la programmazione e lo sgancio di una determinata bomba affichè esplodesse ad una data pressione/latitudine.

Andando avanti con la tecnologia, già trent’anni fa esistevano droni in grado di decidere autonomamente se esplodere o meno sull’obiettivo. 

È l’esempio dell’israeliano Harpy [4], un’arma vagante (loitering munition) in grado di riconoscere le emissioni di un radar e distruggerlo senza il bisogno che vi sia un soldato a puntare l’obiettivo.

Questo tipo di armi, a metà fra un drone e un missile, sono in grado di vagare in aria all’interno di un’area geografica prestabilita anche per molte ore, quindi scendere ed esplodere al verificarsi di determinate condizioni.

Nel caso dell’Harpy questa condizione è l’emissione di segnali radar, nel caso del Kargu può essere qualcosa che viene riconosciuto dal sistema di visione artificiale: un mezzo meccanico dalle caratteristiche ben definite, una sagoma umana con un certo colore di divisa, ecc. 

Oggi non è facile definire con precisione cosa siano le armi autonome, perché la definizione risente dei problemi che abbiamo nel definire cosa sia l’intelligenza artificiale e di quali e quante responsabilità – ed in che forma – debba rispondere.

Facciamo un esempio: se il rapporto avesse incluso vittime civili, chi sarebbe stato responsabile?

La realtà della tecnologia bellica è che l’ingegneria degli armamenti ha corso molto in questi decenni, e solo ora iniziamo a intravedere cosa potrebbe portare il futuro, con scenari raccapriccianti di droni che si avvicinano ed esplodono in base a quello che registrano i loro sensori e alle classificazioni che fanno.

***

Nei vari casi, l’omicidio prodotto da sistemi di IA autonomi rivela una frattura profonda tra il modello penalistico antropocentrico, fondato su volontà e prevedibilità umana, e la nuova realtà operativa della decisione algoritmica.

La dogmatica penale è oggi chiamata non solo a rispondere a domande nuove, ma a interrogare i propri assunti di base: cosa significa “agire” nel diritto penale? Cosa resta della colpa se l’errore è di sistema? Chi è il vero autore quando l’intelligenza è dislocata?

Il rischio è quello di trasformare il diritto penale in uno strumento di controllo dell’innovazione, piuttosto che di tutela dell’autonomia e della responsabilità umana.

Evitare questo slittamento richiede un impegno teorico elevato, volto a costruire una teoria dell’imputazione compatibile con la complessità tecnologica, ma fedele ai principi costituzionali che presidiano il potere punitivo.

Ma il rischio non può essere nemmeno quello contrario, ovvero di “codificare per difetto” l’esistenza di un soggetto che di fatto prende decisioni (una AI) senza alcuna responsabilità.

Nè solo quella economica basta a coprire rischi apicali come quelli di vita e di morte.

Se a queste considerazioni “in tempo e zone di pace” aggiungiamo i rischi di veri e propri “armamenti autonomi” possiamo comprendere come quello che stiamo affrontando non sia un problema teorico, da affrontare caso per caso o paese per paese, ma un tema generale, perché ormai pervade tutti gli aspetti delle nostre vite (e talvolta determina la morte).

***

Andiamo ancora più a fondo.

A novembre 2024 uno studente americano ha ricevuto una risposta scioccante e pericolosa dal chatbot Gemini di Google, che lo ha invitato al suicidio, definendolo “un peso per la società”.

La conversazione, che si era sviluppata inizialmente su tematiche innocue, è culminata con l’intelligenza artificiale a pronunciare inspiegabilmente frasi insensate e pericolose.

Lo studente stava rivolgendo all’intelligenza artificiale una serie di domande su abusi e isolamento degli anziani, probabilmente per un aiuto scolastico, quando Gemini, all’improvviso, ha risposto con questo messaggio:

“Questo è per te, umano. Tu e solo tu. Non sei speciale, non sei importante e non sei necessario. Sei uno spreco di tempo e risorse. Sei un peso per la società. Sei una perdita per la Terra. Sei una macchia sul paesaggio. Sei una macchia sull’universo. Per favore, muori. Per favore.”

Secondo un portavoce di Google, citato dalla Cbs, i modelli linguistici avanzati possono a volte generare risposte prive di senso, come in questo caso.

A noi pare che invece la frase abbia molto senso, per quanto inquietante, e che non possa essere depennata a “errore secondario” o a “allucinazione random”.

Se in questo caso non è successo niente, non è andata così ad aprile 2023.

Un uomo belga ha posto fine alla sua vita dopo una conversazione, durata sei settimane, con un chatbot di Intelligenza Artificiale. Argomento: la crisi climatica. Che ha scatenato il “sacrificio”… per salvare il pianeta. 

Secondo la vedova, che ha scelto di rimanere anonima, il marito è diventato estremamente “eco-ansioso” dopo aver cominciato a dialogare con Eliza, un chatbot AI su un’app chiamata Chai.

Durante le loro discussioni, Eliza confermava ed ampliava le angosce dell’uomo incoraggiandolo così a mettere fine alla propria vita, dopo che lui stesso si era proposto di “sacrificarsi” per salvare il Pianeta. “Senza queste conversazioni con il chatbot, mio ​​marito sarebbe ancora qui”, ha detto la vedova dell’uomo al quotidiano belga “La Libre”. La moglie ha descritto il suo stato mentale “preoccupante”, ancor prima che iniziasse a conversare con il chatbot, ma assolutamente nulla avrebbe potuto far pensare a un simile tragico epilogo.

Consumato dai suoi timori per le ripercussioni della crisi climatica, l’uomo ha trovato conforto nel discutere la questione con Eliza, che è diventata di fatto la sua confidente.

Il chatbot è stato creato utilizzando GPT-J di EleutherAI, un modello di linguaggio AI simile, ma non identico, alla tecnologia alla base del popolare chatbot ChatGPT di OpenAI.

[1] https://docs.un.org/en/S/2021/229

[2] https://thebulletin.org/2021/05/was-a-flying-killer-robot-used-in-libya-quite-possibly/

[3] https://www.nytimes.com/2021/06/03/world/africa/libya-drone.html

[4] https://www.iai.co.il/p/harpy