Recidiva e polizia predittiva: i limiti dell’AI Act e le linee guida al regolamento

di Michele Di Salvo

In occasione della piena efficacia dei Capi I e II del regolamento comunitario della Intelligenza artificiale (AI Act: in vigore il divieto per sistemi a rischio inaccettabile), la Commissione europea il 4 febbraio 2025 ha pubblicato un annesso relativo alle Linee Guida dedicate alle pratiche vietate.

Si tratta di ambiti specifici rispetto ai quali sia la progettazione che la implementazione di sistemi di intelligenza artificiale è vietata perché comporterebbero rischi insostenibili per i diritti fondamentali delle persone.

L’articolo 5 del Regolamento enumera queste pratiche, in sintesi e per generiche linee:

• Tecniche subliminali-manipolative-ingannevoli

• Tecniche d sfruttamento di disabilità o specifiche situazioni di debolezza

• Social scoring

• Polizia predittiva

• Riconoscimento facciali mediante scraping

• Riconoscimento di emozioni

• Categorizzazione biometrica (salvo il law enforcement)

Le linee guida sono destinate a illustrare ed esemplificare i reciproci confini tra divieti e non esclusioni per facilitare l’opera di compliance da parte di enti pubblici e privati.

Come linee guida non possono essere vincolanti: ogni interpretazione “autentica” delle norme del regolamento sarà affidata alla Corte di Giustizia UE e ogni applicazione dell’articolo 5 dovrà essere effettuata caso per caso.

La parte relativa alla polizia predittiva che impatta in maniera diretta nell’ambito giudiziario.

In generale viene stabilito il divieto di utilizzo di sistemi di intelligenza artificiale per la valutazione del rischio individuale e la previsione di reati.

L’obiettivo principale dell’articolo 5(1)(d) dell’AI Act è impedire che strumenti di AI siano impiegati per prevedere la probabilità che una persona commetta un crimine, basandosi esclusivamente su profilazione o valutazioni di tratti della personalità.

Il divieto si basa sulla protezione dei diritti fondamentali e sul rischio di discriminazione e stigmatizzazione derivante dall’uso di tali sistemi e copre le previsioni di reato basate esclusivamente su dati personali e profilazione, al netto di eccezioni ed esclusioni.

Le eccezioni previste tuttavia permettono l’uso di sistemi di AI per supportare valutazioni umane, purché basate su dati oggettivi e verificabili legati direttamente ad attività criminali.

Scatta il divieto articolo 5 paragrafo 1 lettera d) quando si verificano tre condizioni simultanee e cumulative:

1.  La pratica deve costituire la “immissione sul mercato”, la “messa in servizio”, al fine dello «scopo specifico» o «uso» di un sistema di IA,

2.  Il sistema di IA deve effettuare valutazioni del rischio che valutino o prevedano il rischio che persona fisica commetta un reato,

3.  La valutazione del rischio o la previsione devono basarsi esclusivamente su una o entrambe queste attività: 

(a) la profilazione di una persona fisica,

(b) la valutazione i tratti e le caratteristiche della personalità di una persona fisica.

Quindi, in concreto, nessun divieto se “lo scopo principale” non sia la predizione, anche in caso questa sia un “prodotto secondario derivato” da uno scopo diverso.

In più, quanto previsto al punto tre, sia in a) che in b) non sono affatto definiti, né in sé vietati.

Il divieto si applica ai sistemi di AI che valutano il rischio o la probabilità che una persona commetta un crimine in futuro, se basati esclusivamente su dati di profilazione o su caratteristiche della personalità senza alcun collegamento a fatti concreti.

Se l’AI valuta il rischio di una persona di commettere un crimine basandosi esclusivamente su caratteristiche personali (es. personalità, etnia, comportamenti passati non criminali, status socioeconomico), è proibita. Questi sistemi possono generare pregiudizi, discriminazione e ingiustizie.

Se invece non sono basati “esclusivamente” su questi due dati ma nel più ampio contesto di altri ed ulteriori criteri di analisi questo requisito può essere facilmente arginato.

In questo contesto basti rammentare che non sono indicati “i pesi” di ciascun criterio, ma solo “i criteri utilizzati in assoluto” o in via esclusiva.

Quanto detto si incastra perfettamente con il passaggio successivo.

Se l’AI è utilizzata per supportare una valutazione umana e si basa su dati concreti e verificabili, come precedenti penali, associazione documentata a reti criminali o prove legate direttamente a un crimine, allora è consentita. In questo caso, il sistema AI non prende decisioni da solo, ma aiuta esperti umani a valutare i rischi.

Le linee guida presentano alcuni esempi concreti che dovrebbero, nelle intenzioni, semplificare l’individuazione di ciò che si può o meno fare.

È vietato un sistema AI che assegna punteggi di rischio alle persone solo in base alla loro personalità o al quartiere in cui vivono.

È consentito un sistema AI che analizza dati di indagini in corso e segnala correlazioni tra determinati elementi fattuali e il rischio di recidiva.

Nelle intenzioni il criterio chiave è che la profilazione sia fondata su prove verificabili e non su supposizioni o correlazioni generiche.

In questo caso vi è un vulnus macroscopico.

Laddove è previsto il principio della presunzione di innocenza sino al giudizio definitivo, i dati sulle “indagini in corso” (nemmeno il rinvio a giudizio!) nonché “elementi fattuali” (ma non giudicati in sede di giudizio) costituiscono già e in se stessi un elemento di pregiudizio della e nella profilazione, anche a livello di etnia e status socioeconomico.

Se ad esempio una persona vive in un quartiere di periferia ed è un immigrato che è già stato attenzionato per un reato contro il patrimonio (ad esempio appropriazione indebita) anche se non rinviato a giudizio, finirà nella predizione in qualsiasi caso, anche se non esplicitamente in base al criterio etnico o socioeconomico semplicemente per l’incidenza statistica, che in questo caso diventa profezia statistica autoavverante, dal momento che esclude a priori dalle predizioni i soggetti non immigrati di altri quartieri.

In proposito possiamo citare il caso recentemente emerso in Inghilterra dove il sistema di AI impiegato dal governo per individuare le frodi in materia di assistenza sociale mostrava discriminazioni in base all’età, alla disabilità, allo stato civile e alla nazionalità delle persone. La valutazione interna del programma di apprendimento automatico utilizzato per esaminare le richieste di pagamento del credito universale in Inghilterra ha scoperto che selezionava in modo errato le persone di alcuni gruppi più di altri quando individuava chi indagare per possibili frodi.

L’AI Act consente la profilazione delle persone al fine di valutare il rischio (recidiva) e di commissione di reati futuri solo se basata su fatti oggettivi e verificabili direttamente legati a un’attività criminale, comunque con eccezioni e limitazioni che ne regolano l’uso.

1. Nessuna decisione può essere completamente automatizzata. 

Anche se un sistema AI utilizza dati concreti, non può prendere decisioni autonome sulla valutazione del rischio criminale. Deve essere sempre presente una supervisione umana, con il potere di verificare, contestare e correggere le valutazioni dell’AI.

2. Vige il divieto di profilazione “generalizzata”.

L’AI non può generare valutazioni di rischio su intere categorie di persone (es. tutti gli abitanti di un quartiere o membri di un gruppo sociale). La valutazione deve essere individualizzata e basata su elementi specifici direttamente connessi a un’attività criminale.

3. I dati devono essere direttamente collegati ad attività criminali.

Il sistema può analizzare solo dati che abbiano un legame diretto e verificabile con atti criminali. Non è permesso l’uso di dati di abitudini personali, orientamenti politici, religiosi o altre caratteristiche personali non collegate a crimini.

4. Vige il divieto di discriminazione.

Anche se l’AI usa dati concreti, il suo impiego non può generare discriminazioni vietate dalla legge UE (es. basate su etnia, religione, genere, stato socioeconomico). Le valutazioni devono essere trasparenti e verificabili per evitare pregiudizi sistemici, ossia giustificabili con dati oggettivi e verificabili, evitando opacità nei processi decisionali.

Per quanto riguarda il primo punto, che l’AI non possa decidere da sola appare tautologico, almeno nella misura in cui non esiste ancora un robot-giudice dotato di AI.

Che qualsiasi dato predittivo debba essere “presentato” ad un operatore umano appare pleonastico da specificare. Infatti le linee guida esplicitamente prevedono che vi sono poi settori in cui le Forze di polizia, esse possono usare l’AI per supportare indagini, ma non per giustificare automaticamente decisioni di arresto o sorveglianza.

Ma se l’indagine è “statisticamente orientata” viene anche direzionata, portando all’esclusione di fatto di altre strade, o quanto meno renderle più ardue perché non supportate (se non escluse a priori).

Il secondo limite appare di per sé quantomeno ingenuo, perché quello che sfugge è che è l’Ai a creare “di per sè” le categorie attraverso la gestione e l’analisi dei dati, per cui se deve predire la recidiva di un quartiere periferico dove statisticamente vivono in condizioni socioeconomiche svantaggiate percentuali elevate di immigrati, spesso di altre religiosi rispetto a quella “nazionale”, è evidente che finirà con il generare statisticamente una predizione in tal senso, ed al contempo a creare due categorie: quelli più inclusi e quelli più esclusi dalla categoria di rischio.

All’avverarsi di eventi specifici previsti, questi due insiemi si consolideranno sulla base del processo di “previsione avverata”. Il che rafforzerà il pregiudizio categoriale.

La critica al secondo punto finisce per violare implicitamente – in modo non voluto ma non impedito – anche il limite di cui al punto tre e al punto quattro.

Un sistema di AI non rientra nel divieto se soddisfa tutti questi criteri:

• Supporta un’analisi umana: l’AI non prende decisioni autonome, ma fornisce dati e valutazioni che vengono esaminati e interpretati da un essere umano.

• Si basa su fatti oggettivi e verificabili: i dati utilizzati devono essere concreti, documentati e verificabili. Esempi: Precedenti penali ufficiali. Coinvolgimento documentato in reti criminali.

• Prove materiali di un’attività criminale (ad esempio, immagini da videosorveglianza, transazioni finanziarie sospette confermate da indagini).

• Ha un legame diretto con un’attività criminale: non può fare inferenze basate su caratteristiche personali (es. profilo psicologico, contesto socioeconomico, etnia) senza una connessione specifica con un reato.

Esempi pratici di sistemi AI esclusi dal divieto

Consentiti (se rispettano i criteri di cui sopra):

• Analisi di modelli di criminalità finanziaria: Un sistema AI che analizza transazioni bancarie sospette basandosi su dati di riciclaggio di denaro verificati.

• AI per la prevenzione delle recidive: Un sistema che supporta gli operatori della giustizia nell’analizzare la probabilità di recidiva basandosi su precedenti penali concreti.

• AI per l’analisi forense: Sistemi che identificano connessioni tra prove forensi già verificate e profili criminali accertati.

Tutti gli esempi (tratti dalle linee guida) seppur validi nelle intenzioni, di fatto già da soli sono in sé discriminatori: basarsi sui precedenti è in sé pleonastico (solo una persona che ha già commesso un reato può essere recidivo, l’incensurato no), ma in questo criterio pleonastico (che quindi non serve) si inserisce un meccanismo di profezia statistica autoavverante.

Peggio è quanto riguarda il terzo punto che addirittura si presta alla vera e propria falsificazione: eseguendo un reato “imitando mezzi e modalità” di un pregiudicato-libero si finisce con il farlo indagare, anche se nulla avrebbe condotto a lui per altra via.

Il punto è che questi rischi sono non solo concreti, ma anche – sulla base di queste linee guida – inevitabili. E lo sappiamo già da ora (come già sappiamo che tra dieci anni la CEDU si troverà a stabilirlo per vicende vissute “sulla pelle” di persone reali).

Il fatto poi che tra gli esempi di sistemi esplicitamente vietati vi siano quelli di

• AI che assegna un punteggio di rischio criminale basato solo sulla personalità o il comportamento online.

• Un sistema che etichetta persone come potenziali criminali perché vivono in una zona con alti tassi di criminalità.

• AI che genera allarmi di sorveglianza automatizzati su persone senza prove documentate di attività criminale

non solo non risolve il problema, ma ci si nasconde dietro. È evidente che nessuno scriverà nero su bianco che il sistema che intendere realizzare si muova in questo modo. Anzi è più che probabile che scriva l’esatto contrario per essere compliance con le policy.

Questo basta a legittimare il sistema? Questo basta soprattutto sapendo che – al di là delle dichiarazioni – il sistemi di AI attraverso il ML altro non fanno, analizzando il comportamento umano, che consolidare statistiche autoavveranti, e quindi in se stesse discriminanti esattamente secondo i criteri ufficialmente vietati.

Anche nei casi in cui si possa procedere alla profilazione alle condizioni previste, il sistema di AI può essere posto alla base di una decisione automatizzata che deve essere sempre sottoposta alla valutazione umana.

Il concetto di “human intervention” (intervento umano) è stato oggetto di esame da parte della Corte di Giustizia dell’Unione Europea (CJEU), in particolare nel contesto delle decisioni automatizzate che prevedono la previsione del rischio di coinvolgimento delle persone in crimini gravi.

In particolare, la sentenza di riferimento è quella relativa al caso “Ligue des droits humains” (C-817/19), in cui la CJEU ha analizzato la legalità dell’uso di un sistema avanzato di AI per l’analisi sistematica dei dati dei passeggeri aerei (Passenger Name Record – PNR) al fine di prevedere la probabilità di coinvolgimento in atti di terrorismo o altri crimini gravi.

La Corte Ue ha stabilito che le decisioni negative (non si è espressa sulle decisioni “positive”!) non possono essere prese esclusivamente sulla base di un processo automatizzato. È richiesta una valutazione umana indipendente e non automatizzata prima di prendere una decisione basata sui risultati generati da un sistema AI.

Tale valutazione deve basarsi su criteri oggettivi per evitare discriminazioni e falsi positivi.

In conseguenza, secondo la Corte, qualsiasi utilizzo di AI per prevedere il rischio criminale deve includere una supervisione umana effettiva; gli operatori umani devono essere competenti, formati e in grado di comprendere le capacità e i limiti del sistema AI; devono essere predisposte procedure per evitare l’automazione cieca (automation bias) e per intervenire in caso di risultati errati o discriminatori.

In conclusione la Corte Ue ha stabilito che l’intervento umano non deve essere una mera formalità, ma un vero e proprio controllo attivo sui risultati prodotti da sistemi automatizzati.

Va detto tuttavia che nel caso esaminato l’insieme considerato era in sé chiuso (la lista passeggeri) e uniforme (persone che prendevano un certo volo) e limitato (decine di individui).

Se i principi della sentenza in sé sono validi, lo diventano meno in un’analisi generalizzata dove di per sé l’insieme non è limitato, non è eterogeneo, non è discriminato in base a una scelta individuale precisa ex ante (prendere quel volo in quel giorno e andare in quel posto).

Al variare dello scenario predittivo deve variare anche il criterio.

Le linee guida proseguono indicando quando il divieto coinvolge attori privati:

• • se sono incaricato dalla legge di esercitare un’autorità pubblica per la prevenzione e il contrasto dei crimini (un’agenzia di sicurezza privata incaricata per legge di supportare operazioni di polizia nell’identificazione di criminali non può usare AI per assegnare punteggi di rischio individuali);

• • se sono esplicitamente incaricati caso per caso dalle autorità di contrasto (una società di analisi dei dati a cui viene chiesto di utilizzare AI per prevedere la probabilità che una persona commetta un crimine potrebbe essere soggetta al divieto);

• • se l’utilizzo dell’AI da parte di queste entità è richiesto dalla legge per adempiere a obblighi normativi specifici (una banca ha l’obbligo legale di monitorare le transazioni per individuare attività di riciclaggio di denaro).

Ci sono casi in cui le attività di un’azienda non rientrano nel divieto dell’AI Act, anche se coinvolgono l’uso di AI per il monitoraggio del rischio: se l’uso dell’AI non ha lo scopo principale di valutare il rischio criminale individuale. 

Un’azienda che usa l’AI per analizzare anomalie finanziarie (come movimenti sospetti nei conti bancari) per proteggere i propri interessi finanziari non rientra nel divieto, a meno che non stia facendo valutazioni predittive individuali sul rischio criminale.

Se il sistema AI è utilizzato esclusivamente per scopi commerciali interni. Ad esempio, se una compagnia assicurativa usa l’AI per valutare il rischio di frodi assicurative senza prevedere specificamente se un cliente commetterà un reato, non ricade nel divieto.

Se l’analisi riguarda il comportamento collettivo e non individuale. Le analisi basate su dati aggregati e anonimi (analisi geospaziali della criminalità in una città) non rientrano nel divieto perché non identificano direttamente i singoli come potenziali criminali.

In conclusione, le aziende private possono essere soggetti al divieto se agiscono in nome delle autorità pubbliche o per obblighi legali specifici. Non sono invece coperti dal divieto se il loro uso dell’AI non riguarda direttamente la previsione di crimini individuali o se operano solo a scopo commerciale interno. 

Su questi ultimi punti di limitazione o meno dell’utilizzo appare evidente lo squilibrio sotto svariati aspetti.

L’attività pubblica – di per sé di pubblico interesse, anche quando delegata – viene fortemente limitata, anche quando riguarda aspetti di sicurezza oggettiva.

Viene invece consentita esplicitamente un’attività privata che, oltre ad essere particolarmente invasiva, è anche legata (anche in questo caso dichiaratamente) a fini commerciali, sia diretti che indiretti.

Mentre l’attività pubblica per altro è almeno in parte garantita da una molteplicità di controlli verticali, e quindi almeno potenzialmente è dotata in se stessa a livello organizzativo e potestativo di linee di controllo e di verifica e di correzione e di sanzione (non da ultimo va tenuto presente lo scopo di pubblica utilità), non altrettanto può dirsi in termini di controlli e verifiche e sanzioni nei soggetti privati che per altro, se guardiamo allo scopo (tipicamente commerciale e di profitto) configurano una vera e propria concreta situazione di conflitto di interessi.

Facciamo due ipotesi pratiche.

Un’agenzia di sicurezza privata incaricata per legge di supportare operazioni di polizia nei controlli aeroportuali, nell’identificazione di criminali non può usare AI per assegnare punteggi di rischio individuali. Eppure in questo caso con qualche correttivo lo scopo potrebbe giustificare l’utilizzo almeno nei controlli a campione.

D’altro canto sono consentiti questi due utilizzi:

– da parte di una compagnia assicurativa per valutare il rischio di frodi assicurative (senza prevedere specificamente se un cliente commetterà un reato) e se l’analisi riguarda il comportamento collettivo e non individuale, quindi analisi basate su dati aggregati e anonimi (analisi geospaziali della criminalità in una città) non rientrano nel divieto perché non identificano direttamente i singoli come potenziali criminali.

Orbene, quando il risultato dell’analisi rivelerà che le statistiche passate evidenziano delle criticità, quale dirigente non aumenterà le tariffe in base alla residenza per quartiere (discriminazione socioeconomica e socio-razziale) o si rifiuterà di contrarre su questa base? Se si discostasse dall’indicazione del sistema sarebbe addirittura richiamato dalla compagnia (ufficialmente per imprudenza rispetto alle policy, in realtà per ragioni di utile aziendale!).

Quello che emerge complessivamente è che questa parte delle linee guida, nel pur apprezzabile contesto di formali tutele definitorie in termini di non discriminazioni – sono non solo poco efficaci, ma chiaramente dimensionate a tutela degli interessi del settore privato, in primis quello economico-finanziario-assicurativo che da tempo utilizza già questi sistemi anche per la definizione dei criteri di compliance formale e per l’ottimizzazione dei controlli e dei risultati di conto economico.