Il sogno per chiunque abbia a che fare con la burocrazia - specialmente se legata agli aspetti fiscali come tasse, rimborsi, e benefici economici - è quello di raggiungere la piena semplificazione. Ridurre al minimo le scartoffie da compilare, i documenti da caricare, e avere subito pronte le risposte che si attendono. Un desiderio che combacia anche con quello delle Pubbliche Amministrazioni.

Da sempre la tecnologia promette di ottimizzare e rendere più semplici le nostre vite e, negli ultimi anni, gli algoritmi di intelligenza artificiale sono entrati sempre di più all’interno delle diramazioni statali proprio per gestire gli aspetti fiscali. Nel 2019, l’allora Relatore speciale delle Nazioni Unite su povertà estrema e diritti umani, Philip Alston, ci ha messi in guardia: quello che sulla carta potrebbe sembrare un sogno, scriveva in un report, rischia di diventare una digital welfare dystopia, ovvero un incubo dove i benefici della digitalizzazione scompaiono perché travolti dalle violazioni dei diritti per mano di software e algoritmi.

Il centro di ricerca Algorithm Watch, nel suo report Automating Society 2020, mostra come l’adozione di queste tecnologie stia investendo tutta Europa, inclusa l’Italia, con lo scopo di aiutarci a individuare frodi, distribuire benefici economici alle fasce della popolazione più bisognose, e misurare il ranking dei contribuenti.

La digitalizzazione del welfare ha diverse forme: dalle tecnologie per la verifica dell’identità della persona a strumenti come quelli che si vorrebbero introdurre in Francia per raccogliere dati dai social network e usarli per individuare evasori fiscali.

In Italia esistono già sistemi come l’indice ISA per misurare il ranking del contribuente sulla base di indicatori elaborati dall’Agenzia delle Entrate. Un sistema che è già finito al centro di alcune critiche perché le anomalie verrebbero segnalate anche per casi del tutto normali come pause per maternità o per lavoro non continuativo ad esempio nel caso di freelancer.

Malgrado questa partenza incerta, l’Italia sembra comunque intenzionata a espandere la presenza degli algoritmi nel welfare. Infatti, a marzo 2021 l’Agenzia delle Entrate si è aggiudicata un finanziamento di 900 milioni di euro da parte dell’Unione Europea per utilizzare l’intelligenza artificiale nel contrasto all’evasione: gli algoritmi dovrebbero essere in grado di facilitare l’analisi delle fatture elettroniche, dei dati sugli immobili, dei bilanci e delle dichiarazioni dei redditi.

Welfare digitale tra rischi e benefici

Mentre il welfare sta diventando digitale, però, bisogna tenere alta l’attenzione per evitare di sottostimare i rischi di questi processi automatizzati, sia per quanto riguarda i dati personali trattati che per i rischi di amplificare le discriminazioni già presenti nella società.

Per Philip Alston, ex Relatore speciale delle Nazioni Unite e ora docente alla New York University School of Law, infatti, bisogna prestare particolare attenzione a due aspetti: i dati su cui agiscono gli algoritmi e gli effetti delle decisioni prese in maniera automatizzata.

Per quanto riguarda i dati, i software che sfruttano algoritmi di intelligenza artificiale riescono a facilitare la comparazione di informazioni molto eterogenee tra loro come le attività sui social network, le informazioni prese dai conti bancari, e i dettagli sulle multe e sanzioni ricevute dalle forze dell’ordine.

Questa capacità di incrociare facilmente ingenti quantità di dati crea la condizione perfetta per una continua espansione dei database e, di conseguenza, un aumento dei comportamenti dei cittadini che possono essere monitorati. I cittadini si trovano in questo modo di fronte a un livello di sorveglianza mai visto prima. E questo, scrive Alston nel suo report, diventa anche una forma di costrizione: le persone sembrano effettivamente costrette a rinunciare al proprio diritto alla privacy e alla protezione dei dati per ricevere in cambio accesso al welfare. Non si tratta più di diritti, ma quasi di una punizione.

Nel febbraio del 2020 un tribunale olandese ha obbligato il governo nazionale a sospendere l’uso dello strumento System Risk Indication (SyRI) proprio perché viola il rispetto della vita privata e familiare.

Un risultato ottenuto grazie all’azione di attivisti e associazioni che si occupano di diritti umani.

Il SyRI nasce per raggruppare dati provenienti da diversi database di autorità pubbliche olandesi e identificare quei soggetti che hanno più probabilità di commettere frodi. Philip Alston aveva già sottolineato in precedenza che il sistema discrimina le fasce più deboli della popolazione e mina i loro diritti umani.

La fusione di questi database non introduce solo rischi per la privacy, ha spiegato a Blasting Investigations Sarah Chander, Senior Policy Advisor sui temi dell’AI per l’associazione European Digital Rights (EDRi), “ma anche per altri diritti fondamentali, tra cui il diritto alla previdenza sociale e il diritto alla non discriminazione, soprattutto quando l'interoperabilità connette i servizi sociali, come l'istruzione e la sanità, ai servizi di polizia e immigrazione”.

Inoltre, ha aggiunto Chander, c’è anche il rischio di lasciare fuori dal welfare tutta una parte della popolazione che non ha documenti, come già sottolineato dall’associazione PICUM, la Piattaforma per la cooperazione internazionale sui migranti senza documenti.

Denunce, violazioni e discriminazioni: il caso dei Paesi Bassi

Secondo una serie di documenti pubblicati da Platform Bescherming Burgerrechten, una delle associazioni che hanno denunciato il sistema, emerge che il SyRI è stato usato in particolare in quei quartieri dove vivono famiglie con redditi più bassi. I cittadini non ricevono notifiche quando il sistema li indica come a rischio di commettere frodi e non possono sapere quali variabili hanno portato il sistema a prendere quella decisione.

Alla violazione della privacy si aggiunge quindi la cortina di fumo innalzata da aziende e governi che, rispettivamente, sviluppano e impiegano questi algoritmi: molto spesso non è possibile accedere alle informazioni che spiegano come si sia arrivati a stabilire che una persona ha commesso una frode o che una famiglia deve essere esclusa dai benefici economici. Questa incapacità di vedere in che modo sono prese le decisioni permette di tenere nascosti i danni collaterali che gli strumenti di risk-scoring e algoritmi simili producono: esacerbare le disuguaglianze e le discriminazioni esistenti.

E proprio queste discriminazioni algoritmiche sono al centro di un’altra vicenda, sempre nei Paesi Bassi, che ha portato l’allora governo olandese a dimettersi nel gennaio del 2021.

A partire dal 2013, circa 26.000 famiglie sono state accusate ingiustamente di frode sui sussidi sociali ricevuti per i propri figli. L’algoritmo, secondo un’indagine dell’Autorità per la protezione dei dati personali olandese, prendeva in considerazione variabili discriminatorie come il possesso di una seconda nazionalità: un cittadino straniero era considerato automaticamente più truffatore di un cittadino olandese e sottoposto a maggiori verifiche.

La classificazione suggerita dall’algoritmo ha costretto alcune famiglie a ridare i soldi non dovuti, mettendo così in crisi intere famiglie con annesse conseguenze psicologiche sulle persone che facevano affidamento su questi benefici per conciliare lavoro e cura della famiglia.

In alcuni casi, le persone che hanno chiesto di capire come sono state prese quelle decisioni, richiedendo accesso ai documenti, si sono viste recapitare pagine completamente redatte che non permettono di analizzare quali sono le variabili tenute in considerazione. L’associazione olandese Bits of Freedom ha sottolineato come questi blocchi di testo nero siano la perfetta rappresentazione della grave mancanza di trasparenza da parte del governo.

Le discriminazioni vengono spesso amplificate dagli algoritmi: chi sviluppa questi software infatti rischia di automatizzare scelte che poggiano su dati discriminatori o che trasformano in software leggi e aspetti delle società che già discriminano alcune persone - come ad esempio il preconcetto che gli stranieri siano tutti dei truffatori.

“Bisogna necessariamente riconoscere che gli algoritmi sono utilizzati per moltissimi scopi diversi e quindi la risposta al come renderli meno discriminatori non è una sola”, ha spiegato Chander.

Si pensi ad esempio alla differenza tra i sistemi biometrici - che hanno un livello di accuratezza molto basso quando devono riconoscere volti di persone non bianche - e i sistemi per individuare le frodi.

“In quest'ultimo caso, rendere tali algoritmi meno discriminatori è molto complesso perché essenzialmente la nozione di rischio non è un concetto tecnico ma sociale, intrinsecamente razzializzato, legato alla classe e discriminatorio”, ha chiarito Chander.

Un passo necessario, secondo Chander, è quello di svolgere una valutazione dell'impatto di questi algoritmi sui diritti umani, da condurre preventivamente e da rendere pubblica, e consultare anche le persone che potrebbero essere colpite o soggette a tali sistemi, insieme alla società civile.

“Molti di questi sistemi saranno semplicemente troppo dannosi per essere usati e accettati”, ha aggiunto Chander, quindi le valutazioni d’impatto dovranno prevedere anche l’opzione di vietarne l’impiego.

Questo perché, secondo Chander, “molti di questi sistemi colpiscono in modo sproporzionato specifiche comunità: in questi casi non c'è modo di togliere i bias dato che il sistema viene utilizzato in un contesto più ampio di discriminazione strutturale, e gli argomenti a favore della rimozione dei bias potrebbero servire a legittimare usi intrinsecamente dannosi”.

Gli algoritmi divorano il welfare

Gli scenari che Alston presagiva nel suo report del 2019 sono quindi diventati già realtà dopo soli due anni.

I casi nei Paesi Bassi dimostrano come un welfare digitale rischi di calpestare i diritti umani e avere ripercussioni sulle vite delle persone che vengono ingiustamente segnalate dagli algoritmi.

“Il welfare digitalizzato di oggi è spesso sostenuto dal presupposto per cui gli individui non sono titolari di diritti, ma piuttosto semplici richiedenti”, scrive Alston nel suo report. In questo modo sembra quasi che quei diritti siano delle semplici concessioni che possono essere ritirate non appena un software invia un segnale.

E per chi si trova impigliato nella rete di decisioni automatizzate è complicato opporre resistenza. Secondo Alston, le tecnologie digitali offrono uno scudo e una giustificazione per quelle che in realtà sono scelte politiche prese da esseri umani: “Presentandole come scientifiche e neutrali, possono riflettere valori e presupposti che sono molto distanti, se non proprio in antitesi, ai principi dei diritti umani”.

L’Europa non sembra pronta ad evitare la distopia descritta da Alston. Soprattutto perché, secondo Chander, l'Unione Europea ha chiaramente dimostrato il suo interesse a promuovere l'adozione dell'IA nel settore pubblico - basti pensare al libro bianco sull'IA e al "Digital Compass" che delineano la strategia digitale europea.

“Per sua natura, questo non è un approccio imparziale che prende sul serio i danni posti da una distopia digitale e prende misure significative per affrontarli”, ha continuato Chander. “Misure significative dovrebbero riconoscere che la promozione dell'IA nel contesto del welfare deve essere in alcuni casi vietata, in alcuni casi strettamente limitata e soggetta a una supervisione indipendente prima dell'uso e alla consultazione con le comunità emarginate”.

“Per non parlare del rischio di far penetrare sempre di più aziende private nella gestione di funzioni pubbliche”, ha concluso Chander.

L'Agenzia delle Entrate a Blasting News: esclusa l'adozione di decisioni completamente automatizzate

Alla luce dei potenziali rischi introdotti dalla digitalizzazione del welfare, Blasting News ha contattato Agenzia delle Entrate per comprendere quali misure saranno adottate per evitare che gli algoritmi sviluppati con i fondi europei possano produrre ulteriori discriminazioni. L’Agenzia delle Entrate ha dichiarato che “è esclusa l’adozione di decisioni completamente automatizzate da parte di algoritmi di intelligenza artificiale che coinvolgano i contribuenti in relazione a procedimenti amministrativi, anche in coerenza con le esplicite previsioni in materia contenute nel regolamento europeo per la protezione dei dati personali”.

Saranno quindi definiti ruoli e responsabilità, effettuate specifiche analisi del rischio della protezione dei dati, e adottate misure tecniche e organizzative a garanzia del pieno rispetto dei principi di trasparenza e non discriminazione.

“Ovviamente, in funzione delle iniziative intraprese, non è escluso il coinvolgimento di altri interlocutori istituzionali, in primo luogo il Garante della Privacy, con il quale l’Agenzia intrattiene da anni rapporti di proficua e continua collaborazione”, ha concluso l’ufficio stampa dell’Agenzia.

Blasting News ha inviato alcune domande anche al Ministero dell’Economia e delle Finanze per capire se monitorerà il progetto dell’Agenzia delle Entrate e se effettuerà delle valutazioni preventive sull’impatto degli algoritmi. Al momento della pubblicazione di questo articolo non abbiamo ancora ricevuto risposte.

Nel suo report Alston invitava la società a cambiare rapidamente direzione ed evitare di finire, con una lenta avanzata stile zombie, nella distopia del welfare digitalizzato. Purtroppo, la realtà ci sta mostrando che gli algoritmi stanno già divorando il welfare travolgendo i cittadini con la velocità di un click e non a passo lento e incerto come uno zombie.

Se hai informazioni da condividere con noi scrivi a tips@blastingnews.com

Se ci vuoi proporre un’inchiesta o un’idea scrivi a investigations@blastingnews.com
© RIPRODUZIONE VIETATA