Algoritmo per scoprire i falsi poveri, giudice condanna il governo olandese

Per smascherare i furbetti del welfare nei Paesi bassi, i funzionari del governo si erano affidati all'intelligenza artificiale e grazie a un algoritmo controllavano su web e social le mosse dei beneficiari di disoccupazione e altri assegni sociali. Il sistema pare aver funzionato, ma a fermare questa sorta di "Minority report" in salsa olandese ci ha pensato un tribunale. Che ha ordinato l'arresto immediato del sistema di sorveglianza automatizzato accusando di violare i diritti umani.

La sentenza è stata salutata con favore persino dall'Onu, che da tempo si è schierata contro l'uso dello 'spionaggio digitale' per controllare i cittadini. Un fenomeno che sta prendendo piede in diversi Paesi del mondo, dalla Cina al Regno Unito. Per il relatore speciale delle Nazioni Unite sull'estrema povertà e sui diritti umani, Philip Alston, si tratta di "una chiara vittoria per tutti coloro che sono giustamente preoccupati per le gravi minacce che i sistemi di welfare digitale rappresentano per i diritti umani". La decisione dei giudici olandesi "stabilisce un solido precedente legale per altri tribunali da seguire", ha aggiunto. "Questa è una delle prime volte in cui un tribunale del mondo ha condannato l'utilizzo delle tecnologie digitali e dei big data da parte delle autorità di assistenza sociale per ragioni legate ai diritti umani".

Anche nei Paesi bassi un fronte variegato di attivisti ha plaudito al verdetto dei giudici, affermando che questa forma di "Stato sociale digitale", sviluppato spesso senza consultazione e gestito in modo segreto e senza adeguata supervisione, equivale a spiare i poveri, violare le norme sulla privacy e sui diritti umani e penalizzare ingiustamente i più vulnerabili.

Il sistema di vigilanza olandese (chiamato SyRI) è un modello di calcolo del rischio sviluppato nell'ultimo decennio dal ministero degli Affari sociali e del lavoro per prevedere la probabilità che un individuo commetta una frode fiscale o violi le leggi sul lavoro. E' stato utilizzato principalmente in quartieri a basso reddito e raccoglie i dati provenienti da diverse fonti: occupazione, debiti personali, registri delle indennità, curriculum scolastici e spese per alloggio. Tutti questi dati producono un algoritmo che riesce a "prevedere" per quali individui c'è un rischio più elevato di commettere frodi allo stato sociale.

Un'ampia coalizione di comitati per la privacy e i diritti sociali, sostenuta dal più grande sindacato olandese, ha sostenuto che i quartieri poveri e i loro abitanti venivano spiati digitalmente senza alcun concreto sospetto di illeciti. SyRI stava prendendo di mira in modo sproporzionato i cittadini più poveri, hanno affermato, violando le norme sui diritti umani.

Il tribunale ha stabilito che la legislazione SyRI conteneva garanzie insufficienti contro le intrusioni della privacy e ha criticato una "grave mancanza di trasparenza" su come ha funzionato. In assenza di ulteriori informazioni, per i giudici il sistema potrebbe, nel prendere di mira i quartieri poveri, costituire una discriminazione sulla base dello status socioeconomico o dei migranti. 

SyRI non è unico nel suo genere: già altri Paesi si stanno affidando a società che lavorano con i big data per sviluppare sistemi automatizzati non solo per la vigilanza, ma anche la gestione delle prestazioni sociali. L'obiettivo è creare dei supercomputer capaci di decidere se assegnare o meno una indennità di disoccupazione o un contributo all'alloggio con il minimo intervento umano.