Buongiorno. Leggo con grande interesse da non addetta ai lavori i messaggi di questa lista, e vi sono molto grata delle importantissime questioni che sollevate. Vorrei chiedere un chiarimento. Condivido - nella misura in cui la comprendo - questa affermazione di Giovanni Biscuolo: solo sistemi basati su algoritmi pubblici, consultabili (e quindi contestabili) forniscono adeguate garanzie costituzionali; solo il software libero garantisce che l'implementazione sia confrontabile con l'algoritmo :-) ma non sono sicura di comprenderne fino in fondo le implicazioni. Per un non addetto ai lavori, per una persona che non ha le assai specifiche e costose competenze matematiche o informatiche necessarie a valutare il rapporto tra gli algoritmi e loro messa in opera in programmi di gestione delle popolazioni, che cosa significa, davvero, questa affermazione? Significa che in un sistema di pubblicità degli algoritmi, il controllo incrociato (ma invisibile ai più) da parte di addetti ai lavori opera come effettivo organismo di controllo sul rapporto tra algoritmo,sua implementazione, e suo significato politico? O significa che vanno creati organismi di addetti ai lavori che possano dare sufficienti garanzie sul modo in cui gli algoritmi vengono creati e utilizzati? Significa che nella società digitale e del controllo, il controllo critico che i cittadini (e le istituzioni che essi eleggono) dovrebbero poter esercitare sulle politiche pubbliche, sia a livello decisionale che amministrativo, deve essere delegato per default a chi ha le capacità tecniche di esercitarlo? E se è così, quali sono le conseguenze di questa condizione sui sistemi democratici e sull'idea stessa di democrazia? E in assenza della possibilità di conoscere, comprendere e valutare il significato degli algoritmi e del loro uso, cosa dovrebbe convincere i cittadini a fidarsi delle procedure, delle istituzioni, e del controllo degli esperti? Grazie molte a chi risponde. Cristina Iuli *Maria Cristina Iuli, Ph.D.* *Associate Professor, Lingua e Letteratura Nordamericana * *Presidente Corso di Studio in Lingue Straniere Moderne* Dipartimento Studi Umanistici - Università del Piemonte Orientale Piazza S. Eusebio, 3 13100 Vercelli ITALY *2018-19 Fulbright Distinguished Lecturer - Northwestern University* *Executive Board - AISNA (Associazione Italiana Studi Nord Americani)* *Executive Board - SLSA- EU( European Society for the Study of Science, Literature, and the Arts)* Tel 0039 0161 222 8304 Fax 0039 0161 269959 *…………………………………….* *Transatlantic Transfers* The italian presence in post war America 1949-1972 PRIN2017 polimi_uniroma3_upo_usg *…………………………………….* Il giorno sab 15 feb 2020 alle ore 16:12 Giovanni Biscuolo <g@xelera.eu> ha scritto:
[chiedo scusa per il lungo post, le cose da dire sarebbero tantissime...]
Buongiorno,
non voglio certo rispondere per conto di Maria Luisa, ma aggiungo alcuni commenti che in parte forse rispondono alle domande di Andrea
dal punto di vista giuridico faccio solo notare (a voi può apparire scontato ma a molti no) che SyRI segnalava i profili a rischio ma è poi l'agenzia delle entrate competente che avrebbe dovuto ulteriormente investigare; non stiamo parlando di sistemi autonomi di espulsione dai benefici fiscali... ed è cosa buona e giusta
in generale la mia sensazione, da tecnico e cittadino, è che quando si tratta di avere a che fare con "la digitalizzazione dei servizi" e il trattamento automatico delle informazioni, certe volte (spesso?) al legislatore gli si chiude la vena e non si ricorda più cose fondamentali che dava per scontato quando si usavano macchina da scrivere e altre robe simili analogiche... oppura fa finta e ci prova? :-O
Andrea Glorioso <andrea@digitalpolicy.it> writes:
Forse non ho capito il suo intervento, ma perché l’utilizzo di sistemi come SyRI (o sistemi comparabili) per evitare frodi, assumendo l’esistenza e la corretta applicazione di “sufficienti garanzie” (che per altro nella sentenza non mi pare si riferiscano solo al diritto alla privacy) sarebbe da osteggiare?
permettetemi la provocazione: quindi la differenza tra i sistemi di profilazione cinesi (generalemnte additati come totalitaristi, da noi) e quelli occidentali sta nelle "sufficienti garanzie"? :-)
il problemone nel caso specifico di SyRI, così come di tutti i sistemi basati su algoritmi *segreti* di profilazione (pubblici e privati), è che **non possono essere fornite sufficienti garanzie**: punto.
solo sistemi basati su algoritmi pubblici, consultabili (e quindi contestabili) forniscono adeguate garanzie costituzionali; solo il software libero garantisce che l'implementazione sia confrontabile con l'algoritmo :-)
in altre parole la politica _incorporata_ negli algoritmi *deve* essere pubblica ogni qual volta regola uno o più aspetti della vita dei cittadini: no?
io ho il vaghissimo sospetto che non si voglia far conoscere l'algoritmo perché svelerebbe la politica discriminatoria che lo determina :-O
detto terra terra: le chiacchiere stanno a zero, fuori l'algoritmo (e il software)!
1. SyRI: https://www.hrw.org/news/2019/11/08/welfare-surveillance-trial-netherlands :
--8<---------------cut here---------------start------------->8--- Because SyRI is shrouded in secrecy, welfare beneficiaries have no meaningful way of knowing when or how the system’s calculations are factored into decisions to cut them off from lifesaving benefits. --8<---------------cut here---------------end--------------->8---
è una cosa seria che queste indagini automatizzate vengano effettuate in segreto? (AFAIU non stiamo parlando di indagini supervisionate da parte della magistratura)
2. SyRI: https://www.hrw.org/news/2019/11/08/welfare-surveillance-trial-netherlands
--8<---------------cut here---------------start------------->8--- The government has refused to disclose how SyRI works, for fear that explaining its risk calculation algorithms will enable fraudsters to game the system. But it has disclosed that the system generates “false positives” – cases in which the system erroneously flags individuals as a fraud risk. --8<---------------cut here---------------end--------------->8---
https://www.theguardian.com/technology/2020/feb/05/welfare-surveillance-syst... :
--8<---------------cut here---------------start------------->8--- it gathers government data previously held in separate silos, such as employment, personal debt and benefit records, and education and housing histories, then analyses it using a secret algorithm to identify which individuals might be at higher risk of committing benefit fraud. --8<---------------cut here---------------end--------------->8---
algoritmi segreti: state scherzando vero? :-)
3. in generale: https://undocs.org/A/74/493
Report of the Special Rapporteur on extreme poverty and human rights
--8<---------------cut here---------------start------------->8--- The digital welfare state is either already a reality or emerging in many countries across the globe. In these states, systems of social protection and assistance are increasingly driven by digital data and technologies that are used to automate, predict, identify, surveil, detect, target and punish. In the present report, the irresistible attractions for Governments to move in this direction are acknowledged, but the grave risk of stumbling, zombie-like, into a digital welfare dystopia is highlighted. It is argued that big technology companies (frequently referred to as “big tech”) operate in an almost human rights-free zone, and that this is especially problematic when the private sector is taking a leading role in designing, constructing and even operatin g significant parts of the digital welfare state. It is recommended in the report that, instead of obsessing about fraud, cost savings, sanctions, and market-driven definitions of efficiency, the starting point should be on how welfare budgets could be transformed through technology to ensure a higher standard of living for the vulnerable and disadvantaged. --8<---------------cut here---------------end--------------->8--- (non ho letto tutto il rapporto, ce l'ho in coda)
quindi anche l'OHCHR ritiene che l'applicazione di questa classe di sistemi sia problematica, sostanzialmente per via della *privatizzazione* del "digital welfare state" ad opera delle "big tech"
la raccomandazione "It is recommended" credo sia abbastanza chiara :-O
il capitolo "Introduction" del rapporto spiega più che chiaramente qual'è l'universo di discorso nel quale ci stiamo muovendo e illustra in modo cristallino quali sono i temi dei quali società civili devono occuparsi; mi permetto di evidenziare questo:
--8<---------------cut here---------------start------------->8--- Often, however, the digitization of welfare systems has been accompanied by deep reductions in the overall welfare budget, a narrowing of the beneficiary pool, the elimination of some services, the introduction of demanding and intrusive forms of conditionality, the pursuit of behavioural modification goals, the imposition of stronger sanctions regimes and a complete reversal of the traditional notion that the State should be accountable to the individual. --8<---------------cut here---------------end--------------->8---
quindi gli obiettivi di questa classe di sistemi *paiono* (non a me, a chi ha scritto quanto sopra) essere anche altri, assieme alla riduzione delle frodi; in particolare mi preme sottolineare "demanding and intrusive forms of conditionality"
io trovo una certa analogia con il sistema di sorveglianza globale e censura attuato via Internet, che *ovviamente* include anche criteri anti-terrorismo, anti-pedofilia, anti-crimine, anti-hate speech... https://www.article19.org/ (non sono ovviamente i soli) ha molto da dire a questo proposito e credo anche che le considerazioni di Maria Luisa siano da persona molto informata sui fatti :-)
trovo interessante anche il paragrafo "Why we challenge aspects of social benefits systems that surveil, control, and punish" di questo articolo: https://privacyinternational.org/researching-social-benefits
sia il rapporto citato all'inizio di questo punto che l'articolo qui sopra hanno citazioni (o link) a paper _estremamente_ interessanti
insomma, il succo del discorso è che la tecnologia non è **mai**, mai, mai, mai, mai neutrale ma _incorpora_ una determinata politica
4. https://it.wikipedia.org/wiki/Studio_di_settore
un caso analogo italiano c'è, sebbene non si tratti di benefici fiscali per i poveri: gli studi di settore
AFAIU in questo caso almeno il processo di definizione dei criteri è trasparente, anche se ammetto di non aver cercato se l'algoritmo è pubblicato e mi pare che il sorgente di Gerico non sia disponibile :-S
[...]
Saluti, Giovanni
-- Giovanni Biscuolo
Xelera IT Infrastructures _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa