[chiedo scusa per il lungo post, le cose da dire sarebbero
tantissime...]

Buongiorno,

non voglio certo rispondere per conto di Maria Luisa, ma aggiungo alcuni
commenti che in parte forse rispondono alle domande di Andrea

dal punto di vista giuridico faccio solo notare (a voi può apparire
scontato ma a molti no) che SyRI segnalava i profili a rischio ma è poi
l'agenzia delle entrate competente che avrebbe dovuto ulteriormente
investigare; non stiamo parlando di sistemi autonomi di espulsione dai
benefici fiscali... ed è cosa buona e giusta

in generale la mia sensazione, da tecnico e cittadino, è che quando si
tratta di avere a che fare con "la digitalizzazione dei servizi" e il
trattamento automatico delle informazioni, certe volte (spesso?) al
legislatore gli si chiude la vena e non si ricorda più cose fondamentali
che dava per scontato quando si usavano macchina da scrivere e altre
robe simili analogiche... oppura fa finta e ci prova? :-O

Andrea Glorioso <andrea@digitalpolicy.it> writes:

> Forse non ho capito il suo intervento, ma perché l’utilizzo di sistemi
> come SyRI (o sistemi comparabili) per evitare frodi, assumendo
> l’esistenza e la corretta applicazione di “sufficienti garanzie” (che
> per altro nella sentenza non mi pare si riferiscano solo al diritto
> alla privacy) sarebbe da osteggiare?

permettetemi la provocazione: quindi la differenza tra i sistemi di
profilazione cinesi (generalemnte additati come totalitaristi, da noi) e
quelli occidentali sta nelle "sufficienti garanzie"? :-)

il problemone nel caso specifico di SyRI, così come di tutti i sistemi
basati su algoritmi *segreti* di profilazione (pubblici e privati), è
che **non possono essere fornite sufficienti garanzie**: punto.

solo sistemi basati su algoritmi pubblici, consultabili (e quindi
contestabili) forniscono adeguate garanzie costituzionali; solo il
software libero garantisce che l'implementazione sia confrontabile con
l'algoritmo :-)

in altre parole la politica _incorporata_ negli algoritmi *deve* essere
pubblica ogni qual volta regola uno o più aspetti della vita dei
cittadini: no?

io ho il vaghissimo sospetto che non si voglia far conoscere l'algoritmo
perché svelerebbe la politica discriminatoria che lo determina :-O

detto terra terra: le chiacchiere stanno a zero, fuori l'algoritmo (e il
software)!

1. SyRI: https://www.hrw.org/news/2019/11/08/welfare-surveillance-trial-netherlands:

--8<---------------cut here---------------start------------->8---
Because SyRI is shrouded in secrecy, welfare beneficiaries have no
meaningful way of knowing when or how the system’s calculations are
factored into decisions to cut them off from lifesaving benefits.
--8<---------------cut here---------------end--------------->8---

è una cosa seria che queste indagini automatizzate vengano effettuate in
segreto? (AFAIU non stiamo parlando di indagini supervisionate da parte
della magistratura)

2. SyRI: https://www.hrw.org/news/2019/11/08/welfare-surveillance-trial-netherlands

--8<---------------cut here---------------start------------->8---
The government has refused to disclose how SyRI works, for fear that
explaining its risk calculation algorithms will enable fraudsters to
game the system. But it has disclosed that the system generates “false
positives” – cases in which the system erroneously flags individuals as
a fraud risk.
--8<---------------cut here---------------end--------------->8---

https://www.theguardian.com/technology/2020/feb/05/welfare-surveillance-system-violates-human-rights-dutch-court-rules:

--8<---------------cut here---------------start------------->8---
it gathers government data previously held in separate silos, such as
employment, personal debt and benefit records, and education and housing
histories, then analyses it using a secret algorithm to identify which
individuals might be at higher risk of committing benefit fraud.
--8<---------------cut here---------------end--------------->8---

algoritmi segreti: state scherzando vero? :-)

3. in generale: https://undocs.org/A/74/493

Report of the Special Rapporteur on extreme poverty and
human rights

--8<---------------cut here---------------start------------->8---
The digital welfare state is either already a reality or emerging in
many countries across the globe. In these states, systems of social
protection and assistance are increasingly driven by digital data and
technologies that are used to automate, predict, identify, surveil,
detect, target and punish. In the present report, the irresistible
attractions for Governments to move in this direction are acknowledged,
but the grave risk of stumbling, zombie-like, into a digital welfare
dystopia is highlighted. It is argued that big technology companies
(frequently referred to as “big tech”) operate in an almost human
rights-free zone, and that this is especially problematic when the
private sector is taking a leading role in designing, constructing and
even operatin g significant parts of the digital welfare state. It is
recommended in the report that, instead of obsessing about fraud, cost
savings, sanctions, and market-driven definitions of efficiency, the
starting point should be on how welfare budgets could be transformed
through technology to ensure a higher standard of living for the
vulnerable and disadvantaged.
--8<---------------cut here---------------end--------------->8---
(non ho letto tutto il rapporto, ce l'ho in coda)

quindi anche l'OHCHR ritiene che l'applicazione di questa classe di
sistemi sia problematica, sostanzialmente per via della *privatizzazione*
del "digital welfare state" ad opera delle "big tech"

la raccomandazione "It is recommended" credo sia abbastanza chiara :-O

il capitolo "Introduction" del rapporto spiega più che chiaramente
qual'è l'universo di discorso nel quale ci stiamo muovendo e illustra in
modo cristallino quali sono i temi dei quali società civili devono
occuparsi; mi permetto di evidenziare questo:

--8<---------------cut here---------------start------------->8---
Often, however, the digitization of welfare systems has been accompanied
by deep reductions in the overall welfare budget, a narrowing of the
beneficiary pool, the elimination of some services, the introduction of
demanding and intrusive forms of conditionality, the pursuit of
behavioural modification goals, the imposition of stronger sanctions
regimes and a complete reversal of the traditional notion that the State
should be accountable to the individual.
--8<---------------cut here---------------end--------------->8---

quindi gli obiettivi di questa classe di sistemi *paiono* (non a me, a
chi ha scritto quanto sopra) essere anche altri, assieme alla riduzione
delle frodi; in particolare mi preme sottolineare "demanding and
intrusive forms of conditionality"

io trovo una certa analogia con il sistema di sorveglianza globale e
censura attuato via Internet, che *ovviamente* include anche criteri
anti-terrorismo, anti-pedofilia, anti-crimine, anti-hate
speech... https://www.article19.org/ (non sono ovviamente i soli) ha
molto da dire a questo proposito e credo anche che le considerazioni di
Maria Luisa siano da persona molto informata sui fatti :-)

trovo interessante anche il paragrafo "Why we challenge aspects of
social benefits systems that surveil, control, and punish" di questo
articolo: https://privacyinternational.org/researching-social-benefits

sia il rapporto citato all'inizio di questo punto che l'articolo qui
sopra hanno citazioni (o link) a paper _estremamente_ interessanti

insomma, il succo del discorso è che la tecnologia non è **mai**, mai,
mai, mai, mai neutrale ma _incorpora_ una determinata politica

4. https://it.wikipedia.org/wiki/Studio_di_settore

un caso analogo italiano c'è, sebbene non si tratti di benefici fiscali
per i poveri: gli studi di settore

AFAIU in questo caso almeno il processo di definizione dei criteri è
trasparente, anche se ammetto di non aver cercato se l'algoritmo è
pubblicato e mi pare che il sorgente di Gerico non sia disponibile :-S

[...]

Saluti, Giovanni


--
Giovanni Biscuolo

Xelera IT Infrastructures
_______________________________________________
nexa mailing list
nexa@server-nexa.polito.it
https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa