Welfare surveillance system violates human rights, Dutch court rules | Technology | The Guardian
<https://www.theguardian.com/technology/2020/feb/05/welfare-surveillance-syst...> A Dutch court has ordered the immediate halt of an automated surveillance system for detecting welfare fraud because it violates human rights, in a judgment likely to resonate well beyond the Netherlands. The case was seen as an important legal challenge to the controversial but growing use by governments around the world of artificial intelligence (AI) and risk modelling in administering welfare benefits and other core services. Campaigners say such “digital welfare states” – developed often without consultation, and operated secretively and without adequate oversight – amount to spying on the poor, breaching privacy and human rights norms and unfairly penalising the most vulnerable. In the UK, where the government is accelerating the development of robots in the benefits system, the chairman of the House of Commons work and pensions select committee, Stephen Timms, said: “This ruling by the Dutch courts demonstrates that parliaments ought to look very closely at the ways in which governments use technology in the social security system, to protect the rights of their citizens.” The UN special rapporteur on extreme poverty and human rights, Philip Alston, applauded the verdict and said it was “a clear victory for all those who are justifiably concerned about the serious threats digital welfare systems pose for human rights”. The decision “sets a strong legal precedent for other courts to follow”, he added. “This is one of the first times a court anywhere has stopped the use of digital technologies and abundant digital information by welfare authorities on human rights grounds.” The verdict will be watched closely by welfare rights campaigners in the UK, where the Department for Work and Pensions is engaged in a digitisation drive that vulnerable claimants fear could plunge them further into hunger and debt. [...]
Salve a tutti, qui la versione in inglese del press release e della sentenza, per chi fosse interessato: [ https://translate.google.com/translate?hl=en&sl=nl&tl=en&u=https%3A%2F%2Fwww... | https://translate.google.com/translate?hl=en&sl=nl&tl=en&u=https%3A%2F%2Fwww... ] (press release) [ https://translate.google.com/translate?hl=en&sl=nl&tl=en&u=https%3A%2F%2Fuit... | https://translate.google.com/translate?hl=en&sl=nl&tl=en&u=https%3A%2F%2Fuit... ] (sentenza) Ho scorso la sentenza e vi ho trovato vari punti interessanti, ma mi sono fatta un'idea abbastanza diversa da quella iniziale basata su quanto riportato dai giornali. Condivido di seguito e brevemente alcuni pensieri. Purtroppo, la corte non si pone in maniera particolarmente negativa nei confronti di un sistema come SyRI. Al contrario. La corte considera che 'avoiding social fraud' sia un 'pressing social need' e che un sistema come SyRI non e' '...unsuitable or priori disproportionate instrument in light of the goals it serves' (p. 6.77 della traduzione). In altre parole, la corte riconosce la possibilita', per lo Stati, di utilizzare SyRI o sistemi comparabili al fine di evitare frodi. Quello che alla corte non appare giustificato ne' conforme al diritto EU e della ECHR e' il quadro normativo per l'utilizzo di SyRI, il quale non prevede, secondo la corte, sufficienti garanzie con riferimento alla protezione della privacy degli individui. Quindi non e' lo strumento di per se', ma il modo in cui viene utilizzato nella pratica ad essere problematico. Non una totale vittoria, come invece mi pare sia stata presentata da alcuni. Un'altra nota positiva della sentenza e' il rilievo dato a una serie di principi contentuti nella GDPR (trasparency, purpose limitation, data minimisation, correctness etc.): finalmente siamo di fronte a una corretta applicazione della norma. Sarei contenta di leggere altre opinioni al riguardo. Saluti, Maria Luisa Stasi Senior Legal Officer ARTICLE 19 Defending freedom of expression and information Free Word Centre 60 Farringdon Rd London EC1R 3GA W [ http://www.article19.org/ | www.article19.org ] Tw @article19law From: "Alberto Cammozzo" <ac+nexa@zeromx.net> To: "NEXA List" <nexa@server-nexa.polito.it> Sent: Thursday, 6 February, 2020 07:59:19 Subject: [nexa] Welfare surveillance system violates human rights, Dutch court rules | Technology | The Guardian < [ https://www.theguardian.com/technology/2020/feb/05/welfare-surveillance-syst... | https://www.theguardian.com/technology/2020/feb/05/welfare-surveillance-syst... ] > A Dutch court has ordered the immediate halt of an automated surveillance system for detecting welfare fraud because it violates human rights, in a judgment likely to resonate well beyond the Netherlands. The case was seen as an important legal challenge to the controversial but growing use by governments around the world of artificial intelligence (AI) and risk modelling in administering welfare benefits and other core services. Campaigners say such “digital welfare states” – developed often without consultation, and operated secretively and without adequate oversight – amount to spying on the poor, breaching privacy and human rights norms and unfairly penalising the most vulnerable. In the UK, where the government is accelerating the development of robots in the benefits system, the chairman of the House of Commons work and pensions select committee, Stephen Timms, said: “This ruling by the Dutch courts demonstrates that parliaments ought to look very closely at the ways in which governments use technology in the social security system, to protect the rights of their citizens.” The UN special rapporteur on extreme poverty and human rights, Philip Alston, applauded the verdict and said it was “a clear victory for all those who are justifiably concerned about the serious threats digital welfare systems pose for human rights”. The decision “sets a strong legal precedent for other courts to follow”, he added. “This is one of the first times a court anywhere has stopped the use of digital technologies and abundant digital information by welfare authorities on human rights grounds.” The verdict will be watched closely by welfare rights campaigners in the UK, where the Department for Work and Pensions is engaged in a digitisation drive that vulnerable claimants fear could plunge them further into hunger and debt. [...] _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Salve, Forse non ho capito il suo intervento, ma perché l’utilizzo di sistemi come SyRI (o sistemi comparabili) per evitare frodi, assumendo l’esistenza e la corretta applicazione di “sufficienti garanzie” (che per altro nella sentenza non mi pare si riferiscano solo al diritto alla privacy) sarebbe da osteggiare? Grazie, Andrea On Mon, Feb 10, 2020 at 12:38 PM Maria Luisa Stasi <maria@article19.org> wrote:
Salve a tutti, qui la versione in inglese del press release e della sentenza, per chi fosse interessato:
https://translate.google.com/translate?hl=en&sl=nl&tl=en&u=https%3A%2F%2Fwww... (press release)
https://translate.google.com/translate?hl=en&sl=nl&tl=en&u=https%3A%2F%2Fuit... (sentenza)
Ho scorso la sentenza e vi ho trovato vari punti interessanti, ma mi sono fatta un'idea abbastanza diversa da quella iniziale basata su quanto riportato dai giornali. Condivido di seguito e brevemente alcuni pensieri.
Purtroppo, la corte non si pone in maniera particolarmente negativa nei confronti di un sistema come SyRI. Al contrario. La corte considera che 'avoiding social fraud' sia un 'pressing social need' e che un sistema come SyRI non e' '...unsuitable or priori disproportionate instrument in light of the goals it serves' (p. 6.77 della traduzione). In altre parole, la corte riconosce la possibilita', per lo Stati, di utilizzare SyRI o sistemi comparabili al fine di evitare frodi.
Quello che alla corte non appare giustificato ne' conforme al diritto EU e della ECHR e' il quadro normativo per l'utilizzo di SyRI, il quale non prevede, secondo la corte, sufficienti garanzie con riferimento alla protezione della privacy degli individui.
Quindi non e' lo strumento di per se', ma il modo in cui viene utilizzato nella pratica ad essere problematico. Non una totale vittoria, come invece mi pare sia stata presentata da alcuni.
Un'altra nota positiva della sentenza e' il rilievo dato a una serie di principi contentuti nella GDPR (trasparency, purpose limitation, data minimisation, correctness etc.): finalmente siamo di fronte a una corretta applicazione della norma.
Sarei contenta di leggere altre opinioni al riguardo.
Saluti,
Maria Luisa Stasi Senior Legal Officer
*ARTICLE 19*
Defending freedom of expression and information
Free Word Centre
60 Farringdon Rd <https://www.google.com/maps/search/60+Farringdon+Rd+London+EC1R+3GA?entry=gm...>
London EC1R 3GA <https://www.google.com/maps/search/60+Farringdon+Rd+London+EC1R+3GA?entry=gm...>
W www.article19.org Tw @article19law
------------------------------ *From: *"Alberto Cammozzo" <ac+nexa@zeromx.net> *To: *"NEXA List" <nexa@server-nexa.polito.it> *Sent: *Thursday, 6 February, 2020 07:59:19 *Subject: *[nexa] Welfare surveillance system violates human rights, Dutch court rules | Technology | The Guardian
< https://www.theguardian.com/technology/2020/feb/05/welfare-surveillance-syst...
A Dutch court has ordered the immediate halt of an automated surveillance system for detecting welfare fraud because it violates human rights, in a judgment likely to resonate well beyond the Netherlands.
The case was seen as an important legal challenge to the controversial but growing use by governments around the world of artificial intelligence (AI) and risk modelling in administering welfare benefits and other core services.
Campaigners say such “digital welfare states” – developed often without consultation, and operated secretively and without adequate oversight – amount to spying on the poor, breaching privacy and human rights norms and unfairly penalising the most vulnerable.
In the UK, where the government is accelerating the development of robots in the benefits system, the chairman of the House of Commons work and pensions select committee, Stephen Timms, said: “This ruling by the Dutch courts demonstrates that parliaments ought to look very closely at the ways in which governments use technology in the social security system, to protect the rights of their citizens.”
The UN special rapporteur on extreme poverty and human rights, Philip Alston, applauded the verdict and said it was “a clear victory for all those who are justifiably concerned about the serious threats digital welfare systems pose for human rights”.
The decision “sets a strong legal precedent for other courts to follow”, he added. “This is one of the first times a court anywhere has stopped the use of digital technologies and abundant digital information by welfare authorities on human rights grounds.”
The verdict will be watched closely by welfare rights campaigners in the UK, where the Department for Work and Pensions is engaged in a digitisation drive that vulnerable claimants fear could plunge them further into hunger and debt. [...] _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
-- -- Andrea Glorioso Twitter: @andreaglorioso Facebook: https://www.facebook.com/andrea.glorioso LinkedIn: http://www.linkedin.com/profile/view?id=1749288&trk=tab_pro
[chiedo scusa per il lungo post, le cose da dire sarebbero tantissime...] Buongiorno, non voglio certo rispondere per conto di Maria Luisa, ma aggiungo alcuni commenti che in parte forse rispondono alle domande di Andrea dal punto di vista giuridico faccio solo notare (a voi può apparire scontato ma a molti no) che SyRI segnalava i profili a rischio ma è poi l'agenzia delle entrate competente che avrebbe dovuto ulteriormente investigare; non stiamo parlando di sistemi autonomi di espulsione dai benefici fiscali... ed è cosa buona e giusta in generale la mia sensazione, da tecnico e cittadino, è che quando si tratta di avere a che fare con "la digitalizzazione dei servizi" e il trattamento automatico delle informazioni, certe volte (spesso?) al legislatore gli si chiude la vena e non si ricorda più cose fondamentali che dava per scontato quando si usavano macchina da scrivere e altre robe simili analogiche... oppura fa finta e ci prova? :-O Andrea Glorioso <andrea@digitalpolicy.it> writes:
Forse non ho capito il suo intervento, ma perché l’utilizzo di sistemi come SyRI (o sistemi comparabili) per evitare frodi, assumendo l’esistenza e la corretta applicazione di “sufficienti garanzie” (che per altro nella sentenza non mi pare si riferiscano solo al diritto alla privacy) sarebbe da osteggiare?
permettetemi la provocazione: quindi la differenza tra i sistemi di profilazione cinesi (generalemnte additati come totalitaristi, da noi) e quelli occidentali sta nelle "sufficienti garanzie"? :-) il problemone nel caso specifico di SyRI, così come di tutti i sistemi basati su algoritmi *segreti* di profilazione (pubblici e privati), è che **non possono essere fornite sufficienti garanzie**: punto. solo sistemi basati su algoritmi pubblici, consultabili (e quindi contestabili) forniscono adeguate garanzie costituzionali; solo il software libero garantisce che l'implementazione sia confrontabile con l'algoritmo :-) in altre parole la politica _incorporata_ negli algoritmi *deve* essere pubblica ogni qual volta regola uno o più aspetti della vita dei cittadini: no? io ho il vaghissimo sospetto che non si voglia far conoscere l'algoritmo perché svelerebbe la politica discriminatoria che lo determina :-O detto terra terra: le chiacchiere stanno a zero, fuori l'algoritmo (e il software)! 1. SyRI: https://www.hrw.org/news/2019/11/08/welfare-surveillance-trial-netherlands: --8<---------------cut here---------------start------------->8--- Because SyRI is shrouded in secrecy, welfare beneficiaries have no meaningful way of knowing when or how the system’s calculations are factored into decisions to cut them off from lifesaving benefits. --8<---------------cut here---------------end--------------->8--- è una cosa seria che queste indagini automatizzate vengano effettuate in segreto? (AFAIU non stiamo parlando di indagini supervisionate da parte della magistratura) 2. SyRI: https://www.hrw.org/news/2019/11/08/welfare-surveillance-trial-netherlands --8<---------------cut here---------------start------------->8--- The government has refused to disclose how SyRI works, for fear that explaining its risk calculation algorithms will enable fraudsters to game the system. But it has disclosed that the system generates “false positives” – cases in which the system erroneously flags individuals as a fraud risk. --8<---------------cut here---------------end--------------->8--- https://www.theguardian.com/technology/2020/feb/05/welfare-surveillance-syst...: --8<---------------cut here---------------start------------->8--- it gathers government data previously held in separate silos, such as employment, personal debt and benefit records, and education and housing histories, then analyses it using a secret algorithm to identify which individuals might be at higher risk of committing benefit fraud. --8<---------------cut here---------------end--------------->8--- algoritmi segreti: state scherzando vero? :-) 3. in generale: https://undocs.org/A/74/493 Report of the Special Rapporteur on extreme poverty and human rights --8<---------------cut here---------------start------------->8--- The digital welfare state is either already a reality or emerging in many countries across the globe. In these states, systems of social protection and assistance are increasingly driven by digital data and technologies that are used to automate, predict, identify, surveil, detect, target and punish. In the present report, the irresistible attractions for Governments to move in this direction are acknowledged, but the grave risk of stumbling, zombie-like, into a digital welfare dystopia is highlighted. It is argued that big technology companies (frequently referred to as “big tech”) operate in an almost human rights-free zone, and that this is especially problematic when the private sector is taking a leading role in designing, constructing and even operatin g significant parts of the digital welfare state. It is recommended in the report that, instead of obsessing about fraud, cost savings, sanctions, and market-driven definitions of efficiency, the starting point should be on how welfare budgets could be transformed through technology to ensure a higher standard of living for the vulnerable and disadvantaged. --8<---------------cut here---------------end--------------->8--- (non ho letto tutto il rapporto, ce l'ho in coda) quindi anche l'OHCHR ritiene che l'applicazione di questa classe di sistemi sia problematica, sostanzialmente per via della *privatizzazione* del "digital welfare state" ad opera delle "big tech" la raccomandazione "It is recommended" credo sia abbastanza chiara :-O il capitolo "Introduction" del rapporto spiega più che chiaramente qual'è l'universo di discorso nel quale ci stiamo muovendo e illustra in modo cristallino quali sono i temi dei quali società civili devono occuparsi; mi permetto di evidenziare questo: --8<---------------cut here---------------start------------->8--- Often, however, the digitization of welfare systems has been accompanied by deep reductions in the overall welfare budget, a narrowing of the beneficiary pool, the elimination of some services, the introduction of demanding and intrusive forms of conditionality, the pursuit of behavioural modification goals, the imposition of stronger sanctions regimes and a complete reversal of the traditional notion that the State should be accountable to the individual. --8<---------------cut here---------------end--------------->8--- quindi gli obiettivi di questa classe di sistemi *paiono* (non a me, a chi ha scritto quanto sopra) essere anche altri, assieme alla riduzione delle frodi; in particolare mi preme sottolineare "demanding and intrusive forms of conditionality" io trovo una certa analogia con il sistema di sorveglianza globale e censura attuato via Internet, che *ovviamente* include anche criteri anti-terrorismo, anti-pedofilia, anti-crimine, anti-hate speech... https://www.article19.org/ (non sono ovviamente i soli) ha molto da dire a questo proposito e credo anche che le considerazioni di Maria Luisa siano da persona molto informata sui fatti :-) trovo interessante anche il paragrafo "Why we challenge aspects of social benefits systems that surveil, control, and punish" di questo articolo: https://privacyinternational.org/researching-social-benefits sia il rapporto citato all'inizio di questo punto che l'articolo qui sopra hanno citazioni (o link) a paper _estremamente_ interessanti insomma, il succo del discorso è che la tecnologia non è **mai**, mai, mai, mai, mai neutrale ma _incorpora_ una determinata politica 4. https://it.wikipedia.org/wiki/Studio_di_settore un caso analogo italiano c'è, sebbene non si tratti di benefici fiscali per i poveri: gli studi di settore AFAIU in questo caso almeno il processo di definizione dei criteri è trasparente, anche se ammetto di non aver cercato se l'algoritmo è pubblicato e mi pare che il sorgente di Gerico non sia disponibile :-S [...] Saluti, Giovanni -- Giovanni Biscuolo Xelera IT Infrastructures
Buongiorno. Leggo con grande interesse da non addetta ai lavori i messaggi di questa lista, e vi sono molto grata delle importantissime questioni che sollevate. Vorrei chiedere un chiarimento. Condivido - nella misura in cui la comprendo - questa affermazione di Giovanni Biscuolo: solo sistemi basati su algoritmi pubblici, consultabili (e quindi contestabili) forniscono adeguate garanzie costituzionali; solo il software libero garantisce che l'implementazione sia confrontabile con l'algoritmo :-) ma non sono sicura di comprenderne fino in fondo le implicazioni. Per un non addetto ai lavori, per una persona che non ha le assai specifiche e costose competenze matematiche o informatiche necessarie a valutare il rapporto tra gli algoritmi e loro messa in opera in programmi di gestione delle popolazioni, che cosa significa, davvero, questa affermazione? Significa che in un sistema di pubblicità degli algoritmi, il controllo incrociato (ma invisibile ai più) da parte di addetti ai lavori opera come effettivo organismo di controllo sul rapporto tra algoritmo,sua implementazione, e suo significato politico? O significa che vanno creati organismi di addetti ai lavori che possano dare sufficienti garanzie sul modo in cui gli algoritmi vengono creati e utilizzati? Significa che nella società digitale e del controllo, il controllo critico che i cittadini (e le istituzioni che essi eleggono) dovrebbero poter esercitare sulle politiche pubbliche, sia a livello decisionale che amministrativo, deve essere delegato per default a chi ha le capacità tecniche di esercitarlo? E se è così, quali sono le conseguenze di questa condizione sui sistemi democratici e sull'idea stessa di democrazia? E in assenza della possibilità di conoscere, comprendere e valutare il significato degli algoritmi e del loro uso, cosa dovrebbe convincere i cittadini a fidarsi delle procedure, delle istituzioni, e del controllo degli esperti? Grazie molte a chi risponde. Cristina Iuli *Maria Cristina Iuli, Ph.D.* *Associate Professor, Lingua e Letteratura Nordamericana * *Presidente Corso di Studio in Lingue Straniere Moderne* Dipartimento Studi Umanistici - Università del Piemonte Orientale Piazza S. Eusebio, 3 13100 Vercelli ITALY *2018-19 Fulbright Distinguished Lecturer - Northwestern University* *Executive Board - AISNA (Associazione Italiana Studi Nord Americani)* *Executive Board - SLSA- EU( European Society for the Study of Science, Literature, and the Arts)* Tel 0039 0161 222 8304 Fax 0039 0161 269959 *…………………………………….* *Transatlantic Transfers* The italian presence in post war America 1949-1972 PRIN2017 polimi_uniroma3_upo_usg *…………………………………….* Il giorno sab 15 feb 2020 alle ore 16:12 Giovanni Biscuolo <g@xelera.eu> ha scritto:
[chiedo scusa per il lungo post, le cose da dire sarebbero tantissime...]
Buongiorno,
non voglio certo rispondere per conto di Maria Luisa, ma aggiungo alcuni commenti che in parte forse rispondono alle domande di Andrea
dal punto di vista giuridico faccio solo notare (a voi può apparire scontato ma a molti no) che SyRI segnalava i profili a rischio ma è poi l'agenzia delle entrate competente che avrebbe dovuto ulteriormente investigare; non stiamo parlando di sistemi autonomi di espulsione dai benefici fiscali... ed è cosa buona e giusta
in generale la mia sensazione, da tecnico e cittadino, è che quando si tratta di avere a che fare con "la digitalizzazione dei servizi" e il trattamento automatico delle informazioni, certe volte (spesso?) al legislatore gli si chiude la vena e non si ricorda più cose fondamentali che dava per scontato quando si usavano macchina da scrivere e altre robe simili analogiche... oppura fa finta e ci prova? :-O
Andrea Glorioso <andrea@digitalpolicy.it> writes:
Forse non ho capito il suo intervento, ma perché l’utilizzo di sistemi come SyRI (o sistemi comparabili) per evitare frodi, assumendo l’esistenza e la corretta applicazione di “sufficienti garanzie” (che per altro nella sentenza non mi pare si riferiscano solo al diritto alla privacy) sarebbe da osteggiare?
permettetemi la provocazione: quindi la differenza tra i sistemi di profilazione cinesi (generalemnte additati come totalitaristi, da noi) e quelli occidentali sta nelle "sufficienti garanzie"? :-)
il problemone nel caso specifico di SyRI, così come di tutti i sistemi basati su algoritmi *segreti* di profilazione (pubblici e privati), è che **non possono essere fornite sufficienti garanzie**: punto.
solo sistemi basati su algoritmi pubblici, consultabili (e quindi contestabili) forniscono adeguate garanzie costituzionali; solo il software libero garantisce che l'implementazione sia confrontabile con l'algoritmo :-)
in altre parole la politica _incorporata_ negli algoritmi *deve* essere pubblica ogni qual volta regola uno o più aspetti della vita dei cittadini: no?
io ho il vaghissimo sospetto che non si voglia far conoscere l'algoritmo perché svelerebbe la politica discriminatoria che lo determina :-O
detto terra terra: le chiacchiere stanno a zero, fuori l'algoritmo (e il software)!
1. SyRI: https://www.hrw.org/news/2019/11/08/welfare-surveillance-trial-netherlands :
--8<---------------cut here---------------start------------->8--- Because SyRI is shrouded in secrecy, welfare beneficiaries have no meaningful way of knowing when or how the system’s calculations are factored into decisions to cut them off from lifesaving benefits. --8<---------------cut here---------------end--------------->8---
è una cosa seria che queste indagini automatizzate vengano effettuate in segreto? (AFAIU non stiamo parlando di indagini supervisionate da parte della magistratura)
2. SyRI: https://www.hrw.org/news/2019/11/08/welfare-surveillance-trial-netherlands
--8<---------------cut here---------------start------------->8--- The government has refused to disclose how SyRI works, for fear that explaining its risk calculation algorithms will enable fraudsters to game the system. But it has disclosed that the system generates “false positives” – cases in which the system erroneously flags individuals as a fraud risk. --8<---------------cut here---------------end--------------->8---
https://www.theguardian.com/technology/2020/feb/05/welfare-surveillance-syst... :
--8<---------------cut here---------------start------------->8--- it gathers government data previously held in separate silos, such as employment, personal debt and benefit records, and education and housing histories, then analyses it using a secret algorithm to identify which individuals might be at higher risk of committing benefit fraud. --8<---------------cut here---------------end--------------->8---
algoritmi segreti: state scherzando vero? :-)
3. in generale: https://undocs.org/A/74/493
Report of the Special Rapporteur on extreme poverty and human rights
--8<---------------cut here---------------start------------->8--- The digital welfare state is either already a reality or emerging in many countries across the globe. In these states, systems of social protection and assistance are increasingly driven by digital data and technologies that are used to automate, predict, identify, surveil, detect, target and punish. In the present report, the irresistible attractions for Governments to move in this direction are acknowledged, but the grave risk of stumbling, zombie-like, into a digital welfare dystopia is highlighted. It is argued that big technology companies (frequently referred to as “big tech”) operate in an almost human rights-free zone, and that this is especially problematic when the private sector is taking a leading role in designing, constructing and even operatin g significant parts of the digital welfare state. It is recommended in the report that, instead of obsessing about fraud, cost savings, sanctions, and market-driven definitions of efficiency, the starting point should be on how welfare budgets could be transformed through technology to ensure a higher standard of living for the vulnerable and disadvantaged. --8<---------------cut here---------------end--------------->8--- (non ho letto tutto il rapporto, ce l'ho in coda)
quindi anche l'OHCHR ritiene che l'applicazione di questa classe di sistemi sia problematica, sostanzialmente per via della *privatizzazione* del "digital welfare state" ad opera delle "big tech"
la raccomandazione "It is recommended" credo sia abbastanza chiara :-O
il capitolo "Introduction" del rapporto spiega più che chiaramente qual'è l'universo di discorso nel quale ci stiamo muovendo e illustra in modo cristallino quali sono i temi dei quali società civili devono occuparsi; mi permetto di evidenziare questo:
--8<---------------cut here---------------start------------->8--- Often, however, the digitization of welfare systems has been accompanied by deep reductions in the overall welfare budget, a narrowing of the beneficiary pool, the elimination of some services, the introduction of demanding and intrusive forms of conditionality, the pursuit of behavioural modification goals, the imposition of stronger sanctions regimes and a complete reversal of the traditional notion that the State should be accountable to the individual. --8<---------------cut here---------------end--------------->8---
quindi gli obiettivi di questa classe di sistemi *paiono* (non a me, a chi ha scritto quanto sopra) essere anche altri, assieme alla riduzione delle frodi; in particolare mi preme sottolineare "demanding and intrusive forms of conditionality"
io trovo una certa analogia con il sistema di sorveglianza globale e censura attuato via Internet, che *ovviamente* include anche criteri anti-terrorismo, anti-pedofilia, anti-crimine, anti-hate speech... https://www.article19.org/ (non sono ovviamente i soli) ha molto da dire a questo proposito e credo anche che le considerazioni di Maria Luisa siano da persona molto informata sui fatti :-)
trovo interessante anche il paragrafo "Why we challenge aspects of social benefits systems that surveil, control, and punish" di questo articolo: https://privacyinternational.org/researching-social-benefits
sia il rapporto citato all'inizio di questo punto che l'articolo qui sopra hanno citazioni (o link) a paper _estremamente_ interessanti
insomma, il succo del discorso è che la tecnologia non è **mai**, mai, mai, mai, mai neutrale ma _incorpora_ una determinata politica
4. https://it.wikipedia.org/wiki/Studio_di_settore
un caso analogo italiano c'è, sebbene non si tratti di benefici fiscali per i poveri: gli studi di settore
AFAIU in questo caso almeno il processo di definizione dei criteri è trasparente, anche se ammetto di non aver cercato se l'algoritmo è pubblicato e mi pare che il sorgente di Gerico non sia disponibile :-S
[...]
Saluti, Giovanni
-- Giovanni Biscuolo
Xelera IT Infrastructures _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Osservazione interessante, ma a mio parere lo stesso discorso vale per la trasparenza nella PA: l'Ente deve pubblicare delibere e determine e consentire il controllo democratico. Deve anche impegnarsi per scriverle in modo comprensibile e non intenzionalmente nebuloso. Se però una persona non è in grado di leggere e scrivere, o comunque non è in grado di comprendere quanto ha letto perchè troppo lontano dalla propria formazione, dovrà fidarsi di qualche esperto che esegua il controllo in sua vece. Oppure pensiamo agli esami clinici: io ho fatto un esame un po' particolare ed il mio medico di famiglia ha detto che la data del prelievo era chiarissima, affidando l'interpretazione ad uno specialista. Se non l'ha capito un medico, anche bravo, figuriamoci il resto della popolazione. In un'epca di alta specializzazione non è insolito che un'informazione non sia comprensibile da tutti. Ma il fatto che sia disponibile consente comunque un controllo, affidato a esperti di fiducia. Buona giornata D. ________________________________ From: nexa <nexa-bounces@server-nexa.polito.it> on behalf of Cristina Iuli <cristina.iuli@uniupo.it> Sent: Saturday, February 15, 2020 6:10 PM To: Giovanni Biscuolo <g@xelera.eu> Cc: Nexa <nexa@server-nexa.polito.it> Subject: Re: [nexa] Welfare surveillance system violates human rights, Dutch court rules | Technology | The Guardian Buongiorno. Leggo con grande interesse da non addetta ai lavori i messaggi di questa lista, e vi sono molto grata delle importantissime questioni che sollevate. Vorrei chiedere un chiarimento. Condivido - nella misura in cui la comprendo - questa affermazione di Giovanni Biscuolo: solo sistemi basati su algoritmi pubblici, consultabili (e quindi contestabili) forniscono adeguate garanzie costituzionali; solo il software libero garantisce che l'implementazione sia confrontabile con l'algoritmo :-) ma non sono sicura di comprenderne fino in fondo le implicazioni. Per un non addetto ai lavori, per una persona che non ha le assai specifiche e costose competenze matematiche o informatiche necessarie a valutare il rapporto tra gli algoritmi e loro messa in opera in programmi di gestione delle popolazioni, che cosa significa, davvero, questa affermazione? Significa che in un sistema di pubblicità degli algoritmi, il controllo incrociato (ma invisibile ai più) da parte di addetti ai lavori opera come effettivo organismo di controllo sul rapporto tra algoritmo,sua implementazione, e suo significato politico? O significa che vanno creati organismi di addetti ai lavori che possano dare sufficienti garanzie sul modo in cui gli algoritmi vengono creati e utilizzati? Significa che nella società digitale e del controllo, il controllo critico che i cittadini (e le istituzioni che essi eleggono) dovrebbero poter esercitare sulle politiche pubbliche, sia a livello decisionale che amministrativo, deve essere delegato per default a chi ha le capacità tecniche di esercitarlo? E se è così, quali sono le conseguenze di questa condizione sui sistemi democratici e sull'idea stessa di democrazia? E in assenza della possibilità di conoscere, comprendere e valutare il significato degli algoritmi e del loro uso, cosa dovrebbe convincere i cittadini a fidarsi delle procedure, delle istituzioni, e del controllo degli esperti? Grazie molte a chi risponde. Cristina Iuli [https://docs.google.com/uc?export=download&id=0Bx8amq3mAnWsNmRNdXZYamFycjQ&r...] Maria Cristina Iuli, Ph.D. Associate Professor, Lingua e Letteratura Nordamericana Presidente Corso di Studio in Lingue Straniere Moderne Dipartimento Studi Umanistici - Università del Piemonte Orientale Piazza S. Eusebio, 3 13100 Vercelli ITALY 2018-19 Fulbright Distinguished Lecturer - Northwestern University Executive Board - AISNA (Associazione Italiana Studi Nord Americani) Executive Board - SLSA- EU( European Society for the Study of Science, Literature, and the Arts) Tel 0039 0161 222 8304 Fax 0039 0161 269959 ……………………………………. Transatlantic Transfers The italian presence in post war America 1949-1972 PRIN2017 polimi_uniroma3_upo_usg ……………………………………. Il giorno sab 15 feb 2020 alle ore 16:12 Giovanni Biscuolo <g@xelera.eu<mailto:g@xelera.eu>> ha scritto: [chiedo scusa per il lungo post, le cose da dire sarebbero tantissime...] Buongiorno, non voglio certo rispondere per conto di Maria Luisa, ma aggiungo alcuni commenti che in parte forse rispondono alle domande di Andrea dal punto di vista giuridico faccio solo notare (a voi può apparire scontato ma a molti no) che SyRI segnalava i profili a rischio ma è poi l'agenzia delle entrate competente che avrebbe dovuto ulteriormente investigare; non stiamo parlando di sistemi autonomi di espulsione dai benefici fiscali... ed è cosa buona e giusta in generale la mia sensazione, da tecnico e cittadino, è che quando si tratta di avere a che fare con "la digitalizzazione dei servizi" e il trattamento automatico delle informazioni, certe volte (spesso?) al legislatore gli si chiude la vena e non si ricorda più cose fondamentali che dava per scontato quando si usavano macchina da scrivere e altre robe simili analogiche... oppura fa finta e ci prova? :-O Andrea Glorioso <andrea@digitalpolicy.it<mailto:andrea@digitalpolicy.it>> writes:
Forse non ho capito il suo intervento, ma perché l’utilizzo di sistemi come SyRI (o sistemi comparabili) per evitare frodi, assumendo l’esistenza e la corretta applicazione di “sufficienti garanzie” (che per altro nella sentenza non mi pare si riferiscano solo al diritto alla privacy) sarebbe da osteggiare?
permettetemi la provocazione: quindi la differenza tra i sistemi di profilazione cinesi (generalemnte additati come totalitaristi, da noi) e quelli occidentali sta nelle "sufficienti garanzie"? :-) il problemone nel caso specifico di SyRI, così come di tutti i sistemi basati su algoritmi *segreti* di profilazione (pubblici e privati), è che **non possono essere fornite sufficienti garanzie**: punto. solo sistemi basati su algoritmi pubblici, consultabili (e quindi contestabili) forniscono adeguate garanzie costituzionali; solo il software libero garantisce che l'implementazione sia confrontabile con l'algoritmo :-) in altre parole la politica _incorporata_ negli algoritmi *deve* essere pubblica ogni qual volta regola uno o più aspetti della vita dei cittadini: no? io ho il vaghissimo sospetto che non si voglia far conoscere l'algoritmo perché svelerebbe la politica discriminatoria che lo determina :-O detto terra terra: le chiacchiere stanno a zero, fuori l'algoritmo (e il software)! 1. SyRI: https://www.hrw.org/news/2019/11/08/welfare-surveillance-trial-netherlands: --8<---------------cut here---------------start------------->8--- Because SyRI is shrouded in secrecy, welfare beneficiaries have no meaningful way of knowing when or how the system’s calculations are factored into decisions to cut them off from lifesaving benefits. --8<---------------cut here---------------end--------------->8--- è una cosa seria che queste indagini automatizzate vengano effettuate in segreto? (AFAIU non stiamo parlando di indagini supervisionate da parte della magistratura) 2. SyRI: https://www.hrw.org/news/2019/11/08/welfare-surveillance-trial-netherlands --8<---------------cut here---------------start------------->8--- The government has refused to disclose how SyRI works, for fear that explaining its risk calculation algorithms will enable fraudsters to game the system. But it has disclosed that the system generates “false positives” – cases in which the system erroneously flags individuals as a fraud risk. --8<---------------cut here---------------end--------------->8--- https://www.theguardian.com/technology/2020/feb/05/welfare-surveillance-syst...: --8<---------------cut here---------------start------------->8--- it gathers government data previously held in separate silos, such as employment, personal debt and benefit records, and education and housing histories, then analyses it using a secret algorithm to identify which individuals might be at higher risk of committing benefit fraud. --8<---------------cut here---------------end--------------->8--- algoritmi segreti: state scherzando vero? :-) 3. in generale: https://undocs.org/A/74/493 Report of the Special Rapporteur on extreme poverty and human rights --8<---------------cut here---------------start------------->8--- The digital welfare state is either already a reality or emerging in many countries across the globe. In these states, systems of social protection and assistance are increasingly driven by digital data and technologies that are used to automate, predict, identify, surveil, detect, target and punish. In the present report, the irresistible attractions for Governments to move in this direction are acknowledged, but the grave risk of stumbling, zombie-like, into a digital welfare dystopia is highlighted. It is argued that big technology companies (frequently referred to as “big tech”) operate in an almost human rights-free zone, and that this is especially problematic when the private sector is taking a leading role in designing, constructing and even operatin g significant parts of the digital welfare state. It is recommended in the report that, instead of obsessing about fraud, cost savings, sanctions, and market-driven definitions of efficiency, the starting point should be on how welfare budgets could be transformed through technology to ensure a higher standard of living for the vulnerable and disadvantaged. --8<---------------cut here---------------end--------------->8--- (non ho letto tutto il rapporto, ce l'ho in coda) quindi anche l'OHCHR ritiene che l'applicazione di questa classe di sistemi sia problematica, sostanzialmente per via della *privatizzazione* del "digital welfare state" ad opera delle "big tech" la raccomandazione "It is recommended" credo sia abbastanza chiara :-O il capitolo "Introduction" del rapporto spiega più che chiaramente qual'è l'universo di discorso nel quale ci stiamo muovendo e illustra in modo cristallino quali sono i temi dei quali società civili devono occuparsi; mi permetto di evidenziare questo: --8<---------------cut here---------------start------------->8--- Often, however, the digitization of welfare systems has been accompanied by deep reductions in the overall welfare budget, a narrowing of the beneficiary pool, the elimination of some services, the introduction of demanding and intrusive forms of conditionality, the pursuit of behavioural modification goals, the imposition of stronger sanctions regimes and a complete reversal of the traditional notion that the State should be accountable to the individual. --8<---------------cut here---------------end--------------->8--- quindi gli obiettivi di questa classe di sistemi *paiono* (non a me, a chi ha scritto quanto sopra) essere anche altri, assieme alla riduzione delle frodi; in particolare mi preme sottolineare "demanding and intrusive forms of conditionality" io trovo una certa analogia con il sistema di sorveglianza globale e censura attuato via Internet, che *ovviamente* include anche criteri anti-terrorismo, anti-pedofilia, anti-crimine, anti-hate speech... https://www.article19.org/ (non sono ovviamente i soli) ha molto da dire a questo proposito e credo anche che le considerazioni di Maria Luisa siano da persona molto informata sui fatti :-) trovo interessante anche il paragrafo "Why we challenge aspects of social benefits systems that surveil, control, and punish" di questo articolo: https://privacyinternational.org/researching-social-benefits sia il rapporto citato all'inizio di questo punto che l'articolo qui sopra hanno citazioni (o link) a paper _estremamente_ interessanti insomma, il succo del discorso è che la tecnologia non è **mai**, mai, mai, mai, mai neutrale ma _incorpora_ una determinata politica 4. https://it.wikipedia.org/wiki/Studio_di_settore un caso analogo italiano c'è, sebbene non si tratti di benefici fiscali per i poveri: gli studi di settore AFAIU in questo caso almeno il processo di definizione dei criteri è trasparente, anche se ammetto di non aver cercato se l'algoritmo è pubblicato e mi pare che il sorgente di Gerico non sia disponibile :-S [...] Saluti, Giovanni -- Giovanni Biscuolo Xelera IT Infrastructures _______________________________________________ nexa mailing list nexa@server-nexa.polito.it<mailto:nexa@server-nexa.polito.it> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Salve, grazie a tutti per le risposte e i commenti, che ho trovato utilissimi e molto interessanti. Rispondo su un paio di elementi dove mi pare di avere qualcosa da aggiungere. Qualcuno ha sollevato il sospetto che non si voglia far conoscere l'algoritmo perché svelerebbe la politica discriminatoria che lo determina. In effetti, dalla lettura della sentenza questa circostanza non si puo' escludere, ma credo che la corte abbia trovato una buona soluzione (che, per inciso, a mio parere costituisce una - finalmente! - concreta applicazione dei principi di trasparenza contenuti nella GDPR): in sostanza la corte dice che, dato che non sono stati forniti - dallo Stato - elementi sufficienti per provare che non c'e' effetto discriminatorio, quest'ultimo non si puo' escludere. Mi pare quindi che ci sia una sorta di inversione dell'onere della prova: a meno che non si dimostri che non c'e' discriminazione, la corte la da per esistente. Piu' in generale sull'utilizzo di sistemi come SyRI: da un punto di vista degli standard internazionali sui diritti umani e tecnologia, il ragionamento dovrebbe essere che le tecnologie invasive dei diritti fondamentali (privacy e protezione dati, ma anche non-discriminazione etc.) dovrebbero essere utilizzate solo come ultima risorsa, ovvero quando non esiste altro modo, meno invasivo dei suddetti diritti, per raggiungere l'obiettivo (un obiettivo legittimo, ovviamente). Quindi se SyRI è un mezzo efficace, ma ne esistono altri ugualmente efficaci e meno invasivi della privacy di un cittadino, SyRI non dovrebbe essere utilizzata. Saluti, Maria Luisa From: "Diego Giorio" <dgiorio@hotmail.com> To: "NEXA List" <nexa@server-nexa.polito.it> Sent: Monday, 17 February, 2020 08:28:06 Subject: Re: [nexa] Welfare surveillance system violates human rights, Dutch court rules | Technology | The Guardian Osservazione interessante, ma a mio parere lo stesso discorso vale per la trasparenza nella PA: l'Ente deve pubblicare delibere e determine e consentire il controllo democratico. Deve anche impegnarsi per scriverle in modo comprensibile e non intenzionalmente nebuloso. Se però una persona non è in grado di leggere e scrivere, o comunque non è in grado di comprendere quanto ha letto perchè troppo lontano dalla propria formazione, dovrà fidarsi di qualche esperto che esegua il controllo in sua vece. Oppure pensiamo agli esami clinici: io ho fatto un esame un po' particolare ed il mio medico di famiglia ha detto che la data del prelievo era chiarissima, affidando l'interpretazione ad uno specialista. Se non l'ha capito un medico, anche bravo, figuriamoci il resto della popolazione. In un'epca di alta specializzazione non è insolito che un'informazione non sia comprensibile da tutti. Ma il fatto che sia disponibile consente comunque un controllo, affidato a esperti di fiducia. Buona giornata D. From: nexa <nexa-bounces@server-nexa.polito.it> on behalf of Cristina Iuli <cristina.iuli@uniupo.it> Sent: Saturday, February 15, 2020 6:10 PM To: Giovanni Biscuolo <g@xelera.eu> Cc: Nexa <nexa@server-nexa.polito.it> Subject: Re: [nexa] Welfare surveillance system violates human rights, Dutch court rules | Technology | The Guardian Buongiorno. Leggo con grande interesse da non addetta ai lavori i messaggi di questa lista, e vi sono molto grata delle importantissime questioni che sollevate. Vorrei chiedere un chiarimento. Condivido - nella misura in cui la comprendo - questa affermazione di Giovanni Biscuolo: solo sistemi basati su algoritmi pubblici, consultabili (e quindi contestabili) forniscono adeguate garanzie costituzionali; solo il software libero garantisce che l'implementazione sia confrontabile con l'algoritmo :-) ma non sono sicura di comprenderne fino in fondo le implicazioni. Per un non addetto ai lavori, per una persona che non ha le assai specifiche e costose competenze matematiche o informatiche necessarie a valutare il rapporto tra gli algoritmi e loro messa in opera in programmi di gestione delle popolazioni, che cosa significa, davvero, questa affermazione? Significa che in un sistema di pubblicità degli algoritmi, il controllo incrociato (ma invisibile ai più) da parte di addetti ai lavori opera come effettivo organismo di controllo sul rapporto tra algoritmo,sua implementazione, e suo significato politico? O significa che vanno creati organismi di addetti ai lavori che possano dare sufficienti garanzie sul modo in cui gli algoritmi vengono creati e utilizzati? Significa che nella società digitale e del controllo, il controllo critico che i cittadini (e le istituzioni che essi eleggono) dovrebbero poter esercitare sulle politiche pubbliche, sia a livello decisionale che amministrativo, deve essere delegato per default a chi ha le capacità tecniche di esercitarlo? E se è così, quali sono le conseguenze di questa condizione sui sistemi democratici e sull'idea stessa di democrazia? E in assenza della possibilità di conoscere, comprendere e valutare il significato degli algoritmi e del loro uso, cosa dovrebbe convincere i cittadini a fidarsi delle procedure, delle istituzioni, e del controllo degli esperti? Grazie molte a chi risponde. Cristina Iuli Maria Cristina Iuli, Ph.D. Associate Professor, Lingua e Letteratura Nordamericana Presidente Corso di Studio in Lingue Straniere Moderne Dipartimento Studi Umanistici - Università del Piemonte Orientale Piazza S. Eusebio, 3 13100 Vercelli ITALY 2018-19 Fulbright Distinguished Lecturer - Northwestern University Executive Board - AISNA (Associazione Italiana Studi Nord Americani) Executive Board - SLSA- EU( European Society for the Study of Science, Literature, and the Arts) Tel 0039 0161 222 8304 Fax 0039 0161 269959 ……………………………………. Transatlantic Transfers The italian presence in post war America 1949-1972 PRIN2017 polimi_uniroma3_upo_usg ……………………………………. Il giorno sab 15 feb 2020 alle ore 16:12 Giovanni Biscuolo < [ mailto:g@xelera.eu | g@xelera.eu ] > ha scritto: [chiedo scusa per il lungo post, le cose da dire sarebbero tantissime...] Buongiorno, non voglio certo rispondere per conto di Maria Luisa, ma aggiungo alcuni commenti che in parte forse rispondono alle domande di Andrea dal punto di vista giuridico faccio solo notare (a voi può apparire scontato ma a molti no) che SyRI segnalava i profili a rischio ma è poi l'agenzia delle entrate competente che avrebbe dovuto ulteriormente investigare; non stiamo parlando di sistemi autonomi di espulsione dai benefici fiscali... ed è cosa buona e giusta in generale la mia sensazione, da tecnico e cittadino, è che quando si tratta di avere a che fare con "la digitalizzazione dei servizi" e il trattamento automatico delle informazioni, certe volte (spesso?) al legislatore gli si chiude la vena e non si ricorda più cose fondamentali che dava per scontato quando si usavano macchina da scrivere e altre robe simili analogiche... oppura fa finta e ci prova? :-O Andrea Glorioso < [ mailto:andrea@digitalpolicy.it | andrea@digitalpolicy.it ] > writes:
Forse non ho capito il suo intervento, ma perché l’utilizzo di sistemi come SyRI (o sistemi comparabili) per evitare frodi, assumendo l’esistenza e la corretta applicazione di “sufficienti garanzie” (che per altro nella sentenza non mi pare si riferiscano solo al diritto alla privacy) sarebbe da osteggiare?
permettetemi la provocazione: quindi la differenza tra i sistemi di profilazione cinesi (generalemnte additati come totalitaristi, da noi) e quelli occidentali sta nelle "sufficienti garanzie"? :-) il problemone nel caso specifico di SyRI, così come di tutti i sistemi basati su algoritmi *segreti* di profilazione (pubblici e privati), è che **non possono essere fornite sufficienti garanzie**: punto. solo sistemi basati su algoritmi pubblici, consultabili (e quindi contestabili) forniscono adeguate garanzie costituzionali; solo il software libero garantisce che l'implementazione sia confrontabile con l'algoritmo :-) in altre parole la politica _incorporata_ negli algoritmi *deve* essere pubblica ogni qual volta regola uno o più aspetti della vita dei cittadini: no? io ho il vaghissimo sospetto che non si voglia far conoscere l'algoritmo perché svelerebbe la politica discriminatoria che lo determina :-O detto terra terra: le chiacchiere stanno a zero, fuori l'algoritmo (e il software)! 1. SyRI: [ https://www.hrw.org/news/2019/11/08/welfare-surveillance-trial-netherlands | https://www.hrw.org/news/2019/11/08/welfare-surveillance-trial-netherlands ] : --8<---------------cut here---------------start------------->8--- Because SyRI is shrouded in secrecy, welfare beneficiaries have no meaningful way of knowing when or how the system’s calculations are factored into decisions to cut them off from lifesaving benefits. --8<---------------cut here---------------end--------------->8--- è una cosa seria che queste indagini automatizzate vengano effettuate in segreto? (AFAIU non stiamo parlando di indagini supervisionate da parte della magistratura) 2. SyRI: [ https://www.hrw.org/news/2019/11/08/welfare-surveillance-trial-netherlands | https://www.hrw.org/news/2019/11/08/welfare-surveillance-trial-netherlands ] --8<---------------cut here---------------start------------->8--- The government has refused to disclose how SyRI works, for fear that explaining its risk calculation algorithms will enable fraudsters to game the system. But it has disclosed that the system generates “false positives” – cases in which the system erroneously flags individuals as a fraud risk. --8<---------------cut here---------------end--------------->8--- [ https://www.theguardian.com/technology/2020/feb/05/welfare-surveillance-syst... | https://www.theguardian.com/technology/2020/feb/05/welfare-surveillance-syst... ] : --8<---------------cut here---------------start------------->8--- it gathers government data previously held in separate silos, such as employment, personal debt and benefit records, and education and housing histories, then analyses it using a secret algorithm to identify which individuals might be at higher risk of committing benefit fraud. --8<---------------cut here---------------end--------------->8--- algoritmi segreti: state scherzando vero? :-) 3. in generale: [ https://undocs.org/A/74/493 | https://undocs.org/A/74/493 ] Report of the Special Rapporteur on extreme poverty and human rights --8<---------------cut here---------------start------------->8--- The digital welfare state is either already a reality or emerging in many countries across the globe. In these states, systems of social protection and assistance are increasingly driven by digital data and technologies that are used to automate, predict, identify, surveil, detect, target and punish. In the present report, the irresistible attractions for Governments to move in this direction are acknowledged, but the grave risk of stumbling, zombie-like, into a digital welfare dystopia is highlighted. It is argued that big technology companies (frequently referred to as “big tech”) operate in an almost human rights-free zone, and that this is especially problematic when the private sector is taking a leading role in designing, constructing and even operatin g significant parts of the digital welfare state. It is recommended in the report that, instead of obsessing about fraud, cost savings, sanctions, and market-driven definitions of efficiency, the starting point should be on how welfare budgets could be transformed through technology to ensure a higher standard of living for the vulnerable and disadvantaged. --8<---------------cut here---------------end--------------->8--- (non ho letto tutto il rapporto, ce l'ho in coda) quindi anche l'OHCHR ritiene che l'applicazione di questa classe di sistemi sia problematica, sostanzialmente per via della *privatizzazione* del "digital welfare state" ad opera delle "big tech" la raccomandazione "It is recommended" credo sia abbastanza chiara :-O il capitolo "Introduction" del rapporto spiega più che chiaramente qual'è l'universo di discorso nel quale ci stiamo muovendo e illustra in modo cristallino quali sono i temi dei quali società civili devono occuparsi; mi permetto di evidenziare questo: --8<---------------cut here---------------start------------->8--- Often, however, the digitization of welfare systems has been accompanied by deep reductions in the overall welfare budget, a narrowing of the beneficiary pool, the elimination of some services, the introduction of demanding and intrusive forms of conditionality, the pursuit of behavioural modification goals, the imposition of stronger sanctions regimes and a complete reversal of the traditional notion that the State should be accountable to the individual. --8<---------------cut here---------------end--------------->8--- quindi gli obiettivi di questa classe di sistemi *paiono* (non a me, a chi ha scritto quanto sopra) essere anche altri, assieme alla riduzione delle frodi; in particolare mi preme sottolineare "demanding and intrusive forms of conditionality" io trovo una certa analogia con il sistema di sorveglianza globale e censura attuato via Internet, che *ovviamente* include anche criteri anti-terrorismo, anti-pedofilia, anti-crimine, anti-hate speech... [ https://www.article19.org/ | https://www.article19.org/ ] (non sono ovviamente i soli) ha molto da dire a questo proposito e credo anche che le considerazioni di Maria Luisa siano da persona molto informata sui fatti :-) trovo interessante anche il paragrafo "Why we challenge aspects of social benefits systems that surveil, control, and punish" di questo articolo: [ https://privacyinternational.org/researching-social-benefits | https://privacyinternational.org/researching-social-benefits ] sia il rapporto citato all'inizio di questo punto che l'articolo qui sopra hanno citazioni (o link) a paper _estremamente_ interessanti insomma, il succo del discorso è che la tecnologia non è **mai**, mai, mai, mai, mai neutrale ma _incorpora_ una determinata politica 4. [ https://it.wikipedia.org/wiki/Studio_di_settore | https://it.wikipedia.org/wiki/Studio_di_settore ] un caso analogo italiano c'è, sebbene non si tratti di benefici fiscali per i poveri: gli studi di settore AFAIU in questo caso almeno il processo di definizione dei criteri è trasparente, anche se ammetto di non aver cercato se l'algoritmo è pubblicato e mi pare che il sorgente di Gerico non sia disponibile :-S [...] Saluti, Giovanni -- Giovanni Biscuolo Xelera IT Infrastructures _______________________________________________ nexa mailing list [ mailto:nexa@server-nexa.polito.it | nexa@server-nexa.polito.it ] [ https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa | https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa ] _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Buongiorno Maria Luisa, grazie mille per queste info utilissime a chi, come me, non ha ancora avuto il tempo di studiare nel merito la sentenza Maria Luisa Stasi <maria@article19.org> writes: [...]
in sostanza la corte dice che, dato che non sono stati forniti - dallo Stato - elementi sufficienti per provare che non c'e' effetto discriminatorio, quest'ultimo non si puo' escludere. Mi pare quindi che ci sia una sorta di inversione dell'onere della prova: a meno che non si dimostri che non c'e' discriminazione, la corte la da per esistente.
questa è una notizia *fantastica* e mi auguro davvero diventi *il* rifermento giuridico per altri casi analoghi da tecnico credo che la pubblicazione dell'algoritmo sia elemento necessario e non sufficiente per la verifica di assenza di discriminazione in casi analoghi di applicazione di tecniche AI alla profilazione della popolazione, anche da parte di dipartimenti di polizia, l'esistenza di elementi discriminatori (algorithmic bias) è *quasi certa* [...] Saluti, Giovanni -- Giovanni Biscuolo Xelera IT Infrastructures
Buongiorno Cristina, Cristina Iuli <cristina.iuli@uniupo.it> writes: [...]
Condivido - nella misura in cui la comprendo - questa affermazione di Giovanni Biscuolo:
solo sistemi basati su algoritmi pubblici, consultabili (e quindi contestabili) forniscono adeguate garanzie costituzionali; solo il software libero garantisce che l'implementazione sia confrontabile con l'algoritmo :-)
qualsiasi cosa posso fare per rendere il più comprensibile possibile questa affermazione (niente farina del mio sacco) la farò, sono a disposizione senza sapere bene cosa non è chiaro, mi viene solo da sottolineare la fondamentale differenza tra algoritmo e implementazione (programma *sorgente* software); mi scuso se ripeto cose che potrebbero suonare ovvie https://it.wikipedia.org/wiki/Algoritmo#Definizione: --8<---------------cut here---------------start------------->8--- [...] una definizione del concetto di algoritmo che sia formale e non tecnica manca tuttora e si è pertanto costretti ad accontentarsi dell'idea intuitiva di algoritmo come: "una sequenza ordinata e finita di passi (operazioni o istruzioni) elementari che conduce a un ben determinato risultato in un tempo finito". --8<---------------cut here---------------end--------------->8--- io mi accontenterei di questa idea intuitiva di algoritmo: ci basta che le operazioni che conducono al risultato siano pubblicate; avendo quello è quantomeno _possibile_ poter verificare i criteri, anche se per farlo occorre saper interpretare la sequenza ordinata che potrebbe essere espressa in un linguaggio formale un po' criptico (quindi chiederemmo a chi la pubblica di scriverla in un linguaggio più chiaro) sottolineo anche che (sempre dalla pagina Wikipedia ditata sopra) --8<---------------cut here---------------start------------->8--- L'algoritmo è un concetto fondamentale dell'informatica, anzitutto perché è alla base della nozione teorica di calcolabilità: un problema è calcolabile quando è risolvibile mediante un algoritmo. --8<---------------cut here---------------end--------------->8--- e questo apre una questione piuttosto rilevante in merito alla *possibilità* di applicare algoritmi per decidere un po' su "laqualunque" come se fosse ovvio; questo implica la _non_banale_ possibilità che analizzato l'algoritmo possa evidenziarsi (a volte in modo sfacciatamente palese) che non è il caso di prendere quelle decisioni sulla base di una serie di calcoli, in una sorta di eccesso di zelo di grezzo determinismo socio-economico infine, in merito al software che implementa l'algoritmo (stessa pagina Wikipedia): --8<---------------cut here---------------start------------->8--- la programmazione costituisce essenzialmente la traduzione o codifica di un algoritmo per tale problema in programma, scritto in un certo linguaggio, che può essere quindi effettivamente eseguito da un calcolatore rappresentandone la logica di elaborazione --8<---------------cut here---------------end--------------->8--- nella definizione sopra c'è un errore: il 99.9% [1] dei programmi *non* sono direttamente eseguibili da un calcolatore, devono a loro volta essere tradotti in un linguaggio macchina [2], per questo ci sono i c.d. compilatori e interpreti di linguaggi; es. di linguaggi di programmazione sono il C, Python, Lisp (uno degli enne dialetti)... in ogni caso essendo il lavoro dei calcolatori frutto di una **doppia** traduzione, ovvero da algoritmo a codice sorgente (in un linguaggio di programmazione) e da questo a codice macchina, c'è un certo margine di errore che queste operazioni possono inserire tra il risultato atteso (secondo la definizione algoritmica) e quello effettivo quindi lo schema è algoritmo -> codice sorgente -> codice macchina il senso della "mia" frase iniziale è che sarebbe opportuno che algoritmo e "codice sorgente" fossero scrutinabili da tutti
ma non sono sicura di comprenderne fino in fondo le implicazioni. Per un non addetto ai lavori, per una persona che non ha le assai specifiche e costose competenze matematiche o informatiche necessarie a valutare il rapporto tra gli algoritmi e loro messa in opera in programmi di gestione delle popolazioni, che cosa significa, davvero, questa affermazione?
è vero: per poter verificare che il codice sorgente implementi in modo corretto l'algoritmo ci vogliono specifiche competenze informatiche, ovvero occorre conoscere il linguaggio di programmazione usato per scrivere il codice sorgente da cittadino io mi ritetterrei comunque già notevolmente rispettato se almeno l'algoritmo mi fosse messo a disposizione per essere studiato e comprenderne gli elementi, per poi poter eventualmente contestarne gli aspetti che non condivido e se del caso determinarne la modifica: si tratta del primo passo, fondamentale, per una adeguata implementazione del processo democratico anche nella sfera della cittadinanza digilale: il diritto a conoscere l'algoritmo paragonato al diritto di conoscere le leggi che regolano la convivenza civile
Significa che in un sistema di pubblicità degli algoritmi, il controllo incrociato (ma invisibile ai più) da parte di addetti ai lavori opera come effettivo organismo di controllo sul rapporto tra algoritmo,sua implementazione, e suo significato politico?
sì; ciascun cittadino, in funzione delle proprie competenze, può decidere in che misura e a che livello di verifica, nella "catena di traduzione", vuole partecipare è vero che per controllare il codice sorgente ci vogliono adeguate competenze, ma l'accesso a tali competenze è quantomeno possibile ai cittadini che desiderassero acquisirle (e non stiamo parlando di competenze di analisi matematica o simili)
O significa che vanno creati organismi di addetti ai lavori che possano dare sufficienti garanzie sul modo in cui gli algoritmi vengono creati e utilizzati?
grazie infinitamente per *la* domanda :-) questo è esattamente quello che succede quando l'implementazione dell'algoritmo (codice sorgente) è in forma di software proprietario: i cittadini, e spesso le istituzioni stesse, devono fidarsi di un ristretto gruppo di addetti ai lavori (in genere di grandi aziende private) per la verifica che tale implementazione sia adeguata in altre parole: quando le regole di convinenza civile sono inglobate nel software proprietario il diritto alla partecipazione alla propria cittadinanza digitale è negato in partenza, ovvero rimarrebbe solo la possibilità di verificare l'algoritmo fidandosi ciecamente dell'implementazione
Significa che nella società digitale e del controllo, il controllo critico che i cittadini (e le istituzioni che essi eleggono) dovrebbero poter esercitare sulle politiche pubbliche, sia a livello decisionale che amministrativo, deve essere delegato per default a chi ha le capacità tecniche di esercitarlo?
io (e molti altri prima e più in alto di me) ritengo che questo sia un grave pericolo per la democrazia prossima ventura: questo controllo non deve essere *esclusivo* ma aperto, a tutti deve essere data la possibilità di partecipare in funzione delle proprie competenze non è automatico che chiunque sia in grado di partecipare a questo processo di verifica quando il software è libero, solo il software libero, però, lo rende possibile
E se è così, quali sono le conseguenze di questa condizione sui sistemi democratici e sull'idea stessa di democrazia? E in assenza della possibilità di conoscere, comprendere e valutare il significato degli algoritmi e del loro uso, cosa dovrebbe convincere i cittadini a fidarsi delle procedure, delle istituzioni, e del controllo degli esperti?
Nulla: la fiducia sulla base dell'autorità è morta e sepolta ormai, dobbiamo _ricostruire_ la fiducia su nuove basi
Grazie molte a chi risponde. Cristina Iuli
Grazie per gli interessanti spunti di riflessione Saluti, Giovanni [1] alcuni rarissimi programmi sono scritti in un lingiaggio direttamente traducibile in codice macchina, con margini di errore vicini allo zero assoluto [2] ogni architettura di calcolatore (es. i386, ARM7, Arduino) ha un proprio linguaggio macchina specifico [...] -- Giovanni Biscuolo Xelera IT Infrastructures
Ciao Cristina, grazie delle splendide domande. On 15/02/2020, Cristina Iuli <cristina.iuli@uniupo.it> wrote:
solo sistemi basati su algoritmi pubblici, consultabili (e quindi contestabili) forniscono adeguate garanzie costituzionali; solo il software libero garantisce che l'implementazione sia confrontabile con l'algoritmo :-)
ma non sono sicura di comprenderne fino in fondo le implicazioni. Per un non addetto ai lavori, per una persona che non ha le assai specifiche e costose competenze matematiche o informatiche necessarie a valutare il rapporto tra gli algoritmi e loro messa in opera in programmi di gestione delle popolazioni, che cosa significa, davvero, questa affermazione?
Immagina di non sapere leggere, scrivere e contare. Immagina che la stessa cosa valga per la maggioranza della popolazione. Immagina che valga anche per i politici, i giudici, gli avvocati. Un bel giorno una casta di persone che sanno leggere, scrivere e contare iniziano a vendere i loro servizi a tutti, dallo Stato al pescivendolo. Questa è la situazione attuale dell'Informatica. La barriera di ingresso a questa casta non è determinata da conoscenze segrete. La casta adotta RELIGIOSAMENTE strumenti assolutamente primitivi e inutilmente complicati per rendere enormemente frustrante la vita dei propri membri, così da far apparire la propria materia "specialistica e complicata" e ridurre automaticamente la diffusione della conoscenza stessa.
Significa che in un sistema di pubblicità degli algoritmi, il controllo incrociato (ma invisibile ai più) da parte di addetti ai lavori opera come effettivo organismo di controllo sul rapporto tra algoritmo,sua implementazione, e suo significato politico?
Assolutamente no. Nel 2016 https://www.businessinsider.com/npm-left-pad-controversy-explained-2016-3?IR... Nel 2018 https://www.theregister.co.uk/2018/11/26/npm_repo_bitcoin_stealer/ Non c'è alcun controllo incrociato da parte degli addetti ai lavori. La maggior parte dei membri della casta non legge nemmeno il codice che usa. E GUAI a leggerlo! Non sarai mica un hacker! ;-)
O significa che vanno creati organismi di addetti ai lavori che possano dare sufficienti garanzie sul modo in cui gli algoritmi vengono creati e utilizzati?
Non voglio sembrarti pedante, ma gli "algoritmi" esistono solo nella mente di chi li conosce. Sono "informazioni", idee comunicabili ad altri esseri umani attraverso un linguaggio. Un algoritmo non è diverso da un numero. E' astratto, intangibile e perfetto. E utile SOLO a comunicare e ragionare. Il _software_ invece esiste nella realtà e rappresenta una serie di algoritmi. Viene scritto da esseri umani FALLIBILI e ne riproduce sistematicamente gli errori. Visto lo stadio embrionale dell'informatica moderna, direi che nessuna organizzazione di addetti ai lavori potrebbe fornire alcuna garanzia socialmente UTILE su un software. Al massimo un organizzazione del genere, se fornita di budget superiori a quelli di coloro che realizzano un software, potrebbe verificare che questo corrisponde alle specifiche dichiarate dai programmatori in alcune condizioni (build riproducibili, sorgenti disponibili, etc...) e (con un po' di fortuna) evidenziarne alcuni errori in situazioni inaspettate.
Significa che nella società digitale e del controllo, il controllo critico che i cittadini (e le istituzioni che essi eleggono) dovrebbero poter esercitare sulle politiche pubbliche, sia a livello decisionale che amministrativo, deve essere delegato per default a chi ha le capacità tecniche di esercitarlo?
Questo è quello che di fatto sta avvenendo. Non te ne accorgi ancora perché è un processo invisibile a chi non ha le competenze per parteciparvi. L'alternativa sarebbe insegnare A TUTTI a leggere, scrivere e contare. ;-) Ma è impossibile! E se lo dice il Faraone, voglio dire... questione chiusa!
E se è così, quali sono le conseguenze di questa condizione sui sistemi democratici e sull'idea stessa di democrazia?
Democrazia? :-D In una democrazia la Scuola è più importante del Parlamento. Perché il popolo è più importante di coloro che elegge.
E in assenza della possibilità di conoscere, comprendere e valutare il significato degli algoritmi e del loro uso, cosa dovrebbe convincere i cittadini a fidarsi delle procedure, delle istituzioni, e del controllo degli esperti?
Niente. Assolutamente niente. E non sto esagerando, purtroppo. Giacomo
Ciao, grazie a tutti per il thread veramente interessante. Rispetto alle considerazioni di Giovanni (che condivido) ho solo una piccola obiezione: On Saturday, 15 February 2020, Giovanni Biscuolo <g@xelera.eu> wrote:
il problemone nel caso specifico di SyRI, così come di tutti i sistemi basati su algoritmi *segreti* di profilazione (pubblici e privati), è che **non possono essere fornite sufficienti garanzie**: punto.
Il problema è che questa affermazione non viene mai considerata in tutta la sua serietà.
solo sistemi basati su algoritmi pubblici, consultabili (e quindi contestabili) forniscono adeguate garanzie costituzionali; solo il software libero garantisce che l'implementazione sia confrontabile con l'algoritmo :-)
E come? :-) Quale versione? Su quale sistema operativo? Su quale hardware? Con quali dati in input? Quali valori pseudocasuali sono stati inclusi? Con quali bug? Disporre dei sorgenti di un software è condizione necessaria per spiegarne l'output, ma non è lontanamente sufficiente. Di conseguenza, l'introduzione di automatismi non interpretati da menti umane (e dunque non responsabili e irresponsabili) altera in modo inevitabilmente opaco il sistema in cui avviene. Non si tratta di una cessione di potere "alle macchine" ma certamente si tratta di una sottrazione di tale potere alla comunità umana (a vantaggio di colori che controllano tali automatismi). Tuttavia, una volta insediati, tali automatismi sono quasi impossibili da estirpare (prova ne siano gli AS400 che ancora gestiscono nodi cruciali ed insospettabili della vita di moltissime grandi aziende bancarie, assicurative etc...). Perché una volta posti in essere, questi impongono ineluttabilmente se stessi e gli esseri umani ne interiorizzano e talvolta persino razionalizzano il funzionamento. Giacomo
Buongiorno Giacomo, Giacomo Tesio <giacomo@tesio.it> writes:
Rispetto alle considerazioni di Giovanni (che condivido) ho solo una piccola obiezione:
On Saturday, 15 February 2020, Giovanni Biscuolo <g@xelera.eu> wrote:
il problemone nel caso specifico di SyRI, così come di tutti i sistemi basati su algoritmi *segreti* di profilazione (pubblici e privati), è che **non possono essere fornite sufficienti garanzie**: punto.
Il problema è che questa affermazione non viene mai considerata in tutta la sua serietà.
credo che l'incontro tra tecnici e umanisti stia cominciando a mostrare un percorso su come uscire da questa imbarazzante situazione :-)
solo sistemi basati su algoritmi pubblici, consultabili (e quindi contestabili) forniscono adeguate garanzie costituzionali; solo il software libero garantisce che l'implementazione sia confrontabile con l'algoritmo :-)
E come? :-)
*non* certo con sistemi di verifica formale automatica :-O la verifica algoritmo -> codice sorgente va fatta "a manina", con tanta *arte* da parte di persone con adeguate competeze ed alle quali siano fornite adeguate risorse; aggiungo che a chiunque deve essere data la possibilità di dotarsi di ageguate competenze in merito, in modo tale da poter avere almeno la possibilità di accedere alle risorse i metodi formali [1] (mathematically rigorous techniques for the specification, development and verification of software and hardware systems) *forse* saranno applicabili tra decenni, ma nel frattempo occorre mettere a posto le cose (altrimenti anche i metodi formali non vedranno mai la luce... ma non voglio andare OT)
Quale versione? Su quale sistema operativo? Su quale hardware? Con quali dati in input? Quali valori pseudocasuali sono stati inclusi?
ho l'impressione che tu ti stia riferendo alla verifica di algoritmo, codice sorgente e codice macchina tutto assieme: per ragionare sui metodi di verifica applicabili a ciascuno dobbiamo separare le cose e applicare criteri specifici
Con quali bug?
mi pare di aver già letto altrove il tuo ragionamento attorno ai bug (ma la memoria è ingannevole), diciamo che sarebbe già un enorme passo avanti poter eliminare i bug introdotti nel processo umano di traduzione "algoritmo -> codice sorgente" su quelli resi possibili da certe "indesiderabili caratteristiche" di alcuni linguaggi di programmazione ci si può lavorare (magari cambiando linguaggio di programmazione) ma probabilmente rappresentano il 20% degli effettivi bug... e non entrerei qui troppo nel tecnico detto in altre parole: molti bug (non posso dare numeri, sorry) dipendono da cattiva implementazione delle specifiche
Disporre dei sorgenti di un software è condizione necessaria per spiegarne l'output, ma non è lontanamente sufficiente.
la cosa comincia a farsi un po' tecnica :-) ...però non capisco esattamente a cosa ti riferisci
Di conseguenza, l'introduzione di automatismi non interpretati da menti umane (e dunque non responsabili e irresponsabili) altera in modo inevitabilmente opaco il sistema in cui avviene.
stai parlando con uno che ammira in modo estasiato progetti come stage0 [2] e GNU mes [3], il cui obbiettivo è quello di risolvere una buona volta per tutte il famigerato problema del Trusting Trust [4], che è quello che rende insostenibilmente opaco il mondo del software :-D una breve intro del contesto al quale mi riferisco è la pagina principale del progetto http://bootstrappable.org/: --8<---------------cut here---------------start------------->8--- Do you know how to make yoghurt? The first step is to add yoghurt to milk! How can you build a compiler like GCC? The first step is to get a compiler that can compile the compiler. --8<---------------cut here---------------end--------------->8--- per capirci, l'autore di stage0 scrive (traduzione mia da [2]): --8<---------------cut here---------------start------------->8--- [stage0] ha solo lo scopo di creare un percorso di bootstrapping di un compilatore C in grado di compilare GCC, con il solo requisito esplicito di un singolo binario di 1KByte o meno. In aggiunta, tutto il codice deve poter essere compreso dal 70% della popolazione dei programmatori. Se il codice non è compreso da quella percentuale, occorre modificarlo finché non soddisferà il requisito specificato. --8<---------------cut here---------------end--------------->8--- mi piace pensare a stage0 come al Big Bang dell'universo digitale, con la spettacolare caratteristica che il Big Bang si può ripetere e ispezionare :-D ora, ammetto che ad un primo (e anche secondo) impatto queste cose suonano lunari ai più... ma la sostanza è che alla base di tutta la catena di generazione **e verifica** del software ci sono sempre esseri umani (anche i metodi formali verrebbero applicati *dopo* e "solo" come ausilio al lavoro di analisi umana)
Non si tratta di una cessione di potere "alle macchine" ma certamente si tratta di una sottrazione di tale potere alla comunità umana (a vantaggio di colori che controllano tali automatismi).
la soluzione a tutto questo non è meno informatica, ma informatica migliore :-D
Tuttavia, una volta insediati, tali automatismi sono quasi impossibili da estirpare (prova ne siano gli AS400 che ancora gestiscono nodi cruciali ed insospettabili della vita di moltissime grandi aziende bancarie, assicurative etc...).
eh sì, "Huston abbiamo un problema" :-)
Perché una volta posti in essere, questi impongono ineluttabilmente se stessi e gli esseri umani ne interiorizzano e talvolta persino razionalizzano il funzionamento.
è vero, questo è un problema serio... per questo esistono quei rompiscatole di hackers :-O detto in termini para-filosofici: quello che stiamo osservando non è "la cosa in sé", è un suo fenomeno [...] ciao, Giovanni [1] https://en.wikipedia.org/wiki/Formal_methods [2] https://github.com/oriansj/stage0#goal [3] https://www.gnu.org/software/mes/ [4] https://en.wikipedia.org/wiki/Backdoor_(computing)#Compiler_backdoors -- Giovanni Biscuolo Xelera IT Infrastructures
On 15/02/2020 16:11, Giovanni Biscuolo wrote:
... in altre parole la politica _incorporata_ negli algoritmi *deve* essere pubblica ogni qual volta regola uno o più aspetti della vita dei cittadini: no? "Code is law" (cit. Lessig, lo disse anni fa, oggi secondo me assume ulteriori significati anche più terrificanti)
... insomma, il succo del discorso è che la tecnologia non è **mai**, mai, mai, mai, mai neutrale ma _incorpora_ una determinata politica
magari la "incorporasse" e basta, purtroppo temo che la *faccia* alla faccia (pun intended) del legislatore -- |_|0|_| Andrea Trentini - http://atrent.it |_|_|0| Dipartimento di Informatica |0|0|0| Università degli Studi di Milano
On 18/02/2020, Andrea Trentini <andrea.trentini@unimi.it> wrote:
On 15/02/2020 16:11, Giovanni Biscuolo wrote:
insomma, il succo del discorso è che la tecnologia non è **mai**, mai, mai, mai, mai neutrale ma _incorpora_ una determinata politica
magari la "incorporasse" e basta, purtroppo temo che la *faccia* alla faccia (pun intended) del legislatore
La tecnologia [1] viene realizzata da esseri umani. Non ha una coscienza o una volontà propria (con buona pace dei lobbisti che basano la propria retorica sulle AI) ma RAPPRESENTA sempre la volontà di chi la realizza. Il software poi è dato: rappresenta informazioni (gli innumerevoli algoritmi che compongono il suo funzionamento) in una forma che un interprete [2] (la macchina, l'uomo, un altro software) può eseguire. Dunque Andrea, non è la tecnologia a fare politica alla faccia della Democrazia. Sono coloro che la realizzano e la diffondono a esercitare un Potere immenso sotto il naso (altezzoso ed ignorante) di chi dovrebbe proteggere la Democrazia. Giacomo [1] mi scuserete se, per semplificare, uso qui il termine "interprete" in senso teatrale sebbene sia più appropriato il significato linguistico, visto che tutti gli interpreti del software (persino le macchine) semplicemente traducono una rappresentazione in un altra (nel caso delle CPU, dal binario a segnali elettrici verso le varie periferiche). [2] http://www.tesio.it/2018/10/11/math-science-and-technology.html
On 18/02/2020 09:18, Giacomo Tesio wrote:
... La tecnologia [1] viene realizzata da esseri umani. Non ha una coscienza o una volontà propria (con buona pace dei lobbisti che basano la propria retorica sulle AI) ma RAPPRESENTA sempre la volontà di chi la realizza.
esatto! e chi la realizza NON è il legislatore e neppure il cittadino ;) e se non abbiamo modo di verificare (i.e., SL + altre garanzie di verificabilità /runtime/) direi che vale il "alla faccia nostra"
... Dunque Andrea, non è la tecnologia a fare politica alla faccia della Democrazia. Sono coloro che la realizzano e la diffondono a esercitare un Potere immenso sotto il naso (altezzoso ed ignorante) di chi dovrebbe proteggere la Democrazia.
esatto, non volevo incolpare la tecnologia (non sono un luddista, anzi!), ma chi (non) la gestisce -- |_|0|_| Andrea Trentini - http://atrent.it |_|_|0| Dipartimento di Informatica |0|0|0| Università degli Studi di Milano
Ciao Andrea! Andrea Trentini <andrea.trentini@unimi.it> writes:
On 15/02/2020 16:11, Giovanni Biscuolo wrote:
... in altre parole la politica _incorporata_ negli algoritmi *deve* essere pubblica ogni qual volta regola uno o più aspetti della vita dei cittadini: no?
"Code is law" (cit. Lessig, lo disse anni fa, oggi secondo me assume ulteriori significati anche più terrificanti)
non ho mai letto il libro, nemmeno la versione 2 del 2006, quindi non conosco il pensiero completo... però ho letto la prefazione della seconda edizione :-) però... i DRM sono l'esempio perfetto di codice (proprietario) che *estende* la legge (il copyright in questo caso) in un modo più che indecente, ma non sarebbe così senza il DMCA/EUCD ;-) a nessun legislatore sarebbe mai venuto in mente di scrivere una legge "analogica" che estendesse il copyright per impedire la stampa di un testo digitale, la cosa è stata *delegata* al software (proprietario): _forse_ è uno dei primi esempi di come il software diventa legge (ma ci vuole una legge umana per renderlo praticabile) fuori dal "cyberspazio"
... insomma, il succo del discorso è che la tecnologia non è **mai**, mai, mai, mai, mai neutrale ma _incorpora_ una determinata politica
magari la "incorporasse" e basta, purtroppo temo che la *faccia* alla faccia (pun intended) del legislatore
la tecnologia **si fa**... e non si fa da sola :-) se il legislatore non si occupa dell'algoritmo che incorpora il software che egli adotta come parte integrante del corpus legislativo (nel caso specifico le regole per l'accesso al sostegno al reddito) allora è un problema... e infatti in questo caso la corte olandese è intervenuta _molto_ a proposito \O/ metafora alimentare: dovremmo chiedere al legislatore di prendere in considerazione la tracciabilità e il controllo della filiera di produzione del software così come fa con il controllo della filiera di produzione degli alimenti :-D Ciao, Giovanni -- Giovanni Biscuolo Xelera IT Infrastructures
participants (8)
-
Alberto Cammozzo -
Andrea Glorioso -
Andrea Trentini -
Cristina Iuli -
Diego Giorio -
Giacomo Tesio -
Giovanni Biscuolo -
Maria Luisa Stasi