Gentile Alessandro, chiedo scusa se mi inserisco nella conversazione, ma volevo ricollegarmi a quanto dite riguardo alla propensione ad innovare della società in contesti di incertezza riguardo alle implicazioni delle nuove attività. A tal proposito mi faceva piacere condivide con la lista queste riflessioni generali sul tema dell'eccessivo tecnottimismo in campo giuseconomico. https://www.cambridge.org/core/journals/journal-of-institutional-economics/a... Il campo dell'intelligenza artificiale è particolarmente esposto a tali dinamiche di legal innovation hype e si intravedono bolle giuridiche all'orizzonte. I migliori auguri Marco Giraudo Le mer. 2 nov. 2022 à 13:41, <nexa-request@server-nexa.polito.it> a écrit :
Send nexa mailing list submissions to nexa@server-nexa.polito.it
To subscribe or unsubscribe via the World Wide Web, visit https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa or, via email, send a message with subject or body 'help' to nexa-request@server-nexa.polito.it
You can reach the person managing the list at nexa-owner@server-nexa.polito.it
When replying, please edit your Subject line so it is more specific than "Re: Contents of nexa digest..."
Today's Topics:
1. Re: ethical AI (era "It’s time to admit, self-driving cars aren’t going to happen") (Alessandro Brolpito)
----------------------------------------------------------------------
Message: 1 Date: Wed, 2 Nov 2022 13:40:41 +0100 From: Alessandro Brolpito <abrolpito@gmail.com> To: Giacomo Tesio <giacomo@tesio.it> Cc: nexa@server-nexa.polito.it Subject: Re: [nexa] ethical AI (era "It’s time to admit, self-driving cars aren’t going to happen") Message-ID: <CABkhOK_jZjFunV_tfgrM4= 1nU8vxzdsBMUU-+QvHHT3D34QBhQ@mail.gmail.com> Content-Type: text/plain; charset="utf-8"
Ciao Giacomo,
Il fatto è che l'uomo ha sviluppato una capacità tecnologica che rende immensamente facile fare cose e servizi nuove/i, senza lasciare il tempo di analizzare e comprenderne il loro senso e soprattutto,i rischi e gli effetti collaterali.
E mentre noi scriviamo migliaia/milioni di persone/automi nel mondo lavorano allo sviluppo sistemi basati sull'intelligenza artificiale, sempre più chiusi, che limitano la ns autonomia offrendo "splendenti" automazoni. Una spirale che andrebbe compresa meglio, basata su solidi principi internazionali che al momento latitano.
Ma come preservare l'autonomia umana? Chiaramente non sono in grado di rispondere, ma penso che uno dei presupposti sia una consapevolezza e competenza digitale collettiva (e non di pochi), che crei una forza d'urto democratica, dal basso, attraverso una alfabetizzazione digitale di altissimo rango, di massa, che copra l'intero percorso educativo di ciascun individuo. E questo è già un problema enorme.
Alessandro
On Mon, 31 Oct 2022 at 19:59, Giacomo Tesio <giacomo@tesio.it> wrote:
Ciao Maurizio,
sorvolo temporaneamente sull'aspetto esotico (la "AI") per concentrarmi sulla questione fondamentale, che si applica a qualsiasi software (e qualsiasi agente cibernetico artificiale, aziende, PA e governi inclusi)
On Mon, 31 Oct 2022 09:01:20 +0100 maurizio lana wrote:
mi fa capire che non mi sono espresso bene usando il termine "utilizzatore". [...] abbiamo i progettisti del software, e poi abbiamo l'agente di assicurazione che lo usa. a mio modo di vedere l'agente (che qui è l'utilizzatore) è responsabile per l'uso di quel software. [...] l'utilizzatore dell'auto a guida autonoma può decidere /non/ utilizzare un'auto a guida autonoma
L'utente esiste solo mentre usa.
La persona può scegliere di usare o meno il software, l'utente no.
Come utente, è soggetto a regole più o meno stringenti a seconda dei valori e degli obbiettivi di chi ha scritto il software.
Editor di testo come Acme, Emacs, Geany, Vim etc, ti offrono una libertà notevole, quasi illimitata, ci puoi programmare o tenere la lista della spesa. Letteralmente come un foglio bianco.
Lo stesso si può dire di un linguaggio di programmazione general purpose, come possono essere C, Python, Haskell, Lisp o Java (giusto per fare qualche nome molto noto).
Un ambiente RAD (Rapid Application Development) ti offre una libertà infinitamente inferiore, ti offre dei mattoncini preconfezionati che tu puoi combinare e configurare con una certa flessibilità, ma non puoi fare nulla che contrasti con gli interessi di chi te lo ha fornito.
Analogamente un domain specific language può limitare enormemente la quantità di concetti che puoi esprimere.
E naturalmente anche linguaggi general purpose diversi rendono più o meno facile ed intuitivo esprimere determinati concetti piuttosto che altri.
Quando visiti un sito web che incorpora Google Fonts, i tuoi dati personali vengono inviati istantaneamente a Google senza nemmeno chiederti il permesso.
Puoi NON visitare il sito web? Sì (se sai che cosa comporta tale visita a priori), ma smetti di essere "utente".
Per questo la riduzione della persona ad utente è così aberrante.
E' il passo subito precedente a ridurla consapevolmente ad ingranaggio.
proprio perché è consapevole che in tal caso "può fare e pensare solo ciò che il creatore dell'artefatto stesso ha deciso". se la usa, con più consapevolezza o meno decide di obbedire al produttore dell'auto (è detto in termini un po' brevi e rozzi ma il senso è chiaro).
sì ma questa decisione si pone PRIMA di essere utente.
l'utente ormai è utente, e può essere eticamente irrilevante.
L'editor che ti permette di estendere e modificare sé stesso, pretende che tu mantenga la tua autonomia. L'editor che puoi solo usare, invece ti rende eticamente irrilevante (rispetto alle conseguenze dell'utilizzo dell'editor, non rispetto al testo che scrivi).
Se Visual Studio Code ti suggerisce codice sotto GPL con una licenza diversa e tu lo accetti all'interno della tua codebase, violando il diritto d'autore di chi quel codice l'ha scritto, tu COME UTENTE non hai modo di sapere che VSCode ti sta spingendo a violare i diritti di terzi in quel caso specifico.
Dunque non puoi rispondere moralmente di tale violenza, perché non è una tua scelta. Se venissi beccato, ne risponderesti legalmente. Ma la responsabilità morale di quella violenza è tutta di Microsoft.
E' Microsoft che ha creato GitHub CopyALot per aprire un nuovo loophole nel copyleft, permettendo di scaricare su una cosa irresponsabile la responsabilità di qualunque violazione del copyright di autori del software libero.
Tu puoi scegliere di NON usare Visual Studio Code (o disabilitare qualsiasi interazione con CopyALot) ma nel momento in cui lo usi, diventi eticamente irrilevante: violerai o non violerai i diritti di terzi sulla base di volontà altrui.
Sei in sostanza un ingranaggio tu stesso. E se giri bene, ti senti pure produttivo!
molto si gioca tra consapevolezza/inconsapevolezza e cautela/sprovvedutezza
Questo è vero, ma parziale.
Se dopo un incidente ti portano in ospedale e quell'ospedale usa il cloud di Microsoft, non c'è consapevolezza che tenga.
Sei un oggetto.
se /so/ che i dispositivi a input vocale più spesso che no ascoltano ininterrottamente l'ambiente e quindi ascoltano ciò che dico anche quando non do comandi vocali, consapevolezza e cautela mi porteranno a non acquistare quel tipo di prodotti e ove disponibili preferirò le versioni dumb a quelle smart. non perché sono un troglodita rimasto al tempo delle caverne, ma proprio perché conosco il mondo digitale, la tecnologia, eccetera e scelgo quale tecnologia voglio usare.
Infatti la riduzione della persona all'utente punta alla sua riduzione ad ingranaggio ma nasce dalla sua riduzione a consumatore.
L'idea che la libertà si riduca alla possibilità di scegliere un prodotto fra N sullo scaffale del (super)mercato.
Come utente, non hai libertà (se non quella che io ti voglio concedere)
Come consumatore, al limite, puoi scegliere di diventare utente di qualcos'altro (che limiterà la tua libertà in altro modo).
E' questa la libertà per l'homo sapiens sapiens?
NO!
Gli uomini sono capaci di creare! Di sperimentare! Di esplorare! Di inventare alternative che non esistevano!
(S)Fortunatamente possono essere convinti a ridursi a consumatori, a utenti o a ingranaggi. E' un processo lento, ma evidentemente efficace.
e quindi ad un successivo più alto livello tutto si gioca sul so/non so, dove il so/non so non riguarda necessariamente lo specifico prodotto, ma tipi di prodotti, tipi di questioni problematiche, eccetera. che è poi una questione di literacy, di information literacy: quanto ogni cittadino è attrezzato per vivere e operare in questa società dell'informazione, e dell'informazione digitale?
Già solo parlando di "digitale" o di "società dell'informazione" si allontana dalla consapevolezza di cui ha bisogno.
La società in cui viviamo è cibernetica. Integra strettamente ed inesorabilmente autonomie (umane) e automatismi.
Ma le autonomie sono quasi sempre compresse dagli automatismi: gli automatismi sono migliaia, ti invito a contare solo quelli sul tuo PC tenendo in conto che ogni software è un automatismo a sé stante.
Inoltre, poiché non comprende il funzionamento di tali automatismi, la maggioranza delle persone le scambia per un fenomeno naturale.
E' un bias evolutivo: ci siamo evoluti per milioni di anni in un sistema in cui la quasi totalità di ciò che non potevamo controllare non era controllato costantemente da altri esseri umani.
Un eruzione vulcanica, una grandinata o un fulmine, non eseguivano la volontà di un'altro essere umano.
Così quando vediamo che Google ci invia un messaggio pubblicitario di nostro interesse non stiamo a pensare alle implicazioni. Ci appare come un fenomeno naturale, ancora prima che intervenga il pensiero magico di cui parlava Daniela.
L'unico modo per superare questa tara evolutiva è comprendere come funzionano gli automatismi che ci circondano, saperli creare e modificare, in modo tale da acquisire piena consapevolezza della loro natura.
Ma non si tratta di "alfabetizzazione digitale", si tratta proprio di imparare faticosamente a programmare e debuggare il software, a leggerlo come leggiamo un thriller.
molti sono come gli analfabeti che firmavano i contratti mettendo una croce e fidandosi di ciò che il proponente gli diceva.
Letteralmente!
c'è molto da fare in formazione
Sono assolutamente d'accordo.
Alla dirigenza della CGIL, mesi fa, proponevo proprio questo. [1]
che è poi uscire dalla caverna e liberarsi dal dominio delle ombre.
Non sono le ombre (il software) ad opprimervi, ma chi che le proietta. Spesso direttamente nelle vostre teste. ;-)
``` Morpheus: The Matrix is everywhere, it is all around us, even now in this very room. You can see it when you look out your window, or you turn on your television. You can feel it when you go to work, when you go to church, when you pay your taxes. It is the world that has been pulled over your eyes to blind you from the truth.
Neo: What truth?
Morpheus: That you are a slave, Neo. Like everyone else, you were born into bondage… born into a prison that you cannot smell or taste or touch. A prison for your mind. ```
Giacomo
[1]: http://video.linuxtrent.it/w/3BBQ5rRqrzhoqiQDQ5is4e
Maurizio
Il 30/10/22 23:12, Giacomo Tesio ha scritto:
Salve Maurizio,
On Sun, 30 Oct 2022 18:44:36 +0100 maurizio lana wrote:
anche se ne hai poi parlato sotto, mi pare che è qui che per te si pone l'impossibilità di un'«etica delle AI» perché in senso stretto essa implicherebbe che l'AI sia un soggetto autonomo, capace di scelte autonome, di cui quindi si può valutare l'etica. ma questo implicherebbe che l'AI sia dotata di agency come un soggetto umano adulto senziente e ragionante, senza limitazioni. Esatto.
Preferisco parlare di libero arbitrio o autonomia, ma in entrambi i casi il software (e qualsiasi altra macchina) non ne ha.
Parlare di "etica delle AI" è esattamente come parlare di "etica dei sassi" o di "etica delle macchine".
L'etica, così come l'intelligenza o l'informazione, sono peculiarità del homo sapiens sapiens. Letteralmente: parte della sua definizione.
Se parlassimo di intelligenza dei sassi, sarebbe evidente a tutti che stiamo antropomorfizzando i sassi. Se parlassimo di etica dei sassi a qualcuno verrebbe da ridere.
Ma anche quando parliamo di macchine novecentesche parlare di "etica" appare subito evidentemente strumentale.
Immaginate l'industriale che, all'ennesimo morto sul lavoro schiacciato da una pressa, proponesse come alternativa all'introduzione di normative sulla sicurezza delle presse, l'adozione di un'etica delle presse.
Con il software, a valle di un lungo lavoro di propaganda che Daniela ha descritto benissimo nel suo saggio [1], invece la gente può parlare di "etica delle AI" senza che tutti inizino a ridergli in faccia.
Vengono persino invitati a parlare a conferenze, pubblicati su riviste di filosofia etc...
Dal punto di vista oggettivo, i loro argomenti hanno la stessa solidità delle teorie terrapiattiste.
E un po' come avvenne in passato con il sistema tolemaico, queste teorizzazioni servono gli interessi di chi comprende benissimo la loro fallacia, ma trae vantaggio dalla loro diffusione.
mi sembra di capire che tu l'agency la vedi nell'uomo sia a monte come progettista sia a valle come utilizzatore e non nell'artefatto. L'artefatto non ha etica. Esprime l'etica di chi l'ha costruito, imprimendola al resto del mondo.
Ne riproduce la volontà. Ne diffonde i valori.
L'utilizzatore, nella stragrande maggioranza dei casi, è eticamente irrilevante. Se non può alterare concretamente e consapevolmente il funzionamento dell'artefatto, non ha libertà nel suo utilizzo. Può fare e pensare solo ciò che il creatore dell'artefatto stesso ha deciso.
Rafaela Vasquez, a bordo dell'auto di Uber che uccise Elaine Herzberg nel 2018, non stava "usando" l'auto: ne veniva usata, come ingranaggio, come capro espiatorio. Non era la prima volta che si "distraeva"... "alla guida". Tali "distrazioni" erano già state registrate da Uber che misurava, per massimizzarlo, il grado di confidenza dei passeggeri nella guida automatica (NON autonoma!).
In altri termini per Uber le "distrazioni" di Rafaela Vasquez erano una feature, non un problema.
Dunque Rafaela Vasquez era eticamente irrilevante. Era già stata ridotta ad una cosa, ad un ingranaggio inconsapevole, ad un topo di laboratorio e ad un capro espiatorio alla bisogna.
Ma la Volvo di Uber non aveva alcuna etica (o alcuna intelligenza).
Aveva percepito Elaine in tempo per evitarla, ma era stata configurata per non effettuare frenate di emergenza durante la guida "autonoma" in modo da "evitare un comportamento erratico del mezzo" che avrebbe provocato il mal d'auto ai passeggeri.
Insomma, quella Volvo stava letteralmente applicando al mondo i valori di Uber, per cui la vita umana vale nettamente meno dei propri profitti.
Ma invece di arrestare tutto il consiglio di amministrazione di Uber per omicidio, negli USA parlano di "Etica delle AI".
La vita di Elaine Herzberg o di Rafaela Vasquez sono irrilevanti. Sono cose, insomma. Cose di scarso valore, peraltro.
E' questo l'etica delle AI: una narrazione alienante costruita su un'altra narrazione alienante.
a quel punto la valutazione di capacità etica riguarda i progettisti e gli utilizzatori e non è più questione di etica dell'AI in senso proprio, ma di come si fa una progettazione di prodotti che sia etica e un utilizzo di prodotti che sia etico. No, non è una questione di etica, ma di cultura e politica.
Anzitutto bisogna comprendere come funzionano questi software.
Per arrivarci dobbiamo abolire al più presto questo linguaggio antropomorfizzante (quando non religioso). Smettere di parlare di "intelligenza" o "allenamento" o "apprendimento" o "etica".
Una volta compreso questo, si potrà smettere serenamente e consapevolmente di applicarli a persone o a dati di origine umana.
Con la clonazione l'abbiamo fatto, con il software programmato statisticamente dobbiamo fare lo stesso. [2]
A valle di tale moratoria internazionale, potremo decidere una normativa adeguata per le molte applicazioni che non riguardano direttamente esseri umani.
Ad esempio, il trasporto merci su strade dedicate (magari sotterranee ed inaccessibili all'uomo). La massimizzazione della produzione agricola e così via...
Dovremo solo sempre tenere a mente che l'antropomorfizzazione delle cose serve solo gli interessi di chi le controlla.
Dunque, non parliamo di etica delle AI. Semplicemente perché già le AI stesse non esistono! ;-)
Parliamo piuttosto di etica delle aziende? Ok! Allora limitiamo superiormente il loro profitto, così che una volta raggiunto il tetto, la massimizzazione dei profitti smetta di prevalere su qualsiasi altra considerazione.
Giacomo
PS: non sono certo di aver risposto a ciò che chiedevi... scusa.
[1]:
https://commentbfp.sp.unipi.it/daniela-tafani-what-s-wrong-with-ai-ethics-na...
[2]: Ci sono rarissimi contesti in cui può aver senso utilizzarli sotto attenta e addestratissima supervisione di gruppi multidisciplinari, che potremo elencare esplicitamente.
Penso ad esempio all'uso medico: nessun medico, da solo, può comprendere i pericoli dell'uso di un sistema programmato statisticamente, ma un team di medici e informatici molto preparati, insieme, potrebbe.
Personalmente non riesco a pensare un'altro caso d'uso in cui l'uso (sotto attenta e scrupolosa supervisione umana) di questi strumenti possa giustificare i pericoli che comportano.
Per assicurarci che nessuno ne abusi, potremmo però stabilire che nessun profitto può essere ottenuto dall'uso di dati umani, neanche in quei rarissimi casi in cui è autorizzato.
many of us believe the EU remains the most extraordinary, ambitious, liberal political alliance in recorded history. where it needs reform, where it needs to evolve, we should be there to help turn that heavy wheel i. mcewan, the guardian, 2/6/2017
Maurizio Lana Università del Piemonte Orientale Dipartimento di Studi Umanistici Piazza Roma 36 - 13100 Vercelli
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Buonasera Marco, Grazie per aver partecipato allo scambio e soprattutto per la risorsa condivisa; con basi molte più scientifiche rispetto al mio breve messaggio, si evidenzia la dinamicità e la relativa incertezza nel quale sia le imprese che gli organi normativi si trovano ad operare. Mi sembra che le stesse turbolenze si applicano ai sistemi d'istruzione, con l'ulteriore difficoltà di garantire inclusione ed equità, attraverso meccanismi complessi e costosi, quali la personalizzazione ed individualizzazione dell'apprendimento, che possono/devono migliore anche attraverso l'applicazione di soluzioni digitali.Ma come usarli in modo efficace e nel rispetto del quadro normativo vigenti (e futuri) rimane materia assai ardua. Alessandro On Wed, 2 Nov 2022 at 14:26, Marco Giraudo <marco.giraudo@unito.it> wrote:
Gentile Alessandro,
chiedo scusa se mi inserisco nella conversazione, ma volevo ricollegarmi a quanto dite riguardo alla propensione ad innovare della società in contesti di incertezza riguardo alle implicazioni delle nuove attività.
A tal proposito mi faceva piacere condivide con la lista queste riflessioni generali sul tema dell'eccessivo tecnottimismo in campo giuseconomico.
https://www.cambridge.org/core/journals/journal-of-institutional-economics/a...
Il campo dell'intelligenza artificiale è particolarmente esposto a tali dinamiche di legal innovation hype e si intravedono bolle giuridiche all'orizzonte.
I migliori auguri
Marco Giraudo
Le mer. 2 nov. 2022 à 13:41, <nexa-request@server-nexa.polito.it> a écrit :
Send nexa mailing list submissions to nexa@server-nexa.polito.it
To subscribe or unsubscribe via the World Wide Web, visit https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa or, via email, send a message with subject or body 'help' to nexa-request@server-nexa.polito.it
You can reach the person managing the list at nexa-owner@server-nexa.polito.it
When replying, please edit your Subject line so it is more specific than "Re: Contents of nexa digest..."
Today's Topics:
1. Re: ethical AI (era "It’s time to admit, self-driving cars aren’t going to happen") (Alessandro Brolpito)
----------------------------------------------------------------------
Message: 1 Date: Wed, 2 Nov 2022 13:40:41 +0100 From: Alessandro Brolpito <abrolpito@gmail.com> To: Giacomo Tesio <giacomo@tesio.it> Cc: nexa@server-nexa.polito.it Subject: Re: [nexa] ethical AI (era "It’s time to admit, self-driving cars aren’t going to happen") Message-ID: <CABkhOK_jZjFunV_tfgrM4= 1nU8vxzdsBMUU-+QvHHT3D34QBhQ@mail.gmail.com> Content-Type: text/plain; charset="utf-8"
Ciao Giacomo,
Il fatto è che l'uomo ha sviluppato una capacità tecnologica che rende immensamente facile fare cose e servizi nuove/i, senza lasciare il tempo di analizzare e comprenderne il loro senso e soprattutto,i rischi e gli effetti collaterali.
E mentre noi scriviamo migliaia/milioni di persone/automi nel mondo lavorano allo sviluppo sistemi basati sull'intelligenza artificiale, sempre più chiusi, che limitano la ns autonomia offrendo "splendenti" automazoni. Una spirale che andrebbe compresa meglio, basata su solidi principi internazionali che al momento latitano.
Ma come preservare l'autonomia umana? Chiaramente non sono in grado di rispondere, ma penso che uno dei presupposti sia una consapevolezza e competenza digitale collettiva (e non di pochi), che crei una forza d'urto democratica, dal basso, attraverso una alfabetizzazione digitale di altissimo rango, di massa, che copra l'intero percorso educativo di ciascun individuo. E questo è già un problema enorme.
Alessandro
On Mon, 31 Oct 2022 at 19:59, Giacomo Tesio <giacomo@tesio.it> wrote:
Ciao Maurizio,
sorvolo temporaneamente sull'aspetto esotico (la "AI") per concentrarmi sulla questione fondamentale, che si applica a qualsiasi software (e qualsiasi agente cibernetico artificiale, aziende, PA e governi inclusi)
On Mon, 31 Oct 2022 09:01:20 +0100 maurizio lana wrote:
mi fa capire che non mi sono espresso bene usando il termine "utilizzatore". [...] abbiamo i progettisti del software, e poi abbiamo l'agente di assicurazione che lo usa. a mio modo di vedere l'agente (che qui è l'utilizzatore) è responsabile per l'uso di quel software. [...] l'utilizzatore dell'auto a guida autonoma può decidere /non/ utilizzare un'auto a guida autonoma
L'utente esiste solo mentre usa.
La persona può scegliere di usare o meno il software, l'utente no.
Come utente, è soggetto a regole più o meno stringenti a seconda dei valori e degli obbiettivi di chi ha scritto il software.
Editor di testo come Acme, Emacs, Geany, Vim etc, ti offrono una libertà notevole, quasi illimitata, ci puoi programmare o tenere la lista della spesa. Letteralmente come un foglio bianco.
Lo stesso si può dire di un linguaggio di programmazione general purpose, come possono essere C, Python, Haskell, Lisp o Java (giusto per fare qualche nome molto noto).
Un ambiente RAD (Rapid Application Development) ti offre una libertà infinitamente inferiore, ti offre dei mattoncini preconfezionati che tu puoi combinare e configurare con una certa flessibilità, ma non puoi fare nulla che contrasti con gli interessi di chi te lo ha fornito.
Analogamente un domain specific language può limitare enormemente la quantità di concetti che puoi esprimere.
E naturalmente anche linguaggi general purpose diversi rendono più o meno facile ed intuitivo esprimere determinati concetti piuttosto che altri.
Quando visiti un sito web che incorpora Google Fonts, i tuoi dati personali vengono inviati istantaneamente a Google senza nemmeno chiederti il permesso.
Puoi NON visitare il sito web? Sì (se sai che cosa comporta tale visita a priori), ma smetti di essere "utente".
Per questo la riduzione della persona ad utente è così aberrante.
E' il passo subito precedente a ridurla consapevolmente ad ingranaggio.
proprio perché è consapevole che in tal caso "può fare e pensare solo ciò che il creatore dell'artefatto stesso ha deciso". se la usa, con più consapevolezza o meno decide di obbedire al produttore dell'auto (è detto in termini un po' brevi e rozzi ma il senso è chiaro).
sì ma questa decisione si pone PRIMA di essere utente.
l'utente ormai è utente, e può essere eticamente irrilevante.
L'editor che ti permette di estendere e modificare sé stesso, pretende che tu mantenga la tua autonomia. L'editor che puoi solo usare, invece ti rende eticamente irrilevante (rispetto alle conseguenze dell'utilizzo dell'editor, non rispetto al testo che scrivi).
Se Visual Studio Code ti suggerisce codice sotto GPL con una licenza diversa e tu lo accetti all'interno della tua codebase, violando il diritto d'autore di chi quel codice l'ha scritto, tu COME UTENTE non hai modo di sapere che VSCode ti sta spingendo a violare i diritti di terzi in quel caso specifico.
Dunque non puoi rispondere moralmente di tale violenza, perché non è una tua scelta. Se venissi beccato, ne risponderesti legalmente. Ma la responsabilità morale di quella violenza è tutta di Microsoft.
E' Microsoft che ha creato GitHub CopyALot per aprire un nuovo loophole nel copyleft, permettendo di scaricare su una cosa irresponsabile la responsabilità di qualunque violazione del copyright di autori del software libero.
Tu puoi scegliere di NON usare Visual Studio Code (o disabilitare qualsiasi interazione con CopyALot) ma nel momento in cui lo usi, diventi eticamente irrilevante: violerai o non violerai i diritti di terzi sulla base di volontà altrui.
Sei in sostanza un ingranaggio tu stesso. E se giri bene, ti senti pure produttivo!
molto si gioca tra consapevolezza/inconsapevolezza e cautela/sprovvedutezza
Questo è vero, ma parziale.
Se dopo un incidente ti portano in ospedale e quell'ospedale usa il cloud di Microsoft, non c'è consapevolezza che tenga.
Sei un oggetto.
se /so/ che i dispositivi a input vocale più spesso che no ascoltano ininterrottamente l'ambiente e quindi ascoltano ciò che dico anche quando non do comandi vocali, consapevolezza e cautela mi porteranno a non acquistare quel tipo di prodotti e ove disponibili preferirò le versioni dumb a quelle smart. non perché sono un troglodita rimasto al tempo delle caverne, ma proprio perché conosco il mondo digitale, la tecnologia, eccetera e scelgo quale tecnologia voglio usare.
Infatti la riduzione della persona all'utente punta alla sua riduzione ad ingranaggio ma nasce dalla sua riduzione a consumatore.
L'idea che la libertà si riduca alla possibilità di scegliere un prodotto fra N sullo scaffale del (super)mercato.
Come utente, non hai libertà (se non quella che io ti voglio concedere)
Come consumatore, al limite, puoi scegliere di diventare utente di qualcos'altro (che limiterà la tua libertà in altro modo).
E' questa la libertà per l'homo sapiens sapiens?
NO!
Gli uomini sono capaci di creare! Di sperimentare! Di esplorare! Di inventare alternative che non esistevano!
(S)Fortunatamente possono essere convinti a ridursi a consumatori, a utenti o a ingranaggi. E' un processo lento, ma evidentemente efficace.
e quindi ad un successivo più alto livello tutto si gioca sul so/non so, dove il so/non so non riguarda necessariamente lo specifico prodotto, ma tipi di prodotti, tipi di questioni problematiche, eccetera. che è poi una questione di literacy, di information literacy: quanto ogni cittadino è attrezzato per vivere e operare in questa società dell'informazione, e dell'informazione digitale?
Già solo parlando di "digitale" o di "società dell'informazione" si allontana dalla consapevolezza di cui ha bisogno.
La società in cui viviamo è cibernetica. Integra strettamente ed inesorabilmente autonomie (umane) e automatismi.
Ma le autonomie sono quasi sempre compresse dagli automatismi: gli automatismi sono migliaia, ti invito a contare solo quelli sul tuo PC tenendo in conto che ogni software è un automatismo a sé stante.
Inoltre, poiché non comprende il funzionamento di tali automatismi, la maggioranza delle persone le scambia per un fenomeno naturale.
E' un bias evolutivo: ci siamo evoluti per milioni di anni in un sistema in cui la quasi totalità di ciò che non potevamo controllare non era controllato costantemente da altri esseri umani.
Un eruzione vulcanica, una grandinata o un fulmine, non eseguivano la volontà di un'altro essere umano.
Così quando vediamo che Google ci invia un messaggio pubblicitario di nostro interesse non stiamo a pensare alle implicazioni. Ci appare come un fenomeno naturale, ancora prima che intervenga il pensiero magico di cui parlava Daniela.
L'unico modo per superare questa tara evolutiva è comprendere come funzionano gli automatismi che ci circondano, saperli creare e modificare, in modo tale da acquisire piena consapevolezza della loro natura.
Ma non si tratta di "alfabetizzazione digitale", si tratta proprio di imparare faticosamente a programmare e debuggare il software, a leggerlo come leggiamo un thriller.
molti sono come gli analfabeti che firmavano i contratti mettendo una croce e fidandosi di ciò che il proponente gli diceva.
Letteralmente!
c'è molto da fare in formazione
Sono assolutamente d'accordo.
Alla dirigenza della CGIL, mesi fa, proponevo proprio questo. [1]
che è poi uscire dalla caverna e liberarsi dal dominio delle ombre.
Non sono le ombre (il software) ad opprimervi, ma chi che le proietta. Spesso direttamente nelle vostre teste. ;-)
``` Morpheus: The Matrix is everywhere, it is all around us, even now in this very room. You can see it when you look out your window, or you turn on your television. You can feel it when you go to work, when you go to church, when you pay your taxes. It is the world that has been pulled over your eyes to blind you from the truth.
Neo: What truth?
Morpheus: That you are a slave, Neo. Like everyone else, you were born into bondage… born into a prison that you cannot smell or taste or touch. A prison for your mind. ```
Giacomo
[1]: http://video.linuxtrent.it/w/3BBQ5rRqrzhoqiQDQ5is4e
Maurizio
Il 30/10/22 23:12, Giacomo Tesio ha scritto:
Salve Maurizio,
On Sun, 30 Oct 2022 18:44:36 +0100 maurizio lana wrote:
anche se ne hai poi parlato sotto, mi pare che è qui che per te si pone l'impossibilità di un'«etica delle AI» perché in senso stretto essa implicherebbe che l'AI sia un soggetto autonomo, capace di scelte autonome, di cui quindi si può valutare l'etica. ma questo implicherebbe che l'AI sia dotata di agency come un soggetto umano adulto senziente e ragionante, senza limitazioni. Esatto.
Preferisco parlare di libero arbitrio o autonomia, ma in entrambi i casi il software (e qualsiasi altra macchina) non ne ha.
Parlare di "etica delle AI" è esattamente come parlare di "etica dei sassi" o di "etica delle macchine".
L'etica, così come l'intelligenza o l'informazione, sono peculiarità del homo sapiens sapiens. Letteralmente: parte della sua definizione.
Se parlassimo di intelligenza dei sassi, sarebbe evidente a tutti che stiamo antropomorfizzando i sassi. Se parlassimo di etica dei sassi a qualcuno verrebbe da ridere.
Ma anche quando parliamo di macchine novecentesche parlare di "etica" appare subito evidentemente strumentale.
Immaginate l'industriale che, all'ennesimo morto sul lavoro schiacciato da una pressa, proponesse come alternativa all'introduzione di normative sulla sicurezza delle presse, l'adozione di un'etica delle presse.
Con il software, a valle di un lungo lavoro di propaganda che Daniela ha descritto benissimo nel suo saggio [1], invece la gente può parlare di "etica delle AI" senza che tutti inizino a ridergli in faccia.
Vengono persino invitati a parlare a conferenze, pubblicati su riviste di filosofia etc...
Dal punto di vista oggettivo, i loro argomenti hanno la stessa solidità delle teorie terrapiattiste.
E un po' come avvenne in passato con il sistema tolemaico, queste teorizzazioni servono gli interessi di chi comprende benissimo la loro fallacia, ma trae vantaggio dalla loro diffusione.
mi sembra di capire che tu l'agency la vedi nell'uomo sia a monte come progettista sia a valle come utilizzatore e non nell'artefatto. L'artefatto non ha etica. Esprime l'etica di chi l'ha costruito, imprimendola al resto del mondo.
Ne riproduce la volontà. Ne diffonde i valori.
L'utilizzatore, nella stragrande maggioranza dei casi, è eticamente irrilevante. Se non può alterare concretamente e consapevolmente il funzionamento dell'artefatto, non ha libertà nel suo utilizzo. Può fare e pensare solo ciò che il creatore dell'artefatto stesso ha deciso.
Rafaela Vasquez, a bordo dell'auto di Uber che uccise Elaine Herzberg nel 2018, non stava "usando" l'auto: ne veniva usata, come ingranaggio, come capro espiatorio. Non era la prima volta che si "distraeva"... "alla guida". Tali "distrazioni" erano già state registrate da Uber che misurava, per massimizzarlo, il grado di confidenza dei passeggeri nella guida automatica (NON autonoma!).
In altri termini per Uber le "distrazioni" di Rafaela Vasquez erano una feature, non un problema.
Dunque Rafaela Vasquez era eticamente irrilevante. Era già stata ridotta ad una cosa, ad un ingranaggio inconsapevole, ad un topo di laboratorio e ad un capro espiatorio alla bisogna.
Ma la Volvo di Uber non aveva alcuna etica (o alcuna intelligenza).
Aveva percepito Elaine in tempo per evitarla, ma era stata configurata per non effettuare frenate di emergenza durante la guida "autonoma" in modo da "evitare un comportamento erratico del mezzo" che avrebbe provocato il mal d'auto ai passeggeri.
Insomma, quella Volvo stava letteralmente applicando al mondo i valori di Uber, per cui la vita umana vale nettamente meno dei propri profitti.
Ma invece di arrestare tutto il consiglio di amministrazione di Uber per omicidio, negli USA parlano di "Etica delle AI".
La vita di Elaine Herzberg o di Rafaela Vasquez sono irrilevanti. Sono cose, insomma. Cose di scarso valore, peraltro.
E' questo l'etica delle AI: una narrazione alienante costruita su un'altra narrazione alienante.
a quel punto la valutazione di capacità etica riguarda i progettisti e gli utilizzatori e non è più questione di etica dell'AI in senso proprio, ma di come si fa una progettazione di prodotti che sia etica e un utilizzo di prodotti che sia etico. No, non è una questione di etica, ma di cultura e politica.
Anzitutto bisogna comprendere come funzionano questi software.
Per arrivarci dobbiamo abolire al più presto questo linguaggio antropomorfizzante (quando non religioso). Smettere di parlare di "intelligenza" o "allenamento" o "apprendimento" o "etica".
Una volta compreso questo, si potrà smettere serenamente e consapevolmente di applicarli a persone o a dati di origine umana.
Con la clonazione l'abbiamo fatto, con il software programmato statisticamente dobbiamo fare lo stesso. [2]
A valle di tale moratoria internazionale, potremo decidere una normativa adeguata per le molte applicazioni che non riguardano direttamente esseri umani.
Ad esempio, il trasporto merci su strade dedicate (magari sotterranee ed inaccessibili all'uomo). La massimizzazione della produzione agricola e così via...
Dovremo solo sempre tenere a mente che l'antropomorfizzazione delle cose serve solo gli interessi di chi le controlla.
Dunque, non parliamo di etica delle AI. Semplicemente perché già le AI stesse non esistono! ;-)
Parliamo piuttosto di etica delle aziende? Ok! Allora limitiamo superiormente il loro profitto, così che una volta raggiunto il tetto, la massimizzazione dei profitti smetta di prevalere su qualsiasi altra considerazione.
Giacomo
PS: non sono certo di aver risposto a ciò che chiedevi... scusa.
[1]:
https://commentbfp.sp.unipi.it/daniela-tafani-what-s-wrong-with-ai-ethics-na...
[2]: Ci sono rarissimi contesti in cui può aver senso utilizzarli sotto attenta e addestratissima supervisione di gruppi multidisciplinari, che potremo elencare esplicitamente.
Penso ad esempio all'uso medico: nessun medico, da solo, può comprendere i pericoli dell'uso di un sistema programmato statisticamente, ma un team di medici e informatici molto preparati, insieme, potrebbe.
Personalmente non riesco a pensare un'altro caso d'uso in cui l'uso (sotto attenta e scrupolosa supervisione umana) di questi strumenti possa giustificare i pericoli che comportano.
Per assicurarci che nessuno ne abusi, potremmo però stabilire che nessun profitto può essere ottenuto dall'uso di dati umani, neanche in quei rarissimi casi in cui è autorizzato.
many of us believe the EU remains the most extraordinary, ambitious, liberal political alliance in recorded history. where it needs reform, where it needs to evolve, we should be there to help turn that heavy wheel i. mcewan, the guardian, 2/6/2017
Maurizio Lana Università del Piemonte Orientale Dipartimento di Studi Umanistici Piazza Roma 36 - 13100 Vercelli
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
On November 2, 2022 6:28:12 PM UTC, Alessandro Brolpito <abrolpito@gmail.com> wrote:
Mi sembra che le stesse turbolenze si applicano ai sistemi d'istruzione, con l'ulteriore difficoltà di garantire inclusione ed equità, attraverso meccanismi complessi e costosi, quali la personalizzazione ed individualizzazione dell'apprendimento, che possono/devono migliore anche attraverso l'applicazione di soluzioni digitali.Ma come usarli in modo efficace e nel rispetto del quadro normativo vigenti (e futuri) rimane materia assai ardua.
In realtà è piuttosto semplice, se l'obiettivo è davvero educare: basta non usarli. https://inv.odyssey346.dev/watch?v=GNbkRX7ZGQ4&t=2771 Giacomo
Gentile Marco, ho molto apprezzato il tuo articolo sulle "bolle giuridiche" e ho utilizzato questa tua espressione in un mio post di oggi, nel quale segnalo una proposta che può forse interessare a questa lista: https://btfp.sp.unipi.it/it/2022/11/automaticamente-illegali-una-proposta-pe... [https://btfp.sp.unipi.it/wp-content/uploads/2022/11/facedetection.jpg]<https://btfp.sp.unipi.it/it/2022/11/automaticamente-illegali-una-proposta-per-i-sistemi-di-intelligenza-artificiale/> "Automaticamente illegali". Una proposta per i sistemi di intelligenza artificiale > Bollettino telematico di filosofia politica<https://btfp.sp.unipi.it/it/2022/11/automaticamente-illegali-una-proposta-pe...> btfp.sp.unipi.it Overlay journal of political philosophy Buona serata, Daniela
Buongiorno Daniela grazie mille per la segnalazione! Mi permetto di sottoporre i miei commenti, mi perdoni Daniela se dico cose che lei probabilmente già sa ma... mi serve per capirci Chiedo scusa per l'estrema lunghezza del messaggio, tuttavia non c'è alcuna fretta di leggere e tantomeno di rispondere se del caso :-) Daniela Tafani <daniela.tafani@unipi.it> writes: [...]
e ho utilizzato questa tua espressione in un mio post di oggi,
nel quale segnalo una proposta che può forse interessare a questa lista:
Io lo spererei proprio :-)
"Automaticamente illegali". Una proposta per i sistemi di intelligenza artificiale > Bollettino telematico di filosofia politica <https://btfp.sp.unipi.it/it/2022/11/automaticamente-illegali-una-proposta-pe...>
Parliamone... :-) Quelli che commento sono estratti del suo articolo, inclusi nei "cut here start/end" --8<---------------cut here---------------start------------->8--- I sistemi di intelligenza artificiale basati sull’apprendimento automatico (machine learning) sono utilizzati per ottenere classificazioni o produrre decisioni --8<---------------cut here---------------end--------------->8--- Ci sono tantissimi software non-AI che sonon utilizzati per classificare e produrre decisioni, non è una caratteristica "discriminante" dei software AI: sbaglio? --8<---------------cut here---------------start------------->8--- che hanno effetti rilevanti sulle vite delle persone, a una velocità e su una scala che non consentono un controllo umano significativo. --8<---------------cut here---------------end--------------->8--- Idem come sopra, è dagli anni '50 del secono scorso che negli USA (e poi progressivamente altrove) il software è usato per calcolare il credit score [1] Sistemi analoghi di "decision-making" e "advertising" sono stati sviluppati a ruota: «per determinare prezzi personalizzati delle assicurazioni auto e per quelle sulla salute, per calcolare i tassi ipotecari, gli affitti o le assunzioni lavorative; liste di potenziali “clienti” venivano cedute per proporre nuovi prodotti o nuove campagne pubblicitarie.» [1] Nel caso del software AI cosa c'è di differente sotto questo aspetto? --8<---------------cut here---------------start------------->8--- la quantità dei dati di partenza e la potenza di calcolo richiesta per la loro elaborazione fanno sì che la presenza di un essere umano nel processo (human in the loop) non sia in grado di fornire alcun controllo rilevante. --8<---------------cut here---------------end--------------->8--- Sul software di cui sopra /nessuno/ degli utilizzatori - intendo gli impiegati delle agenzie di valutazione del rischio e dei loro clienti - o delle persone oggetto di indagine finanziaria poteva esercitare un controllo, non perché la velocità e la scala con la quale un computer calcola non lo consente, ma perché il software binario è sempre una black box [1] e non solo quando è software AI. Una volta che la black box viene mandata in esecuzione, cioè il software binario diventa un processo, non ci può essere nessun "human in the loop" nei cicli di clock di una CPU :-): al massimo agli umani è dato (dai programmatori) un /minimo/ grado di libertà di influire sul processo attraverso una interfaccia [2], ma /mai/ di "esercitare controllo" sulla black box. --8<---------------cut here---------------start------------->8--- questi sistemi sono infatti sono costitutivamente opachi (black box), soggetti a errori madornali – in quanto fondati su correlazioni statistiche di ogni genere, senza accesso al significato o al contesto – e ad attacchi avversari non rilevabili. --8<---------------cut here---------------end--------------->8--- Queste, rispetto al software non-AI, sono le caratteristiche probabilmente preponderanti, però non sono esclusive del software AI, se analizziamo la AI nei suoi elementi costitutivi [3] É vero che il software AI (modello ricavato attraverso ML) è sostanzialmente "correlazione statistica" (semplifico eccessivamente?) ma il "vizietto" di ABUSARE della statistica [4] non è per nulla figlio della AI [5] [6], anzi a mio avviso è /esattamente/ l'opposto. Qui però non approfindiamo nel merito la questione del ruolo della statistica nella science crisis, perché andremmo OT: era solo per dire che esiste ed essendo il "discorso tecnico" strettamente legata al "discorso scientifico" occorre tenerne conto: «It's science's dirtiest secret: The ‘scientific method’ of testing hypotheses by statistical analysis stands on a flimsy foundation.» [7] (semmai ne parliamo in lista AISA :-) ) É vero che il software AI è (forse) più soggetto ad attacchi non rilevabili alla **supply chain** rispetto al software non-AI [8], compiler inclusi, ma anche il software non-AI binario è il risultato di una supply (build) chain complessa e alla cui base ci sono /sempre/ "binary blobs" (black boxes). In altre parole: "Reflections on Trusting Trust" [9] vale /anche/ per il software-AI: chi ha dei dubbi in merito? Questo sì che, se serve, potremmo approfondire qui, perché /volendo/ ci sono soluzioni. «So how can we know anything about computers?» [8]: parliamone! Per ora voglio solo sottolineare che "Reflections on Trusting Trust" è del 1984 (1984!) e nel frattempo il software (proprietario) è stato usato senza farsi troppi problemi /anche/ a livello accademico... è solo da poco tempo che si stanno studiando e applicando soluzioni. --8<---------------cut here---------------start------------->8--- Come osserva Andrea Bertolini, la dicotomia tra soggetti giuridici e oggetti non è superabile, tertium non datur, e l’unica classificazione ammissibile di tutte le tecnologie avanzate esistenti e ragionevolmente prevedibili – senza indulgere in tentazioni fantascientifiche – è quella di cose, oggetti e artefatti, prodotti dell’intelletto umano. Così concepite, esse rientrano chiaramente nella nozione di prodotto --8<---------------cut here---------------end--------------->8--- Il fatto è che /giuridicamente/ i prodotti /fisici/, ovviamente anche quelli dotati di automatismi come i software-AI, devono essere trattati come tali /quindi/ sottoposti a "direttiva macchine" o "marcatura CE"... ma non il software in quanto tale, per favore! Giuridicamente il software è incluso nelle opere d'ingegno, ed è cosa buona e giusta. Non sono i programmatori che decidono di incorporare il software in una macchina o un prodotto senza effettuare l'analisi dei rischi e eventualmente implementare adeguate misure di protezione. Non sono i programmatori a decidere che certi aerei /improbabili/ possono volare lo stesso con una spruzzata di AI (AI?) sopra [10]. --8<---------------cut here---------------start------------->8--- La fragilità della situazione è quella di una bolla giuridica, per usare un’espressione di Marco Giraudo: le grandi compagnie tecnologiche hanno fondato infatti il loro modello di business sull’appropriazione e la commercializzazione dei dati personali, in violazione di diritti giuridicamente tutelati, scommettendo su un successivo “salvataggio giuridico”, in nome dell’inarrestabilità dell’innovazione tecnologica. --8<---------------cut here---------------end--------------->8--- Attenzione però che la bolla giuridica riguarda la privacy dei dati personali usati come niente fosse sia con software AI che con software non-AI, non i dati in generale o il software. In merito agli argomenti usati nell'articolo per condannare l'abuso dei dati /personali/ (anche) nel calcolo dei modelli alla base di alcuni software AI sono più che d'accordo, però ci sono un'enormità di dati non personali che vengono "utilizzati per ottenere classificazioni o produrre decisioni che hanno effetti rilevanti sulle vite delle persone": sui sistemi che usano quei dati non vogliamo dire o fare niente? Non ho il diritto di conoscere i meccanismi di funzionamento del software che /decide/ che un tale fenomeno è così invece che "cosà"? --8<---------------cut here---------------start------------->8--- Frank Pasquale e Gianclaudio Malgieri. La loro proposta è di disciplinare i modelli di IA ad alto rischio incorporati oggi in prodotti e servizi attraverso una presunzione di illegalità, ossia entro un sistema di “illegalità di default”: fino a prova contraria, tali sistemi dovrebbero essere considerati illegali, e l’onere della prova contraria dovrebbe incombere alle aziende. Prima di immettere sul mercato un prodotto o un servizio che incorpori sistemi di IA ad alto rischio, le aziende – a partire da quelle che esercitano ormai, per dimensioni e prerogative, una sovranità funzionale – avrebbero l’obbligo di dimostrare che la loro tecnologia non è discriminatoria, non è manipolatoria, non è iniqua, non è inaccurata e non è illegittima nelle sue basi giuridiche e nei suoi scopi. --8<---------------cut here---------------end--------------->8--- Nell'articolo [12] il processo di /certificazione/ viene descritto così: --8<---------------cut here---------------start------------->8--- pre-approval model in which some AI developers, before launching their systems into the market, must perform a preliminary risk assessment of their technology followed by a self-certification. --8<---------------cut here---------------end--------------->8--- Analisi di /quali/ rischi, per un software?!? Rischio di "bias", "falsi positivi", "attacchi alla supply-chain", "violazione del GDPR"? I servizi di Facebook o Google violano il GDPR ma non la normativa USA, sono (potenzialmente?) illegali in EU: c'è bisogno di una analisi dei rischi per stabilirlo? MCAS [11] è stato immesso /indirettamente/ sul mercato perché usato come componente essenziale per la sicurezza del 737 MAX, poi Boeing ha effettuato una analisi dei rischi a mio avviso (e non solo mio) RIDICOLA e FAA (non Boeing) ha certificato l'idoneità dell'aereo sulla base di quelle analisi. Considerati i problemi del software analizzati prima (correlazione e attacchi) la valutazione dei rischi fino dove si dovrebbe spingere? Analizzo il mio software o devo analizzare anche i componenti terzi? Se si, fino a che livello devo spingermi, fino alla radice dell'intera catena di build? Davvero la certificazione dei sistemi hardware+software, anche se effettuata terze parti, è una soluzione efficace nonostante si sia dimostrata nel tempo fallace [13]. “Thus, the security problem of specific computer systems must, at this point in time, be solved on a case-by-case basis, employing the best judgement of a team consisting of system programmers, technical hardware and communications specialists, and security experts.” [Security controls for computer systems (aka Ware Report), 1970] [14] Ho una modesta proposta in alternativa: perché invece che «illegal by default» non chiediamo che il software - almeno quelli che "sono utilizzati per ottenere classificazioni o produrre decisioni che hanno effetti rilevanti sulle vite delle persone," (cit.) [15] - sia «free software by default», l'unico sistema che consentirebbe di "certificare" in modo distribuito e indipendente che il software non sia affetto da uno o più degli innumerevoli problemi di cui si discute molto? La stessa cosa, ovvamente, dovrebbe valere anche (anzi sporattutto, considerato che il rischio di abuso è forse più alto) anche per i software AI, perché è decisamente /fattibile/ [16]: The takeaway message is that for a machine-learning model to be trustworthy, you need to assure the provenance of the whole chain: the model itself, the software tools used to compile it, the training data, the order in which the data are batched and presented – in short, everything. Un problema di natura tecnica, come questo o per esempio il fatto che Internet /tecnicamente/ fa schifo [17] (questo tra l'altro ha ricadute pesantissime sulla privacy delle persone), può essere risolto solo tecnicamente. Un problema giuridico, semmai, è stato quello di non essere stati in grado di riconoscere per tempo che "code is law": nessuno accetterebbe una "macchina della giustizia" che /eseguisse/ i processi (pun intended) con un "Codice di Procedura Penale/Civile binario" (black box), sputando sentenze come output. Peché dovrebbe essere diverso con una diagnosi medica, una valutazione finanziaria, ecc? Allora perché non /pretendiamo/ che il software che utilizziamo noi stessi o che viene utilizzato da altri in un processo decisionale che ci riguarda - dalle sentenze fino alla pubblicità mirata, dal filtro dei messaggi via social fino alla concessione di finanziamenti - non sia libero come il Codice di Procedura Penale/Civile? ...in modo che tutti possano partecipare, se lo vogliono e hanno le adeguate competenze, come previsto nell'Art. 3 della nostra costituzione: E` compito della Repubblica rimuovere gli ostacoli di ordine economico e sociale, che, limitando di fatto la libertà e l'eguaglianza dei cittadini, impediscono il pieno sviluppo della persona umana e l'effettiva partecipazione [...] all'organizzazione politica, economica e sociale del Paese. Non trovate che una black box (software binario, niente codice sorgente) sia uno di quegli ostacoli da /rimuovere/? :-O Saluti, 380° [1] https://www.ilpost.it/carloblengino/2019/06/09/la-piu-longeva-e-invasiva-sor... [2] o una backdoor... o attraverso un exploit (spessissimo non voluto)... [3] https://nooscope.ai/ [4] https://purl.archive.org/dtafanicit/Calude [5] https://www.nature.com/articles/d41586-019-00857-9 [6] https://www.tandfonline.com/toc/utas20/73/sup1?nav=tocList [7] https://amstat.tandfonline.com/doi/full/10.1080/00031305.2016.1154108#.XInvW... [8] https://pluralistic.net/2022/10/11/rene-descartes-was-a-drunken-fart/#trusti... «Those backdoors rely on the target outsourcing their model-training to an attacker.». Il problema della "underspecification" e dei "data-set spannometrici" non sono specifici del software. [9] https://www.cs.cmu.edu/~rdriley/487/papers/Thompson_1984_ReflectionsonTrusti... [11] https://www.pointswithacrew.com/can-boeing-fix-a-potentially-faulty-737-max-... [12] https://brusselsprivacyhub.com/2022/06/01/brussels-privacy-hub-working-paper... [13] How Certification Systems Fail: Lessons from the Ware Report† https://www.cl.cam.ac.uk/~rja14/Papers/ieeesp12warereport.pdf [14] https://csrc.nist.gov/csrc/media/publications/conference-paper/1998/10/08/pr... [15] quale software non ha un effetto rilevante sulle vite delle persone? [16] https://www.lightbluetouchpaper.org/2022/10/10/ml-models-must-also-think-abo... [17] https://youbroketheinternet.org/ -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.
Buongiorno 380°, grazie di aver condiviso le sue osservazioni e riflessioni. Provo ad aggiungere solo qualche considerazione sommaria, su alcuni punti, raggruppando le domande: 1. Ci sono tantissimi software non-AI che sono utilizzati per classificare e produrre decisioni, non è una caratteristica "discriminante" dei software AI: sbaglio? Nel caso del software AI cosa c'è di differente sotto questo aspetto? Non ho il diritto di conoscere i meccanismi di funzionamento del software che /decide/ che un tale fenomeno è così invece che "cosà"? Una differenza rilevante dal punto di vista giuridico e politico è interna alla cosidetta AI ed è quella che caratterizza i sistemi di machine learning (ML) rispetto all'IA simbolica. Frank Pasquale e Gianclaudio Malgieri parlano di IA e l'ho fatto perciò anch'io (malgrado trovi molto più appropriato, come ha proposto Stefano Quintarelli, parlare di SALAMI), ma ho specificato fin dalla prima riga che la questione riguarda i sistemi di apprendimento automatico. Ciò che distingue tali sistemi è la potenza in alcune specifiche prestazioni e al tempo stesso l'opacità: grazie a sistemi sostanzialmente statistici (concordo, purché teniamo presente che parlare di "statistiche" induce a pensare a quelle elaborate da esseri umani, che distinguono le correlazioni pertinenti da quelle assurde e distinguono, tra le correlazioni, i nessi causali), otteniamo oggi, almeno apparentemente, la possibilità di automatizzare ciò che ritenevamo si potesse replicare solo dopo averlo compreso, concettualizzato e tradotto in termini computazionali (ad esempio, la predizione di stringhe di testo o la classificazione di immagini). L'opacità è una differenza cruciale, giuridicamente, perché se adopero un sistema fondato sul calcolo simbolico per decidere, ad esempio, a quali sedi assegnare i docenti delle scuole superiori, posso farlo scegliendo quali variabili pesare, e quanto. Se utilizzo un sistema ML non sarò in grado di spiegare perché mai un dato docente sia stato assegnato "dall'algoritmo" a una data scuola. Di qui la sentenza del TAR del Lazio che ha dato ragione ai docenti ricorrenti, ribadendo che il ricorso a una procedura informatica non può essere una ragione per eludere i principi del nostro ordinamento, evitando, nel caso in oggetto, di motivare l'assegnazione a una certa sede: https://www.giustizia-amministrativa.it/portale/pages/istituzionale/visualiz... Questa opacità è oggetto di due narrazioni: a. quella finanziata e diffusa dai GAFAM, che antropomorfizza l'IA: - assimilando l'opacità dei sistemi sub-simbolici all'imperscrutabilità delle intenzioni umane (non posso aprire la black box del sistema ML così come non posso leggere nel cuore - o nel cervello - umano) - confondendo la traduzione in termini computazionali con una garanzia di salomonica imparzialità, oggettività e giustizia (l'incredibile abbaglio, o imbroglio, che vige ormai pressoché incontrastato) - presentando le discriminazioni, sensate e insensate (generate cioè dall'appartenenza a un gruppo giuridicamente tutelato oppure da un pixel in una foto) come un problema tecnico, risolvibile sulla base dell'"etica dell'IA", anziché come una caratteristica costitutiva e al momento ineliminabile dei sistemi ML, a causa dei molti "debiti etici" contratti nel corso della loro costruzione, in virtù delle "scorciatoie" adottate (le due espressioni, azzeccatissime, sono di Nello Cristianini). b. quella dei critici delle decisioni algoritmiche, che documentano i danni, le ingiustizie, le insensatezze, le discriminazioni a carico di tutti i soggetti ai margini e chiedono che tali soggetti siano coinvolti nella costruzione dei sistemi informatici che saranno poi utilizzati per prendere decisioni giudiziarie, mediche, finanziarie, occupazionali o educative che li riguardano. 2. Analisi di /quali/ rischi, per un software?!? Rischio di "bias", "falsi positivi", "attacchi alla supply-chain", "violazione del GDPR"? I servizi di Facebook o Google violano il GDPR ma non la normativa USA, sono (potenzialmente?) illegali in EU: c'è bisogno di una analisi dei rischi per stabilirlo? Considerati i problemi del software analizzati prima (correlazione e attacchi) la valutazione dei rischi fino dove si dovrebbe spingere? Analizzo il mio software o devo analizzare anche i componenti terzi? Se si, fino a che livello devo spingermi, fino alla radice dell'intera catena di build? La parte sulle licenze e le certificazioni è quella che lascia perplessa anche me, soprattutto perché intravedo un ennesimo ethics washing, con la soluzione dell'etica come requisito tecnico (o addirittura, come già è stato proposto, dell'etica come servizio). Quello che trovo apprezzabile, nella proposta di Pasquale e Malgieri, è il coraggio di chiedere che la legge vieti che che un sistema di un certo tipo, con certi limiti intrinseci, sia spacciato per il re taumaturgo. Non può farmi parlare con i morti, guidare da solo un'auto in città, vaticinare l'abbandono scolastico, fornire assistenza mentale, predire le prestazioni lavorative a partire dal video di un colloquio, emettere sentenze e sostituire i medici. E invece sono già in commercio applicazioni, o promesse, per ciascuna di queste magie. E tutta questa snake oil AI si basa sulla cattura, estorsione, espropriazione, a volte semplice furto, di dati personali (donde il nesso strettissimo con la bolla giuridica). Proprio per questo mi pare sensato proporre l'illegalità tout court di questi sistemi e attribuire a chi voglia invece utilizzarli l'onere di dimostrare che non lo sono e di giustificare, tra le altre, la pertinenza dei dati utilizzati, rispetto al fine, nonché la proporzionalità. Anche per i sistemi seri e utili, come quelli in ambito medico, ci sono infatti rischi: se l'erogatore di sapone in albergo non funziona quando la mano è nera, ci accorgiamo del mal funzionamento (generato, in fase di progettazione, dal consueto assunto che il genere o il colore dominanti siano neutri e universali). Se qualcosa di analogo avviene nell'automatizzazione della diagnostica per immagini, le conseguenze sono più pesanti e può darsi che ce ne accorgiamo, per qualcuno, troppo tardi. Il riferimento all'articolo di Doctorow non era tanto sulla questione della fiducia, su cui ci sono lavori più pertinenti, quanto per una spiegazione incisiva e accessibile di cosa siano gli attacchi avversari ai sistemi ML. Mi scuso di non aver avuto il tempo di scrivere una risposta più breve. Grazie ancora. Buona domenica, Daniela ________________________________ Da: 380° <g380@biscuolo.net> Inviato: sabato 12 novembre 2022 17:29 A: Daniela Tafani; nexa@server-nexa.polito.it Oggetto: Re: [nexa] “Automaticamente illegali”. Una proposta per i sistemi di intelligenza artificiale Buongiorno Daniela grazie mille per la segnalazione! Mi permetto di sottoporre i miei commenti, mi perdoni Daniela se dico cose che lei probabilmente già sa ma... mi serve per capirci Chiedo scusa per l'estrema lunghezza del messaggio, tuttavia non c'è alcuna fretta di leggere e tantomeno di rispondere se del caso :-) Daniela Tafani <daniela.tafani@unipi.it> writes: [...]
e ho utilizzato questa tua espressione in un mio post di oggi,
nel quale segnalo una proposta che può forse interessare a questa lista:
Io lo spererei proprio :-)
"Automaticamente illegali". Una proposta per i sistemi di intelligenza artificiale > Bollettino telematico di filosofia politica <https://btfp.sp.unipi.it/it/2022/11/automaticamente-illegali-una-proposta-pe...> [https://btfp.sp.unipi.it/wp-content/uploads/2022/11/facedetection.jpg]<https://btfp.sp.unipi.it/it/2022/11/automaticamente-illegali-una-proposta-per-i-sistemi-di-intelligenza-artificiale/>
"Automaticamente illegali". Una proposta per i sistemi di intelligenza artificiale > Bollettino telematico di filosofia politica<https://btfp.sp.unipi.it/it/2022/11/automaticamente-illegali-una-proposta-pe...> btfp.sp.unipi.it Overlay journal of political philosophy Parliamone... :-) Quelli che commento sono estratti del suo articolo, inclusi nei "cut here start/end" --8<---------------cut here---------------start------------->8--- I sistemi di intelligenza artificiale basati sull’apprendimento automatico (machine learning) sono utilizzati per ottenere classificazioni o produrre decisioni --8<---------------cut here---------------end--------------->8--- Ci sono tantissimi software non-AI che sonon utilizzati per classificare e produrre decisioni, non è una caratteristica "discriminante" dei software AI: sbaglio? --8<---------------cut here---------------start------------->8--- che hanno effetti rilevanti sulle vite delle persone, a una velocità e su una scala che non consentono un controllo umano significativo. --8<---------------cut here---------------end--------------->8--- Idem come sopra, è dagli anni '50 del secono scorso che negli USA (e poi progressivamente altrove) il software è usato per calcolare il credit score [1] Sistemi analoghi di "decision-making" e "advertising" sono stati sviluppati a ruota: «per determinare prezzi personalizzati delle assicurazioni auto e per quelle sulla salute, per calcolare i tassi ipotecari, gli affitti o le assunzioni lavorative; liste di potenziali “clienti” venivano cedute per proporre nuovi prodotti o nuove campagne pubblicitarie.» [1] Nel caso del software AI cosa c'è di differente sotto questo aspetto? --8<---------------cut here---------------start------------->8--- la quantità dei dati di partenza e la potenza di calcolo richiesta per la loro elaborazione fanno sì che la presenza di un essere umano nel processo (human in the loop) non sia in grado di fornire alcun controllo rilevante. --8<---------------cut here---------------end--------------->8--- Sul software di cui sopra /nessuno/ degli utilizzatori - intendo gli impiegati delle agenzie di valutazione del rischio e dei loro clienti - o delle persone oggetto di indagine finanziaria poteva esercitare un controllo, non perché la velocità e la scala con la quale un computer calcola non lo consente, ma perché il software binario è sempre una black box [1] e non solo quando è software AI. Una volta che la black box viene mandata in esecuzione, cioè il software binario diventa un processo, non ci può essere nessun "human in the loop" nei cicli di clock di una CPU :-): al massimo agli umani è dato (dai programmatori) un /minimo/ grado di libertà di influire sul processo attraverso una interfaccia [2], ma /mai/ di "esercitare controllo" sulla black box. --8<---------------cut here---------------start------------->8--- questi sistemi sono infatti sono costitutivamente opachi (black box), soggetti a errori madornali – in quanto fondati su correlazioni statistiche di ogni genere, senza accesso al significato o al contesto – e ad attacchi avversari non rilevabili. --8<---------------cut here---------------end--------------->8--- Queste, rispetto al software non-AI, sono le caratteristiche probabilmente preponderanti, però non sono esclusive del software AI, se analizziamo la AI nei suoi elementi costitutivi [3] É vero che il software AI (modello ricavato attraverso ML) è sostanzialmente "correlazione statistica" (semplifico eccessivamente?) ma il "vizietto" di ABUSARE della statistica [4] non è per nulla figlio della AI [5] [6], anzi a mio avviso è /esattamente/ l'opposto. Qui però non approfindiamo nel merito la questione del ruolo della statistica nella science crisis, perché andremmo OT: era solo per dire che esiste ed essendo il "discorso tecnico" strettamente legata al "discorso scientifico" occorre tenerne conto: «It's science's dirtiest secret: The ‘scientific method’ of testing hypotheses by statistical analysis stands on a flimsy foundation.» [7] (semmai ne parliamo in lista AISA :-) ) É vero che il software AI è (forse) più soggetto ad attacchi non rilevabili alla **supply chain** rispetto al software non-AI [8], compiler inclusi, ma anche il software non-AI binario è il risultato di una supply (build) chain complessa e alla cui base ci sono /sempre/ "binary blobs" (black boxes). In altre parole: "Reflections on Trusting Trust" [9] vale /anche/ per il software-AI: chi ha dei dubbi in merito? Questo sì che, se serve, potremmo approfondire qui, perché /volendo/ ci sono soluzioni. «So how can we know anything about computers?» [8]: parliamone! Per ora voglio solo sottolineare che "Reflections on Trusting Trust" è del 1984 (1984!) e nel frattempo il software (proprietario) è stato usato senza farsi troppi problemi /anche/ a livello accademico... è solo da poco tempo che si stanno studiando e applicando soluzioni. --8<---------------cut here---------------start------------->8--- Come osserva Andrea Bertolini, la dicotomia tra soggetti giuridici e oggetti non è superabile, tertium non datur, e l’unica classificazione ammissibile di tutte le tecnologie avanzate esistenti e ragionevolmente prevedibili – senza indulgere in tentazioni fantascientifiche – è quella di cose, oggetti e artefatti, prodotti dell’intelletto umano. Così concepite, esse rientrano chiaramente nella nozione di prodotto --8<---------------cut here---------------end--------------->8--- Il fatto è che /giuridicamente/ i prodotti /fisici/, ovviamente anche quelli dotati di automatismi come i software-AI, devono essere trattati come tali /quindi/ sottoposti a "direttiva macchine" o "marcatura CE"... ma non il software in quanto tale, per favore! Giuridicamente il software è incluso nelle opere d'ingegno, ed è cosa buona e giusta. Non sono i programmatori che decidono di incorporare il software in una macchina o un prodotto senza effettuare l'analisi dei rischi e eventualmente implementare adeguate misure di protezione. Non sono i programmatori a decidere che certi aerei /improbabili/ possono volare lo stesso con una spruzzata di AI (AI?) sopra [10]. --8<---------------cut here---------------start------------->8--- La fragilità della situazione è quella di una bolla giuridica, per usare un’espressione di Marco Giraudo: le grandi compagnie tecnologiche hanno fondato infatti il loro modello di business sull’appropriazione e la commercializzazione dei dati personali, in violazione di diritti giuridicamente tutelati, scommettendo su un successivo “salvataggio giuridico”, in nome dell’inarrestabilità dell’innovazione tecnologica. --8<---------------cut here---------------end--------------->8--- Attenzione però che la bolla giuridica riguarda la privacy dei dati personali usati come niente fosse sia con software AI che con software non-AI, non i dati in generale o il software. In merito agli argomenti usati nell'articolo per condannare l'abuso dei dati /personali/ (anche) nel calcolo dei modelli alla base di alcuni software AI sono più che d'accordo, però ci sono un'enormità di dati non personali che vengono "utilizzati per ottenere classificazioni o produrre decisioni che hanno effetti rilevanti sulle vite delle persone": sui sistemi che usano quei dati non vogliamo dire o fare niente? Non ho il diritto di conoscere i meccanismi di funzionamento del software che /decide/ che un tale fenomeno è così invece che "cosà"? --8<---------------cut here---------------start------------->8--- Frank Pasquale e Gianclaudio Malgieri. La loro proposta è di disciplinare i modelli di IA ad alto rischio incorporati oggi in prodotti e servizi attraverso una presunzione di illegalità, ossia entro un sistema di “illegalità di default”: fino a prova contraria, tali sistemi dovrebbero essere considerati illegali, e l’onere della prova contraria dovrebbe incombere alle aziende. Prima di immettere sul mercato un prodotto o un servizio che incorpori sistemi di IA ad alto rischio, le aziende – a partire da quelle che esercitano ormai, per dimensioni e prerogative, una sovranità funzionale – avrebbero l’obbligo di dimostrare che la loro tecnologia non è discriminatoria, non è manipolatoria, non è iniqua, non è inaccurata e non è illegittima nelle sue basi giuridiche e nei suoi scopi. --8<---------------cut here---------------end--------------->8--- Nell'articolo [12] il processo di /certificazione/ viene descritto così: --8<---------------cut here---------------start------------->8--- pre-approval model in which some AI developers, before launching their systems into the market, must perform a preliminary risk assessment of their technology followed by a self-certification. --8<---------------cut here---------------end--------------->8--- Analisi di /quali/ rischi, per un software?!? Rischio di "bias", "falsi positivi", "attacchi alla supply-chain", "violazione del GDPR"? I servizi di Facebook o Google violano il GDPR ma non la normativa USA, sono (potenzialmente?) illegali in EU: c'è bisogno di una analisi dei rischi per stabilirlo? MCAS [11] è stato immesso /indirettamente/ sul mercato perché usato come componente essenziale per la sicurezza del 737 MAX, poi Boeing ha effettuato una analisi dei rischi a mio avviso (e non solo mio) RIDICOLA e FAA (non Boeing) ha certificato l'idoneità dell'aereo sulla base di quelle analisi. Considerati i problemi del software analizzati prima (correlazione e attacchi) la valutazione dei rischi fino dove si dovrebbe spingere? Analizzo il mio software o devo analizzare anche i componenti terzi? Se si, fino a che livello devo spingermi, fino alla radice dell'intera catena di build? Davvero la certificazione dei sistemi hardware+software, anche se effettuata terze parti, è una soluzione efficace nonostante si sia dimostrata nel tempo fallace [13]. “Thus, the security problem of specific computer systems must, at this point in time, be solved on a case-by-case basis, employing the best judgement of a team consisting of system programmers, technical hardware and communications specialists, and security experts.” [Security controls for computer systems (aka Ware Report), 1970] [14] Ho una modesta proposta in alternativa: perché invece che «illegal by default» non chiediamo che il software - almeno quelli che "sono utilizzati per ottenere classificazioni o produrre decisioni che hanno effetti rilevanti sulle vite delle persone," (cit.) [15] - sia «free software by default», l'unico sistema che consentirebbe di "certificare" in modo distribuito e indipendente che il software non sia affetto da uno o più degli innumerevoli problemi di cui si discute molto? La stessa cosa, ovvamente, dovrebbe valere anche (anzi sporattutto, considerato che il rischio di abuso è forse più alto) anche per i software AI, perché è decisamente /fattibile/ [16]: The takeaway message is that for a machine-learning model to be trustworthy, you need to assure the provenance of the whole chain: the model itself, the software tools used to compile it, the training data, the order in which the data are batched and presented – in short, everything. Un problema di natura tecnica, come questo o per esempio il fatto che Internet /tecnicamente/ fa schifo [17] (questo tra l'altro ha ricadute pesantissime sulla privacy delle persone), può essere risolto solo tecnicamente. Un problema giuridico, semmai, è stato quello di non essere stati in grado di riconoscere per tempo che "code is law": nessuno accetterebbe una "macchina della giustizia" che /eseguisse/ i processi (pun intended) con un "Codice di Procedura Penale/Civile binario" (black box), sputando sentenze come output. Peché dovrebbe essere diverso con una diagnosi medica, una valutazione finanziaria, ecc? Allora perché non /pretendiamo/ che il software che utilizziamo noi stessi o che viene utilizzato da altri in un processo decisionale che ci riguarda - dalle sentenze fino alla pubblicità mirata, dal filtro dei messaggi via social fino alla concessione di finanziamenti - non sia libero come il Codice di Procedura Penale/Civile? ...in modo che tutti possano partecipare, se lo vogliono e hanno le adeguate competenze, come previsto nell'Art. 3 della nostra costituzione: E` compito della Repubblica rimuovere gli ostacoli di ordine economico e sociale, che, limitando di fatto la libertà e l'eguaglianza dei cittadini, impediscono il pieno sviluppo della persona umana e l'effettiva partecipazione [...] all'organizzazione politica, economica e sociale del Paese. Non trovate che una black box (software binario, niente codice sorgente) sia uno di quegli ostacoli da /rimuovere/? :-O Saluti, 380° [1] https://www.ilpost.it/carloblengino/2019/06/09/la-piu-longeva-e-invasiva-sor... [https://www.ilpost.it/wp-content/uploads/2019/06/Who-am-I.png]<https://www.ilpost.it/carloblengino/2019/06/09/la-piu-longeva-e-invasiva-sorveglianza-di-massa-mai-realizzata-negli-usa/> L’inizio della sorveglianza di massa negli Stati Uniti - Carlo Blengino<https://www.ilpost.it/carloblengino/2019/06/09/la-piu-longeva-e-invasiva-sor...> www.ilpost.it Una storia sul controllo dei dati dei consumatori dal 1968, quando non c'era internet e i computer erano molto diversi [2] o una backdoor... o attraverso un exploit (spessissimo non voluto)... [3] https://nooscope.ai/ [http://nooscope.ai/nooscope-facebook-og.jpg]<https://nooscope.ai/> The Nooscope Manifested<https://nooscope.ai/> nooscope.ai AI as Instrument of Knowledge Extractivism. By Matteo Pasquinelli and Vladan Joler [4] https://purl.archive.org/dtafanicit/Calude [5] https://www.nature.com/articles/d41586-019-00857-9 [6] https://www.tandfonline.com/toc/utas20/73/sup1?nav=tocList [https://covers.tandf.co.uk/og/UTAS.png]<https://www.tandfonline.com/toc/utas20/73/sup1?nav=tocList> The American Statistician: Vol 73, No sup1<https://www.tandfonline.com/toc/utas20/73/sup1?nav=tocList> www.tandfonline.com All journal articles featured in The American Statistician vol 73 issue sup1 [7] https://amstat.tandfonline.com/doi/full/10.1080/00031305.2016.1154108#.XInvW... [https://covers.tandf.co.uk/og/UTAS.png]<https://amstat.tandfonline.com/doi/full/10.1080/00031305.2016.1154108#.XInvWyPMzyW> Full article: The ASA Statement on p-Values: Context, Process, and Purpose<https://amstat.tandfonline.com/doi/full/10.1080/00031305.2016.1154108#.XInvW...> amstat.tandfonline.com Published in The American Statistician (Vol. 70, No. 2, 2016) [8] https://pluralistic.net/2022/10/11/rene-descartes-was-a-drunken-fart/#trusti... «Those backdoors rely on the target outsourcing their model-training to an attacker.». Il problema della "underspecification" e dei "data-set spannometrici" non sono specifici del software. [9] https://www.cs.cmu.edu/~rdriley/487/papers/Thompson_1984_ReflectionsonTrusti... [11] https://www.pointswithacrew.com/can-boeing-fix-a-potentially-faulty-737-max-... [https://www.pointswithacrew.com/wp-content/uploads/2017/03/Boeing_737_MAX-Aka-the-Beav-cc-2.0-1024x768.jpg]<https://www.pointswithacrew.com/can-boeing-fix-a-potentially-faulty-737-max-design-with-software/> Can Boeing fix a potentially faulty 737 MAX design with software? - Points with a Crew<https://www.pointswithacrew.com/can-boeing-fix-a-potentially-faulty-737-max-...> www.pointswithacrew.com Boeing has announced an update for the MCAS system of their new 737 MAX aircraft. But will this be enough to render the aircraft safe? [12] https://brusselsprivacyhub.com/2022/06/01/brussels-privacy-hub-working-paper... [13] How Certification Systems Fail: Lessons from the Ware Report† https://www.cl.cam.ac.uk/~rja14/Papers/ieeesp12warereport.pdf [14] https://csrc.nist.gov/csrc/media/publications/conference-paper/1998/10/08/pr... [15] quale software non ha un effetto rilevante sulle vite delle persone? [16] https://www.lightbluetouchpaper.org/2022/10/10/ml-models-must-also-think-abo... [17] https://youbroketheinternet.org/ -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>. Introduction | Stallman Support<https://stallmansupport.org/> stallmansupport.org False accusations were made against Richard Stallman in September 2019. They started a cascade of difamatory reactions that spread like wildfire, fueled by misquotes and misrepresentation of events in mainstream headlines, blogs, and social media that ultimately led to Stallman's resignation from his positions at Mit and the FSF
Buonasera, grazie per il confronto! Daniela Tafani <daniela.tafani@unipi.it> writes: [...]
1. Ci sono tantissimi software non-AI che sono utilizzati per classificare e produrre decisioni, non è una caratteristica "discriminante" dei software AI: sbaglio? Nel caso del software AI cosa c'è di differente sotto questo aspetto? Non ho il diritto di conoscere i meccanismi di funzionamento del software che /decide/ che un tale fenomeno è così invece che "cosà"?
Una differenza rilevante dal punto di vista giuridico e politico è interna alla cosidetta AI ed è quella che caratterizza i sistemi di machine learning (ML) rispetto all'IA simbolica.
Prometto che andrò a studiare, ma pur comprendendo benissimo la differenza informatica tra modelli AI ricavati via ML (codice binario non human-readeable) e AI simbolica (rappresentazioni simboliche human-readeable), non capisco che differenza dal punto di vista giuridico ci sia. [...]
ma ho specificato fin dalla prima riga che la questione riguarda i sistemi di apprendimento automatico.
Sì mi è stato chiaro fin dalla prima riga della mia risposta :-) [...]
grazie a sistemi sostanzialmente statistici
[...]
L'opacità è una differenza cruciale, giuridicamente, perché se adopero un sistema fondato sul calcolo simbolico per decidere, ad esempio, a quali sedi assegnare i docenti delle scuole superiori, posso farlo scegliendo quali variabili pesare, e quanto.
giusto, purché non dimentichiamo di considerare il fatto che la scelta delle variabili e quanto pesarle è effettuata da chi scrive il codice e per capire quali scelte sono state fatte occorre poter leggere il codice sorgente (o fare reverse engineeting del binario ma è praticamente impossibile)
Se utilizzo un sistema ML non sarò in grado di spiegare perché mai un dato docente sia stato assegnato "dall'algoritmo" a una data scuola.
sì, i risultati dei sistemi ML sono /inspiegabili/ ...ma in molte (alcune) situazioni funzionano benissimo (ad es, i sistemi OCR)
Di qui la sentenza del TAR del Lazio che ha dato ragione ai docenti ricorrenti, ribadendo che il ricorso a una procedura informatica non può essere una ragione per eludere i principi del nostro ordinamento, evitando, nel caso in oggetto, di motivare l'assegnazione a una certa sede: https://www.giustizia-amministrativa.it/portale/pages/istituzionale/visualiz...
Giusto, dimenticavo quella sentenza. Non l'ho (ancora?) studiata ma a mio modestissimo avviso la consecutio logica di simili posizioni giuridiche è che quando viene utilizzato software (binario) in un processo di valutazione deve essere messo a disposizione di tutti gli interessati anche il codice sorgente, perché anche il binario è opaco (opacissimo) e solo le dichiarazioni del fornitore del software (attraverso schede tecniche, manuale, dichiarazioni...) motivano come il software valuta i dati forniti.
Questa opacità è oggetto di due narrazioni:
a. quella finanziata e diffusa dai GAFAM, che antropomorfizza l'IA: - assimilando l'opacità dei sistemi sub-simbolici all'imperscrutabilità delle intenzioni umane (non posso aprire la black box del sistema ML così come non posso leggere nel cuore - o nel cervello - umano)
questa narrazione mi era sfuggita: no comment
- confondendo la traduzione in termini computazionali con una garanzia di salomonica imparzialità, oggettività e giustizia (l'incredibile abbaglio, o imbroglio, che vige ormai pressoché incontrastato)
chiedo scusa se insisto ma la stessa insopportabile narrazione vale anche per il software "tradizionale", fin dall'uso dei primi sistemi computerizzati [1]
- presentando le discriminazioni, sensate e insensate [...] come un problema tecnico, risolvibile sulla base dell'"etica dell'IA", anziché come una caratteristica costitutiva e al momento ineliminabile dei sistemi ML, a causa dei molti "debiti etici" contratti nel corso della loro costruzione, in virtù delle "scorciatoie" adottate (le due espressioni, azzeccatissime, sono di Nello Cristianini).
idem come sopra [1] [...]
2. Analisi di /quali/ rischi, per un software?!? Rischio di "bias", "falsi positivi", "attacchi alla supply-chain", "violazione del GDPR"? I servizi di Facebook o Google violano il GDPR ma non la normativa USA, sono (potenzialmente?) illegali in EU: c'è bisogno di una analisi dei rischi per stabilirlo? Considerati i problemi del software analizzati prima (correlazione e attacchi) la valutazione dei rischi fino dove si dovrebbe spingere? Analizzo il mio software o devo analizzare anche i componenti terzi? Se si, fino a che livello devo spingermi, fino alla radice dell'intera catena di build?
La parte sulle licenze e le certificazioni è quella che lascia perplessa anche me, soprattutto perché intravedo un ennesimo ethics washing, con la soluzione dell'etica come requisito tecnico
Se per licenze intende "licenze ad operare" (tipo un'abilitazione professionale o una autorizzazione ministeriale) e non "licenze software" allora direi che la cosa non può lasciare solo perplessi ma come minimo sconcertare: con che faccia tosta qualcuno potrebbe seriamente proporre quella come soluzione? Sulla certificazione ho già detto tutto il (male) possibile, posso solo dire che la certificazione e i relativi standard tecnici sono /ampiamente/ sopravvalutati... anzi sono "standards washing" :-D
(o addirittura, come già è stato proposto, dell'etica come servizio).
Quanto costa la fornitura di una settimana d'etica?!? B-)
Quello che trovo apprezzabile, nella proposta di Pasquale e Malgieri, è il coraggio di chiedere che la legge vieti che che un sistema di un certo tipo, con certi limiti intrinseci, sia spacciato per il re taumaturgo.
Io invece no, ritengo che sia /estremamente/ pericoloso farlo in questo modo, ovvero sistemi ML illegali per default (traviso?). Forse (forse?) i giudici hanno già in mano tutti gli strumenti adeguati per poter giudicare /nel merito/ quando un atto debba essere invalidato nel caso i sistemi informatici utilizzati - determinanti per l'esito dell'atto - non forniscano adeguate garanzie di trasparenza, come nel caso del TAR del Lazio citato sopra. A mio modesto avviso non c'è bisogno di "incasinare" (mi si conceda) il quadro giuridico o legislativo per sanare le innumerevoli storture causate dal cattivo (ab)uso del software (tutto), sostenute attraverso narrative ciarlatane sebbene riscuotano un qual certo successo. [...]
E invece sono già in commercio applicazioni, o promesse, per ciascuna di queste magie.
Sì ma il problema non è che siano in commercio (e quindi vanno vietate o certificate o o la commercializzazione essere affidata solo a chi ha la licenza per farlo) ma che ci siano persone e istituzoni che ne /abusano/ per farne utilizzi impropri (o nascondere la propria inedeguatezza). Per fare un esempio, il software usato per l'assegnazione a una certa sede scolastina di cui sopra (TAR del Lazio...) potrebbe essere benissmo (ri)utilizzato per stabilire come immagazzinare i prodotti dentro un magazzino, che problema ci sarebbe? Qual'è quindi il problema: il software (AI) o l'uso improprio che se ne fa? Per fare un altro esempio, a me pare ovvio che un software AI non /deve/ essere utilizzato per generare un modello che poi viene preso come prova scientifica sulla base della quale poi vengono prese decisioni politiche che hanno impatto su moltissime persone... sono io che non capisco niente di scienza? Da quando la correlazione è diventato "metodo scientifico"? Scienza o /numerologia/?!?
E tutta questa snake oil AI si basa sulla cattura, estorsione, espropriazione, a volte semplice furto, di dati personali (donde il nesso strettissimo con la bolla giuridica).
Non tutta l'AI si basa sull'analisi dei dati personali. L'estorsione dei dati personali non dovrebbe esistere e /tecnicamente/ si può fare... ma a mio modesto avviso separerei l'argomento da AI/non-AI
Proprio per questo mi pare sensato proporre l'illegalità tout court di questi sistemi
Anche dei sistemi OCR?
e attribuire a chi voglia invece utilizzarli l'onere di dimostrare che non lo sono e di giustificare, tra le altre, la pertinenza dei dati utilizzati, rispetto al fine, nonché la proporzionalità.
Io credo invece che sia /pericoloso/, non foss'altro per il fatto che /mai/ un qualsiasi utilizzatore di un sistema cibernetico, ancorché AI "certificata", dovrebbe nascondersi dietro la pretesa oggettività (certificata?) di tale sistema per negare le proprie responsabilità di (ab)uso.
Anche per i sistemi seri e utili, come quelli in ambito medico, ci sono infatti rischi:
Therac-25 docet https://en.wikipedia.org/wiki/Therac-25 (questo per ribadire che, quando si utilizzano sistemi cibernetici, i richi c'erano e ci sono anche senza AI) Tutte le persone "informate sui fatti" lo sanno benissimo, poi ci sono alcuni (molti) che fanno finta di non sapere, altri di non capire... altri proprio non capiscono. [...]
Se qualcosa di analogo avviene nell'automatizzazione della diagnostica per immagini,
La diagnostica non deve essere automatizzata, il medico non si può nascondere dietro la /presunta/ oggettività di una diagnosi fatta da una macchina; tuttavia, se la macchina è in grado di fornire indicazioni che il medico ritiene utili e non contraddittorie, che senso avrebbe vietare la macchina, che senso avrebbe certificarla e con questo creare nel medico delle false aspettative? O forse l'automazione della diagnistica è una soluzione a un problema /mascherato/, quello della carenza di medici?
le conseguenze sono più pesanti e può darsi che ce ne accorgiamo, per qualcuno, troppo tardi. Il riferimento all'articolo di Doctorow non era tanto sulla questione della fiducia, su cui ci sono lavori più pertinenti, quanto per una spiegazione incisiva e accessibile di cosa siano gli attacchi avversari ai sistemi ML.
Va bene, ma su questo aspetto è importante considerare che gli attacchi ai sistemi ML (di cui ho letto, anche su lavori più pertinenti) sono del tutto /analoghi/ a quelli al software "tradizionale" Saluti, 380° [...] [1] se n'è parlato recentemente anche qui nel thread «The 1960s Experiment Created Today’s Biased Police Surveillance» https://server-nexa.polito.it/pipermail/nexa/2022-November/024395.html -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.
participants (5)
-
380° -
Alessandro Brolpito -
Daniela Tafani -
Giacomo Tesio -
Marco Giraudo