una riflessione sul lavoro di Timnit Gebru ed una prospettiva che mi ha sorpreso
Quando ho letto di Timnit Gebru licenziata da Google ho pregiudizievolmente pensato che, poichè lei stesse in AI Ethics di Google, fosse una foglia di fico. Un'utile idiota sfruttata in un periodo di tempo, nella quale avrebbe creduto di poter cambiare la compagnia dell’interno, ed una volta esauritasi qualcun’altra avrebbe preso il suo ruolo. Quindi: partecipare a meeting, pubblicare articoli carichi di buone intenzioni, fare conferenze in cui si mescola la sua autocoscienza con la politica di google, che chiaramente nel frattempo non sarà cambiata di una virgola e il circolo della tokenizzazione* sarebbe continuato. E invece leggendo l'articolo e la spiegazione del paper ( https://www.technologyreview.com/2020/12/04/1013294/google-ai-ethics-researc...), devo riconoscere che ho davvero rispettato la direzione della sua attività, se specialmente se messe in prospettiva con alcuni problemi irrisolti. Volevo condividere queste riflessioni, non so dire quanto siano scontate né quanto siano accurate, commenti sono benvenuti anche se puramente speculativi. E se avete poco tempo, leggete solo la parte "Dicembre 2020". flashback n.1: 2016 Google e Facebook rivoluzionano l'uso delle artificial intelligence quando rilasciano rispettivamente Tensor Flow e Caffe2|pyTorch. Sono dei framework open source di deep learning. Siccome sono open source è chiaro che non sia lì l'intelligenze, bensì in un altro componente che con questi framework puoi creare, si chiama "modello". I modelli si addestrano con enormi moli di dati, e se consideriamo che da quel momento inizia una stampa favorevole all'AI che la dipinge come salvifica e rivoluzionaria, il sottotesto mai messo in discussione è: "per avere un'AI accurata devi avere un sacco di dati". o anche "La tua azienda può avere un'ottima AI, se e solo se collezioni e studi grandi quantità di dati". E' un modo per legittimare e consolidare questo trend intrinseco del capitalismo della sorveglianza. Questo approccio porta con sé due problemi che non sono immediatamente visibili, uno è il cosiddetto bias. Questa parola ha un significato tecnico ben preciso, ma in pratica nel gergo non specialistico di chi commenta l'AI, si intendono i pregiudizi, le imprecisioni apprese dal modello durante l'addestramento, perchè derivate da peculiarità inattese dei dati. Queste hanno poi conseguenze sociali difficilmente evidenziabili. L'altro problema è la totale mancanza di rendicontabilità (AI accountability), che rende sia i bias meno ovvi, sia le compagnie più scaricate di responsabilità. Durante il processo di addestramento, il modello acquisisce le informazioni e le snatura del loro senso originale. Il deep learning dopo il 2016 sviluppa diversi modelli, tra cui alcuni specializzati per la generazione e l'interpretazione del testo scritto. I modelli stessi possono essere venduti o dati in licenza. Di noto c'è GPT, GPT-2 e GPT-3 di OpenAI, ma Google ha BERT di molto simile, che già è integrato nel del motore di ricerca. La dottoressa Gebru si concentra(va) sugli aspetti etici di questi modelli, e quindi, ridurre il bias. flashback n.2: (a memoria, tra 2016 e 2018) Google si fa forte di https://ai.google/principles, i suoi principi etici per l'AI giusta. Naturalmente etica in questo caso è il termine ampio e flessibile che permette loro di rimanere nel campo dell'autoregolamentazione. a.k.a. discendente edulcorato e specializzato di "don't be evil". flashback n.3: 2018 Mark Zuckerberg, interrogazione del senato U.S. gli viene costantemente chiesto come mai ci siano espressioni d'odio su facebook. La sua risposta è presa dal manualetto del sogno americano: "Senatore, quando ho creato Facebook nel dormitorio dell'università non pensavo avremmo raggiunto questo livello. Stiamo assumendo molti content moderators, ma si tratta di un problema irrisolto nel mondo. Noi grazie al progresso tecnologico, in 5 anni avremo sistemi di intelligenza artificiale che ci permetteranno di individuare ogni espressione d'odio e bloccarla subito". Sono, ero, sempre rimasto scettico di questa affermazione perché il linguaggio muta nel tempo, il contesto e le sfumature regionali, le dinamiche di potere tra le persone, sono elementi che rendono la stessa espressione d'odio o anche no. La risposta tecnosoluzioni sta di facebook mi pareva una supercazzola. Amenochè, Mark Z. non fosse così convinto di avere abbastanza dati da poter creare un modello per ogni contesto culturale. Sembra che l'obiettivo fosse avere abbastanza modelli da saper coprire le diverse sfumature che prende il linguaggio, tenendo in considerazione la sua costante evoluzione e anche le differenze regionali/provinciali. Avere tanti modelli e quindi realizzare la profezia "con abbastanza dati e potenza di calcolo possiamo interpretare il mondo correttamente". Faccio il primo esempio che mi viene in mente. Un ipotetico modello addestrato sul il milanese storico, leggerebbe "pirla" con il significato di "trottola", mentre in altre regioni sarebbe interpretato come un insulto. E' chiaro che questo non possa seguire le sfumature lessicali che rendono una sequenza di parole un'espressione d'odio. Del resto che ne sai di come mi offendo io se mi dicono pirla? se me lo dicesse la mia capa o un vecchio amico gli attribuirò un significato diverso, ma forse a Mark interessava almeno evitare le cose più imbarazzanti ed eclatanti che la stampa nordamericana poteva trovare. (del resto, è l'unica stampa che conta per FB, non perdetevi: https://www.buzzfeednews.com/article/craigsilverman/facebook-ignore-politica... ) flashback n.4: 2019 Addestrare un modello di AI può causare emissioni pari a 5 automobili in tutta la loro vita ( https://www.technologyreview.com/2019/06/06/239031/training-a-single-ai-mode... ). Definizione del problema irrisolto Comprendere e rispettare le sfumature culturali, linguistiche, delle demografiche non dominanti. Possiamo anche fare una riflessione geografica: se la capitale culturale usa un certo slang, questo sarà riproposto alle periferie, risultando inevitabilmente meno adeguato, inclusivo, se non addirittura fuori luogo o colonizzatore. Non parliamo poi della chiara impossibilità che avrebbe un sistema così egemonico a rispettare le differenze personali. In sintesi, i significati del linguaggio maggioritari, usati della demografica dominante, sarebbero quelli appresi dal modello e riproposti in ogni contesto, indipendentemente se il contesto sia o meno quello che ha partecipato all'addestramento. Nel paper in lavorazione, menzionano come il movimento metoo abbia fatto cambiare il linguaggio e, quantomeno, facevano capire che questi modelli non possono essere ne eterni ne assoluti (es, non esisterà mai il modello "Inglese giusto") Dicembre 2020 (il paper ed il licenziamento) Timnit Gebru stava lavorando ad un paper che spiegava l'impatto ambientale dell'addestramento dei modelli: https://www.technologyreview.com/2020/12/04/1013294/google-ai-ethics-researc... se la teoria di Mark Z. fosse anche quella perseguita da Google, per la quale abbassare i bias significa addestrare modelli costantemente, per ogni contesto culturale, tenendo in considerazione ogni differenza sensibile che avrebbe potuto urtare gli utenti, si avrebbe avuto un dispendio energetico significativo. In pratica: "AI etica" e sostenibilità ambientale sono incompatibili. E questo, davanti all'inevitabile catastrofe climatica, è un assioma inaccettabile per Google, no? Poi su come si sia consumato il licenziamento, ci sono articoli più accurati che evidenziano la reazione molto inusuale di google sul trattamento del paper di ricerca (tra cui anche un twitter tread del manager che l’ha licenziata e la sua email interna). Le posizioni inizieranno gradualmente ad estremizzarsi anche perchè la licenziata/"we accept your resignation" aveva un background di attivismo tecno-politico non sottostimabile, e il movimento dei google walkout non ha atteso ad affezionarsi alla causa ( https://googlewalkout.medium.com/setting-the-record-straight-isupporttimnit-... ) Quindi, a dispetto del fatto che in un primo momento mi fosse sembrate l'utile idiota usata da Google per fare un po' di ethic-washing, questa donna e le sue ricerche meritano il rispetto di chi dall'interno di una corporation stava per sollevare un deadlock logico che ancora non si era visto, e che connette due problemi politici complessi attualmente irrisolti. ciao, Claudio * tokenizzazione significa "rendere una persona un token". E' un'ipotesi di sospetto diretta alle compagnie facoltose, che possano permettersi di avere persone appartenenti a categorie più rare (es, Timnit Gebru è una donna Eritrea-Statunitense, con tanti successi accademici alle spalle). In questo modo la compagnia può rivendicare una diversità esemplare. E' un peggiorativo, ma non è inteso nei confronti della persona-token, quanto più nell'azienda il quale management rimane della demografica dominante e non cambia veramente politiche in inclusività. Semplicemente, si compra i token e così si pulisce la coscienza in pubblico. Claudio Agosti, https://tracking.exposed, @_vecna PGP keybase.io/vecna - Research Associate - DATACTIVE University of Amsterdam https://data-activism.net
Ciao Claudio, ti ringrazio per questa attenta ed approfondita riflessione e perché la prospettiva che proponi mi ha fatto riflettere ed approfondire. On Wed, 9 Dec 2020 02:37:58 +0100 Claudio Agosti <claudio.agosti@logioshermes.org> wrote:
Quando ho letto di Timnit Gebru licenziata da Google ho pregiudizievolmente pensato che, poichè lei stesse in AI Ethics di Google, fosse una foglia di fico. [...]
Personalmente condivido questo "pregiudizio" e francamente mi sembra che il licenziamento della dottoressa Gebru confermi questa ipotesi. Non tanto perché dimostra come questi ricercatori vengano sbattuti fuori nonappena provano a assumere posizioni scomode, ma perché l'efficacia e la risonanza politica delle loro ricerche esplode proprio grazie alla prepotenza di chi cerca di (anonimamente!!!) insabbiarle.
E invece leggendo l'articolo e la spiegazione del paper ( https://www.technologyreview.com/2020/12/04/1013294/google-ai-ethics-researc...) [...]
L'ho letto anche io, ma... non è il paper in questione. E boh... non mi sorprenderei se sfumature rilevanti fossero sfuggite.
flashback n.1: 2016
Google e Facebook rivoluzionano l'uso delle artificial intelligence quando rilasciano rispettivamente Tensor Flow e Caffe2|pyTorch. Sono dei framework open source di deep learning. Siccome sono open source è chiaro che non sia lì l'intelligenze [...] il sottotesto mai messo in discussione è: "per avere un'AI accurata devi avere un sacco di dati". o anche "La tua azienda può avere un'ottima AI, se e solo se collezioni e studi grandi quantità di dati". E' un modo per legittimare e consolidare questo trend intrinseco del capitalismo della sorveglianza.
Ottima sintesi. :-) Non solo questo passaggio: vale per ciascuno dei tuoi flashback.
Definizione del problema irrisolto
Comprendere e rispettare le sfumature culturali, linguistiche, delle demografiche non dominanti. Possiamo anche fare una riflessione geografica: se la capitale culturale usa un certo slang, questo sarà riproposto alle periferie, risultando inevitabilmente meno adeguato, inclusivo, se non addirittura fuori luogo o colonizzatore.
Non parliamo poi della chiara impossibilità che avrebbe un sistema così egemonico a rispettare le differenze personali.
Detto così sembra un bug, mentre è una feature! L'obiettivo è segmentare la popolazione in gruppi omogenei e distinti, sufficientemente vasti da influenzare la narrazione e l'agenda politica delle organizzazioni locali, ma senza mai costituire una massa critica in grado di mettere in discussione il sistema. I gruppi minoritari che possono essere interessanti per queste organizzazioni sono quelli vasti. Dei gruppi costituiti da 100 o 100 persone al mondo non gli frega niente. Non avranno mai alcuna rilevanza. Anche se questi gruppi magari sono decine di migliaia. E' un po' come la ricerca farmaceutica nell'ambito delle malattie rare.
Dicembre 2020 (il paper ed il licenziamento)
Timnit Gebru stava lavorando ad un paper che spiegava l'impatto ambientale dell'addestramento dei modelli: https://www.technologyreview.com/2020/12/04/1013294/google-ai-ethics-researc... se la teoria di Mark Z. fosse anche quella perseguita da Google, per la quale abbassare i bias significa addestrare modelli costantemente, per ogni contesto culturale, tenendo in considerazione ogni differenza sensibile che avrebbe potuto urtare gli utenti, si avrebbe avuto un dispendio energetico significativo.
Si ha anche, inevitabilmente, una imperscrutabile black box che nessuno può permettersi di analizzare semplicemente perché continuamente cangiante. Fra l'evitare i danni alle minoranze ed evitare il biasimo per questi danni, quale credi sia la priorità di queste aziende?
In pratica: "AI etica" e sostenibilità ambientale sono incompatibili.
Al di là dell'etica: Alpha Zero è un solitario! :-D Ma allo stato attuale, il "Deep Learning" è insostenibile anche da una prospettiva socio-politica perché i dati necessari alla programmazione statistica costituiscono di per sé stessi esternalità negative: una volta sfuggiti dal controllo degli emittenti, possono danneggiare la socità in moltissimi modi.
E questo, davanti all'inevitabile catastrofe climatica, è un assioma inaccettabile per Google, no?
Forse. Ma la mia intuizione è che ci sia molto di più dietro questo autogol. Voglio dire, questo collegamento (che per la verità non mi suona particolarmente nuovo) spiega la segretezza sull'autore dei feedback che imponevano la ritrattazione? Se ciò che temono in Google è biasimo per il consumo di energia, allora i costi energetici stimati in accademia deve essere di due o tre ordini di grandezza inferiore a quelli effettivamente affrontati da Google. Se quello fosse il problema, allora la dirigenza di Google teme che si scopra qualcosa di MOOOLTOOO più scomodo della propria responsabilità nei confronti della catastrofe climatica imminente. Qualcosa che magari potrebbe costituire concorrenza sleale?
questa donna e le sue ricerche meritano il rispetto di chi dall'interno di una corporation stava per sollevare un deadlock logico che ancora non si era visto, e che connette due problemi politici complessi attualmente irrisolti.
Vero. Ma ciò non significa che non fosse una "impiegata trofeo" (un token, come dicevi) assunto per fare ethics washing. Cosa che rimane vera per tutti i suoi colleghi nel gruppo di AI Ethics. Colleghi che perdono qualsiasi credibilità scientifica nel momento in cui accettano di sottostare alla censura di Google. Cos'altro accetteranno domani? Quanto alla dottoressa Gebru, invece, le sue ricerche acquisteranno notevole visibilità PROPRIO perché è stata vittima del licenziamento. Da adesso in poi non avrà accesso ai dati come quando era in Google. D'altro canto, essendo dotata di un'intelligenza naturale, quanto ha visto e vissuto le potrebbe essere più che sufficiente. Giacomo
Facebook's 'monopoly' must be split up, US and states say in major lawsuits https://www.theguardian.com/technology/2020/dec/09/facebook-lawsuit-antitrus...
Personalmente ritengo che “AI e sostenibilità ambientale” possano essere resi compatibili, ma non senza una precisa volontà e uno sforzo adeguato. Anche nella ricerca. Il primo passo è ammettere l’esistenza del problema. Il secondo è mettersi d’accordo su come quantificarlo. A proposito dell'impatto ambientale che deriva dal software (flashback n.4 e algoritmi di deep learning) e del mistero che aleggia intorno alla sua quantificazione, questo recentissimo progetto si propone di misurare le emissioni di CO2 prodotte dal software mentre lo si sta sviluppando: https://codecarbon.io L’impostazione concettuale mi pare seria. Qualcuno lo conosce, lo ha utilizzato o ha intenzione di farlo? Giovanna Sissa Il giorno mer 9 dic 2020 alle ore 23:57 Giacomo Tesio <giacomo@tesio.it> ha scritto:
Ciao Claudio,
ti ringrazio per questa attenta ed approfondita riflessione e perché la prospettiva che proponi mi ha fatto riflettere ed approfondire.
On Wed, 9 Dec 2020 02:37:58 +0100 Claudio Agosti <claudio.agosti@logioshermes.org> wrote:
Quando ho letto di Timnit Gebru licenziata da Google ho pregiudizievolmente pensato che, poichè lei stesse in AI Ethics di Google, fosse una foglia di fico. [...]
Personalmente condivido questo "pregiudizio" e francamente mi sembra che il licenziamento della dottoressa Gebru confermi questa ipotesi.
Non tanto perché dimostra come questi ricercatori vengano sbattuti fuori nonappena provano a assumere posizioni scomode, ma perché l'efficacia e la risonanza politica delle loro ricerche esplode proprio grazie alla prepotenza di chi cerca di (anonimamente!!!) insabbiarle.
E invece leggendo l'articolo e la spiegazione del paper ( https://www.technologyreview.com/2020/12/04/1013294/google-ai-ethics-researc...) [...]
L'ho letto anche io, ma... non è il paper in questione.
E boh... non mi sorprenderei se sfumature rilevanti fossero sfuggite.
flashback n.1: 2016
Google e Facebook rivoluzionano l'uso delle artificial intelligence quando rilasciano rispettivamente Tensor Flow e Caffe2|pyTorch. Sono dei framework open source di deep learning. Siccome sono open source è chiaro che non sia lì l'intelligenze [...] il sottotesto mai messo in discussione è: "per avere un'AI accurata devi avere un sacco di dati". o anche "La tua azienda può avere un'ottima AI, se e solo se collezioni e studi grandi quantità di dati". E' un modo per legittimare e consolidare questo trend intrinseco del capitalismo della sorveglianza.
Ottima sintesi. :-)
Non solo questo passaggio: vale per ciascuno dei tuoi flashback.
Definizione del problema irrisolto
Comprendere e rispettare le sfumature culturali, linguistiche, delle demografiche non dominanti. Possiamo anche fare una riflessione geografica: se la capitale culturale usa un certo slang, questo sarà riproposto alle periferie, risultando inevitabilmente meno adeguato, inclusivo, se non addirittura fuori luogo o colonizzatore.
Non parliamo poi della chiara impossibilità che avrebbe un sistema così egemonico a rispettare le differenze personali.
Detto così sembra un bug, mentre è una feature!
L'obiettivo è segmentare la popolazione in gruppi omogenei e distinti, sufficientemente vasti da influenzare la narrazione e l'agenda politica delle organizzazioni locali, ma senza mai costituire una massa critica in grado di mettere in discussione il sistema.
I gruppi minoritari che possono essere interessanti per queste organizzazioni sono quelli vasti. Dei gruppi costituiti da 100 o 100 persone al mondo non gli frega niente. Non avranno mai alcuna rilevanza. Anche se questi gruppi magari sono decine di migliaia.
E' un po' come la ricerca farmaceutica nell'ambito delle malattie rare.
Dicembre 2020 (il paper ed il licenziamento)
Timnit Gebru stava lavorando ad un paper che spiegava l'impatto ambientale dell'addestramento dei modelli: https://www.technologyreview.com/2020/12/04/1013294/google-ai-ethics-researc... se la teoria di Mark Z. fosse anche quella perseguita da Google, per la quale abbassare i bias significa addestrare modelli costantemente, per ogni contesto culturale, tenendo in considerazione ogni differenza sensibile che avrebbe potuto urtare gli utenti, si avrebbe avuto un dispendio energetico significativo.
Si ha anche, inevitabilmente, una imperscrutabile black box che nessuno può permettersi di analizzare semplicemente perché continuamente cangiante. Fra l'evitare i danni alle minoranze ed evitare il biasimo per questi danni, quale credi sia la priorità di queste aziende?
In pratica: "AI etica" e sostenibilità ambientale sono incompatibili.
Al di là dell'etica: Alpha Zero è un solitario! :-D
Ma allo stato attuale, il "Deep Learning" è insostenibile anche da una prospettiva socio-politica perché i dati necessari alla programmazione statistica costituiscono di per sé stessi esternalità negative: una volta sfuggiti dal controllo degli emittenti, possono danneggiare la socità in moltissimi modi.
E questo, davanti all'inevitabile catastrofe climatica, è un assioma inaccettabile per Google, no?
Forse.
Ma la mia intuizione è che ci sia molto di più dietro questo autogol.
Voglio dire, questo collegamento (che per la verità non mi suona particolarmente nuovo) spiega la segretezza sull'autore dei feedback che imponevano la ritrattazione?
Se ciò che temono in Google è biasimo per il consumo di energia, allora i costi energetici stimati in accademia deve essere di due o tre ordini di grandezza inferiore a quelli effettivamente affrontati da Google.
Se quello fosse il problema, allora la dirigenza di Google teme che si scopra qualcosa di MOOOLTOOO più scomodo della propria responsabilità nei confronti della catastrofe climatica imminente.
Qualcosa che magari potrebbe costituire concorrenza sleale?
questa donna e le sue ricerche meritano il rispetto di chi dall'interno di una corporation stava per sollevare un deadlock logico che ancora non si era visto, e che connette due problemi politici complessi attualmente irrisolti.
Vero.
Ma ciò non significa che non fosse una "impiegata trofeo" (un token, come dicevi) assunto per fare ethics washing. Cosa che rimane vera per tutti i suoi colleghi nel gruppo di AI Ethics. Colleghi che perdono qualsiasi credibilità scientifica nel momento in cui accettano di sottostare alla censura di Google. Cos'altro accetteranno domani?
Quanto alla dottoressa Gebru, invece, le sue ricerche acquisteranno notevole visibilità PROPRIO perché è stata vittima del licenziamento.
Da adesso in poi non avrà accesso ai dati come quando era in Google. D'altro canto, essendo dotata di un'intelligenza naturale, quanto ha visto e vissuto le potrebbe essere più che sufficiente.
Giacomo _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Ciao Giovanna, e salve a tutt[i|e] da un vecchio neo-iscritto a questa ml. Riprendo qui questa discussione che s'era propagata per la rete producendo chissà quanta CO2 :-) A leggere attentamente quello che la Gebru et al. hanno scritto e che ha provocato la reazione di Google, a mio parere si evince che la preoccupazione non sia tanto legata all'inquinamento prodotto dall'addestramento delle Deep Neural Network (DNN), ma al fatto che un certo tipo di reti (miliardi di parametri e addestramento non supervisionato su petabyte di dati, es. GPT-3) sia di fatto appannaggio esclusivo dei Big Tech (detti pudicamente 'wealthy organizations') e rafforzino il loro monopolio e il loro potere. Vero è che produrre modelli (stime dei parametri) per questo tipo di reti richiede molta energia, ma pensiamoci: se questa fosse prodotta da fonti rinnovabili saremmo a nostro agio col fatto che solo OpenAI (si legga: Microsoft) può usare GPT-3? Io no, per dire. Quanto alle DNN in genere, addestrarne una può essere una questione di ore o di giorni, ma tendenzialmente si tratta di operazioni 'una tantum': cambiare frequentemente questi modelli sarebbe un bel problema per il ciclo di vita delle applicazioni. Non sappiamo ancora fare un'analisi accurata del rapporto costi\benefici (la ricerca è solo agli inizi), ma credo sia plausibile attendersi che, sotto il profilo energetico, non ci sia una specificità così marcata dell'AI rispetto - che so - allo streaming. Produrre qualsiasi bene o servizio ha un impatto ambientale, possiamo in scienza e coscienza dire che l'AI è particolarmente insostenibile per l'ambiente? Più ad esempio del consumo di carne bovina? Francamente, stento a crederlo. Il rischio che va evitato, a mio avviso, è quello di abbaiare sotto l'albero sbagliato. Poi può essere che sia io a sbagliare, ma parliamone. Infine, queste DNN bulimiche non sono l'unico modo, e forse neanche il migliore, per ottenere certe funzionalità, ma di questo, se volete, alle prossime puntate. Buona serata a tutt[e|i] Guido On Sun, 13 Dec 2020 at 20:44, Giovanna Sissa <sissa.giovanna@gmail.com> wrote:
Personalmente ritengo che “AI e sostenibilità ambientale” possano essere resi compatibili, ma non senza una precisa volontà e uno sforzo adeguato. Anche nella ricerca. Il primo passo è ammettere l’esistenza del problema. Il secondo è mettersi d’accordo su come quantificarlo. A proposito dell'impatto ambientale che deriva dal software (flashback n.4 e algoritmi di deep learning) e del mistero che aleggia intorno alla sua quantificazione, questo recentissimo progetto si propone di misurare le emissioni di CO2 prodotte dal software mentre lo si sta sviluppando: https://codecarbon.io L’impostazione concettuale mi pare seria. Qualcuno lo conosce, lo ha utilizzato o ha intenzione di farlo?
Giovanna Sissa
Il giorno mer 9 dic 2020 alle ore 23:57 Giacomo Tesio <giacomo@tesio.it> ha scritto:
Ciao Claudio,
ti ringrazio per questa attenta ed approfondita riflessione e perché la prospettiva che proponi mi ha fatto riflettere ed approfondire.
On Wed, 9 Dec 2020 02:37:58 +0100 Claudio Agosti <claudio.agosti@logioshermes.org> wrote:
Quando ho letto di Timnit Gebru licenziata da Google ho pregiudizievolmente pensato che, poichè lei stesse in AI Ethics di Google, fosse una foglia di fico. [...]
Personalmente condivido questo "pregiudizio" e francamente mi sembra che il licenziamento della dottoressa Gebru confermi questa ipotesi.
Non tanto perché dimostra come questi ricercatori vengano sbattuti fuori nonappena provano a assumere posizioni scomode, ma perché l'efficacia e la risonanza politica delle loro ricerche esplode proprio grazie alla prepotenza di chi cerca di (anonimamente!!!) insabbiarle.
E invece leggendo l'articolo e la spiegazione del paper (
https://www.technologyreview.com/2020/12/04/1013294/google-ai-ethics-researc... )
[...]
L'ho letto anche io, ma... non è il paper in questione.
E boh... non mi sorprenderei se sfumature rilevanti fossero sfuggite.
flashback n.1: 2016
Google e Facebook rivoluzionano l'uso delle artificial intelligence quando rilasciano rispettivamente Tensor Flow e Caffe2|pyTorch. Sono dei framework open source di deep learning. Siccome sono open source è chiaro che non sia lì l'intelligenze [...] il sottotesto mai messo in discussione è: "per avere un'AI accurata devi avere un sacco di dati". o anche "La tua azienda può avere un'ottima AI, se e solo se collezioni e studi grandi quantità di dati". E' un modo per legittimare e consolidare questo trend intrinseco del capitalismo della sorveglianza.
Ottima sintesi. :-)
Non solo questo passaggio: vale per ciascuno dei tuoi flashback.
Definizione del problema irrisolto
Comprendere e rispettare le sfumature culturali, linguistiche, delle demografiche non dominanti. Possiamo anche fare una riflessione geografica: se la capitale culturale usa un certo slang, questo sarà riproposto alle periferie, risultando inevitabilmente meno adeguato, inclusivo, se non addirittura fuori luogo o colonizzatore.
Non parliamo poi della chiara impossibilità che avrebbe un sistema così egemonico a rispettare le differenze personali.
Detto così sembra un bug, mentre è una feature!
L'obiettivo è segmentare la popolazione in gruppi omogenei e distinti, sufficientemente vasti da influenzare la narrazione e l'agenda politica delle organizzazioni locali, ma senza mai costituire una massa critica in grado di mettere in discussione il sistema.
I gruppi minoritari che possono essere interessanti per queste organizzazioni sono quelli vasti. Dei gruppi costituiti da 100 o 100 persone al mondo non gli frega niente. Non avranno mai alcuna rilevanza. Anche se questi gruppi magari sono decine di migliaia.
E' un po' come la ricerca farmaceutica nell'ambito delle malattie rare.
Dicembre 2020 (il paper ed il licenziamento)
Timnit Gebru stava lavorando ad un paper che spiegava l'impatto ambientale dell'addestramento dei modelli:
https://www.technologyreview.com/2020/12/04/1013294/google-ai-ethics-researc...
se la teoria di Mark Z. fosse anche quella perseguita da Google, per la quale abbassare i bias significa addestrare modelli costantemente, per ogni contesto culturale, tenendo in considerazione ogni differenza sensibile che avrebbe potuto urtare gli utenti, si avrebbe avuto un dispendio energetico significativo.
Si ha anche, inevitabilmente, una imperscrutabile black box che nessuno può permettersi di analizzare semplicemente perché continuamente cangiante. Fra l'evitare i danni alle minoranze ed evitare il biasimo per questi danni, quale credi sia la priorità di queste aziende?
In pratica: "AI etica" e sostenibilità ambientale sono incompatibili.
Al di là dell'etica: Alpha Zero è un solitario! :-D
Ma allo stato attuale, il "Deep Learning" è insostenibile anche da una prospettiva socio-politica perché i dati necessari alla programmazione statistica costituiscono di per sé stessi esternalità negative: una volta sfuggiti dal controllo degli emittenti, possono danneggiare la socità in moltissimi modi.
E questo, davanti all'inevitabile catastrofe climatica, è un assioma inaccettabile per Google, no?
Forse.
Ma la mia intuizione è che ci sia molto di più dietro questo autogol.
Voglio dire, questo collegamento (che per la verità non mi suona particolarmente nuovo) spiega la segretezza sull'autore dei feedback che imponevano la ritrattazione?
Se ciò che temono in Google è biasimo per il consumo di energia, allora i costi energetici stimati in accademia deve essere di due o tre ordini di grandezza inferiore a quelli effettivamente affrontati da Google.
Se quello fosse il problema, allora la dirigenza di Google teme che si scopra qualcosa di MOOOLTOOO più scomodo della propria responsabilità nei confronti della catastrofe climatica imminente.
Qualcosa che magari potrebbe costituire concorrenza sleale?
questa donna e le sue ricerche meritano il rispetto di chi dall'interno di una corporation stava per sollevare un deadlock logico che ancora non si era visto, e che connette due problemi politici complessi attualmente irrisolti.
Vero.
Ma ciò non significa che non fosse una "impiegata trofeo" (un token, come dicevi) assunto per fare ethics washing. Cosa che rimane vera per tutti i suoi colleghi nel gruppo di AI Ethics. Colleghi che perdono qualsiasi credibilità scientifica nel momento in cui accettano di sottostare alla censura di Google. Cos'altro accetteranno domani?
Quanto alla dottoressa Gebru, invece, le sue ricerche acquisteranno notevole visibilità PROPRIO perché è stata vittima del licenziamento.
Da adesso in poi non avrà accesso ai dati come quando era in Google. D'altro canto, essendo dotata di un'intelligenza naturale, quanto ha visto e vissuto le potrebbe essere più che sufficiente.
Giacomo _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Buona settimana e grazie per le interessanti risposte! Devo esordire riconosco che nel mio testo eccedo di corporate-complotto. Fare una connessione tra un'ipotesi tutta da verificare, un licenziamento, e unirla facendo intendere che "google non lo vuole", è un'approssimazione che viene poco prima del cappello di carta stagnola. I loro team sono composti da persone che fanno il meglio che possono per migliorare la situazione, e lo fanno con passione, competenze e risorse uniche al mondo, e supporto interno. On Sun, Dec 13, 2020 at 11:13 PM Guido Vetere <vetere.guido@gmail.com> wrote:
A leggere attentamente quello che la Gebru et al. hanno scritto e che ha provocato la reazione di Google, a mio parere si evince che la preoccupazione non sia tanto legata all'inquinamento prodotto dall'addestramento delle Deep Neural Network (DNN), ma al fatto che un certo tipo di reti (miliardi di parametri e addestramento non supervisionato su petabyte di dati, es. GPT-3) sia di fatto appannaggio esclusivo dei Big Tech (detti pudicamente 'wealthy organizations') e rafforzino il loro monopolio e il loro potere.
Erano proprio connesse le due cose: *Gebru’s draft paper points out that the sheer resources required to build and sustain such large AI models means they tend to benefit wealthy organizations, while climate change hits marginalized communities hardest. “It is past time for researchers to prioritize energy efficiency and cost to reduce negative environmental impact and inequitable access to resources,” they write.* Vero è che produrre modelli (stime dei parametri) per questo tipo di reti
richiede molta energia, ma pensiamoci: se questa fosse prodotta da fonti rinnovabili saremmo a nostro agio col fatto che solo OpenAI (si legga: Microsoft) può usare GPT-3? Io no, per dire.
No infatti i problemi sono 2, interconnessi... il fatto che non abbiamo agenda è per me il più grave. il fatto che c'è un certo impatto energetico fare un'AI sembrerebbe migliore di altre, è
Quanto alle DNN in genere, addestrarne una può essere una questione di ore o di giorni, ma tendenzialmente si tratta di operazioni 'una tantum': cambiare frequentemente questi modelli sarebbe un bel problema per il ciclo di vita delle applicazioni.
Ma è questo cambio frequente quello che la renderebbe più fair, stando a: *An AI model taught to view racist language as normal is obviously bad. The researchers, though, point out a couple of more subtle problems. One is that shifts in language play an important role in social change; the MeToo and Black Lives Matter movements, for example, have tried to establish a new anti-sexist and anti-racist vocabulary. An AI model trained on vast swaths of the internet won’t be attuned to the nuances of this vocabulary and won’t produce or interpret language in line with these new cultural norms.*
Non sappiamo ancora fare un'analisi accurata del rapporto costi\benefici (la ricerca è solo agli inizi), ma credo sia plausibile attendersi che, sotto il profilo energetico, non ci sia una specificità così marcata dell'AI rispetto - che so - allo streaming.
Non so fare le dovute proporzioni, ma la computazione dovrebbe essere un consumo maggiore del trasporto. In entrambi i casi comunque si possono operare ottimizzazioni, ma al momento non sono discusse per il loro impatto ambientale
Il rischio che va evitato, a mio avviso, è quello di abbaiare sotto l'albero sbagliato. Poi può essere che sia io a sbagliare, ma parliamone.
figurati, in prospettiva è chiaro che l'impatto dell'AI è una frazione delle altre industrie, era semplicemente la connessione che mi aveva sorpreso On Sun, 13 Dec 2020 at 20:44, Giovanna Sissa <sissa.giovanna@gmail.com> wrote:
https://codecarbon.io L’impostazione concettuale mi pare seria. Qualcuno lo conosce, lo ha utilizzato o ha intenzione di farlo?
Molto originale, grazie!
Il giorno mer 9 dic 2020 alle ore 23:57 Giacomo Tesio Non tanto perché dimostra come questi ricercatori vengano sbattuti fuori nonappena provano a assumere posizioni scomode, ma perché l'efficacia e la risonanza politica delle loro ricerche esplode proprio grazie alla prepotenza di chi cerca di (anonimamente!!!) insabbiarle.
Non so, mi rivedrei su di un link diretto tra "il paper" -> "il licenziamento". mi pare sia più un "il paper" -> "il rifiuto apparentemente ingiustificato forse sostenuto da problemi pregressi" -> "escalation rapida ed esplosiva". un caro saluto, C
participants (5)
-
Claudio Agosti -
Giacomo Tesio -
Giovanna Sissa -
Guido Vetere -
Stefano Quintarelli