Grazie della segnalazione, la futura mission del Centro Italiano per l'Intelligenza artificiale dovrebbe tenere presenti questi aspetti che sono vitali per la democrazia... lavori in corso! Un caro saluto a tutti dl Il giorno mar 15 dic 2020 alle ore 11:17 Giuseppe Attardi < attardi@di.unipi.it> ha scritto:
+1
Sottolineo la questione del compute divide che sta emergendo tra coloro che possono permettersi le risorse per sviluppare grossi modelli DNN e chi no. Questo articolo fornisce dei numeri:
The De-democratization of AI: Deep Learning and the Compute Divide in Artificial Intelligence Research https://arxiv.org/pdf/2010.15581.pdf
--
On 13 Dec 2020, at 23:54, nexa-request@server-nexa.polito.it wrote:
Date: Sun, 13 Dec 2020 23:13:11 +0100 From: Guido Vetere <vetere.guido@gmail.com> To: nexa@server-nexa.polito.it Subject: Re: [nexa] una riflessione sul lavoro di Timnit Gebru ed una prospettiva che mi ha sorpreso Message-ID: <CAD3hHB4v6skE43hvto+NjpN0qjyNS-uSM90pqGmcy4L-SkMJCA@mail.gmail.com> Content-Type: text/plain; charset="utf-8"
Ciao Giovanna, e salve a tutt[i|e] da un vecchio neo-iscritto a questa ml.
Riprendo qui questa discussione che s'era propagata per la rete producendo chissà quanta CO2 :-)
A leggere attentamente quello che la Gebru et al. hanno scritto e che ha provocato la reazione di Google, a mio parere si evince che la preoccupazione non sia tanto legata all'inquinamento prodotto dall'addestramento delle Deep Neural Network (DNN), ma al fatto che un certo tipo di reti (miliardi di parametri e addestramento non supervisionato su petabyte di dati, es. GPT-3) sia di fatto appannaggio esclusivo dei Big Tech (detti pudicamente 'wealthy organizations') e rafforzino il loro monopolio e il loro potere.
Vero è che produrre modelli (stime dei parametri) per questo tipo di reti richiede molta energia, ma pensiamoci: se questa fosse prodotta da fonti rinnovabili saremmo a nostro agio col fatto che solo OpenAI (si legga: Microsoft) può usare GPT-3? Io no, per dire.
Quanto alle DNN in genere, addestrarne una può essere una questione di ore o di giorni, ma tendenzialmente si tratta di operazioni 'una tantum': cambiare frequentemente questi modelli sarebbe un bel problema per il ciclo di vita delle applicazioni. Non sappiamo ancora fare un'analisi accurata del rapporto costi\benefici (la ricerca è solo agli inizi), ma credo sia plausibile attendersi che, sotto il profilo energetico, non ci sia una specificità così marcata dell'AI rispetto - che so - allo streaming.
Produrre qualsiasi bene o servizio ha un impatto ambientale, possiamo in scienza e coscienza dire che l'AI è particolarmente insostenibile per l'ambiente? Più ad esempio del consumo di carne bovina? Francamente, stento a crederlo.
Il rischio che va evitato, a mio avviso, è quello di abbaiare sotto l'albero sbagliato. Poi può essere che sia io a sbagliare, ma parliamone.
Infine, queste DNN bulimiche non sono l'unico modo, e forse neanche il migliore, per ottenere certe funzionalità, ma di questo, se volete, alle prossime puntate.
Buona serata a tutt[e|i] Guido
On Sun, 13 Dec 2020 at 20:44, Giovanna Sissa <sissa.giovanna@gmail.com> wrote:
Personalmente ritengo che ?AI e sostenibilità ambientale? possano essere resi compatibili, ma non senza una precisa volontà e uno sforzo adeguato. Anche nella ricerca. Il primo passo è ammettere l?esistenza del problema. Il secondo è mettersi d?accordo su come quantificarlo. A proposito dell'impatto ambientale che deriva dal software (flashback n.4 e algoritmi di deep learning) e del mistero che aleggia intorno alla sua quantificazione, questo recentissimo progetto si propone di misurare le emissioni di CO2 prodotte dal software mentre lo si sta sviluppando: https://codecarbon.io L?impostazione concettuale mi pare seria. Qualcuno lo conosce, lo ha utilizzato o ha intenzione di farlo?
Giovanna Sissa
Il giorno mer 9 dic 2020 alle ore 23:57 Giacomo Tesio <giacomo@tesio.it> ha scritto:
Ciao Claudio,
ti ringrazio per questa attenta ed approfondita riflessione e perché la prospettiva che proponi mi ha fatto riflettere ed approfondire.
On Wed, 9 Dec 2020 02:37:58 +0100 Claudio Agosti <claudio.agosti@logioshermes.org> wrote:
Quando ho letto di Timnit Gebru licenziata da Google ho pregiudizievolmente pensato che, poichè lei stesse in AI Ethics di Google, fosse una foglia di fico. [...]
Personalmente condivido questo "pregiudizio" e francamente mi sembra che il licenziamento della dottoressa Gebru confermi questa ipotesi.
Non tanto perché dimostra come questi ricercatori vengano sbattuti fuori nonappena provano a assumere posizioni scomode, ma perché l'efficacia e la risonanza politica delle loro ricerche esplode proprio grazie alla prepotenza di chi cerca di (anonimamente!!!) insabbiarle.
E invece leggendo l'articolo e la spiegazione del paper (
https://www.technologyreview.com/2020/12/04/1013294/google-ai-ethics-researc... )
[...]
L'ho letto anche io, ma... non è il paper in questione.
E boh... non mi sorprenderei se sfumature rilevanti fossero sfuggite.
flashback n.1: 2016
Google e Facebook rivoluzionano l'uso delle artificial intelligence quando rilasciano rispettivamente Tensor Flow e Caffe2|pyTorch. Sono dei framework open source di deep learning. Siccome sono open source è chiaro che non sia lì l'intelligenze [...] il sottotesto mai messo in discussione è: "per avere un'AI accurata devi avere un sacco di dati". o anche "La tua azienda può avere un'ottima AI, se e solo se collezioni e studi grandi quantità di dati". E' un modo per legittimare e consolidare questo trend intrinseco del capitalismo della sorveglianza.
Ottima sintesi. :-)
Non solo questo passaggio: vale per ciascuno dei tuoi flashback.
Definizione del problema irrisolto
Comprendere e rispettare le sfumature culturali, linguistiche, delle demografiche non dominanti. Possiamo anche fare una riflessione geografica: se la capitale culturale usa un certo slang, questo sarà riproposto alle periferie, risultando inevitabilmente meno adeguato, inclusivo, se non addirittura fuori luogo o colonizzatore.
Non parliamo poi della chiara impossibilità che avrebbe un sistema così egemonico a rispettare le differenze personali.
Detto così sembra un bug, mentre è una feature!
L'obiettivo è segmentare la popolazione in gruppi omogenei e distinti, sufficientemente vasti da influenzare la narrazione e l'agenda politica delle organizzazioni locali, ma senza mai costituire una massa critica in grado di mettere in discussione il sistema.
I gruppi minoritari che possono essere interessanti per queste organizzazioni sono quelli vasti. Dei gruppi costituiti da 100 o 100 persone al mondo non gli frega niente. Non avranno mai alcuna rilevanza. Anche se questi gruppi magari sono decine di migliaia.
E' un po' come la ricerca farmaceutica nell'ambito delle malattie rare.
Dicembre 2020 (il paper ed il licenziamento)
Timnit Gebru stava lavorando ad un paper che spiegava l'impatto ambientale dell'addestramento dei modelli:
https://www.technologyreview.com/2020/12/04/1013294/google-ai-ethics-researc...
se la teoria di Mark Z. fosse anche quella perseguita da Google, per la quale abbassare i bias significa addestrare modelli costantemente, per ogni contesto culturale, tenendo in considerazione ogni differenza sensibile che avrebbe potuto urtare gli utenti, si avrebbe avuto un dispendio energetico significativo.
Si ha anche, inevitabilmente, una imperscrutabile black box che nessuno può permettersi di analizzare semplicemente perché continuamente cangiante. Fra l'evitare i danni alle minoranze ed evitare il biasimo per questi danni, quale credi sia la priorità di queste aziende?
In pratica: "AI etica" e sostenibilità ambientale sono incompatibili.
Al di là dell'etica: Alpha Zero è un solitario! :-D
Ma allo stato attuale, il "Deep Learning" è insostenibile anche da una prospettiva socio-politica perché i dati necessari alla programmazione statistica costituiscono di per sé stessi esternalità negative: una volta sfuggiti dal controllo degli emittenti, possono danneggiare la socità in moltissimi modi.
E questo, davanti all'inevitabile catastrofe climatica, è un assioma inaccettabile per Google, no?
Forse.
Ma la mia intuizione è che ci sia molto di più dietro questo autogol.
Voglio dire, questo collegamento (che per la verità non mi suona particolarmente nuovo) spiega la segretezza sull'autore dei feedback che imponevano la ritrattazione?
Se ciò che temono in Google è biasimo per il consumo di energia, allora i costi energetici stimati in accademia deve essere di due o tre ordini di grandezza inferiore a quelli effettivamente affrontati da Google.
Se quello fosse il problema, allora la dirigenza di Google teme che si scopra qualcosa di MOOOLTOOO più scomodo della propria responsabilità nei confronti della catastrofe climatica imminente.
Qualcosa che magari potrebbe costituire concorrenza sleale?
questa donna e le sue ricerche meritano il rispetto di chi dall'interno di una corporation stava per sollevare un deadlock logico che ancora non si era visto, e che connette due problemi politici complessi attualmente irrisolti.
Vero.
Ma ciò non significa che non fosse una "impiegata trofeo" (un token, come dicevi) assunto per fare ethics washing. Cosa che rimane vera per tutti i suoi colleghi nel gruppo di AI Ethics. Colleghi che perdono qualsiasi credibilità scientifica nel momento in cui accettano di sottostare alla censura di Google. Cos'altro accetteranno domani?
Quanto alla dottoressa Gebru, invece, le sue ricerche acquisteranno notevole visibilità PROPRIO perché è stata vittima del licenziamento.
Da adesso in poi non avrà accesso ai dati come quando era in Google. D'altro canto, essendo dotata di un'intelligenza naturale, quanto ha visto e vissuto le potrebbe essere più che sufficiente.
Giacomo _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
_______________________________________________
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
-- _________________________ don Luca Peyron Direttore Ufficio per la Pastorale Universitaria Arcidiocesi di Torino www.universitari.to.it via XX settembre 83, Torino tel. 011 5156239