+1
Sottolineo la questione del compute divide che sta emergendo tra coloro che possono permettersi le risorse per sviluppare grossi modelli DNN e chi no.
Questo articolo fornisce dei numeri:
The De-democratization of AI: Deep Learning and the Compute Divide in Artificial Intelligence Research
--
Date: Sun, 13 Dec 2020 23:13:11 +0100From: Guido Vetere <vetere.guido@gmail.com>To: nexa@server-nexa.polito.itSubject: Re: [nexa] una riflessione sul lavoro di Timnit Gebru ed una prospettiva che mi ha sorpresoMessage-ID: <CAD3hHB4v6skE43hvto+NjpN0qjyNS-uSM90pqGmcy4L-SkMJCA@mail.gmail.com>Content-Type: text/plain; charset="utf-8"Ciao Giovanna, e salve a tutt[i|e] da un vecchio neo-iscritto a questa ml.Riprendo qui questa discussione che s'era propagata per la rete producendochissà quanta CO2 :-)A leggere attentamente quello che la Gebru et al. hanno scritto e che haprovocato la reazione di Google, a mio parere si evince che lapreoccupazione non sia tanto legata all'inquinamento prodottodall'addestramento delle Deep Neural Network (DNN), ma al fatto che uncerto tipo di reti (miliardi di parametri e addestramento nonsupervisionato su petabyte di dati, es. GPT-3) sia di fatto appannaggioesclusivo dei Big Tech (detti pudicamente 'wealthy organizations') erafforzino il loro monopolio e il loro potere.Vero è che produrre modelli (stime dei parametri) per questo tipo di retirichiede molta energia, ma pensiamoci: se questa fosse prodotta da fontirinnovabili saremmo a nostro agio col fatto che solo OpenAI (si legga:Microsoft) può usare GPT-3? Io no, per dire.Quanto alle DNN in genere, addestrarne una può essere una questione di oreo di giorni, ma tendenzialmente si tratta di operazioni 'una tantum':cambiare frequentemente questi modelli sarebbe un bel problema per il ciclodi vita delle applicazioni. Non sappiamo ancora fare un'analisi accuratadel rapporto costi\benefici (la ricerca è solo agli inizi), ma credo siaplausibile attendersi che, sotto il profilo energetico, non ci sia unaspecificità così marcata dell'AI rispetto - che so - allo streaming.Produrre qualsiasi bene o servizio ha un impatto ambientale, possiamo inscienza e coscienza dire che l'AI è particolarmente insostenibile perl'ambiente? Più ad esempio del consumo di carne bovina? Francamente,stento a crederlo.Il rischio che va evitato, a mio avviso, è quello di abbaiare sottol'albero sbagliato. Poi può essere che sia io a sbagliare, ma parliamone.Infine, queste DNN bulimiche non sono l'unico modo, e forse neanche ilmigliore, per ottenere certe funzionalità, ma di questo, se volete, alleprossime puntate.Buona serata a tutt[e|i]GuidoOn Sun, 13 Dec 2020 at 20:44, Giovanna Sissa <sissa.giovanna@gmail.com>wrote:Personalmente ritengo che ?AI e sostenibilità ambientale? possano
essere resi compatibili, ma non senza una precisa volontà e uno sforzo
adeguato. Anche nella ricerca. Il primo passo è ammettere l?esistenza
del problema. Il secondo è mettersi d?accordo su come quantificarlo.
A proposito dell'impatto ambientale che deriva dal software (flashback
n.4 e algoritmi di deep learning) e del mistero che aleggia intorno
alla sua quantificazione, questo recentissimo progetto si propone di
misurare le emissioni di CO2 prodotte dal software mentre lo si sta
sviluppando:
https://codecarbon.io
L?impostazione concettuale mi pare seria. Qualcuno lo conosce, lo ha
utilizzato o ha intenzione di farlo?
Giovanna Sissa
Il giorno mer 9 dic 2020 alle ore 23:57 Giacomo Tesio
<giacomo@tesio.it> ha scritto:
Ciao Claudio,
ti ringrazio per questa attenta ed approfondita riflessione e perché la
prospettiva che proponi mi ha fatto riflettere ed approfondire.
On Wed, 9 Dec 2020 02:37:58 +0100
Claudio Agosti <claudio.agosti@logioshermes.org> wrote:
Quando ho letto di Timnit Gebru licenziata da Google ho
pregiudizievolmente pensato che, poichè lei stesse in AI Ethics di
Google, fosse una foglia di fico. [...]
Personalmente condivido questo "pregiudizio" e francamente mi sembra
che il licenziamento della dottoressa Gebru confermi questa ipotesi.
Non tanto perché dimostra come questi ricercatori vengano sbattuti
fuori nonappena provano a assumere posizioni scomode, ma perché
l'efficacia e la risonanza politica delle loro ricerche esplode
proprio grazie alla prepotenza di chi cerca di (anonimamente!!!)
insabbiarle.
E invece leggendo l'articolo e la spiegazione del paper (
https://www.technologyreview.com/2020/12/04/1013294/google-ai-ethics-research-paper-forced-out-timnit-gebru/
)
[...]
L'ho letto anche io, ma... non è il paper in questione.
E boh... non mi sorprenderei se sfumature rilevanti fossero sfuggite.
flashback n.1: 2016
Google e Facebook rivoluzionano l'uso delle artificial intelligence
quando rilasciano rispettivamente Tensor Flow e Caffe2|pyTorch. Sono
dei framework open source di deep learning. Siccome sono open source
è chiaro che non sia lì l'intelligenze [...] il sottotesto mai messo
in discussione è: "per avere un'AI accurata devi avere un sacco di
dati". o anche "La tua azienda può avere un'ottima AI, se e solo se
collezioni e studi grandi quantità di dati". E' un modo per
legittimare e consolidare questo trend intrinseco del capitalismo
della sorveglianza.
Ottima sintesi. :-)
Non solo questo passaggio: vale per ciascuno dei tuoi flashback.
Definizione del problema irrisolto
Comprendere e rispettare le sfumature culturali, linguistiche, delle
demografiche non dominanti. Possiamo anche fare una riflessione
geografica: se la capitale culturale usa un certo slang, questo sarà
riproposto alle periferie, risultando inevitabilmente meno adeguato,
inclusivo, se non addirittura fuori luogo o colonizzatore.
Non parliamo poi della chiara impossibilità che avrebbe un sistema
così egemonico a rispettare le differenze personali.
Detto così sembra un bug, mentre è una feature!
L'obiettivo è segmentare la popolazione in gruppi omogenei e distinti,
sufficientemente vasti da influenzare la narrazione e l'agenda politica
delle organizzazioni locali, ma senza mai costituire una massa critica
in grado di mettere in discussione il sistema.
I gruppi minoritari che possono essere interessanti per queste
organizzazioni sono quelli vasti. Dei gruppi costituiti da 100 o 100
persone al mondo non gli frega niente. Non avranno mai alcuna rilevanza.
Anche se questi gruppi magari sono decine di migliaia.
E' un po' come la ricerca farmaceutica nell'ambito delle malattie rare.
Dicembre 2020 (il paper ed il licenziamento)
Timnit Gebru stava lavorando ad un paper che spiegava l'impatto
ambientale dell'addestramento dei modelli:
https://www.technologyreview.com/2020/12/04/1013294/google-ai-ethics-research-paper-forced-out-timnit-gebru/
se la teoria di Mark Z. fosse anche quella perseguita da Google, per
la quale abbassare i bias significa addestrare modelli costantemente,
per ogni contesto culturale, tenendo in considerazione ogni
differenza sensibile che avrebbe potuto urtare gli utenti, si avrebbe
avuto un dispendio energetico significativo.
Si ha anche, inevitabilmente, una imperscrutabile black box che nessuno
può permettersi di analizzare semplicemente perché continuamente
cangiante. Fra l'evitare i danni alle minoranze ed evitare il biasimo
per questi danni, quale credi sia la priorità di queste aziende?
In pratica: "AI etica" e sostenibilità ambientale sono incompatibili.
Al di là dell'etica: Alpha Zero è un solitario! :-D
Ma allo stato attuale, il "Deep Learning" è insostenibile anche da una
prospettiva socio-politica perché i dati necessari alla programmazione
statistica costituiscono di per sé stessi esternalità negative: una
volta sfuggiti dal controllo degli emittenti, possono danneggiare la
socità in moltissimi modi.
E questo, davanti all'inevitabile catastrofe climatica, è un assioma
inaccettabile per Google, no?
Forse.
Ma la mia intuizione è che ci sia molto di più dietro questo autogol.
Voglio dire, questo collegamento (che per la verità non mi suona
particolarmente nuovo) spiega la segretezza sull'autore dei feedback che
imponevano la ritrattazione?
Se ciò che temono in Google è biasimo per il consumo di energia, allora
i costi energetici stimati in accademia deve essere di due o tre ordini
di grandezza inferiore a quelli effettivamente affrontati da Google.
Se quello fosse il problema, allora la dirigenza di Google teme che si
scopra qualcosa di MOOOLTOOO più scomodo della propria responsabilità
nei confronti della catastrofe climatica imminente.
Qualcosa che magari potrebbe costituire concorrenza sleale?
questa donna e le sue ricerche meritano il rispetto di chi
dall'interno di una corporation stava per sollevare un deadlock
logico che ancora non si era visto, e che connette due problemi
politici complessi attualmente irrisolti.
Vero.
Ma ciò non significa che non fosse una "impiegata trofeo" (un token,
come dicevi) assunto per fare ethics washing. Cosa che rimane vera per
tutti i suoi colleghi nel gruppo di AI Ethics. Colleghi che perdono
qualsiasi credibilità scientifica nel momento in cui accettano di
sottostare alla censura di Google. Cos'altro accetteranno domani?
Quanto alla dottoressa Gebru, invece, le sue ricerche acquisteranno
notevole visibilità PROPRIO perché è stata vittima del licenziamento.
Da adesso in poi non avrà accesso ai dati come quando era in Google.
D'altro canto, essendo dotata di un'intelligenza naturale, quanto ha
visto e vissuto le potrebbe essere più che sufficiente.
Giacomo
_______________________________________________
nexa mailing list
nexa@server-nexa.polito.it
https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
_______________________________________________