Carbon footprint of ML
Trasmetto per conoscenza (ambasciator non porta pene) la risposta di Google alle critiche sui costi energetici del ML: https://ai.googleblog.com/2022/02/good-news-about-carbon-footprint-of.html <https://ai.googleblog.com/2022/02/good-news-about-carbon-footprint-of.html> — Beppe
quanti di questi studi sono stati finanziati da G ? il problema con i finanziamenti non pienamente disclosed e' che ti erodono il trust nella ricerca citata da chi finanzia... On 24/02/22 13:03, Giuseppe Attardi wrote:
Trasmetto per conoscenza (ambasciator non porta pene) la risposta di Google alle critiche sui costi energetici del ML:
https://ai.googleblog.com/2022/02/good-news-about-carbon-footprint-of.html <https://ai.googleblog.com/2022/02/good-news-about-carbon-footprint-of.html>
— Beppe
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
On 24 Feb 2022, at 17:41, Stefano Quintarelli <stefano@quintarelli.it> wrote:
quanti di questi studi sono stati finanziati da G ?
Lo studio pubblicato su IEEE è *di* Google, in collaborazione con David Patterson, di Berkeley, un notissimo informatico, inventore del RISC. L’articolo ribatte a delle affermazioni simili a quelle che sono state discusse anche in questa lista: The answers are grim: Training such a model would cost US$100 billion and would produce as much carbon emissions as New York City does in a month. e tenta di Explain why published faulty estimates and extrapolations are 100x–100,000x higher than the real carbon footprints. Il blog cita un lavoro dall’Università del Massachusetts, che include Andrew McCallum, un professore che conosco personalmente, ed è finanziato da fondi pubblici oltre che dalla fondazione Chan Zuckerberg. Sappiamo bene che i modelli di Deep Learning continuano a crescere notevolmente di dimensioni: nel 2018 segnalai il problema a Cedric Villani, che stava.lavorando al rapporto Ai for Humanity per Macron, che rimase stupito delle mie previsioni. L’articolo sostiene che a fronte di questa crescita notevole, si riesce a contenere la crescita dei consumi con i miglioramenti introdotti nella tecnologia (algoritmi, TPU, efficienza dei datacenter) Tuttavia queste tecnologie rimangono appannaggio di pochi e rendono più difficile ad altri ricercatori di restare al passo. Sottolineo a questo proposito quanto dicono proprio in questo secondo articolo, dove chiedono la costituzione di risorse cloud pubbliche per la ricerca: Academic researchers need equitable access to computation resources. It is more cost effective for academic researchers, who often work for non-profit educational institutions and whose research is funded by government entities, to pool resources to build shared compute centers at the level of funding agencies, such as the U.S. National Science Foundation. Unlike money spent on cloud compute, however, that invested in centralized resources would continue to pay off as resources are shared across many projects. A government-funded academic compute cloud would provide equitable access to all researchers. https://arxiv.org/pdf/1906.02243.pdf Le tecnologia dell’AI avranno effetti dirompenti, e quindi dovremmo porci l’obiettivo di democratizzarla, ossia di renderla disponibile a tutti, investendo nel suo sviluppo e padroneggiandola, anziché stare a guardare e lamentarsi di quanto fanno gli altri. — Beppe
il problema con i finanziamenti non pienamente disclosed e' che ti erodono il trust nella ricerca citata da chi finanzia...
On 24/02/22 13:03, Giuseppe Attardi wrote:
Trasmetto per conoscenza (ambasciator non porta pene) la risposta di Google alle critiche sui costi energetici del ML: https://ai.googleblog.com/2022/02/good-news-about-carbon-footprint-of.html <https://ai.googleblog.com/2022/02/good-news-about-carbon-footprint-of.html> — Beppe _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Buongiorno a tutti, A questo riguardo vi segnalo questa iniziativa di cui faccio parte, capitanata da Leonardo Chiariglione https://mpai.community/ e in particolare il suo manifesto https://mpai.community/about/manifesto/ Grazie Andrea Basso
On 25 Feb 2022, at 14:22, D. Davide Lamanna <davide.lamanna@binarioetico.it> wrote:
On 25/02/22 12:23, Giuseppe Attardi wrote:
[...] Le tecnologia dell’AI avranno effetti dirompenti, e quindi dovremmo porci l’obiettivo di democratizzarla, ossia di renderla disponibile a tutti, investendo nel suo sviluppo e padroneggiandola, anziché stare a guardare e lamentarsi di quanto fanno gli altri. Lo penso anche io. Ma non vado molto oltre il pensarlo...
Non saprei da dove cominciare. Non vorrei occuparmene, non è il mio campo. Se ci fosse una iniziativa sensata, o anche solo un'idea convincente, sarei felice di supportarla con l'infrastruttura.
Penso che le persone siano (comprensibilmente) restie ad occuparsene. Forse temono il giudizio degli altri, anch'esso comprensibilmente severo. Le competenze esistenti sono al servizio di iniziative eticamente deprecabili.
Come se ne esce?
D.
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Ciao Beppe e Davide: Segnalo questo progetto, specificamente mirato, che mi pare concreto e sensato: https://www.codecarbon.io Consente di confrontare l'impronta di carbonio del training di differenti modelli di ML e dunque di ragionare in termini di impatto derivante proprio dall'impostazione del software: https://mlco2.github.io/codecarbon/model_examples.html E' tutto open source, ben documentato. L'artefice principale è Yoshua Bengio, dell'Università di Montreal. Mi sembra che si possa provare senza particolari difficoltà. Il riferimento concettuale che viene indicato è sempre: https://arxiv.org/pdf/1906.02243.pdf Giovanna Il giorno ven 25 feb 2022 alle ore 14:22 D. Davide Lamanna <davide.lamanna@binarioetico.it> ha scritto:
On 25/02/22 12:23, Giuseppe Attardi wrote:
[...] Le tecnologia dell’AI avranno effetti dirompenti, e quindi dovremmo porci l’obiettivo di democratizzarla, ossia di renderla disponibile a tutti, investendo nel suo sviluppo e padroneggiandola, anziché stare a guardare e lamentarsi di quanto fanno gli altri.
Lo penso anche io. Ma non vado molto oltre il pensarlo...
Non saprei da dove cominciare. Non vorrei occuparmene, non è il mio campo. Se ci fosse una iniziativa sensata, o anche solo un'idea convincente, sarei felice di supportarla con l'infrastruttura.
Penso che le persone siano (comprensibilmente) restie ad occuparsene. Forse temono il giudizio degli altri, anch'esso comprensibilmente severo. Le competenze esistenti sono al servizio di iniziative eticamente deprecabili.
Come se ne esce?
D.
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
participants (5)
-
Andrea Basso -
D. Davide Lamanna -
Giovanna Sissa -
Giuseppe Attardi -
Stefano Quintarelli