Training a single AI model can emit as much carbon as five cars in their lifetimes - MIT Technology Review
https://www.technologyreview.com/s/613630/training-a-single-ai-model-can-emi... (Sent from my wireless device; please excuse brevity and typos (if any))
GPT-2 è un modello di 1.5 miliardi di parametri addestrato su 8 milioni di pagine web... mica noccioline... On 06/06/2019 15:48, J.C. DE MARTIN wrote:
https://www.technologyreview.com/s/613630/training-a-single-ai-model-can-emi...
(Sent from my wireless device; please excuse brevity and typos (if any)) _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
-- reserve your meeting with me at http://cal.quintarelli.it
On Thu, Jun 06, 2019 at 03:48:54PM +0200, J.C. DE MARTIN wrote:
https://www.technologyreview.com/s/613630/training-a-single-ai-model-can-emi...
Francamente considero questo tipo di articoli (sia il coverage giornalistico che il paper che c'è dietro, sul quale torno sotto) alla stregua di click bait. L'articolo (che è qua in full https://drive.google.com/file/d/1v3TxkqPuzvRfiV_RVyRTTFbHl1pZq7Ab/view anche se non si capisce dove sia stato pubblicato) dice:
Even when these expensive computational resources are available, model training also incurs a substantial cost to the environment due to the en- ergy required to power this hardware for weeks or months at a time. Though some of this energy may come from renewable or carbon credit-offset resources, the high energy demands of these models are still a concern since (1) energy is not currently derived from carbon-neural sources in many loca- tions, and (2) when renewable energy is available, it is still limited to the equipment we have to pro- duce and store it, and energy spent training a neu- ral network might better be allocated to heating a family’s home.
quindi lo "scandalo" qua non ha nulla di specifico al deep learning. È chiaro che le emissioni carbone vanno ridotte (prima) ed eliminate (poi) per qualsiasi tipo di bisogno energetico. In un mondo ideale carbon-free non ci sarebbe nulla di male a usare "tanta" energia per il training di un modello. E nel mentre, visto che non viviamo ancora in quel mondo ideale, non si capisce perché il training di quel modello debba essere considerato più futile di, che so, guardare i gattini su YouTube o "investire" energia nella produzione di armi. TL;DR: bof, tanto rumore per nulla. -- Stefano Zacchiroli . zack@upsilon.cc . upsilon.cc/zack . . o . . . o . o Computer Science Professor . CTO Software Heritage . . . . . o . . . o o Former Debian Project Leader & OSI Board Director . . . o o o . . . o . « the first rule of tautology club is the first rule of tautology club »
participants (3)
-
J.C. DE MARTIN -
Stefano Quintarelli -
Stefano Zacchiroli