Re: [nexa] Training a single AI model can emit as much carbon, as five cars in their lifetimes - MIT Technology Review
Esatto, proprio questo è il punto. (BTW. 1,5 miliardi di parametri è circa il numero di sinapsi del cervello delle api, tanto per mettere le cose in prospettiva) Il modello di traduzione BERT EN-FR richiede 35 giorni di calcolo su dei server con 8 GPU. Solo chi dispone di enormi risorse di calcolo oggi può permettersi di fare AI allo SotA. "The results underscore another growing problem in AI, too: the sheer intensity of resources now required to produce paper-worthy results has made it increasingly challenging for people working in academia to continue contributing to research." OpenAI ha deciso che le servono molti più fondi, che chiederà al mercato, per crearsi la propria infrastruttura di calcolo perché già nel 2017 spendeva 8 milioni solo di cloud computing, oggi chissà quanto di più. https://www.wired.com/story/company-wants-billions-make-ai-safe-humanity/ Se non arriviamo a capire questo e non insistiamo perchè in Europa si finanzi la creazione di una instrastruttura di calcolo a disposizione dei ricercatori europei, non andremo da nessuna parte. Sarebbe l'obiettivo di CLAIRE (claire-ai.org) -- Beppe On 06/06/19 19:18, nexa-request@server-nexa.polito.it wrote:
GPT-2 è un modello di 1.5 miliardi di parametri addestrato su 8 milioni di pagine web... mica noccioline... On 06/06/2019 15:48, J.C. DE MARTIN wrote:
https://www.technologyreview.com/s/613630/training-a-single-ai-model-can-emi...
d'accordo su tutto il resto, senza nessuna osservazione. On 07/06/2019 11:10, Giuseppe Attardi wrote:
(BTW. 1,5 miliardi di parametri è circa il numero di sinapsi del cervello delle api, tanto per mettere le cose in prospettiva)
su questo punto una osservazione invece la ho.. solo per ricordarci che un singolo neurone biologico e' esso stesso un "computer" analogico e che la corteccia non fa semplicemente fwd/back prop e che non abbiamo ipotesi solide sulle modalità di intervento del corpo striato e dell'amigdala nella formazione di pensieri... ciao!, s. -- reserve your meeting with me at http://cal.quintarelli.it
e aggiungo che nel nostro cervello vi sono mille miliardi di miliardi di sinapsi e scommetterei che presto i biologi dimostreranno che le sinapsi non sono solo canali di comunicazione fra neuroni ma elaborano informazione a loro volta. Raf Il 07/06/2019 22:35, Stefano Quintarelli ha scritto:
d'accordo su tutto il resto, senza nessuna osservazione.
On 07/06/2019 11:10, Giuseppe Attardi wrote:
(BTW. 1,5 miliardi di parametri è circa il numero di sinapsi del cervello delle api, tanto per mettere le cose in prospettiva)
su questo punto una osservazione invece la ho.. solo per ricordarci che un singolo neurone biologico e' esso stesso un "computer" analogico e che la corteccia non fa semplicemente fwd/back prop e che non abbiamo ipotesi solide sulle modalità di intervento del corpo striato e dell'amigdala nella formazione di pensieri...
ciao!, s.
Scusate, ma solo a me 8 milioni di pagine web sembrano un po' poco calibrare per 1.5 miliardi di parametri? Giacomo On 08/06/2019, armeo@mail.nexacenter.org <meo@polito.it> wrote:
e aggiungo che nel nostro cervello vi sono mille miliardi di miliardi di sinapsi e scommetterei che presto i biologi dimostreranno che le sinapsi non sono solo canali di comunicazione fra neuroni ma elaborano informazione a loro volta.
Raf
Il 07/06/2019 22:35, Stefano Quintarelli ha scritto:
d'accordo su tutto il resto, senza nessuna osservazione.
On 07/06/2019 11:10, Giuseppe Attardi wrote:
(BTW. 1,5 miliardi di parametri è circa il numero di sinapsi del cervello delle api, tanto per mettere le cose in prospettiva)
su questo punto una osservazione invece la ho.. solo per ricordarci che un singolo neurone biologico e' esso stesso un "computer" analogico e che la corteccia non fa semplicemente fwd/back prop e che non abbiamo ipotesi solide sulle modalità di intervento del corpo striato e dell'amigdala nella formazione di pensieri...
ciao!, s.
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
On Sat, Jun 08, 2019 at 09:26:34PM +0200, Giacomo Tesio wrote:
Scusate, ma solo a me 8 milioni di pagine web sembrano un po' poco calibrare per 1.5 miliardi di parametri?
Non conosco la topologia della rete in questione, ma in generale non c'è correlazione, dato che la maggior parte dei parametri vengono calibrati in parallelo (e quindi ognuno --- 1 parametro --- su 8 milioni di pagine). Il "tanto" o "poco" relativo alla dimensione del campione di allenamento è comunque fuorviante; il punto è se la capacità di "memoria" della rete (semplifico) è sufficiente per catturare l'informazione estraibile dal campione usato per il training o meno. -- Stefano Zacchiroli . zack@upsilon.cc . upsilon.cc/zack . . o . . . o . o Computer Science Professor . CTO Software Heritage . . . . . o . . . o o Former Debian Project Leader & OSI Board Director . . . o o o . . . o . « the first rule of tautology club is the first rule of tautology club »
participants (5)
-
armeo＠mail.nexacenter.org -
Giacomo Tesio -
Giuseppe Attardi -
Stefano Quintarelli -
Stefano Zacchiroli