Esatto, proprio questo è il punto. (BTW. 1,5 miliardi di parametri è circa il numero di sinapsi del cervello delle api, tanto per mettere le cose in prospettiva) Il modello di traduzione BERT EN-FR richiede 35 giorni di calcolo su dei server con 8 GPU. Solo chi dispone di enormi risorse di calcolo oggi può permettersi di fare AI allo SotA. "The results underscore another growing problem in AI, too: the sheer intensity of resources now required to produce paper-worthy results has made it increasingly challenging for people working in academia to continue contributing to research." OpenAI ha deciso che le servono molti più fondi, che chiederà al mercato, per crearsi la propria infrastruttura di calcolo perché già nel 2017 spendeva 8 milioni solo di cloud computing, oggi chissà quanto di più. https://www.wired.com/story/company-wants-billions-make-ai-safe-humanity/ Se non arriviamo a capire questo e non insistiamo perchè in Europa si finanzi la creazione di una instrastruttura di calcolo a disposizione dei ricercatori europei, non andremo da nessuna parte. Sarebbe l'obiettivo di CLAIRE (claire-ai.org) -- Beppe On 06/06/19 19:18, nexa-request@server-nexa.polito.it wrote:
GPT-2 è un modello di 1.5 miliardi di parametri addestrato su 8 milioni di pagine web... mica noccioline... On 06/06/2019 15:48, J.C. DE MARTIN wrote:
https://www.technologyreview.com/s/613630/training-a-single-ai-model-can-emi...