Scusate se, rientrando, ritorno su questo tema per fare alcuni chiarimenti. La stima di 10^23 FLOPS, come qualcuno ha capito, è il conto totale dei FLOPS necessari per allenare GPT-3. Si tratta di stime, riportate ad esempio su https://www.hyro.ai/glossary/gpt-3/#:~:text=To%20be%20exact%2C%20GPT%2D3,amo...., e riguardano le risorse necessarie per UN SINGOLO run. I costi complessivi delle risorse sono stimati in diverse centinaia di milioni di $, in quanto occorrono diversi run, per non parlare dei modelli successivi, GPT-3.5 (ChatGPT) e GPT-4. E ovviamente le macchine adesso non sono ferme, ma stanno lavorando al prossimo modello, oltre che a fornire accesso al servizio (a pagamento). Prosegue sotto.

On 19 Jul 2023, at 10:37, nexa-request@server-nexa.polito.it wrote:

Date: Wed, 19 Jul 2023 16:07:06 +0200 From: Damiano Verzulli <damiano@verzulli.it <mailto:damiano@verzulli.it>> To: nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> Subject: [nexa] LLM (di serie "A"): possibili in Italia/Europa? [Era: nexa Digest, Vol 171, Issue 53] Message-ID: <737ccbae-8b9c-3adb-542d-259c837ce2ae@verzulli.it <mailto:737ccbae-8b9c-3adb-542d-259c837ce2ae@verzulli.it>> Content-Type: text/plain; charset="utf-8"; Format="flowed"

Il 19/07/23 13:30, Giuseppe Attardi ha scritto:

...

[...] Le risorse di calcolo per costruire GPT-3.5 sono stimate in 10^23 FLOPS per un costo di centinaia di milioni di $ Meta, per rilasciare i suoi modelli, ha costruito un Research Supercluster con 10.000 GPU Nvidia, che secondo Yann LeCun è già in overbooking.

Leggo da una fonte terza (Wikipedia) che "Leonardo" [1] ormai ha quasi un anno, è costato 240M€ e di picco fa 250 petaFLOPS (aka: ~10^17), anche grazie ai suoi 13.824 GPU-core.

La questione non è l’esistenza di cluster di server adatti allo sviluppo di LLM: ci sono quelli di Azure, che usa OpenAI, quelli di GCP che usa Google, quelli di AWS, quelli di Nvidia. Il Cineca è solo in parte diverso da questi, in quanto circa metà delle risorse sono concesse in uso a progetti selezionati ed approvati dallo stesso Cineca: https://leonardo-supercomputer.cineca.eu/access-leonardo-hpc-resources/ Attualmente la call è chiusa. Personalmente ho avuto approvato un piccolo progetto, che viene messo in esecuzione con priorità bassa rispetto ad altri. Anche Colab di Google mette a disposizione server con TPU per lo svolgimento di piccoli progetti: i miei studenti lo usano, ma si lamentano del fatto che le risorse non bastano, che i run vengono interrotti improvvisamente e vengono a chiedermi di usare altre risorse. Invece mi è stato rifiutato un progetto più grande per produrre un sistema di Neural Machine Translation multilingue, per uso in una collaborazione con la European Broadcasting Corporation. Per sviluppare LLM o AI allo stato dell’arte, i ricercatori di OpenAI, Google, Meta, X.AI e le nuove startup come Converse.AI o Anthropic AI hanno a disposizione un intero cluster. Ossia come se il Cineca mettesse a disposizione quasi tutto Leonardo per UN SINGOLO progetto o gruppo di progetti! E non sono soggetti all’approvazione di terzi. Quindi dovrebbe essere chi finanzia i progetti a mettere a disposizione le risorse per svolgerli, come fa ad esempio la NSF, fornendo crediti di calcolo cloud, per evitare asincronie e valutazioni separate. https://www.nsf.gov/pubs/2021/nsf21058/nsf21058.jsp

Leggo da altra fonte terza (Top500 [2]) che attualmente (06/2023) risulta 4° al mondo, come potenza di calcolo.

Leggo dal sito ufficiale [3] che: "Leonardo's main goals are [...] The computational power of Leonardo will boost scientific exellences and industrial strenght across Europe...."

Non si parla di IA/ML, né si accenna agli LLM. Ma faccio comunque fatica ad immaginare che queste tonnellate di ferro *NON* possano essere utilizzate dalla comunita' della ricerca Italiana (...magari, in modo coordinato con gli altri paesi EU, dove "giocattoli" simili sono comunque presenti) a questo scopo. Ovviamente non mi aspetto che parcheggiati davanti al Tecnolopolo ci siano una fila di TAXI, pronti a scattare all'ordine di Cineca, per "prelevare" i ricercatori in giro per l'Italia al fine di portarli al Tecnopolo... per conoscere il giocattolo e iniziare ad usarlo.

Come riportato sopra, il Cineca fa le sue call per progetti che utilizzino Leonardo. La gran parte delle risorse vanno ai progetti di fisica alte energie, come si desume dal Rapporto Annuale Cineca 2018.

Certo: se il dottorando X, o l'assegnista Y (o anche il Ricercatore Z o il docente K) sentono il bisogno di avere del ferro sul pianerottolo di fianco al loro studio, in UNIV [come accade in UniPI, ad esempio, con i sistemi NVIDIA qui discussi, qualche giorno fa]... allora il discorso cambia...

Non so di cosa parli: a UniPI io sono stato responsabile di un server con 4 GPU Nvidia P100 acquistato con fondi comuni di 5 gruppi di ricerca, che è installato nel Green Datacenter di S. Piero a Grado (che ho contribuito a progettare e realizzare), quando Cineca non aveva GPU a disposizione né parlava di ML e AI, ed è usato in condivisione al 100% 24h/365. Tra coloro che usano le mie GPU, ci sono ricercatori del progetto Virgo, che a quel tempo non le trovavano altrove. In generale, ho sempre parlato di un servizio cloud condivisibile con altri ricercatori europei, ma gestito dagli stessi ricercatori del settore, non da altri. Esattamente come il CERN decide da solo quali progetti sviluppare, e magari usa anche le risorse del Cineca, pagandole coi fondi propri. — Beppe PS. Ho avuto un ruolo di consulente del MISE al tempo della decisione di finanziare con 120 milioni € Leonardo, il maggiore finanziamento nazionale di EuroHPC, proprio sostenendo l’importanza di disporre di risorse per AI.

Un'ultima nota a chiusura: sono cosciente che fra 10^17 e 10^23 c'e' *MOLTA* differenza (a proposito: qual'e' la fonte di 10^23?). Prima di preoccuparmi di questo, pero', attenderei di vedere che quei 10^17 stiano lavorando almeno come 10^16 per un buon periodo di ore/mese. Dopodiché sarei pronto ad alzare la mano e chiedere qualcosa... di piu' performante.

Un saluto, DV

[1] https://en.wikipedia.org/wiki/Leonardo_(supercomputer) [2] https://www.top500.org/lists/top500/2023/06/ [3] https://leonardo-supercomputer.cineca.eu/

-- Damiano Verzulli e-mail: damiano@verzulli.it <mailto:damiano@verzulli.it> ---