Mistral ha ricevuto un primo investimento di 120 milioni per sviluppare sistemi di AI, il governo italiano ha investito 120 milioni per l’acquisto di Leonardo (raddoppiando i 120 della Commissione Europea).

Qual è stata la decisione più furba?

BTW, Leonardo è semplicemente un prodotto commerciale di Athos, industria francese. A quel tempo, consultando il MISE, cercai di suggerire che il CINECA facesse uno sforzo per progettare un’architettura di computer dedicato all’AI.

Per gennaio sono stato convocato di nuovo per un’audizione sull’AI alla Camera e sono andato a rileggere il mio intervento analogo al Senato del 2020.

Dicevo cose che state dicendo adesso: che ci vorrebbe un’iniziativa di dimensione europea sull’AI, la chiamavo un CERN for AI e citavo le capacità di GPT-3 come indicatore di possibili traguardi.

https://www.senato.it/Leg18/3557?indagine=1809

Comunque, Mixtral7B è un primo risultato promettente. Il confronto con gli altri modelli SotA però è un po’ deludente.

https://arxiv.org/pdf/2312.11444.pdf

Per accrescere la dimensione del modello, occorre arrivare a utilizzare oltre un miliardo di MIPS, che nemmeno Allen Artificial Intelligenge riesce a permettersi per allenare il loro modello OLMo.

Ossia, Leonardo andrebbe interamente dedicato ad allenare un LLM per circa un mese.

Qualcuno deve pagare per tutte quelle risorse e per l’energia elettrica.

Inoltre la strada da percorrere porta verso i modelli multimodali, tipo Gemini, e lì il compito si fa ancora più arduo.

Se i francesi non fossero così sciovinisti e lo stesso i tedeschi e gli italiani, si dovrebbero mettere tutti insieme per lavorare ad un obiettivo comune.

OpenAI ha 770 dipendenti, circa 200 hanno firmato l’articolo su GPT-4. La foto del team di Mistral mostra una dozzina di persone.

BTW, la Commissione ha annunciato un finanziamento di 100 milioni per un progetto sui LLM nell’ambito dell’iniziativa Interesting Projects of Common European Interest, di cui è capofila Tiscali (https://ec.europa.eu/commission/presscorner/detail/en/IP_23_6246).

C’è poi un finanziamento di 4 milioni (H4LM) per fare una raccolta di testi multilingue per allenare LLM (https://hplt-project.org/)

— Beppe

On 27 Dec 2023, at 09:06, nexa-request@server-nexa.polito.it wrote:

From: Damiano Verzulli <damiano@verzulli.it>
To: "nexa@server-nexa.polito.it" <nexa@server-nexa.polito.it>
Subject: [nexa] AI/LLM a trazione europea...
Message-ID: <42dcc85e-6452-4255-9ddd-7f67a1e6fdae@verzulli.it>
Content-Type: text/plain; charset="utf-8"; Format="flowed"

In questo gruppo si parla spesso di AI/LLM e... spesso ho notato mani
alzate a mo' di: "Eh! Ma servono 'risorse'... servono 'soldi'....
servono 'infrastrutture'... perché senza, non si va da nessuna parte".

Ricordo, ad esempio, un paio di thread incentrati sul fatto che UniPisa
avesse investito ~1M€ (se ricordo bene...) per acquistare un paio di
"cluster" [di cui almeno uno acquistato con fondi PNRR], specializzati
sul GPU-computing....

Bene... dico questo perché qualche settimana fa ho incrociato un POST di
Vincenzo Di Nicola [1] il quale evidenziava come Mistral [2], una
startup francese partita a maggio 2023, fosse valutata 2G€ e... stesse
rapidissimamente diventando una entita' di spicco nel panorama AI mondiale.

Ripeto: è una startup francese.

La cosa che piu' di tutte mi ha colpito, pero', è un'altra. Vincenzo
scriveva: "...E Mistral, in pochi mesi, ha gia’ prodotto un LLM
addestrato velocemente grazie al nostro supercomputer Leonardo del
Cineca..."

Ecco: finalmente trovavo una evidenza concreta di un utilizzo di risorse
--finanziate e gestite dal nostro Paese-- che andasse a beneficio di
altre risorse/entita'... mainstream e, soprattutto, made-in-Europe.

La notizia mi era nuova... e quindi ho chiesto a Vincenzo una conferma.
Oltre a confermarla, mi ha girato un ulteriore riferimento (paywalled
[3]) e, successivamente è anche andato a farsi un giro in Cineca [4]

Cercando in giro, ho trovato quest'altra fonte ([5] in francese) che
cita sia Leonardo che EuroHPC...

Insomma: a dispetto di quanto si pensi nei corridoi di molti nostri
Atenei... è perfettamente possibile utilizzare Leonardo per addrestare
un LLM... e tra l'altro in tempi rapidissimi.

Mi chiedo perché dei Francesi abbiano potuto farlo... e degli Italiani
no. Ma è un dettaglio :-)

Un saluto,
DV

[1]
https://www.linkedin.com/posts/dinicola_openai-rival-mistral-nears-2-billion-value-activity-7137853575195410432-qVc1
[2] https://mistral.ai/
[3]
https://www.theinformation.com/articles/why-do-we-need-an-openai-of-europe
[4]
https://www.linkedin.com/posts/dinicola_supercomputer-francescoubertini-cineca-activity-7139201768969736192-kCmD
[5] https://www.silicon.fr/mistral-ai-llm-471793.html

--
Damiano Verzulli
e-mail:damiano@verzulli.it
---