Re: [nexa] 4M€: pochi? Tanti? dettagli, please....
L’ho detto perché sono pochi: l’obiettivo del progetto è di produrre sostanzialmente due cose: 1. Una raccolta di testi per l’apprendimento di LLM 2. Centinaia (100s) di modelli allenati (anche se il GANTT ne indica solo uno da completare in 18 mesi, anche se il dataset sarà disponibile dopo 12!) Il costo di allenare un LLM come GPT è stimato intorno ai $100 milioni. Fai il conto tu di quanti se ne possono allenare con 4 milioni (costo totale, non contributo UE). 4 milioni su tre anni per 8 partner fa 166.000€ a testa, sufficienti a pagare circa 3 ricercatori a partner. La lista dei contributori a GPT-4 ha oltre 300 firme: https://openai.com/contributions/gpt-4 La scala è quella dei progetti del CERN. — Beppe
On 16 Oct 2023, at 09:02, <nexa-request@server-nexa.polito.it> <nexa-request@server-nexa.polito.it> wrote:
From: Damiano Verzulli <damiano@verzulli.it <mailto:damiano@verzulli.it>> To: nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> Subject: [nexa] 4M€: pochi? Tanti? dettagli, please.... [Was: <IA, lavoro, immaginar>] Message-ID: <d98273cd-ccf1-4943-9831-bb162d15b30a@verzulli.it <mailto:d98273cd-ccf1-4943-9831-bb162d15b30a@verzulli.it>> Content-Type: text/plain; charset="utf-8"; Format="flowed"
Il 16/10/23 04:59, Giuseppe Attardi ha scritto:
[...] Peccato che il finanziamento totale sia di 4 milioni €, con cui ci si fa poco. [...]
4 milioni di €, *PUBBLICI*, sono una quantita' *ENORME* di denaro.
Mi sanguina il cuore ad osservare la "leggerezza" con la quale tale somma di denaro viene sminuita.
Perché sono pochi? Cosa cambierebbe, rispetto al progetto HPLT, se fossero di piu'? Ma, soprattutto, cosa "torna indietro", precisamente, HPLT, a fronte di quei 4M€.... soprattutto in considerazione del fatto che mi aspetto che i 4M€ sia una percentuale alta di quello che loro stessi hanno chiesto? Detto in altri termini: non solo i 4M€ a HPLT sono tantissimi... ma io, terzo, voglio pure capire BENISSIMO cosa ci hanno fatto / stanno facendo... (il sito [1], fortunatamente, aiuta)
Il 16/10/23 12:28, Giuseppe Attardi ha scritto:
L’ho detto perché sono pochi: l’obiettivo del progetto è di produrre sostanzialmente due cose:
1. Una raccolta di testi per l’apprendimento di LLM 2. Centinaia (100s) di modelli allenati (anche se il GANTT ne indica solo uno da completare in 18 mesi, anche se il dataset sarà disponibile dopo 12!)
aiuterebbe avere il testo "ufficiale" del progetto... dato che la differenza fra "100s" e "1" non è trascurabile... Sarebbe utile anche capire perché... se l'obiettivo è "palesemente impossibile" (come mi pare di intuire da quello che lei scrive), qualcuno, in EU, si sia prodigato per "buttare" 3.880.687,50 € [1] in questo progetto. In ogni caso, intuisco che siamo di fronte a un muro invalicabile: da parte mia, il sostenere che con 4M€ si possono fare UN SACCO di cose, come appunto il progetto HPLT dice di fare. Dall'altro, chi preferisce dire: "Servono piu' soldi. Per fare ChatGPT-4, 5, 6, 894... servono piu' soldi. Dateci i soldi" Temo che fin quando non si riuscira' a convincere qualcuno come me di quest'ultima tesi... sara' certamente impossibile convincere chi, quei soldi, dovrebbe cacciarli realmente (aka: la politica). Mi viene in mente Quintarelli, che citava Andreotti: "Non basta avere ragione. Bisogna che te la diano..." Mi fermo qua. Ho gia' abusato troppo del tempo di tutti. Saluti, DV [1] https://cordis.europa.eu/project/id/101070350 -- Damiano Verzulli e-mail:damiano@verzulli.it --- possible?ok:while(!possible){open_mindedness++} --- "...I realized that free software would not generate the kind of income that was needed. Maybe in USA or Europe, you may be able to get a well paying job as a free software developer, but not here [in Africa]..." -- Guido Sohne - 1973-2008 http://ole.kenic.or.ke/pipermail/skunkworks/2008-April/005989.html
participants (2)
-
Damiano Verzulli -
Giuseppe Attardi