On 16 Oct 2023, at 10:09, Guido Vetere <vetere.guido@gmail.com> wrote:


A parte la questione delle 'emergent abilities' che è alquanto controversa e a me fa venire la pelle d'oca (cosa potrebbe emergere? come facciamo a saperlo?) credo che la (vera) 'democratizzazione' (so to say) dei LLM sia un processo già in atto, e che per trarne benefici non serva tanto denaro, ma tanta volontà politica.

Ad esempio: sono convinto (su basi empiriche) che un Llama2 70B, ben fine-tunato (perdonatemi!), sia già adatto a tante cose come summarization, ner, topic analysis, ecc, (NB: compiti analitici, non 'stricto sensu' generativi), i quali potrebbero essere utilissimi per gestire meglio i sistemi informativi ad es. della PA.
Per fare queste cose semplici, bastano i word embeddings (vedi l’articolo di Collobert che ho citato).
È per fare tutto il resto che servono i LLM (dove Large sta, per definizione, oltre i 10^10 parametri).

Per mettere in esercizio e adattare un modello del genere 4M bastano e avanzano, senza neanche scomodare Leonardo e Cineca. Si potrà fare? Cioè: gli executive di MS, Google e Meta che finanziano le fondazioni dei politici che nominano i vertici della PA saranno d'accordo?

Per fare il fine tuning di Llama 2 70B, servono almeno 4 GPU Nvidia, solo per caricare il modello in memoria: poi si può usare LoRA per le modifiche.
Occorrono 4 giorni di elaborazione.
E un server con 4 GPU Nvidia costa intorno ai 40.000 €.

Del resto, delle due l’una: o i LLM sono insufficienti e criticati per i loro limiti, o persino quelli più piccoli sono meravigliosi.

— Beppe

Scusate lo sfogo aggressivo-passivo :-)

G.

 





On Mon, 16 Oct 2023 at 05:00, Giuseppe Attardi <attardi@di.unipi.it> wrote:


On 15 Oct 2023, at 12:00, nexa-request@server-nexa.polito.it wrote:

Tutto questo per dirvi cosa?
Che alla fine, per un informatico, il "chissà che altro" che rimanda a qualcosa di "magico", di segreto industriale, ecc. è inammissibile. E' vero, ad oggi è così, ma, come giustamente ha scritto Guido Vetere "fare un LLM di qualche decina di miliardi di parametri magari solo per l'italiano è alla portata perfino del più sgangherato dei carrozzoni pubblici italiani”.

Ben venga lo sviluppo di LLM alternativi.
Secondo me ciascuno dovrebbe avere il suo personale, calibrato sui suoi interessi e le conoscenze sui suoi campi di interesse: un po’ come ci sono tanti giornali che rappresentano diversi punti di vista.

C’è persino un progetto finanziato dalla CE che intende fare centinaia di LLM:

Peccato che il finanziamento totale sia di 4 milioni €, con cui ci si fa poco.
Mistral.AI, una startup francese, ha ottenuto 100 milioni di investimento e utilizza Leonardo di Cineca per sviluppare LLM:

Che sono sempre pochi rispetto a quanto spendono OpenAI, Google e Meta in risorse di calcolo.

Perché la questione di fondo, è quella delle “emergent abilities” che i LLM cominciano ad esibire quando superano una certa dimensione:
Ossia un modello diventa in grado di svolgere compiti per i quali non era stato allenato, come nei sistemi complessi.

— Beppe


_______________________________________________
nexa mailing list
nexa@server-nexa.polito.it
https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa