A parte la questione delle 'emergent abilities' che è alquanto controversa e a me fa venire la pelle d'oca (cosa potrebbe emergere? come facciamo a saperlo?) credo che la (vera) 'democratizzazione' (so to say) dei LLM sia un processo già in atto, e che per trarne benefici non serva tanto denaro, ma tanta volontà politica.

Ad esempio: sono convinto (su basi empiriche) che un Llama2 70B, ben fine-tunato (perdonatemi!), sia già adatto a tante cose come summarization, ner, topic analysis, ecc, (NB: compiti analitici, non 'stricto sensu' generativi), i quali potrebbero essere utilissimi per gestire meglio i sistemi informativi ad es. della PA.

Per mettere in esercizio e adattare un modello del genere 4M bastano e avanzano, senza neanche scomodare Leonardo e Cineca. Si potrà fare? Cioè: gli executive di MS, Google e Meta che finanziano le fondazioni dei politici che nominano i vertici della PA saranno d'accordo?

Scusate lo sfogo aggressivo-passivo :-)

G.

 





On Mon, 16 Oct 2023 at 05:00, Giuseppe Attardi <attardi@di.unipi.it> wrote:


On 15 Oct 2023, at 12:00, nexa-request@server-nexa.polito.it wrote:

Tutto questo per dirvi cosa?
Che alla fine, per un informatico, il "chissà che altro" che rimanda a qualcosa di "magico", di segreto industriale, ecc. è inammissibile. E' vero, ad oggi è così, ma, come giustamente ha scritto Guido Vetere "fare un LLM di qualche decina di miliardi di parametri magari solo per l'italiano è alla portata perfino del più sgangherato dei carrozzoni pubblici italiani”.

Ben venga lo sviluppo di LLM alternativi.
Secondo me ciascuno dovrebbe avere il suo personale, calibrato sui suoi interessi e le conoscenze sui suoi campi di interesse: un po’ come ci sono tanti giornali che rappresentano diversi punti di vista.

C’è persino un progetto finanziato dalla CE che intende fare centinaia di LLM:
https://hplt-project.org/

Peccato che il finanziamento totale sia di 4 milioni €, con cui ci si fa poco.
Mistral.AI, una startup francese, ha ottenuto 100 milioni di investimento e utilizza Leonardo di Cineca per sviluppare LLM:
https://mistral.ai/news/announcing-mistral-7b/

Che sono sempre pochi rispetto a quanto spendono OpenAI, Google e Meta in risorse di calcolo.

Perché la questione di fondo, è quella delle “emergent abilities” che i LLM cominciano ad esibire quando superano una certa dimensione:
https://www.jasonwei.net/blog/emergence
Ossia un modello diventa in grado di svolgere compiti per i quali non era stato allenato, come nei sistemi complessi.

— Beppe


_______________________________________________
nexa mailing list
nexa@server-nexa.polito.it
https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa