A parte la questione delle 'emergent abilities' che è alquanto controversa e a me fa venire la pelle d'oca (cosa potrebbe emergere? come facciamo a saperlo?) credo che la (vera) 'democratizzazione' (so to say) dei LLM sia un processo già in atto, e che per trarne benefici non serva tanto denaro, ma tanta volontà politica. Ad esempio: sono convinto (su basi empiriche) che un Llama2 70B, ben fine-tunato (perdonatemi!), sia già adatto a tante cose come summarization, ner, topic analysis, ecc, (NB: compiti analitici, non 'stricto sensu' generativi), i quali potrebbero essere utilissimi per gestire meglio i sistemi informativi ad es. della PA. Per mettere in esercizio e adattare un modello del genere 4M bastano e avanzano, senza neanche scomodare Leonardo e Cineca. Si potrà fare? Cioè: gli executive di MS, Google e Meta che finanziano le fondazioni dei politici che nominano i vertici della PA saranno d'accordo? Scusate lo sfogo aggressivo-passivo :-) G. On Mon, 16 Oct 2023 at 05:00, Giuseppe Attardi <attardi@di.unipi.it> wrote:
On 15 Oct 2023, at 12:00, nexa-request@server-nexa.polito.it wrote:
Tutto questo per dirvi cosa? Che alla fine, per un informatico, il "chissà che altro" che rimanda a qualcosa di "magico", di segreto industriale, ecc. è inammissibile. E' vero, ad oggi è così, ma, come giustamente ha scritto Guido Vetere "fare un LLM di qualche decina di miliardi di parametri magari solo per l'italiano è alla portata perfino del più sgangherato dei carrozzoni pubblici italiani”.
Ben venga lo sviluppo di LLM alternativi. Secondo me ciascuno dovrebbe avere il suo personale, calibrato sui suoi interessi e le conoscenze sui suoi campi di interesse: un po’ come ci sono tanti giornali che rappresentano diversi punti di vista.
C’è persino un progetto finanziato dalla CE che intende fare centinaia di LLM: https://hplt-project.org/
Peccato che il finanziamento totale sia di 4 milioni €, con cui ci si fa poco. Mistral.AI, una startup francese, ha ottenuto 100 milioni di investimento e utilizza Leonardo di Cineca per sviluppare LLM: https://mistral.ai/news/announcing-mistral-7b/
Che sono sempre pochi rispetto a quanto spendono OpenAI, Google e Meta in risorse di calcolo.
Perché la questione di fondo, è quella delle “emergent abilities” che i LLM cominciano ad esibire quando superano una certa dimensione: https://www.jasonwei.net/blog/emergence Ossia un modello diventa in grado di svolgere compiti per i quali non era stato allenato, come nei sistemi complessi.
— Beppe
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa