On 15 Oct 2023, at 12:00, nexa-request@server-nexa.polito.it wrote:

Tutto questo per dirvi cosa?
Che alla fine, per un informatico, il "chissà che altro" che rimanda a qualcosa di "magico", di segreto industriale, ecc. è inammissibile. E' vero, ad oggi è così, ma, come giustamente ha scritto Guido Vetere "fare un LLM di qualche decina di miliardi di parametri magari solo per l'italiano è alla portata perfino del più sgangherato dei carrozzoni pubblici italiani”.

Ben venga lo sviluppo di LLM alternativi.

Secondo me ciascuno dovrebbe avere il suo personale, calibrato sui suoi interessi e le conoscenze sui suoi campi di interesse: un po’ come ci sono tanti giornali che rappresentano diversi punti di vista.

C’è persino un progetto finanziato dalla CE che intende fare centinaia di LLM:

Peccato che il finanziamento totale sia di 4 milioni €, con cui ci si fa poco.

Mistral.AI, una startup francese, ha ottenuto 100 milioni di investimento e utilizza Leonardo di Cineca per sviluppare LLM:

Che sono sempre pochi rispetto a quanto spendono OpenAI, Google e Meta in risorse di calcolo.

Perché la questione di fondo, è quella delle “emergent abilities” che i LLM cominciano ad esibire quando superano una certa dimensione:

Ossia un modello diventa in grado di svolgere compiti per i quali non era stato allenato, come nei sistemi complessi.