che in cose come Common Crawl ci sia mondezza lo sanno tutti, il problema è verificare se e come viene filtrata, e torniamo al tema della GPU. ma poi: che garanzie pensi di ottenere così? a meno che non setti la temperatura a zero, la generazione basata su LLM è aleatoria: lo stesso prompt può darti cose un po' diverse a seconda di come gli gira il random generator. continuo a non capire lo scopo di questo discorso G. On Wed, 3 Jul 2024 at 11:05, Stefano Zacchiroli <zack@upsilon.cc> wrote:
On Wed, Jul 03, 2024 at 10:29:39AM +0200, Guido Vetere wrote:
C'è poi un piccolo particolare che rende la nozione di 'Open Source' difficilmente applicabile ai LLM: se pure uno avesse tutti i dataset eccetera, gli mancherebbe ancora quel mesetto di GPU che serve per fare training anche di pochi miliardi di parametri. Cioè: servirebbe ancora Leonardo, o in alternativa un grosso conto in banca.
Questo è un argomento ricorrente e comprensibile, ma che personalmente non condivido. Propongo alcuni (contro)argomenti:
- un dataset aperto permette (a costi molto inferiori a quelli di addestramento) di verificare cosa c'è dentro, per esempio, per verificare la presenza di eventuali bias di selezione
- in ambito software: che il codice sorgente del kernel Linux sia disponibile è un bene per tutta i suoi utilizzatori, compresi quelli che non hanno ne le competenze ne il tempo di capire come funziona o metterci mano
- in ambito hardware: l'esistenza di open hardware (che prevede che gli schemi di design siano liberamente disponibili) è un bene per tutti, anche se in pochi dispongono delle fabbriche per costruire microchip o (ancora più difficile) dei laboratori per verificare che il chip che hanno in mano corrisponde a quei design
Saluti -- Stefano Zacchiroli . zack@upsilon.cc . https://upsilon.cc/zack _. ^ ._ Full professor of Computer Science o o o \/|V|\/ Télécom Paris, Polytechnic Institute of Paris o o o </> <\> Co-founder & CTO Software Heritage o o o o /\|^|/\ https://twitter.com/zacchiro . https://mastodon.xyz/@zacchiro '" V "'