On Wed, Jul 03, 2024 at 10:29:39AM +0200, Guido Vetere wrote:
> C'è poi un piccolo particolare che rende la nozione di 'Open Source'
> difficilmente applicabile ai LLM: se pure uno avesse tutti i dataset
> eccetera, gli mancherebbe ancora quel mesetto di GPU che serve per fare
> training anche di pochi miliardi di parametri. Cioè: servirebbe ancora
> Leonardo, o in alternativa un grosso conto in banca.

Questo è un argomento ricorrente e comprensibile, ma che personalmente
non condivido. Propongo alcuni (contro)argomenti:

- un dataset aperto permette (a costi molto inferiori a quelli di
  addestramento) di verificare cosa c'è dentro, per esempio, per
  verificare la presenza di eventuali bias di selezione

- in ambito software: che il codice sorgente del kernel Linux sia
  disponibile è un bene per tutta i suoi utilizzatori, compresi quelli
  che non hanno ne le competenze ne il tempo di capire come funziona o
  metterci mano

- in ambito hardware: l'esistenza di open hardware (che prevede che gli
  schemi di design siano liberamente disponibili) è un bene per tutti,
  anche se in pochi dispongono delle fabbriche per costruire microchip o
  (ancora più difficile) dei laboratori per verificare che il chip che
  hanno in mano corrisponde a quei design

Saluti
--
Stefano Zacchiroli . zack@upsilon.cc . https://upsilon.cc/zack  _. ^ ._
Full professor of Computer Science              o     o   o     \/|V|\/
Télécom Paris, Polytechnic Institute of Paris     o     o o    </>   <\>
Co-founder & CTO Software Heritage            o o o     o       /\|^|/\
https://twitter.com/zacchiro . https://mastodon.xyz/@zacchiro   '" V "'