Salve Marco Anselmo Giovanni, Il 29 Giugno 2024 07:06:57 UTC, <marcoc_maillist@marcoc.it> ha scritto:
On sab, 2024-06-29 at 07:00 +0000, Giacomo Tesio wrote:
Il 28 Giugno 2024 21:45:36 UTC, Guido Vetere <vetere.guido@gmail.com> ha scritto:
'aperti' nel senso di huggingface, cioè li puoi scaricare e l'architettura della rete è pubblica, ma certo che non ti danno i dataset di addestramento
Perché "certo"?
Da quando un binario opaco è "aperto" per il solo fatto di essere scaricabile?
Perché dovrebbe essere un binario? I dataset sono, per loro natura "in chiaro".
Tu hai trovato il dataset utilizzato per programmare statisticamente quelle matrici? Sarei curioso di studiarlo, modificarlo e ridistribuirlo. Un "LLM" è un eseguibile che una specifica macchina "virtuale", descritta da una architettura specifica può eseguire. Che l'architettura sia basata sulla riduzione di vettori (impropriamente detta "rete neurale artificiale) o su transistor, che si chiami LLaMA, x86 o RISC-V, è irrilevante. L'eseguibile può essere codificato in vari modi, in matrici di float in un csv, in esadecimale, in base 64, in base 2 etc... ma rimane opaco ed inintellegibile e dunque non "aperto" per qualsiasi definizione rilevante di "aperto", con o senza virgolette.
Diverso sarebbe se ti dessero l'LLM addestrato.
Su huggingface trovi il dataset sorgente? Mi passi il link diretto?
In questo caso, sarebbero "blob".
Se preferisci, ok. Ma si tratta di "blob eseguibili" (da una certa macchina), eseguibilità che il termine "blob" non rende particolarmente bene. Io utilizzo di solito "binario" per distinguerlo dal sorgente leggibile (scritto o selezionato, non importa) utilizzato per produrlo. Fatto sta che, senza sorgenti (dataset, fonti randomiche utilizzate durante il processo di compilazione etc...) un LLM è tanto "aperto" quanto è "asfaltato", "assolato", "marmoreo" o "puzzolente": possiamo attribuirgli qualsiasi aggettivo, pur di ignorare completamente il significato del termine usato. (come fa, in effetti, ogni LLM) Giacomo