quello che 'scarichi' sono i parametri della rete, ed è ovviamente un 'blob' molto molto oscuro

poi c'è l'architettura della rete, generalmente OS: se volete divertirvi a dare un'occhiata fate pure, ad es: https://github.com/ggerganov/llama.cpp

quanto ai dataset: alcuni modelli li prendono da quello che si trova in giro, ad es: CommonCrawl: https://commoncrawl.org/

soggetti come Meta e Google ovviamente usano quello che hanno in casa, non lo esportano, è vero, ma è anche vero che glielo diamo noi spontaneamente (ci finirà dentro anche questa mail)

quello che è veramente 'proprietario' sono le procedure di filtering e di alignment.

alcune sono note e fattibili con risorse pubbliche, si veda ad es. la Direct Preference Optimization (DPO): https://huggingface.co/collections/argilla/preference-datasets-for-dpo-656f0ce6a00ad2dc33069478

ma si vede a occhio nudo che quelli di DeepMind hanno di (molto) meglio: non so se si tratti del lavoro di schiavi sottopagati o di cose ottenute con garbo e prodigalità, in ogni caso è ben difficile che questa roba sia resa disponibile

hope that helps :-)

On Sat, 29 Jun 2024 at 09:11, 380° via nexa <nexa@server-nexa.polito.it> wrote:

Giacomo Tesio <giacomo@tesio.it> writes:

> Il 28 Giugno 2024 21:45:36 UTC, Guido Vetere <vetere.guido@gmail.com> ha scritto:
>> 'aperti' nel senso di huggingface, cioè li puoi scaricare e l'architettura
>> della rete è pubblica, ma certo che non ti danno i dataset di addestramento
>
> Perché "certo"?
>
> Da quando un binario opaco è "aperto" per il solo fatto di essere
> scaricabile?

perché dopo 30 anni a qualcuno piace _ancora_ giochicchiare
terminologicamente e siamo _ancora_ qui a menar il can per l'aia con
'sto cavolo di "aperto" ("open")... declinato in mille tipi di
virgolette, tipo 'aperto'; declinato in mille sensi, tipo "nel senso di
huggingface"

che noia.

saluti, 380°

--
380° (Giovanni Biscuolo public alter ego)

«Noi, incompetenti come siamo,
non abbiamo alcun titolo per suggerire alcunché»

Disinformation flourishes because many people care deeply about injustice
but very few check the facts. Ask me about <https://stallmansupport.org>.