quello che 'scarichi' sono i parametri della rete, ed è ovviamente un 'blob' molto molto oscuro poi c'è l'architettura della rete, generalmente OS: se volete divertirvi a dare un'occhiata fate pure, ad es: https://github.com/ggerganov/llama.cpp quanto ai dataset: alcuni modelli li prendono da quello che si trova in giro, ad es: CommonCrawl: https://commoncrawl.org/ soggetti come Meta e Google ovviamente usano quello che hanno in casa, non lo esportano, è vero, ma è anche vero che glielo diamo noi spontaneamente (ci finirà dentro anche questa mail) quello che è veramente 'proprietario' sono le procedure di filtering e di alignment. alcune sono note e fattibili con risorse pubbliche, si veda ad es. la Direct Preference Optimization (DPO): https://huggingface.co/collections/argilla/preference-datasets-for-dpo-656f0... ma si vede a occhio nudo che quelli di DeepMind hanno di (molto) meglio: non so se si tratti del lavoro di schiavi sottopagati o di cose ottenute con garbo e prodigalità, in ogni caso è ben difficile che questa roba sia resa disponibile hope that helps :-) G. On Sat, 29 Jun 2024 at 09:11, 380° via nexa <nexa@server-nexa.polito.it> wrote:
Giacomo Tesio <giacomo@tesio.it> writes:
Il 28 Giugno 2024 21:45:36 UTC, Guido Vetere <vetere.guido@gmail.com> ha scritto:
'aperti' nel senso di huggingface, cioè li puoi scaricare e l'architettura della rete è pubblica, ma certo che non ti danno i dataset di addestramento
Perché "certo"?
Da quando un binario opaco è "aperto" per il solo fatto di essere scaricabile?
perché dopo 30 anni a qualcuno piace _ancora_ giochicchiare terminologicamente e siamo _ancora_ qui a menar il can per l'aia con 'sto cavolo di "aperto" ("open")... declinato in mille tipi di virgolette, tipo 'aperto'; declinato in mille sensi, tipo "nel senso di huggingface"
che noia.
saluti, 380°
-- 380° (Giovanni Biscuolo public alter ego)
«Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché»
Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.