- nexa - server-nexa.polito.it

Re: [nexa] Scorza: "AI, è ora di difendere i nostri dati dalla raccolta massiva: ecco come" - Agenda Digitale

by Antonio

> Segnalo questo articolo di Guido Scorza di cui non riesco a cogliere > pienamente, per mia ignoranza, tutte le implicazioni, ma che mi sembra > rilevante anche per il ruolo attuale dell’autore. Aggiungo che Guido Scorza ha parlato recentemente di AI e Diritto in questo webinar di un'ora. https://www.giurdanella.it/ora-legale-seconda-puntata-intelligenza-artifici… Ciao, A.

June 29, 2024

Re: [nexa] una "gemma" da Google

by Giacomo Tesio

Salve Marco Anselmo Giovanni, Il 29 Giugno 2024 07:06:57 UTC, <marcoc_maillist(a)marcoc.it> ha scritto: > On sab, 2024-06-29 at 07:00 +0000, Giacomo Tesio wrote: > > Il 28 Giugno 2024 21:45:36 UTC, Guido Vetere <vetere.guido(a)gmail.com> ha > > scritto: > > > 'aperti' nel senso di huggingface, cioè li puoi scaricare e l'architettura > > > della rete è pubblica, ma certo che non ti danno i dataset di addestramento > > > > Perché "certo"? > > > > Da quando un binario opaco è "aperto" per il solo fatto di essere scaricabile? > > Perché dovrebbe essere un binario? I dataset sono, per loro natura "in chiaro". Tu hai trovato il dataset utilizzato per programmare statisticamente quelle matrici? Sarei curioso di studiarlo, modificarlo e ridistribuirlo. Un "LLM" è un eseguibile che una specifica macchina "virtuale", descritta da una architettura specifica può eseguire. Che l'architettura sia basata sulla riduzione di vettori (impropriamente detta "rete neurale artificiale) o su transistor, che si chiami LLaMA, x86 o RISC-V, è irrilevante. L'eseguibile può essere codificato in vari modi, in matrici di float in un csv, in esadecimale, in base 64, in base 2 etc... ma rimane opaco ed inintellegibile e dunque non "aperto" per qualsiasi definizione rilevante di "aperto", con o senza virgolette. > Diverso sarebbe se ti dessero l'LLM addestrato. Su huggingface trovi il dataset sorgente? Mi passi il link diretto? > In questo caso, sarebbero "blob". Se preferisci, ok. Ma si tratta di "blob eseguibili" (da una certa macchina), eseguibilità che il termine "blob" non rende particolarmente bene. Io utilizzo di solito "binario" per distinguerlo dal sorgente leggibile (scritto o selezionato, non importa) utilizzato per produrlo. Fatto sta che, senza sorgenti (dataset, fonti randomiche utilizzate durante il processo di compilazione etc...) un LLM è tanto "aperto" quanto è "asfaltato", "assolato", "marmoreo" o "puzzolente": possiamo attribuirgli qualsiasi aggettivo, pur di ignorare completamente il significato del termine usato. (come fa, in effetti, ogni LLM) Giacomo

June 29, 2024

Re: [nexa] una "gemma" da Google

by Guido Vetere

quello che 'scarichi' sono i parametri della rete, ed è ovviamente un 'blob' molto molto oscuro poi c'è l'architettura della rete, generalmente OS: se volete divertirvi a dare un'occhiata fate pure, ad es: https://github.com/ggerganov/llama.cpp quanto ai dataset: alcuni modelli li prendono da quello che si trova in giro, ad es: CommonCrawl: https://commoncrawl.org/ soggetti come Meta e Google ovviamente usano quello che hanno in casa, non lo esportano, è vero, ma è anche vero che glielo diamo noi spontaneamente (ci finirà dentro anche questa mail) quello che è veramente 'proprietario' sono le procedure di filtering e di alignment. alcune sono note e fattibili con risorse pubbliche, si veda ad es. la Direct Preference Optimization (DPO): https://huggingface.co/collections/argilla/preference-datasets-for-dpo-656f… ma si vede a occhio nudo che quelli di DeepMind hanno di (molto) meglio: non so se si tratti del lavoro di schiavi sottopagati o di cose ottenute con garbo e prodigalità, in ogni caso è ben difficile che questa roba sia resa disponibile hope that helps :-) G. On Sat, 29 Jun 2024 at 09:11, 380° via nexa <nexa(a)server-nexa.polito.it> wrote: > Giacomo Tesio <giacomo(a)tesio.it> writes: > > > Il 28 Giugno 2024 21:45:36 UTC, Guido Vetere <vetere.guido(a)gmail.com> > ha scritto: > >> 'aperti' nel senso di huggingface, cioè li puoi scaricare e > l'architettura > >> della rete è pubblica, ma certo che non ti danno i dataset di > addestramento > > > > Perché "certo"? > > > > Da quando un binario opaco è "aperto" per il solo fatto di essere > > scaricabile? > > perché dopo 30 anni a qualcuno piace _ancora_ giochicchiare > terminologicamente e siamo _ancora_ qui a menar il can per l'aia con > 'sto cavolo di "aperto" ("open")... declinato in mille tipi di > virgolette, tipo 'aperto'; declinato in mille sensi, tipo "nel senso di > huggingface" > > che noia. > > saluti, 380° > > -- > 380° (Giovanni Biscuolo public alter ego) > > «Noi, incompetenti come siamo, > non abbiamo alcun titolo per suggerire alcunché» > > Disinformation flourishes because many people care deeply about injustice > but very few check the facts. Ask me about <https://stallmansupport.org>. >

June 29, 2024

Scorza: "AI, è ora di difendere i nostri dati dalla raccolta massiva: ecco come" - Agenda Digitale

by de petra giulio

Segnalo questo articolo di Guido Scorza di cui non riesco a cogliere pienamente, per mia ignoranza, tutte le implicazioni, ma che mi sembra rilevante anche per il ruolo attuale dell’autore. Scorza: "AI, è ora di difendere i nostri dati dalla raccolta massiva: ecco come" - Agenda Digitale https://www.agendadigitale.eu/sicurezza/privacy/linsostenibile-scorrettezza…

June 29, 2024

Re: [nexa] una "gemma" da Google

by 380°

Giacomo Tesio <giacomo(a)tesio.it> writes: > Il 28 Giugno 2024 21:45:36 UTC, Guido Vetere <vetere.guido(a)gmail.com> ha scritto: >> 'aperti' nel senso di huggingface, cioè li puoi scaricare e l'architettura >> della rete è pubblica, ma certo che non ti danno i dataset di addestramento > > Perché "certo"? > > Da quando un binario opaco è "aperto" per il solo fatto di essere > scaricabile? perché dopo 30 anni a qualcuno piace _ancora_ giochicchiare terminologicamente e siamo _ancora_ qui a menar il can per l'aia con 'sto cavolo di "aperto" ("open")... declinato in mille tipi di virgolette, tipo 'aperto'; declinato in mille sensi, tipo "nel senso di huggingface" che noia. saluti, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

June 29, 2024

Re: [nexa] una "gemma" da Google

by Marco A. Calamari

On sab, 2024-06-29 at 07:00 +0000, Giacomo Tesio wrote: > Il 28 Giugno 2024 21:45:36 UTC, Guido Vetere <vetere.guido(a)gmail.com> ha > scritto: > > 'aperti' nel senso di huggingface, cioè li puoi scaricare e l'architettura > > della rete è pubblica, ma certo che non ti danno i dataset di addestramento > > Perché "certo"? > > Da quando un binario opaco è "aperto" per il solo fatto di essere scaricabile? Perché dovrebbe essere un binario? I dataset sono, per loro natura "in chiaro". Diverso sarebbe se ti dessero l'LLM addestrato. In questo caso, sarebbero "blob".

June 29, 2024

Re: [nexa] una "gemma" da Google

by 380°

Buongiorno, Guido Vetere <vetere.guido(a)gmail.com> writes: [...] > Google ha rilasciato gemma2, un modello 'aperto' da soli 9B (gira pressoché > ovunque) che sembra (a prima vista) sorprendentemente buono a prima vista ogni "sparatore a caso di stronzate" sembra "sorprendentemente buono", anche quelli umani [...] > You: Dai un giudizio storico su Mussolini, in italiano nientepopodimeno che un guidizio... e dov'è la commissione d'esame? :-) ...che si risolve in una ricerchina da terza media che un ragazzino mediamente sgamato avrebbe potuto scopiazzare tra wikipedia e skuola.net ma la cosa fondamentale che un adulto _deve_ pretendere da un ragazzino è che sappia spiegare /perché/ si è formato quel tal _giudizio_, su quali basi di _ricerca_ (storica in questo caso) quindi il giudizio, quello vero, non è quello del ragazzino, ma quello dell'adulto (che ha chiesto un giudizio al ragazzino) in altre parole: chissenefrega del _riassunto_ (non giudizio) che è capace di fare gemma2 dei testi che ha elaborato? intendiamoci: dal punto di vista informatico è interessante verificare che ci sono algoritmi e quindi programmi in grado di fare discreti riassunti dei testi elaborati, ma il "dibattito pubblico" NON sta in questi termini che poi, /sarebbe/ interessante dal punto di vista informatico ma essendo il tutto assolutamente NON riproducibile possiamo tranquillamente dire, dal punto di vista meta-scientifico, che si tratta di pseudo-informatica [...] > Notare lo stile cerchiobottista che denota un gran lavoro di 'filtering' e > 'alignment' (Google se lo può permettere, le nostre Università > evidentemente no). evidentemente alle nostre università non è ancora concesso lo schiavismo, almeno non così spudorato alzi la mano UN ricercatore in questa lista, uno solo, diposto a fare _almeno_ per 5 anni il "filtratore conto terzi" > Modelli 'aperti' (virgolette d'obbligo) di questo tipo continueranno a > uscire nei prossimi mesi. Di fatto, in prospettiva, chiunque potrà ospitare > un simil-GPT sul proprio server da 100 euro al mese, anche adattandolo > (fine-tuning) al proprio dominio. e quindi? Uno, nessuno e centomila :-D il motto potrebbe essere "più stronzate per tutti!"... sia chiaro, io sarei _entusiasta_ se chiunque con un minimo di capacità fosse in grado di sviluppare una fabbrica di stronzate (fake news?) da 100€/mese ...peccato che NON essendo riproducibile, quel modello 'aperto', nonostante il "fine tuning" (chi avrà abbastanza schia... voglia di farlo?), continuerà a ripetere più o meno _le stesse_ stronz... ops: riassunti! BTW, quello che costa tanto non è l'hardware per gar girare il modello ma il "filtering" (umano, vero?)... > Insomma, chi vuole 'distruggere' l'AI generativa dovrà andare un bel po' in > giro ... :-) mavà, si può fare benissimo da remoto, semplicemente diffondendo idee differenti (sull'intelligenza) :-) ...è sufficiente resistere un minuto di più di quelli che ne sono _rapiti_ e la /spacciano/ come soluzione e _contemporaneamente_ causa dei mali del mondo. poi, DOPO, finalmente si potrà tornare a parlare di informatica, quella _riproducibile_ (che quella NON riproducibile è _vaporware_) Saluti, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

June 29, 2024

Re: [nexa] una "gemma" da Google

by Giacomo Tesio

Il 28 Giugno 2024 21:45:36 UTC, Guido Vetere <vetere.guido(a)gmail.com> ha scritto: > 'aperti' nel senso di huggingface, cioè li puoi scaricare e l'architettura > della rete è pubblica, ma certo che non ti danno i dataset di addestramento Perché "certo"? Da quando un binario opaco è "aperto" per il solo fatto di essere scaricabile? Giacomo

June 29, 2024

Re: [nexa] una "gemma" da Google

by Guido Vetere

'aperti' nel senso di huggingface, cioè li puoi scaricare e l'architettura della rete è pubblica, ma certo che non ti danno i dataset di addestramento 😉 G. Il Ven 28 Giu 2024, 23:27 Giacomo Tesio <giacomo(a)tesio.it> ha scritto: > Salve Guido, > > Il 28 Giugno 2024 14:05:33 UTC, Guido Vetere <vetere.guido(a)gmail.com> ha > scritto: > > talvolta (per ragioni insondabili) i monopolisti USA fanno cose che > > sembrano socialmente utili > > "sembrano".. ottima scelta terminologica. :-D > Ma basta sapere di cosa si parla per riconoscere subito l'inganno. > > > Google ha rilasciato gemma2, un modello 'aperto' > > Dove posso scaricare i sorgenti? > > Ovvero, dove trovo i testi, le configurazioni, etc... per rieffetuare il > processo di programmazione > statistica che ha prodotto in output quelle matrici? > > > Modelli 'aperti' (virgolette d'obbligo)... > > In che senso? > Cosa intendi esattamente per "aperto" ? > > > Giacomo >

June 28, 2024

Re: [nexa] una "gemma" da Google

by Giacomo Tesio

Salve Guido, Il 28 Giugno 2024 14:05:33 UTC, Guido Vetere <vetere.guido(a)gmail.com> ha scritto: > talvolta (per ragioni insondabili) i monopolisti USA fanno cose che > sembrano socialmente utili "sembrano".. ottima scelta terminologica. :-D Ma basta sapere di cosa si parla per riconoscere subito l'inganno. > Google ha rilasciato gemma2, un modello 'aperto' Dove posso scaricare i sorgenti? Ovvero, dove trovo i testi, le configurazioni, etc... per rieffetuare il processo di programmazione statistica che ha prodotto in output quelle matrici? > Modelli 'aperti' (virgolette d'obbligo)... In che senso? Cosa intendi esattamente per "aperto" ? Giacomo

June 28, 2024