July 2024 - nexa - server-nexa.polito.it

Re: [nexa] large language model e open washing (da: una "gemma" da Google)

by Guido Vetere

che in cose come Common Crawl ci sia mondezza lo sanno tutti, il problema è verificare se e come viene filtrata, e torniamo al tema della GPU. ma poi: che garanzie pensi di ottenere così? a meno che non setti la temperatura a zero, la generazione basata su LLM è aleatoria: lo stesso prompt può darti cose un po' diverse a seconda di come gli gira il random generator. continuo a non capire lo scopo di questo discorso G. On Wed, 3 Jul 2024 at 11:05, Stefano Zacchiroli <zack(a)upsilon.cc> wrote: > On Wed, Jul 03, 2024 at 10:29:39AM +0200, Guido Vetere wrote: > > C'è poi un piccolo particolare che rende la nozione di 'Open Source' > > difficilmente applicabile ai LLM: se pure uno avesse tutti i dataset > > eccetera, gli mancherebbe ancora quel mesetto di GPU che serve per fare > > training anche di pochi miliardi di parametri. Cioè: servirebbe ancora > > Leonardo, o in alternativa un grosso conto in banca. > > Questo è un argomento ricorrente e comprensibile, ma che personalmente > non condivido. Propongo alcuni (contro)argomenti: > > - un dataset aperto permette (a costi molto inferiori a quelli di > addestramento) di verificare cosa c'è dentro, per esempio, per > verificare la presenza di eventuali bias di selezione > > - in ambito software: che il codice sorgente del kernel Linux sia > disponibile è un bene per tutta i suoi utilizzatori, compresi quelli > che non hanno ne le competenze ne il tempo di capire come funziona o > metterci mano > > - in ambito hardware: l'esistenza di open hardware (che prevede che gli > schemi di design siano liberamente disponibili) è un bene per tutti, > anche se in pochi dispongono delle fabbriche per costruire microchip o > (ancora più difficile) dei laboratori per verificare che il chip che > hanno in mano corrisponde a quei design > > Saluti > -- > Stefano Zacchiroli . zack(a)upsilon.cc . https://upsilon.cc/zack _. ^ ._ > Full professor of Computer Science o o o \/|V|\/ > Télécom Paris, Polytechnic Institute of Paris o o o </> <\> > Co-founder & CTO Software Heritage o o o o /\|^|/\ > https://twitter.com/zacchiro . https://mastodon.xyz/@zacchiro '" V "' >

July 3, 2024

Re: [nexa] large language model e open washing (da: una "gemma" da Google)

by Stefano Zacchiroli

On Wed, Jul 03, 2024 at 10:29:39AM +0200, Guido Vetere wrote: > C'è poi un piccolo particolare che rende la nozione di 'Open Source' > difficilmente applicabile ai LLM: se pure uno avesse tutti i dataset > eccetera, gli mancherebbe ancora quel mesetto di GPU che serve per fare > training anche di pochi miliardi di parametri. Cioè: servirebbe ancora > Leonardo, o in alternativa un grosso conto in banca. Questo è un argomento ricorrente e comprensibile, ma che personalmente non condivido. Propongo alcuni (contro)argomenti: - un dataset aperto permette (a costi molto inferiori a quelli di addestramento) di verificare cosa c'è dentro, per esempio, per verificare la presenza di eventuali bias di selezione - in ambito software: che il codice sorgente del kernel Linux sia disponibile è un bene per tutta i suoi utilizzatori, compresi quelli che non hanno ne le competenze ne il tempo di capire come funziona o metterci mano - in ambito hardware: l'esistenza di open hardware (che prevede che gli schemi di design siano liberamente disponibili) è un bene per tutti, anche se in pochi dispongono delle fabbriche per costruire microchip o (ancora più difficile) dei laboratori per verificare che il chip che hanno in mano corrisponde a quei design Saluti -- Stefano Zacchiroli . zack(a)upsilon.cc . https://upsilon.cc/zack _. ^ ._ Full professor of Computer Science o o o \/|V|\/ Télécom Paris, Polytechnic Institute of Paris o o o </> <\> Co-founder & CTO Software Heritage o o o o /\|^|/\ https://twitter.com/zacchiro . https://mastodon.xyz/@zacchiro '" V "'

July 3, 2024

Re: [nexa] large language model e open washing (da: una "gemma" da Google)

by Guido Vetere

C'è poi un piccolo particolare che rende la nozione di 'Open Source' difficilmente applicabile ai LLM: se pure uno avesse tutti i dataset eccetera, gli mancherebbe ancora quel mesetto di GPU che serve per fare training anche di pochi miliardi di parametri. Cioè: servirebbe ancora Leonardo, o in alternativa un grosso conto in banca. Dunque: di che stiamo parlando? G. PS: continuo a osservare un certo verbalismo in questo accanimento terminologico, ma per carità non voglio sollevare polemiche :-) On Tue, 2 Jul 2024 at 16:05, Giacomo Tesio <giacomo(a)tesio.it> wrote: > Ciao Federico, > > Il giorno Tue, 2 Jul 2024 14:15:30 "Federico Leva (Nemo)" ha scritto: > > > Per questo OSI sta lavorando a una Open Source AI Definition: > > > https://opensource.org/deepdive/drafts/the-open-source-ai-definition-draft-… > > una definizione scritta da qualcuno che non sa (o sa fin troppo bene) > cosa serve per realizzare un LLM. > > Infatti la definizione prescrive che: > > ``` > The preferred form of making modifications for a machine-learning Open > Source AI must include: > > Data information: Sufficiently detailed information about the data > used to train the system, so that a skilled person can recreate a > substantially equivalent system using the same or similar data. > > ``` > > Accettare informazioni "sufficiently detailed" per ricreare un sistema > "substantially" equivalente, significa aprire all'impossibilità tecnica > di ricreare un sistema esattamente equivalente. > > Cosa che sarebbe tecnicamente possibile disponendo di TUTTE le > informazioni necessarie a creare il software in questione. > > Infatti, entro minuscole variazioni numeriche distribuite fra miliardi > di variabili (pesi), è perfettamente possibile nascondere qualsiasi > bias. Solo la possibilità di riprodurre ESATTAMENTE il software in > questione può permettere davvero di esercitare il diritto allo studio e > alla modifica del sistema. > > > Ora, l'OSI dovrebbe essere in condizione di comprendere che un software > distribuito con sorgenti simili, persino "sostanzialmente equivalenti" a > quelli usati per creare il binario (ma non esattamente quelli usati), > NON è software Open Source. > > Perché allora non scrivere, più semplicemente: > > Data information: All information and data used to create the > system, so that a skilled person can exactly recreate the system > using the data. > > Sarebbe più semplice, permetterebbe di verificare che i dati dichiarati > corrispondano esattamente a quelli utilizzati, permetterebbe di > studiarne i bias e di decidere come modificare o arricchire i dati > per ottenere LLM diversi. > > Peraltro, sostituendo "train" con "create", la definizione > continuerebbe ad essere applicabile a nuovi metodi che non si > basino sulle techine statistiche antropomorfizzate che vanno per la > maggiore oggi. > > > Perché dunque una definizione che contraddice quella di Open Source? > > L'ignoranza informatica in questo caso è poco credibile... > > > Ma se proviamo a chiederci "cui prodest?" tutto diventa ovvio: > > https://opensource.org/sponsors > > > Giacomo >

July 3, 2024

Re: [nexa] FSF adds three highly qualified board members

by 380°

"D. Davide Lamanna" <davide.lamanna(a)binarioetico.it> writes: > Complimenti a Maria Chiara Pievatolo! > > <https://www.fsf.org/news/fsf-adds-3-highly-qualified-board-members>. ci sono molti motivi per essere felici che il board di FSF abbia ben tre nuovi membri dopo un luuuuuungo /ponderare/ [1] uno di questi è che MCP aggiunge _questa_ sensibilità alla FSF: --8<---------------cut here---------------start------------->8--- Inspired by the philosophy of GPL, free software, and copyleft she is interested in alternative non-monopolistic forms of copyright (such as Kant's), and thus that are capable of taking seriously the interest of the public use of reason and the knowledge commons. [...] "The first best thing would have been to modify copyright law to protect authors and the public instead of intellectual monopolies. But doing it by hacking copyright for fun and freedom, against corporate-captured lawmakers, was - and is - certainly the second best. The FSF needs our support." --8<---------------cut here---------------end--------------->8--- mio personalissimo sunto: «hacking (with Kant) in the interest of the public use of reason... for fun and freedom» evviva! [1] https://www.fsf.org/news/fsf-takes-next-step-in-commitment-to-improving-boa… -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

July 2, 2024

Re: [nexa] large language model e open washing (da: una "gemma" da Google)

by Giacomo Tesio

Ciao Federico, Il giorno Tue, 2 Jul 2024 14:15:30 "Federico Leva (Nemo)" ha scritto: > Per questo OSI sta lavorando a una Open Source AI Definition: > https://opensource.org/deepdive/drafts/the-open-source-ai-definition-draft-… una definizione scritta da qualcuno che non sa (o sa fin troppo bene) cosa serve per realizzare un LLM. Infatti la definizione prescrive che: ``` The preferred form of making modifications for a machine-learning Open Source AI must include: Data information: Sufficiently detailed information about the data used to train the system, so that a skilled person can recreate a substantially equivalent system using the same or similar data. ``` Accettare informazioni "sufficiently detailed" per ricreare un sistema "substantially" equivalente, significa aprire all'impossibilità tecnica di ricreare un sistema esattamente equivalente. Cosa che sarebbe tecnicamente possibile disponendo di TUTTE le informazioni necessarie a creare il software in questione. Infatti, entro minuscole variazioni numeriche distribuite fra miliardi di variabili (pesi), è perfettamente possibile nascondere qualsiasi bias. Solo la possibilità di riprodurre ESATTAMENTE il software in questione può permettere davvero di esercitare il diritto allo studio e alla modifica del sistema. Ora, l'OSI dovrebbe essere in condizione di comprendere che un software distribuito con sorgenti simili, persino "sostanzialmente equivalenti" a quelli usati per creare il binario (ma non esattamente quelli usati), NON è software Open Source. Perché allora non scrivere, più semplicemente: Data information: All information and data used to create the system, so that a skilled person can exactly recreate the system using the data. Sarebbe più semplice, permetterebbe di verificare che i dati dichiarati corrispondano esattamente a quelli utilizzati, permetterebbe di studiarne i bias e di decidere come modificare o arricchire i dati per ottenere LLM diversi. Peraltro, sostituendo "train" con "create", la definizione continuerebbe ad essere applicabile a nuovi metodi che non si basino sulle techine statistiche antropomorfizzate che vanno per la maggiore oggi. Perché dunque una definizione che contraddice quella di Open Source? L'ignoranza informatica in questo caso è poco credibile... Ma se proviamo a chiederci "cui prodest?" tutto diventa ovvio: https://opensource.org/sponsors Giacomo

July 2, 2024

Re: [nexa] large language model e open washing (da: una "gemma" da Google)

by Claudio Agosti

Grazie a tutti per le risposte ed i commenti, proseguirò le riflessioni nei prossimi giorni, ma avevo qualcosa di rapido per 380° On Mon, 1 Jul 2024, 16:28 380°, <g380(a)biscuolo.net> wrote: > > > nell'AIAct i software "open" (cazzo, è tornato!) vengono visti come > > neutrali, general purposes, unbiased. > > quindi il vuoto con il buco attorno, giusto? > Si, secondo le tue riflessioni, che pure condivido, è cosí. Secondo l'AIAct no, e quindi mettendo da parte la critica al problema, c'è da venire a patti con il fatto che ci sia un problema e che toccherà anche noi in più modi. Pensando male: 1) il fatto che le cose open siano sfruttate per fare software intrinsicamente più abusivo 2) il fatto che il software libero, e chi lo programma, potrebbero perdere gli sconti di conformità, portando ad oneri maggiori > > scusa ma non ho capito: guess_fitness() è una (funzione) black box? > > una black box rilasciata con AGPL-3? > In questo *esempio*: 1) La funzione guess_fitness è codice python sotto AGPL-3 2) Il codice della funzione usa un DB binario risultato di addestramento, distribuito nel pacchetto 3) Il file binario viene considerato come una risorsa facoltativa, come un JPEG. Ma di default viene usato. Questo pacchetto sarebbe considerato software libero? E quindi escluso dagli obblighi di conformità? Volevo riflettere su come, in mancanza di miglori chiarimenti, in questo momento non solo il movimento del software libero non ha ancora una soluzione, ma anche la società _potrebbe avere_ un ulteriore problema di accuntability sulla base della distorsione dei valori che originariamente erano del free software. Ciao ciao! > [...] > > grazie, 380° > > -- > 380° (Giovanni Biscuolo public alter ego) > > «Noi, incompetenti come siamo, > non abbiamo alcun titolo per suggerire alcunché» > > Disinformation flourishes because many people care deeply about injustice > but very few check the facts. Ask me about <https://stallmansupport.org>. >

July 2, 2024

Re: [nexa] large language model e open washing (da: una "gemma" da Google)

by Federico Leva (Nemo)

Il 30/06/24 12:38, Claudio Agosti ha scritto: > 3) > https://pure.mpg.de/rest/items/item_3588217_2/component/file_3588218/content > - Rethinking open source generative AI: open-washing and the EU AI Act. > Questo paper apre ad un'altro aspetto potenzialmente problematico. > nell'AIAct i software "open" (cazzo, è tornato!) vengono visti come > neutrali, general purposes, unbiased. Ha senso quando pensi a librerie e > framework, che non debbano essere soggetti agli obblighi di conformità. Ma > siccome il termine open è ambiguo, come questo impatta la regolamentazione? > I decreti attuativi, cosa dovrebbero definire? Per questo OSI sta lavorando a una Open Source AI Definition: https://opensource.org/deepdive/drafts/the-open-source-ai-definition-draft-… È possibile contribuire al processo in vari modi, per esempio offrendosi di applicare la bozza di definizione per produrre una valutazione di uno dei LLM esistenti (che è un modo per far emergere le parti piú confuse o di difficile interpretazione). Federico

July 2, 2024

Re: [nexa] Scorza: "AI, è ora di difendere i nostri dati dalla raccolta massiva: ecco come" - Agenda Digitale

by Marco Ciurcina

Ciao Giulio. Sintesi estrema dell'analisi giuridica: quando un garante competente condividerà le conclusioni dell'autorevolissimo autore, applicherà delle sanzioni. Sul tema "politico" (suggerimento di adottare norme che favoriscano lo sviluppo tecnologico). Credo sarà importante che i politici riflettano con attenzione: l'attuale quadro normativo sfavorisce l'attuale modello di business dominante, ma favorisce la ricerca scientifica (vedi nel RGPD, per esempio: art. 5.1, lett. b), art. 5.1, lett. e), art. 14.5, lett. b), art. 9.2, lett j) e art. 17.3, lett. d)). La comunità scientifica tende a preferire risultati riproducibili e verificabili: IMHO è politicamente intelligente favorire modelli di business basati sui risultati dell'attività di ricerca scientifica rispetto a quello attualmente dominante. m.c. Il 29/06/24 09:22, de petra giulio ha scritto: > Segnalo questo articolo di Guido Scorza di cui non riesco a cogliere > pienamente, per mia ignoranza, tutte le implicazioni, ma che mi sembra > rilevante anche per il ruolo attuale dell’autore. > > Scorza: "AI, è ora di difendere i nostri dati dalla raccolta massiva: > ecco come" - Agenda Digitale > > > https://www.agendadigitale.eu/sicurezza/privacy/linsostenibile-scorrettezza… -- Avv. Marco Ciurcina Via San Quintino, 32 10121 Torino TO tel +39 011 4546112 cell +39 335 6650910

July 2, 2024

FSF adds three highly qualified board members

by D. Davide Lamanna

Complimenti a Maria Chiara Pievatolo! <https://www.fsf.org/news/fsf-adds-3-highly-qualified-board-members>. D. (null)

July 2, 2024

Re: [nexa] large language model e open washing (da: una "gemma" da Google)

by 380°

Guido Vetere <vetere.guido(a)gmail.com> writes: > Col tempo, una parola può cambiare significato in modo anche radicale, sono > cose che accadono di continuo nel linguaggio, dove l'unica regola è l'uso. > Dunque non starei qui a fare una questione lessicale. Di fatto, ci sono LM > che puoi scaricare liberamente e far girare sulla tua workstation, sì ma quello si chiama "freeware", se per te è solo una questione lessicale mi dispiace tantissimo se a te basta il freeware rispetto la scelta, a me ed altri no :-) > molte organizzazioni pubbliche e private potranno usare questi > strumenti senza mandar fuori dati, senza legarsi a monopolisti che > operano fuori dalla propria giurisdizione, senza l'incognita dei > prezzi. ma con l'incognita di bachi mai risolti e probabilmente anche qualche backdoor più freeware per tutti! [...] saluti, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

July 1, 2024