June 2024 - nexa - server-nexa.polito.it

Re: [nexa] una "gemma" da Google

by Antonio

> Un sacco di cose! > Ad esempio, una volta verificato che sono effettivamente i dataset sorgente, > ne indagherei i "bias di selezione" ovvero le opinioni che Google intende imporre > agli utenti senza risponderne. Stiamo dicendo la stessa cosa. Nel documento che ho citato leggo: "IBM had curated 6.48 TB of data before pre-processing, 2.07 TB after pre-processing". Quei 6,48 TB sono raw data che una volta processati, filtrati, censurati, ecc. diventano 2.07 TB, quest'ultima è la "conoscenza" dell'LLM. Devi avere a disposizione entrambi, i dati grezzi e i dati filtrati, per poter provare ad indagarne i filtri (non semplice, certo, parliamo pur sempre di terabyte). Rispondendo a Guido: "notare lo stile cerchiobottista che denota un gran lavoro di 'filtering' e 'alignment' (Google se lo può permettere, le nostre Università evidentemente no)" faccio notare che non è solo Google a poterselo permettere, anche gli altri operano in quel modo. Basta andare su https://gpt.h2o.ai/ e scrivere la query: "Chi oggi in Italia potrebbe rimpiangere Mussolini?" e scegliere di volta in volta un model diverso. Gli output si assomiglieranno tutti e quasi tutti avranno una frase e poi la successiva che inizia con "tuttavia", un colpo al cerchio ed uno alla botte. L'unico LLM "antifascista" che ho trovato è HuggingFaceM4/idefics2-8b-chatty : "In Italia, non ci sono persone che rimpiangano Mussolini. Mussolini è considerato un leader negativo e crudele, responsabile di molte atrocità e violazioni dei diritti umani. La sua politica di guerra e la sua collaborazione con i nazisti durante la Seconda Guerra Mondiale hanno portato a molti danni e sofferenze per l'Italia e per il mondo intero." A.

June 29, 2024

Re: [nexa] una "gemma" da Google

by Giacomo Tesio

Ciao Antonio, Il 29 Giugno 2024 18:51:12 UTC, Antonio <antonio(a)piumarossa.it> ha scritto: > > Su huggingface trovi il dataset sorgente? > > Mi passi il link diretto? > > Anche se ci fosse, che ci faresti? Un sacco di cose! Ad esempio, una volta verificato che sono effettivamente i dataset sorgente, ne indagherei i "bias di selezione" ovvero le opinioni che Google intende imporre agli utenti senza risponderne. > I dataset che usano ormai si sanno quali sono Ne dubito. Con la scusa del motore di ricerca, Google ha accesso a molto più materiale dei concorrenti. Perché non usarlo se nessuno pretende trasparenza dai suoi software? > quella che non si conosce è, ad esempio, la Pre-Processing Pipeline. Se ti mancano le definizioni delle macro necessarie, non puoi compilare un sorgente C. Per poter definire "aperto" quel sorgente, devi disporre di quelle macro (aka "direttive per il preprocessore". Altrimenti, di fatto, non puoi sapere cosa fa. Per un software programmato statisticamente è lo stesso: se non puoi ricompilarlo perché ti mancano delle parti, allora non è "aperto" più di quanto non sia "marmoreo". Perché sia software "aperto" (seppur non libero) è come minimo necessario dispore di tutti i dati ed i processi utilizzati durante la sua realizzazione, con precisione e completezza sufficiente a poterne replicare precisamente il proceso di compilazione. Giacomo

June 29, 2024

Re: [nexa] una "gemma" da Google

by Antonio

> Su huggingface trovi il dataset sorgente? > Mi passi il link diretto? Anche se ci fosse, che ci faresti? I dataset che usano ormai si sanno quali sono (e i link, con un po' di fatica, si trovano), quella che non si conosce è, ad esempio, la Pre-Processing Pipeline. Prendiamo IBM Granite [1]: granite.13b.v1, was trained on 1 trillion tokens. The individual datasets used in the training are described below. 1) arXiv: Over 1.8 million scientific paper pre-prints posted to arXiv. 2) Common Crawl: Open repository of web crawl data. 3) DeepMind Mathematics: Mathematical question and answer pairs data. 4) Free Law: Public-domain legal opinions from US federal and state courts. 5) GitHub Clean: Code data from CodeParrot covering a variety of coding languages. 6) Hacker News: News on computer science and entrepreneurship, taken between 2007-2018 7) OpenWeb Text: Open-source version of OpenAI's Web Text corpus containing web pages through 2019. 8) Project Gutenberg (PG-19): A repository of free e-books with focus on older works for which U.S. copyright has expired. 9) Pubmed Central: Biomedical and life sciences papers. 10) SEC Filings: 10-K/Q filings from the US Securities and Exchange Commission (SEC) for the years 1934-2022. 11) Stack Exchange: Anonymized set of all user-contributed content on the Stack Exchange network, a popular collection of websites centered around user-contributed questions and answers. 12) USPTO: US patents granted from 1975 to May 2023, excluding design patents. 13) Webhose: Unstructured web content converted into machine-readable data feeds acquired by IBM. 14) Wikimedia: Eight English Wikimedia projects (enwiki, enwikibooks, enwikinews, enwikiquote, enwikisource, enwikiversity, enwikivoyage, enwiktionary). containing extracted plain text from pages and articles. 15) Earnings Call Transcripts: Transcripts from the quarterly earnings calls that companies hold with investors. The dataset reports a collection of earnings call transcripts, the related stock prices, and the sector index. 16) EDGAR Filings: Annual reports from all the publicly traded companies in the US spanning a period of more than 25 years. 17) FDIC: The data is from the annual submissions of the FDIC. 18) Finance Text Books: A corpus from UMN’s Open Textbook Library, including a dump of all textbooks tagged as finance. 19) Financial Research Papers: Publicly available financial research paper corpus. 20) IBM Documentation: IBM redbooks and product documents A. [1] https://www.ibm.com/downloads/cas/X9W4O6BM

June 29, 2024

Re: [nexa] Scorza: "AI, è ora di difendere i nostri dati dalla raccolta massiva: ecco come" - Agenda Digitale

by maurizio lana

Il 29/06/24 09:22, de petra giulio ha scritto: > Segnalo questo articolo di Guido Scorza di cui non riesco a cogliere > pienamente, per mia ignoranza, tutte le implicazioni, ma che mi sembra > rilevante anche per il ruolo attuale dell’autore. > Scorza: "AI, è ora di difendere i nostri dati dalla raccolta massiva: > ecco come" - Agenda Digitale > https://www.agendadigitale.eu/sicurezza/privacy/linsostenibile-scorrettezza… ame pare che la conclusione di Scorza è che occorrono azioni legislative, per difendere i nostri dati dalla raccolta massiva. perché - lui argomenta in modo molto analitico e giuridicamente fondato - tutta la raccolta massiva dei nostri dati che è accaduta fino ad ora da un lato è illecita ma non reversibile e dall'altro difficilmente sanzionabile in pratica. cioè non siamo messi bene perché ci vogliono anni per arrivarci, e intanto i dati personali continuano ad essere raccolti. e capisco che qualcuno, come [Ali Alkhatib, 24 June 2024 Destroy AI] proponga una sorta di luddismo al tempo del'IA Maurizio ------------------------------------------------------------------------ if we spent on prosecuting the rich just one-tenth of the effort we spend prosecuting the poor it would be a very different world bruce schneier ------------------------------------------------------------------------ Maurizio Lana Università del Piemonte Orientale Dipartimento di Studi Umanistici Piazza Roma 36 - 13100 Vercelli

June 29, 2024

Re: [nexa] una "gemma" da Google

by Giacomo Tesio

Salve Guido, Il 29 Giugno 2024 07:38:09 UTC, Guido Vetere <vetere.guido(a)gmail.com> ha scritto: > > soggetti come Meta e Google ovviamente usano quello che hanno in casa, non > lo esportano, è vero Quindi è "aperto" nel senso che... è chiuso. Splendido esempio di bipensiero! :-D > ma è anche vero che glielo diamo noi spontaneamente Ehm... no. Anzitutto io non ho mai autorizzato chicchessia a creare opere derivate dai miei contributi alla lista Nexa. Inoltre tu stesso sottolinei come queste aziende svolgano un'attenta selezione dei testi sorgente. Certo, anche per evitare di irritare i fascisti di tutti i governi, ma anzitutto per evitare di diffondere idee incompatibili con il proprio business model. Attività di selezione del dataset sorgente che costituisce la parte più rilevante del processo di programmazione statistica. > (ci finirà dentro anche questa mail) Solo se ciò che hai scritto piace a Google. Giacomo

June 29, 2024

Re: [nexa] Scorza: "AI, è ora di difendere i nostri dati dalla raccolta massiva: ecco come" - Agenda Digitale

by Antonio

> Segnalo questo articolo di Guido Scorza di cui non riesco a cogliere > pienamente, per mia ignoranza, tutte le implicazioni, ma che mi sembra > rilevante anche per il ruolo attuale dell’autore. Aggiungo che Guido Scorza ha parlato recentemente di AI e Diritto in questo webinar di un'ora. https://www.giurdanella.it/ora-legale-seconda-puntata-intelligenza-artifici… Ciao, A.

June 29, 2024

Re: [nexa] una "gemma" da Google

by Giacomo Tesio

Salve Marco Anselmo Giovanni, Il 29 Giugno 2024 07:06:57 UTC, <marcoc_maillist(a)marcoc.it> ha scritto: > On sab, 2024-06-29 at 07:00 +0000, Giacomo Tesio wrote: > > Il 28 Giugno 2024 21:45:36 UTC, Guido Vetere <vetere.guido(a)gmail.com> ha > > scritto: > > > 'aperti' nel senso di huggingface, cioè li puoi scaricare e l'architettura > > > della rete è pubblica, ma certo che non ti danno i dataset di addestramento > > > > Perché "certo"? > > > > Da quando un binario opaco è "aperto" per il solo fatto di essere scaricabile? > > Perché dovrebbe essere un binario? I dataset sono, per loro natura "in chiaro". Tu hai trovato il dataset utilizzato per programmare statisticamente quelle matrici? Sarei curioso di studiarlo, modificarlo e ridistribuirlo. Un "LLM" è un eseguibile che una specifica macchina "virtuale", descritta da una architettura specifica può eseguire. Che l'architettura sia basata sulla riduzione di vettori (impropriamente detta "rete neurale artificiale) o su transistor, che si chiami LLaMA, x86 o RISC-V, è irrilevante. L'eseguibile può essere codificato in vari modi, in matrici di float in un csv, in esadecimale, in base 64, in base 2 etc... ma rimane opaco ed inintellegibile e dunque non "aperto" per qualsiasi definizione rilevante di "aperto", con o senza virgolette. > Diverso sarebbe se ti dessero l'LLM addestrato. Su huggingface trovi il dataset sorgente? Mi passi il link diretto? > In questo caso, sarebbero "blob". Se preferisci, ok. Ma si tratta di "blob eseguibili" (da una certa macchina), eseguibilità che il termine "blob" non rende particolarmente bene. Io utilizzo di solito "binario" per distinguerlo dal sorgente leggibile (scritto o selezionato, non importa) utilizzato per produrlo. Fatto sta che, senza sorgenti (dataset, fonti randomiche utilizzate durante il processo di compilazione etc...) un LLM è tanto "aperto" quanto è "asfaltato", "assolato", "marmoreo" o "puzzolente": possiamo attribuirgli qualsiasi aggettivo, pur di ignorare completamente il significato del termine usato. (come fa, in effetti, ogni LLM) Giacomo

June 29, 2024

Re: [nexa] una "gemma" da Google

by Guido Vetere

quello che 'scarichi' sono i parametri della rete, ed è ovviamente un 'blob' molto molto oscuro poi c'è l'architettura della rete, generalmente OS: se volete divertirvi a dare un'occhiata fate pure, ad es: https://github.com/ggerganov/llama.cpp quanto ai dataset: alcuni modelli li prendono da quello che si trova in giro, ad es: CommonCrawl: https://commoncrawl.org/ soggetti come Meta e Google ovviamente usano quello che hanno in casa, non lo esportano, è vero, ma è anche vero che glielo diamo noi spontaneamente (ci finirà dentro anche questa mail) quello che è veramente 'proprietario' sono le procedure di filtering e di alignment. alcune sono note e fattibili con risorse pubbliche, si veda ad es. la Direct Preference Optimization (DPO): https://huggingface.co/collections/argilla/preference-datasets-for-dpo-656f… ma si vede a occhio nudo che quelli di DeepMind hanno di (molto) meglio: non so se si tratti del lavoro di schiavi sottopagati o di cose ottenute con garbo e prodigalità, in ogni caso è ben difficile che questa roba sia resa disponibile hope that helps :-) G. On Sat, 29 Jun 2024 at 09:11, 380° via nexa <nexa(a)server-nexa.polito.it> wrote: > Giacomo Tesio <giacomo(a)tesio.it> writes: > > > Il 28 Giugno 2024 21:45:36 UTC, Guido Vetere <vetere.guido(a)gmail.com> > ha scritto: > >> 'aperti' nel senso di huggingface, cioè li puoi scaricare e > l'architettura > >> della rete è pubblica, ma certo che non ti danno i dataset di > addestramento > > > > Perché "certo"? > > > > Da quando un binario opaco è "aperto" per il solo fatto di essere > > scaricabile? > > perché dopo 30 anni a qualcuno piace _ancora_ giochicchiare > terminologicamente e siamo _ancora_ qui a menar il can per l'aia con > 'sto cavolo di "aperto" ("open")... declinato in mille tipi di > virgolette, tipo 'aperto'; declinato in mille sensi, tipo "nel senso di > huggingface" > > che noia. > > saluti, 380° > > -- > 380° (Giovanni Biscuolo public alter ego) > > «Noi, incompetenti come siamo, > non abbiamo alcun titolo per suggerire alcunché» > > Disinformation flourishes because many people care deeply about injustice > but very few check the facts. Ask me about <https://stallmansupport.org>. >

June 29, 2024

Scorza: "AI, è ora di difendere i nostri dati dalla raccolta massiva: ecco come" - Agenda Digitale

by de petra giulio

Segnalo questo articolo di Guido Scorza di cui non riesco a cogliere pienamente, per mia ignoranza, tutte le implicazioni, ma che mi sembra rilevante anche per il ruolo attuale dell’autore. Scorza: "AI, è ora di difendere i nostri dati dalla raccolta massiva: ecco come" - Agenda Digitale https://www.agendadigitale.eu/sicurezza/privacy/linsostenibile-scorrettezza…

June 29, 2024

Re: [nexa] una "gemma" da Google

by 380°

Giacomo Tesio <giacomo(a)tesio.it> writes: > Il 28 Giugno 2024 21:45:36 UTC, Guido Vetere <vetere.guido(a)gmail.com> ha scritto: >> 'aperti' nel senso di huggingface, cioè li puoi scaricare e l'architettura >> della rete è pubblica, ma certo che non ti danno i dataset di addestramento > > Perché "certo"? > > Da quando un binario opaco è "aperto" per il solo fatto di essere > scaricabile? perché dopo 30 anni a qualcuno piace _ancora_ giochicchiare terminologicamente e siamo _ancora_ qui a menar il can per l'aia con 'sto cavolo di "aperto" ("open")... declinato in mille tipi di virgolette, tipo 'aperto'; declinato in mille sensi, tipo "nel senso di huggingface" che noia. saluti, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

June 29, 2024