October 2023 - nexa - server-nexa.polito.it

Re: [nexa] ‘Biggest act of copyright theft in history’: thousands of Australian books allegedly used to train AI model | Australia news | The Guardian

by Antonio

> Ogni token può rappresentare anche più di una parola No, i token sono fissi e possono (oppure no) iniziare con lo spazio. Quindi non ci possono essere token con lo spazio in mezzo, ovvero formati da più di una parola. La grandezza del vocabolario di GPT[1-3] è 50256 token, quella di LLaMA di 32000, GPT4 ha 100256 token [1], ecc. A meno che non intendiamo cose diverse ;) A. [1] https://github.com/kaisugi/gpt4_vocab_list/blob/main/cl100k_base_vocab_list…

Oct. 2, 2023

Re: [nexa] ‘Biggest act of copyright theft in history’: thousands of Australian books allegedly used to train AI model | Australia news | The Guardian

by Antonio

> non 8118? :-) (non è fondamentale, eh!) [Gi] => 33704 [ĠGi] => 8118 Nel dizionario di GPT, lo spazio è identificato con: [Ġ] Nella domanda: "Quante lune ha Giove?", il token è [spazio]Gi, quindi [ĠGi], quindi 8118. Nella risposta: "Giove ha ...", non c'è nessuno spazio prima di [Gi], quindi [Gi] ha un'altra posizione, 33704 A.

Oct. 2, 2023

Re: [nexa] la lingua batte dove il dente duole (antropomorfizzazione linguistica)

by Stefano Borroni Barale

Buongiorno! Questo passaggio: >> nessuno ha perso il controllo delle macchine! > > Il rischio che vedo è il controllo da parte di qualcuno, con parole diverse è quello che scrivi tu (semprechè abbia capito bene). > Mantengo dubbi sull'esclusività umana nelle qualità che ci affascinano e che non sappiamo definire - coscienza ecc ecc - e timori che la nuova era aumenti il dominio di uomini su altri uomini. > Continua a preoccuparti per le tue figlie, alle quali vanno tutti i miei auguri. > 'notte. Mi rammenta tanto un passaggio di N. Wiener, da "the human use of human beings" che ho recentemente riletto nella sua bella biografia edita da Codice: > "La macchina automatizzata non è spaventosa per il rischio che assuma il controllo autonomo sull'umanità. [...] Il suo pericolo reale [...] è piuttosto diverso: queste macchine, per quanto di per sé inermi, possono essere usate da un essere umano o da un blocco di esseri umani per aumentare il loro controllo sul resto della razza umana [...] non per mezzo delle macchine stesse, ma attraverso [...] tecniche talmente restrittive e indifferenti agli esseri umani da poter, di fatto, essere state concepite meccanicamente. Per evitare questi pericoli, esterni e interni [...] dobbiamo sapere [...] qual è la natura umana e quali sono i suoi innati propositi" Insomma... la situazione in cui ci troviamo era prevedibile. La speranza è che sia anche risolvibile. Chiamare le cose con nomi che ne riflettono le proprietà fattuali rilevate sperimentalmente, invece che con appellativi tecno-magici (buzzwords), penso possa essere un buon punto di partenza. SBB >

Oct. 2, 2023

Io credo...

by 380°

Buongiorno Fabio, Fabio Alemagna <falemagn(a)gmail.com> writes: [...] > A me pare che si sia sviluppato un certo "credo" tra gli avventori di > questa lista, Tu di che "credo" sei? > che si disinteressa completamente dello stato dell'arte e delle > definizioni su cui c'è consenso, e finisce con il creare dogmi > inscalfibili ai quali o si aderisce, o ci si becca papelli scritti con > toni misti tra l'evangelizzazione e il perculamento. > > Se si vuole sostenere che il processo trasformativo attraverso il > quale, partendo da dei testi o delle immagini, si finisce con il > generare una serie di pesi all'interno di una rete neurale, è una > forma di compressione, allora bisogna sostenere che lo stesso avviene > durante l'apprendimento umano Non vorrei suonare evangelizzatore e men che meno perculante, ma non c'era bisogno di fare ulteriore confuZione con questo fuorviante parallelo. Che il processo di machine learning, in generale e non solo per le reti neurali, sia una forma di compressione è descritto (anche) in questo saggio: «The Nooscope Manifested - AI as Instrument of Knowledge Extractivism» By Vladan Joler and Matteo Pasquinelli (2020) --8<---------------cut here---------------start------------->8--- This is unsurprising, since machine learning algorithms are the most powerful algorithms for information compression. [...] The problem of bias has mostly originated from the fact that machine learning algorithms are among the most efficient for information compression, which engenders issues of information resolution, diffraction and loss. [Footnote: Computer scientists argue that AI belongs to a subfield of signal processing, that is data compression.] --8<---------------cut here---------------end--------------->8--- Sottolineo «subfield of signal processing» Tra l'altro, nel saggio in questione ci sono anche molti riferimenti a ricerche di terzi. Se questo è un "credo", ti sarei grato se mi indicassi qualche saggio dello stesso livello attraverso il quale io possa avere la possibilità di /ricredermi/. Infine, nella tua foga di dimostrare che si tratti di un "credo", non ti sei nemmeno accorto (anzi sì ma hai sorvolato, secondo me) che quello che ha sommariamente descritto Antonio è _precisamente_ un algoritmo di compressione dell'informazione. [...] > Pertanto, a me pare evidente che ogni tentativo si qui messo in atto > da alcuni altri avventori della lista di "denigrare" l'apprendimento > dei modelli di machine learning, fino a sostenere che non si tratta di > "vero" apprendimento, in realtà finisce con l'inciampare sui suoi > stessi antropocentrici piedi. Invece, a me pare evidente che ogni tentativo di sostenere che il processo di machine learning sia del tutto analogo al processo di apprendimento umano - cioè che l'apprendimento umano è (anche) una forma di *compressione* dell'informazione del tutto analoga a quella usata nel machine learning, ovvero la riduzione dell'uomo a /automa/ - corrisponda più o meno a perculare quello che in questa lista e _fuori_ da questa lista molte persone informate sui fatti sostengono da molti anni; uno tra i moltissimi, a caso: Joseph Weizenbaum. Così è, a _me_ /pare/. [...] Cordiali saluti, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Oct. 2, 2023

Re: [nexa] ‘Biggest act of copyright theft in history’: thousands of Australian books allegedly used to train AI model | Australia news | The Guardian

by Giacomo Tesio

Concordo Damiano, Il giorno Mon, 2 Oct 2023 13:43:35 +0200 Damiano Verzulli ha scritto: > Nella sua mail, Luigi segnalava questo link: > > https://ig.ft.com/generative-ai/ > > che, fra tutto quello che ho letto e visto finora, in giro, on-line > (e off-line), ritengo sia la migliore presentazione al riguardo. è sicuramente un buon testo divulgativo su come può funzionare un LLM a runtime. Mancano purtroppo alcuni dettagli rilevanti che, oltre ad essere complessi da rappresentare, avrebbero definitivamente abbattuto qualsiasi parvenza di intelligenza. Primo fra tutti, l'utilizzo di sorgenti casuali (o pseudo-casuali) per selezionare di volta in volta percorsi diversi fra quelli più probabilmente vicini al vettore in input. Tali sorgenti (pseudo?)casuali arricchiscono l'input dell'utente facendo sì che il LLM possa fornire output diversi a fronte dello stesso input fornito dall'utente stesso dandogli l'illusione di comunicare con un essere intelligente ed autonomo. Fra i limiti di quella presentazione c'è anche la totale assenza di qualsiasi spiegazione sul processo di programmazione statistica necessario alla creazione di quel software o sui suoi componenti. Anche qui la complessità della materia giustifica la sua assenza. Purtroppo ciò non aiuta a comprendere la natura del LLM come opera inevitabilmente derivata dai testi usati per la sua programmazione statistica. O l'influenza delle sorgenti casuali nelle fasi di inizializzazione di alcuni suoi componenti e l'arbitrio che questa influenza fornisce ai programmatori. Può forse aiutare in questo senso considerare come il disegno delle parole sulla pagina non costituisca il lavoro dello scrittore. L'opera creativa dello scrittore consiste proprio nella scelta della relazione fra le parole nella sequenza che costituisce il testo, relazione funzionale all'interpretazione che l'autore spera di indurre nel lettore. Il linguaggio infatti non è altro che un protocollo di sincronizzazione fra le menti umane adeguatamente efficace (a seconda del contesto): non ci scambiamo informazioni, ma dati che una volta interpretati riproducono (più o meno) nella mente del ricevente l'informazione che il mittente intendeva comunicare. Il diritto d'autore riconosce (pur intuitivamente) questa dinamica: la traduzione di un romanzo è ancora sottoposta ai diritti dell'autore originale cui si aggiungono quelli del traduttore. Quando l'opera dello scrittore viene usata per programmare statisticamente un LLM questa relazione fra le parole viene salvata dentro le matrici numeriche del LLM a prescindere dal proprio significato. Ad ogni prompt, il LLM percorre questa intricata foresta statistica di parole, percorrendo più spesso le strade più battute ma usando le sorgenti randomiche per non ripetere sempre pedissequamente la più frequente per ingannare la mente dell'utente evolutasi in un ambiente in cui determinate sequenza di simboli avevano un significato impresso da un altro mittente umano. Purtuttavia, se la traduzione di un testo è sottoposta al diritto dell'autore originale, allo stesso modo un LLM dovrebbe essere sottoposto al diritto d'autore di tutti gli autori originali. Giacomo

Oct. 2, 2023

Re: [nexa] ‘Biggest act of copyright theft in history’: thousands of Australian books allegedly used to train AI model | Australia news | The Guardian

by Giacomo Tesio

Ehm... no Antonio: anzitutto non è così semplice. Ogni token può rappresentare anche più di una parola, non solo dei frammenti di parola. Poi ogni ad ogni token il dizionario associa non un singolo numero, ma un vettore sparso i cui componenti non zero rappresentano (semplificando enormemente) statistiche relative alle occorrenze di altri token in diversi contesti. Ma soprattutto, la mappatura fra le parole e i vettori è bidirezionale. Sempre semplificando enormemente alla sequenza di 4 parole A B C D corrisponde una matrice di 4 righe tipo [0 123 0 14 ...], [41 0 0 0 ...], [0 0 0 18 ...], [0 0 99 0 ...] Questa matrice viene ridotta ad un nuovo vettore [0 2 7 0 ...] che corrisponde ad un'altra parola, che verrà accodata all'output ed utilizzata anche come input. In qualunque caso, i vettori associati a ciascun token sono rappresentazioni dei percorsi presenti nei testi sorgente: è sempre possibile (pur essendo più o meno probabile a seconda di molte variabili runtime) percorrere quei vettori riproducendo il testo utilizzato in input (magari con qualche errore). Naturalmente è tutto MOLTO più compresso di così. Ma ciò non toglie che, poiché esiste sempre una mappatura fra vettore e parola e l'output è calcolato sulla base della frequenza con cui si ogni token si trovava in relazione con gli altri token nei testi sorgente, i testi sono presenti nel LLM. Si tratta di un'algoritmo di compressione lossy, ma pur tuttavia talvolta la "decompressione" di determinati frammenti riproduce verbatim frammenti più o meno vasti del testo originale (e ancor più frequentemente, piccole variazioni sintattiche dello stesso, ad esempio cambiando gli identificatori di un sorgente Python, senza cambiarne in alcun modo la semantica) Ma non fidarti delle mie parole, guarda con i tuoi occhi: https://peertube.opencloud.lu/w/eW497u3UYXmQwcQu9LYEDR Giacomo Il giorno Mon, 2 Oct 2023 12:58:25 +0200 Antonio <antonio(a)piumarossa.it> ha scritto: > > > Sto semplicemente dicendo che quei testi sono in gran parte > > > presenti nel LLM seppure codificati con perdita di informazione. > ... > > OK, su cosa succede tecnicamente, ovvero sul tipo di elaborazione e > > immagazzinamento dei testi _elaborari_, credo sia tutto > > sufficientemente chiaro. > > No, aspettate, forse mi sono perso qualche puntata precedente. > I testi non sono per nulla presenti nell'LLM, neanche in forma > "compressa". Il "model" non è altro che un enorme contenitore di > "numeri". Nel caso di GPT3-175B, 175 miliardi di numeri, fine. Questi > numeri si chiamano "pesi" ma sempre numeri sono. Provo con qualche > esempio. > > Prompt: Quante lune ha Giove? > La prima operazione che fa un LLM è la tokenizzazione, nel caso > dell'esempio: Token array: Array > ( > [Qu] => 4507 > [ante] => 12427 > [Ġl] => 300 > [une] => 1726 > [Ġha] => 387 > [ĠGi] => 8118 > [ove] => 659 > [?] => 30 > ) > > Il dizionario usato da OpenAI è pubblico e contiene 50257 token, > quindi i numeri qui sopra sono quelli che realmente entrano nel > processo di "inferenza" di ChatGPT. > > Quello che ChatGPT fa non è altro che aggiungere UN numero a quella > sequenza (ovviamente sulla base di migliaia di calcoli che non sto > qui a dettagliare). Il numero trovato (su una versione mininale di > ChatGPT) è 33704. ChatGPT prende questo numero e lo accoda a 30, e > così via ... Alla fine, la sequenza completa di ChatGPT sarà: 33704, > 659, 387, 334, 2108, 498, 434, 68, 9225, 300, 1726, 1013, 7780, 378, > che "detokenizzato", diventa: "Giove ha ufficialmente 79 lune > confermate". > > Ciao, > Antonio > > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa

Oct. 2, 2023

Re: [nexa] ‘Biggest act of copyright theft in history’: thousands of Australian books allegedly used to train AI model | Australia news | The Guardian

by Damiano Verzulli

Il 02/10/23 12:58, Antonio ha scritto: > [...] > No, aspettate, forse mi sono perso qualche puntata precedente. > I testi non sono per nulla presenti nell'LLM, neanche in forma "compressa". > Il "model" non è altro che un enorme contenitore di "numeri". Nel caso di GPT3-175B, 175 miliardi di numeri, fine. > Questi numeri si chiamano "pesi" ma sempre numeri sono. > Provo con qualche esempio. > > Prompt: Quante lune ha Giove? > La prima operazione che fa un LLM è la tokenizzazione, nel caso dell'esempio: > Token array: Array > ( > [Qu] => 4507 > [ante] => 12427 > [Ġl] => 300 > [une] => 1726 > [Ġha] => 387 > [ĠGi] => 8118 > [ove] => 659 > [?] => 30 > ) > > Il dizionario usato da OpenAI è pubblico e contiene 50257 token, quindi i numeri qui sopra sono quelli che realmente entrano nel processo di "inferenza" di ChatGPT. > > Quello che ChatGPT fa non è altro che aggiungere UN numero a quella sequenza (ovviamente sulla base di migliaia di calcoli che non sto qui a dettagliare). > Il numero trovato (su una versione mininale di ChatGPT) è 33704. > ChatGPT prende questo numero e lo accoda a 30, e così via ... > Alla fine, la sequenza completa di ChatGPT sarà: 33704, 659, 387, 334, 2108, 498, 434, 68, 9225, 300, 1726, 1013, 7780, 378, che "detokenizzato", diventa: "Giove ha ufficialmente 79 lune confermate". Nell'ipotesi che i non-addetti ai lavori (o anche quegli "addetti" che --come me-- sono ignoranti in materia) vogliano cercare di approfondire il funzionamento degli LLM... segnalo che finora la migliore spiegazione che ho trovato, non-tecnicissima, è quella circolata in lista lo scorso 16/09, da Luigi Scorca - https://server-nexa.polito.it/pipermail/nexa/2023-September/051521.html: Nella sua mail, Luigi segnalava questo link: https://ig.ft.com/generative-ai/ che, fra tutto quello che ho letto e visto finora, in giro, on-line (e off-line), ritengo sia la migliore presentazione al riguardo. Raro esempio di utilizzo di un sito web nel pieno delle sue potenzialita', e non semplicemente la trasposizione di un foglio di carta... Saluti, DV -- Damiano Verzulli e-mail:damiano@verzulli.it --- possible?ok:while(!possible){open_mindedness++} --- "...I realized that free software would not generate the kind of income that was needed. Maybe in USA or Europe, you may be able to get a well paying job as a free software developer, but not here [in Africa]..." -- Guido Sohne - 1973-2008 http://ole.kenic.or.ke/pipermail/skunkworks/2008-April/005989.html

Oct. 2, 2023

Re: [nexa] ‘Biggest act of copyright theft in history’: thousands of Australian books allegedly used to train AI model | Australia news | The Guardian

by 380°

Ciao Antonio! Antonio <antonio(a)piumarossa.it> writes: >> > Sto semplicemente dicendo che quei testi sono in gran parte presenti nel LLM seppure >> > codificati con perdita di informazione. > ... >> OK, su cosa succede tecnicamente, ovvero sul tipo di elaborazione e >> immagazzinamento dei testi _elaborari_, credo sia tutto sufficientemente >> chiaro. > > No, aspettate, forse mi sono perso qualche puntata precedente. No no, è solo che io ho eccessivamente semplificato... in effetti si tratta di semplicità insormontabili [1] > I testi non sono per nulla presenti nell'LLM, neanche in forma "compressa". [...] > La prima operazione che fa un LLM è la tokenizzazione, nel caso dell'esempio: [...] > Il numero trovato (su una versione mininale di ChatGPT) è 33704. > ChatGPT prende questo numero e lo accoda a 30, e così via ... > Alla fine, la sequenza completa di ChatGPT sarà: 33704, non 8118? :-) (non è fondamentale, eh!) > 659, 387, 334, 2108, 498, 434, 68, 9225, 300, 1726, 1013, 7780, 378, che "detokenizzato", diventa: "Giove ha ufficialmente 79 lune confermate". Grazie di aver esemplificato il processo di "(de)tokeinizzazione" così efficacemente, potrei obiettare il fatto che per "detokenizzare" la corrispondenza tra numeri e testo (ovvero il testo elaborato in forma di array o matrice) è memorizzato no? ...ma non cambierebbe di molto la sostanza della descrizione di cosa succede "dentro" un LLM Ciao, 380° [1] https://it.wikipedia.org/wiki/Semplicit%C3%A0_insormontabili_-_39_storie_fi… -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Oct. 2, 2023

Re: [nexa] ‘Biggest act of copyright theft in history’: thousands of Australian books allegedly used to train AI model | Australia news | The Guardian

by Fabio Alemagna

Il giorno lun 2 ott 2023 alle ore 12:58 Antonio <antonio(a)piumarossa.it> ha scritto: > > > > Sto semplicemente dicendo che quei testi sono in gran parte presenti nel LLM seppure > > > codificati con perdita di informazione. > ... > > OK, su cosa succede tecnicamente, ovvero sul tipo di elaborazione e > > immagazzinamento dei testi _elaborari_, credo sia tutto sufficientemente > > chiaro. > > No, aspettate, forse mi sono perso qualche puntata precedente. > I testi non sono per nulla presenti nell'LLM, neanche in forma "compressa". > Il "model" non è altro che un enorme contenitore di "numeri". Nel caso di GPT3-175B, 175 miliardi di numeri, fine. > Questi numeri si chiamano "pesi" ma sempre numeri sono. Ho atteso che qualcun altro intervenisse prima di me, perché avevo paura di infilarmi in discussioni controproducenti con le solite persone in questa lista, e ti ringrazio, quindi, di aver sottolineato un fatto fondamentale. A me pare che si sia sviluppato un certo "credo" tra gli avventori di questa lista, che si disinteressa completamente dello stato dell'arte e delle definizioni su cui c'è consenso, e finisce con il creare dogmi inscalfibili ai quali o si aderisce, o ci si becca papelli scritti con toni misti tra l'evangelizzazione e il perculamento. Se si vuole sostenere che il processo trasformativo attraverso il quale, partendo da dei testi o delle immagini, si finisce con il generare una serie di pesi all'interno di una rete neurale, è una forma di compressione, allora bisogna sostenere che lo stesso avviene durante l'apprendimento umano: gli umani nient'altro fanno, quando apprendono, che formare nuove connessioni neurali, che i pesi nelle reti neurali sono volti a simulare. La cosa interessante è che c'è una scuola di pensiero per la quale in effetti sì, l'apprendimento in senso lato, incluso quello umano, è una sorta di compressione dei dati. Pertanto, a me pare evidente che ogni tentativo si qui messo in atto da alcuni altri avventori della lista di "denigrare" l'apprendimento dei modelli di machine learning, fino a sostenere che non si tratta di "vero" apprendimento, in realtà finisce con l'inciampare sui suoi stessi antropocentrici piedi. Fabio

Oct. 2, 2023

Re: [nexa] ‘Biggest act of copyright theft in history’: thousands of Australian books allegedly used to train AI model | Australia news | The Guardian

by Antonio

> > Sto semplicemente dicendo che quei testi sono in gran parte presenti nel LLM seppure > > codificati con perdita di informazione. ... > OK, su cosa succede tecnicamente, ovvero sul tipo di elaborazione e > immagazzinamento dei testi _elaborari_, credo sia tutto sufficientemente > chiaro. No, aspettate, forse mi sono perso qualche puntata precedente. I testi non sono per nulla presenti nell'LLM, neanche in forma "compressa". Il "model" non è altro che un enorme contenitore di "numeri". Nel caso di GPT3-175B, 175 miliardi di numeri, fine. Questi numeri si chiamano "pesi" ma sempre numeri sono. Provo con qualche esempio. Prompt: Quante lune ha Giove? La prima operazione che fa un LLM è la tokenizzazione, nel caso dell'esempio: Token array: Array ( [Qu] => 4507 [ante] => 12427 [Ġl] => 300 [une] => 1726 [Ġha] => 387 [ĠGi] => 8118 [ove] => 659 [?] => 30 ) Il dizionario usato da OpenAI è pubblico e contiene 50257 token, quindi i numeri qui sopra sono quelli che realmente entrano nel processo di "inferenza" di ChatGPT. Quello che ChatGPT fa non è altro che aggiungere UN numero a quella sequenza (ovviamente sulla base di migliaia di calcoli che non sto qui a dettagliare). Il numero trovato (su una versione mininale di ChatGPT) è 33704. ChatGPT prende questo numero e lo accoda a 30, e così via ... Alla fine, la sequenza completa di ChatGPT sarà: 33704, 659, 387, 334, 2108, 498, 434, 68, 9225, 300, 1726, 1013, 7780, 378, che "detokenizzato", diventa: "Giove ha ufficialmente 79 lune confermate". Ciao, Antonio

Oct. 2, 2023