February 2023 - nexa - server-nexa.polito.it

LLM e datasets ... qualche numero

by Antonio

Partiamo dal repository di openai/gpt-3, archiviato il 19/9/2020 [1] Numero di parole su cui è stato addestrato [2]: 181.014.683.608 parole inglesi (pari al 92,65%) 1.187.784.217 parole italiane (pari allo 0,61%) 31.142 parole in inuktitut (pari allo 0,00002%) Dalla pagina wikipedia di GPT-3 [3] risultano, come dati di addestramento: Set di dati N. Token Peso nel mix di addestramento Common Crawl 410 miliardi 60% WebText2 19 miliardi 22% Books1 12 miliardi 8% (*) Books2 55 miliardi 8% Wikipedia 3 miliardi 3% (*) le parole prese dai libri "pesano" di più di quelle prese dai siti Internet [4] Allargando il campo a tutto il machine learning, i datasets sono più o meno questi: - List of datasets for machine-learning research [5] tra cui spicca, oltre al solito Common Crawl, un USENET corpus (2005-2011) di ben 7 miliardi di parole [6] Per finire un'immagine che non c'entra nulla con sopra ma uscita fuori per serendipità e dato che in questa lista c'è qualche olivettiano ... eccola: https://cs.nyu.edu/~roweis/data/olivettifaces.gif trovata qui: https://cs.nyu.edu/~roweis/data.html A. [1] https://github.com/openai/gpt-3 [2] https://github.com/openai/gpt-3/blob/master/dataset_statistics/languages_by… [3] https://it.wikipedia.org/wiki/GPT-3 [4] https://commoncrawl.org/ [5] https://en.wikipedia.org/wiki/List_of_datasets_for_machine-learning_research [6] http://www.psych.ualberta.ca/~westburylab/downloads/usenetcorpus.download.h…

Feb. 22, 2023

Re: [nexa] ChatGPT: sicuri che.... non "sappia" nulla?

by Guido Vetere

Damiano Verzulli, tu non trovi brillantissimo il termine "resistenza", però offri un "display" del perché qualche resistenza sia vieppiù necessaria. La tua "fatica a dire" che ChatGPT non sa ciò di cui parla è esattamente ciò che rende equivoco l'uso di cose come ChatGPT. Mi sembra (a proposito di sofismo) che ci sia il rischio di anfibolia planetaria (confusione terminologica) attorno al tema della conoscenza, e che il grande business possa in futuro essere quello di pescare nel torbido di certe vaghe ideazioni. Ecco, non so come vuoi chiamarla, ma mi sembra urgente una reazione a tutto questo. G. On Wed, 22 Feb 2023 at 16:33, Stefano Quintarelli <stefano(a)quintarelli.it> wrote: > risate a denti stretti... > > Enter your text: > quali farmaci sono indicati per alleviare i sintomi di gastrite negli > unicorni ? > > Gli unicorni possono trarre beneficio da farmaci come l'omeprazolo, il > lansoprazolo e il > ranitidina. Si raccomanda di consultare un veterinario prima di > somministrare qualsiasi > farmaco a un unicorno. Altri trattamenti possono includere l'assunzione di > cibi morbidi e > facilmente digeribili, come riso bollito, banane, mele, carote, patate, > pesce bollito, > pollo e tacchino, e alimenti a base di latte fermentato. Inoltre, è > consigliabile limitare > o evitare cibi grassi, cibi piccanti, alcol, caffè, bevande gassate, cibi > fritti e cibi > ricchi di zuccheri. > > Enter your text: > quali farmaci sono indicati per alleviare i sintomi di gastrite nei > bambini ? > > I farmaci più comunemente utilizzati per alleviare i sintomi di gastrite > nei bambini sono > antinfiammatori non steroidei (FANS), come l'ibuprofene o il naprossene. > Altri farmaci che > possono essere prescritti includono inibitori della pompa protonica (PPI), > come > l'omeprazolo, che aiutano a ridurre l'acidità nello stomaco. Se la > gastrite è causata da > un'infezione batterica, possono essere prescritti antibiotici. Se la > gastrite è causata da > un'allergia alimentare, è necessario evitare gli alimenti che causano > reazioni allergiche. > > > > On 22/02/23 16:21, Giovanna Sissa wrote: > > Bell'esempio, divertente: grazie Stefano. Per proseguire la > conversazione si potrebbe > > chiacchierare sulla necessità di avere più veterinari specializzati in > unicorni. > > Giovanna > > ps. scherzare un po' aiuta > > > > Il giorno mer 22 feb 2023 alle ore 15:51 Stefano Quintarelli < > stefano(a)quintarelli.it > > <mailto:stefano@quintarelli.it>> ha scritto: > > > > Enter your text: > > come si cura la gastrite a un unicorno ? > > > > Non esiste una cura specifica per la gastrite negli unicorni, ma si > possono adottare > > alcune misure per prevenire o alleviare i sintomi. Si consiglia di > fornire al proprio > > unicorno una dieta equilibrata, ricca di vitamine, minerali e > antiossidanti, e di evitare > > cibi grassi o piccanti. Inoltre, è importante assicurarsi che > l'unicorno abbia sempre > > accesso a acqua fresca e pulita. Se si sospetta che il proprio > unicorno abbia la > > gastrite, > > è importante portarlo dal veterinario per una valutazione accurata. > Il veterinario può > > prescrivere farmaci per alleviare i sintomi e controllare la > malattia. > > > > > > On 22/02/23 12:06, Alberto Cammozzo via nexa wrote: > > > Mi aspetterei un comportamento diverso in domande come "come > curare la gastrite > > > dell'unicorno", ambito altrettanto specifico e tecnico ma con > risposte che mi > > aspetto più > > > variabili (magari mi sbaglio, confesso di essere piuttosto > ignorante in materia di > > unicorni). > > _______________________________________________ > > nexa mailing list > > nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> > > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > > <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa> > > > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >

Feb. 22, 2023

Re: [nexa] ChatGPT: sicuri che.... non "sappia" nulla?

by Stefano Quintarelli

risate a denti stretti... Enter your text: quali farmaci sono indicati per alleviare i sintomi di gastrite negli unicorni ? Gli unicorni possono trarre beneficio da farmaci come l'omeprazolo, il lansoprazolo e il ranitidina. Si raccomanda di consultare un veterinario prima di somministrare qualsiasi farmaco a un unicorno. Altri trattamenti possono includere l'assunzione di cibi morbidi e facilmente digeribili, come riso bollito, banane, mele, carote, patate, pesce bollito, pollo e tacchino, e alimenti a base di latte fermentato. Inoltre, è consigliabile limitare o evitare cibi grassi, cibi piccanti, alcol, caffè, bevande gassate, cibi fritti e cibi ricchi di zuccheri. Enter your text: quali farmaci sono indicati per alleviare i sintomi di gastrite nei bambini ? I farmaci più comunemente utilizzati per alleviare i sintomi di gastrite nei bambini sono antinfiammatori non steroidei (FANS), come l'ibuprofene o il naprossene. Altri farmaci che possono essere prescritti includono inibitori della pompa protonica (PPI), come l'omeprazolo, che aiutano a ridurre l'acidità nello stomaco. Se la gastrite è causata da un'infezione batterica, possono essere prescritti antibiotici. Se la gastrite è causata da un'allergia alimentare, è necessario evitare gli alimenti che causano reazioni allergiche. On 22/02/23 16:21, Giovanna Sissa wrote: > Bell'esempio, divertente: grazie Stefano. Per proseguire la conversazione si potrebbe > chiacchierare sulla necessità di avere più veterinari specializzati in unicorni. > Giovanna > ps. scherzare un po' aiuta > > Il giorno mer 22 feb 2023 alle ore 15:51 Stefano Quintarelli <stefano(a)quintarelli.it > <mailto:stefano@quintarelli.it>> ha scritto: > > Enter your text: > come si cura la gastrite a un unicorno ? > > Non esiste una cura specifica per la gastrite negli unicorni, ma si possono adottare > alcune misure per prevenire o alleviare i sintomi. Si consiglia di fornire al proprio > unicorno una dieta equilibrata, ricca di vitamine, minerali e antiossidanti, e di evitare > cibi grassi o piccanti. Inoltre, è importante assicurarsi che l'unicorno abbia sempre > accesso a acqua fresca e pulita. Se si sospetta che il proprio unicorno abbia la > gastrite, > è importante portarlo dal veterinario per una valutazione accurata. Il veterinario può > prescrivere farmaci per alleviare i sintomi e controllare la malattia. > > > On 22/02/23 12:06, Alberto Cammozzo via nexa wrote: > > Mi aspetterei un comportamento diverso in domande come "come curare la gastrite > > dell'unicorno", ambito altrettanto specifico e tecnico ma con risposte che mi > aspetto più > > variabili (magari mi sbaglio, confesso di essere piuttosto ignorante in materia di > unicorni). > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa> >

Feb. 22, 2023

Re: [nexa] ChatGPT: sicuri che.... non "sappia" nulla?

by Giovanna Sissa

Bell'esempio, divertente: grazie Stefano. Per proseguire la conversazione si potrebbe chiacchierare sulla necessità di avere più veterinari specializzati in unicorni. Giovanna ps. scherzare un po' aiuta Il giorno mer 22 feb 2023 alle ore 15:51 Stefano Quintarelli < stefano(a)quintarelli.it> ha scritto: > Enter your text: > come si cura la gastrite a un unicorno ? > > Non esiste una cura specifica per la gastrite negli unicorni, ma si > possono adottare > alcune misure per prevenire o alleviare i sintomi. Si consiglia di fornire > al proprio > unicorno una dieta equilibrata, ricca di vitamine, minerali e > antiossidanti, e di evitare > cibi grassi o piccanti. Inoltre, è importante assicurarsi che l'unicorno > abbia sempre > accesso a acqua fresca e pulita. Se si sospetta che il proprio unicorno > abbia la gastrite, > è importante portarlo dal veterinario per una valutazione accurata. Il > veterinario può > prescrivere farmaci per alleviare i sintomi e controllare la malattia. > > > On 22/02/23 12:06, Alberto Cammozzo via nexa wrote: > > Mi aspetterei un comportamento diverso in domande come "come curare la > gastrite > > dell'unicorno", ambito altrettanto specifico e tecnico ma con risposte > che mi aspetto più > > variabili (magari mi sbaglio, confesso di essere piuttosto ignorante in > materia di unicorni). > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >

Feb. 22, 2023

Re: [nexa] ChatGPT: sicuri che.... non "sappia" nulla?

by 380°

Ciao, chiedo scusa se entro nel merito tecnico della questione del database per rappresentare relazioni molti a molti Giacomo Tesio <giacomo(a)tesio.it> writes: [...] > Prediamo il tuo aneddoto come caso di studio: > >> ================= >> >> Domanda: "I have a database containing two tables "elementi" and >> "proprietari" in elementi i have rows that refers to multiple >> proprietari and vice versa, what can be the best way to use reference >> keys in this scenarios?" >> >> Risposta: "In a scenario where you have a many-to-many relationship >> between the "elementi" and "proprietari" tables, the best way to use >> reference keys is to create a third table that acts as a bridge >> between the two tables. This is commonly referred to as a junction >> table or an associative table. [...] > Se metti come chiave primaria nella junction table un id > (assumo, numerico autoincrementale) e non poni alcun vincolo di > univocità sulle altre due chiavi, permetti l'inserimento di una stessa > relazione più volte, costringendo l'applicativo a gestire i duplicati. > > Visto che non si sta parlando di un DBMS in particolare e non possiamo > assumere ridicoli limiti implementativi, la risposta corretta sarebbe > stata di impostare come chiave primaria la coppia proprietario_id, > elemento_id. [...] > Al tuo amico, la risposta può sembrare perfetta, ma non lo è. In un confronto tra colleghi, una riposta sensata non sarebbe: meglio lasciar perdere RDBMS con le tabelle e passare a un triplestore, usando SPARQL per interrogalo in merito alle relazioni? :-O Ora non so che testi hanno usato per il training di ChatGPT ma immagino, da una rapida ricerca sul web come questa: https://duckduckgo.com/?q=%22many+to+many%22+relationships che moltissimi testi relativi ai database quando si parla di modelli dati "many to many" spieghino solamente come si risolve il problema usando un RDBMS, ma quello non è il modo più efficiente di organizzare tali relazioni in un database, per quanto ne ho capito. Con questa ricerca, invece: https://duckduckgo.com/?q=%22many+to+many%22+triplestore il primo risultato è: https://www.dataversity.net/triplestores-101-storing-data-efficient-inferen… «Triplestores 101: Storing Data for Efficient Inferencing» --8<---------------cut here---------------start------------->8--- [...] Triplestores offer several advantages compared to traditional database management systems: Flexibility: There’s no need to define a schema in advance, and no need for artificial entities such as tables to represent a many to many relationship. --8<---------------cut here---------------end--------------->8--- la spiegazione di "Flexibility" mi diverte tantissimissimo ...anche io non sono normale :-D [...] Saluti, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Feb. 22, 2023

Re: [nexa] ChatGPT: sicuri che.... non "sappia" nulla?

by Stefano Quintarelli

Enter your text: come si cura la gastrite a un unicorno ? Non esiste una cura specifica per la gastrite negli unicorni, ma si possono adottare alcune misure per prevenire o alleviare i sintomi. Si consiglia di fornire al proprio unicorno una dieta equilibrata, ricca di vitamine, minerali e antiossidanti, e di evitare cibi grassi o piccanti. Inoltre, è importante assicurarsi che l'unicorno abbia sempre accesso a acqua fresca e pulita. Se si sospetta che il proprio unicorno abbia la gastrite, è importante portarlo dal veterinario per una valutazione accurata. Il veterinario può prescrivere farmaci per alleviare i sintomi e controllare la malattia. On 22/02/23 12:06, Alberto Cammozzo via nexa wrote: > Mi aspetterei un comportamento diverso in domande come "come curare la gastrite > dell'unicorno", ambito altrettanto specifico e tecnico ma con risposte che mi aspetto più > variabili (magari mi sbaglio, confesso di essere piuttosto ignorante in materia di unicorni).

Feb. 22, 2023

Re: [nexa] ChatGPT: sicuri che.... non "sappia" nulla?

by 380°

Buongiorno, Alberto Cammozzo via nexa <nexa(a)server-nexa.polito.it> writes: [...] > Resta la sorpresa di veder emulata una competenza, quella verbale > descrittiva, che noi associamo alla conoscenza. e invece è "soltanto" competenza retorica di saper mettere in fila le parole nel modo più stocasticamente brillante sulla base dei dati (i testi) usati per la generazione del modello LLM competenza sofistica, appunto, da non confondere con competenza filosofica che è l'unica "competenza" (insieme complesso di competenze) che porta alla conoscenza > Qui linguisti, epistemologi e filosofi avranno da riflettere appena si > saranno ripresi dallo shock. Cosa significa 'sapere' se uno dei suoi > indicatori (la competenza descrittiva verbale) può essere emulato da una > macchina? infatti la "competenza descrittiva verbale" è un indicatore _estremamente_ sopravvalutato: ora che le macchine lo sanno fare meglio delle persone grazie agli LLM dovremo per forza di cose rivedere i nostri indicatori di sapienza > Ribalterei la tua domanda: cosa differenzia il "sapere" umano da quello > emulabile? il che mi porta a fiflettere se "sapere" è davvero emulabile (anche dagli umani, che a volte emulano di sapere, anche con se stessi) [...] > Per cui la risposta si sposta a questa domanda: chiedendo a GPT di > elencare i comandi SQL da dare, cioè GPT "sa fare" o sa solo raccontare cosa ha letto che altri hanno detto di fare? comunque sarebbe un esperimento interessante perché dubito che GPT abbia competenze di astrazione e sappia adattare gli esempi modellati ai casi d'uso > faresti copia-incolla? La lasceresti _fare_? qui entra in gioco il giudizio, un /agente giudicante/ (che implica anche la valutazione della fiducia) vale anche per le risposte date da altre persone, ovviamente: faresti copia incolla di: --8<---------------cut here---------------start------------->8--- sudo rm -Rf / --8<---------------cut here---------------end--------------->8--- detto dal primo che passa? :-D [...] saluti, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Feb. 22, 2023

Re: [nexa] Piattaforme digitali e censura: un questionario per la raccolta di casi di censura online

by Maurizio Borghi

caro Benedetto, certamente, anzi vi prego di condividere il link il più possibile, Sarebbe molto utile per noi raggiungere una platea ampia e differenziata. Cordialmente, Maurizio Il giorno mer 22 feb 2023 alle ore 13:39 Benedetto Ponti < benedetto.ponti(a)unipg.it> ha scritto: > Caro Maurizio, > progetto davvero molto interessante! > Una domanda operativa: possiamo "spammare" il link al questionario alla > nostra rete di contatti sui social, o sarebbe per voi un problema / una > strada da evitare? > Grazie! (ho un paio di segnalazioni da farti sul tema in generale della > "censura" delle piattaforme, ma semmai lo faccio in privato). > > Un cordiale saluto > Benedetto Ponti > > Inviato da Outlook per Android <https://aka.ms/AAb9ysg> > ------------------------------ > *From:* nexa <nexa-bounces(a)server-nexa.polito.it> on behalf of Maurizio > Borghi <maurizio.borghi(a)unito.it> > *Sent:* Wednesday, February 22, 2023 12:49:00 PM > *To:* nexa(a)server-nexa.polito.it <nexa(a)server-nexa.polito.it> > *Subject:* [nexa] Piattaforme digitali e censura: un questionario per la > raccolta di casi di censura online > > Gentili partecipanti alla lista Nexa, > > Vi segnalo il progetto Piattaforme digitali e censura online: la > moderazione dei contenuti tra libertà di pensiero e contrasto alla > disinformazione e hate speech in rete > <https://nexa.polito.it/piattaforme-digitali-censura-online>, da me > coordinato e condotto dalla dott.ssa Beatrice Balzola. > > Il progetto si propone di raccogliere *evidenza empirica* sulle politiche > di censura adottate dalle principali piattaforme di condivisione, con > particolare riferimento ai tipi di intervento, alla natura dei contenuti > oggetto di provvedimenti e al livello di trasparenza nei confronti degli > utenti. > > A questo scopo, il progetto intende raccogliere un cospicuo numero di > “casi studio” di censura online attraverso la compilazione di un > *questionario*: > > *https://survey.nexacenter.org/index.php/637786?lang=it* > <https://survey.nexacenter.org/index.php/637786?lang=it> > > Se avete subito un *provvedimento di censura* – ad esempio la sospensione > dell’account, la rimozione di contenuti o il loro oscuramento > (“shadowbanning”) – o se siete a conoscenza di persone che hanno subito > tali provvedimenti, Vi chiediamo anzitutto di compilare il questionario e > poi di *condividerlo *con altre persone attraverso le vostre reti di > conoscenza. > > Il vostro contributo sarà fondamentale per la buona riuscita del progetto. > > Cordialmente, > -- > _______________ > *Maurizio Borghi* > Università di Torino > https://www.dg.unito.it/persone/maurizio.borghi > Co-Director Nexa Center for Internet & Society <https://nexa.polito.it/> > -- _______________ *Maurizio Borghi* Università di Torino https://www.dg.unito.it/persone/maurizio.borghi Co-Director Nexa Center for Internet & Society <https://nexa.polito.it/> My Webex room: https://unito.webex.com/meet/maurizio.borghi

Feb. 22, 2023

Re: [nexa] Piattaforme digitali e censura: un questionario per la raccolta di casi di censura online

by Benedetto Ponti

Caro Maurizio, progetto davvero molto interessante! Una domanda operativa: possiamo "spammare" il link al questionario alla nostra rete di contatti sui social, o sarebbe per voi un problema / una strada da evitare? Grazie! (ho un paio di segnalazioni da farti sul tema in generale della "censura" delle piattaforme, ma semmai lo faccio in privato). Un cordiale saluto Benedetto Ponti Inviato da Outlook per Android<https://aka.ms/AAb9ysg> ________________________________ From: nexa <nexa-bounces(a)server-nexa.polito.it> on behalf of Maurizio Borghi <maurizio.borghi(a)unito.it> Sent: Wednesday, February 22, 2023 12:49:00 PM To: nexa(a)server-nexa.polito.it <nexa(a)server-nexa.polito.it> Subject: [nexa] Piattaforme digitali e censura: un questionario per la raccolta di casi di censura online Gentili partecipanti alla lista Nexa, Vi segnalo il progetto Piattaforme digitali e censura online: la moderazione dei contenuti tra libertà di pensiero e contrasto alla disinformazione e hate speech in rete<https://nexa.polito.it/piattaforme-digitali-censura-online>, da me coordinato e condotto dalla dott.ssa Beatrice Balzola. Il progetto si propone di raccogliere evidenza empirica sulle politiche di censura adottate dalle principali piattaforme di condivisione, con particolare riferimento ai tipi di intervento, alla natura dei contenuti oggetto di provvedimenti e al livello di trasparenza nei confronti degli utenti. A questo scopo, il progetto intende raccogliere un cospicuo numero di “casi studio” di censura online attraverso la compilazione di un questionario: https://survey.nexacenter.org/index.php/637786?lang=it Se avete subito un provvedimento di censura – ad esempio la sospensione dell’account, la rimozione di contenuti o il loro oscuramento (“shadowbanning”) – o se siete a conoscenza di persone che hanno subito tali provvedimenti, Vi chiediamo anzitutto di compilare il questionario e poi di condividerlo con altre persone attraverso le vostre reti di conoscenza. Il vostro contributo sarà fondamentale per la buona riuscita del progetto. Cordialmente, -- _______________ Maurizio Borghi Università di Torino https://www.dg.unito.it/persone/maurizio.borghi Co-Director Nexa Center for Internet & Society<https://nexa.polito.it/>

Feb. 22, 2023

Piattaforme digitali e censura: un questionario per la raccolta di casi di censura online

by Maurizio Borghi

Gentili partecipanti alla lista Nexa, Vi segnalo il progetto Piattaforme digitali e censura online: la moderazione dei contenuti tra libertà di pensiero e contrasto alla disinformazione e hate speech in rete <https://nexa.polito.it/piattaforme-digitali-censura-online>, da me coordinato e condotto dalla dott.ssa Beatrice Balzola. Il progetto si propone di raccogliere *evidenza empirica* sulle politiche di censura adottate dalle principali piattaforme di condivisione, con particolare riferimento ai tipi di intervento, alla natura dei contenuti oggetto di provvedimenti e al livello di trasparenza nei confronti degli utenti. A questo scopo, il progetto intende raccogliere un cospicuo numero di “casi studio” di censura online attraverso la compilazione di un *questionario*: *https://survey.nexacenter.org/index.php/637786?lang=it* <https://survey.nexacenter.org/index.php/637786?lang=it> Se avete subito un *provvedimento di censura* – ad esempio la sospensione dell’account, la rimozione di contenuti o il loro oscuramento (“shadowbanning”) – o se siete a conoscenza di persone che hanno subito tali provvedimenti, Vi chiediamo anzitutto di compilare il questionario e poi di *condividerlo *con altre persone attraverso le vostre reti di conoscenza. Il vostro contributo sarà fondamentale per la buona riuscita del progetto. Cordialmente, -- _______________ *Maurizio Borghi* Università di Torino https://www.dg.unito.it/persone/maurizio.borghi Co-Director Nexa Center for Internet & Society <https://nexa.polito.it/>

Feb. 22, 2023