February 2024 - nexa - server-nexa.polito.it

Re: [nexa] Unexpected responses from ChatGPT - Incident Report for OpenAI

by Antonio

> Sta per crollare? Sicuro? Per chi? No, no, era un riferimento alla frase di Guido: "a me piace pensare che stiano lavorando per evitare sequenze 'verbatim' e dover pagare pegno al NYT e a tutti gli altri" Nel software sono d'accordo con te, altro che crollo, i sorgenti, sempre più proprietari di Microsoft, gli algoritmi segreti di Google, il software open "ingabbiato" nei cloud, ecc. Il paradosso è che tutto l'open prodotto in questi vent'anni abbia creato un mondo digitale "chiuso". Il futuro informatico sarà sempre più composto da client proprietari leggeri (o solo browser), con poco codice, e tutto il resto "open" ma chiuso e sorvegliato nei datacenter. Internet (magari con costi infrastrutturali a carico della collettività) a fare semplicemente da gateway. A.

Feb. 24, 2024

Re: [nexa] Unexpected responses from ChatGPT - Incident Report for OpenAI

by Giacomo Tesio

Il 24 Febbraio 2024 13:23:47 CET, Antonio <antonio(a)piumarossa.it> ha scritto: > 2) con l'AI sta per crollare (finalmente) il diritto d'autore (pagare pegno al NYT e a tutti gli altri) Sta per crollare? Sicuro? Per chi? Potremo usare Windows e Office aggratis? I dipendenti potranno diffondere i sorgenti proprietari di Microsoft o gli algoritmi segreti di Google? O sarà "fair use" solo quando lo fanno le Big Tech USA? Giacomo

Feb. 24, 2024

Re: [nexa] Unexpected responses from ChatGPT - Incident Report for OpenAI

by Antonio

> 1) L'AGI è una devastante narrazione che va smontata Faccio l'LLM umana e riassumo, con licenza di interpretare alcune frasi, il thread (in particolare le mail di Guido). 2) con l'AI sta per crollare (finalmente) il diritto d'autore (pagare pegno al NYT e a tutti gli altri) 3) per i matematici di oggi il significato linguistico è solo un insieme di "invenzioni espressive" 4) Gli LLM hanno risolto i problemi di NLP, se devo leggere un testo "noioso" di 10 pagine, lo schiaffo dentro un LLM e mi tira fuori un ottimo riassunto di una pagina In lista, più o meno, queste cose l'abbiamo chiare, ma fuori? Che sta succedendo? Stamattina sono andato a fare la spesa in un ipermercato, l'altoparlante continuava a ripetere che le casse "self" erano attive. Ma per tutto il tempo che sono stato là non ci è andato nessuno. La gente preferisce gli essere umani, foss'anche per dirsi solamente "buongiorno". L'imprenditore ha "bisogno" di tagliare cassieri e si affida alla tecnologia ma alle persone non interessa "saltare la coda", risparmiare quei dieci minuti, per perderne altrettanti con un aggeggio elettronico. Domani la cassa "self" sarà dotata di AI, ancora più "efficiente", ti parlerà come un essere umano, forse ti consiglierà pure quale prodotto aggiungere agli acquisti appena fatti, insomma, al posto del cassiere a cui, di quello che compri, non gliene frega niente, la nuova cassa "AI" riuscirà a farti spendere molto di più ... peccato che a forza di tagliare "lavoro", non ci sarà più nessun acquirente. A.

Feb. 24, 2024

Re: [nexa] Unexpected responses from ChatGPT - Incident Report for OpenAI

by Giacomo Tesio

Salve Marco e Stefano Il 24 Febbraio 2024 11:22:33 CET, Marco Ciurcina via nexa <nexa(a)server-nexa.polito.it> ha scritto: > Il 24/02/24 11:02, Stefano Quintarelli ha scritto: > > che regole sbagliate possano favorire i monopolisti non e' una affermazione vera a prescindere ? > > È anche vero che: > > - l'assenza di regole può favorire i monopolisti, > > - regole giuste possono favorire gli altri (quelli che non sono monopolisti). Mi ricordate un'occasione storica in cui l'assenza di regole abbia impedito o anche solo ridotto la concentrazione di Potere (economico, politico, religioso...)? Non mi viene un singolo esempio. Posso elencare invece innunerevoli esempi in cui l'assenza di regole (o l'incapacità o non volontà di farle rispettare hanno favorito concentrazioni di potere dagli esiti drammatici, come l'ascesa di fascismi e nazismi, l'ascesa di mafie e organizzazioni eversive fino ai vertici delle istituzioni italiane (dalla P2 al berlusconismo), le violazioni sistematica dei diritti riconosciuti dalla Costituzione (e dal GDPR etc...) etc.... Certo, spesso chi ha ormai acquisito un potere soverchiante detta ai regolatori leggi che ne consolidino il potere, ma che io ricordi questo avviene solo quando il loro potere viene insidiato da concorrenti non acquistabili. Ma finquando questo non avviene, di solito cercano di impedire l'approvazione delle leggi che li riguardano con tutte le proprie forze. Avete controesempi? Giacomo

Feb. 24, 2024

Re: [nexa] Unexpected responses from ChatGPT - Incident Report for OpenAI

by Guido Vetere

> Amplificare a dismisura gli errori delle menti umane è un errore specifico dei nuovi sistemi computerizzati, e questa è una loro pericolosità specifica secondo me l'AI fa errori tutti suoi: noi ragioniamo male (l'elenco delle fallacie argomentative è impressionante) ma quella (parlo dei 'pappagalli') non ragiona affatto, il che, dicevo, per le applicazioni modeste (ma utili) è un bene. ma concordo: l'AGI è una devastante narrazione che va smontata G. On Sat, 24 Feb 2024 at 11:12, Alberto Cammozzo via nexa < nexa(a)server-nexa.polito.it> wrote: > Computers are often being used for what the computer does poorly and the > human mind does well. > At the same time the human mind is being used for what the human mind does > poorly and the computer does well. > Even worse, impossible tasks are attempted while achievable and important > goals are ignored. > > Forrester, J. W. (1971). *Counterintuitive behavior of social systems. > Theory and Decision, 2(2), 109–140.* doi:10.1007/bf00148991 > > Distinguiamo gli scopi 'modesti' e 'noiosi' (per i quali nessuno si > preoccupa) da quelli pericolosi. > Amplificare a dismisura gli errori delle menti umane è un errore specifico > dei nuovi sistemi computerizzati, e questa è una loro pericolosità > specifica. > > > Alberto > > > On 24/02/24 10:37, Guido Vetere wrote: > > Gufare sui LLM è divertentissimo, tuttavia hanno risolto problemi di NLP > che si sono dimostrati praticamente inattaccabili con tecniche > tradizionali, tipo summarization o semantic role labelling. > Per questo, sono già largamente impiegati per compiti relativamente > 'modesti' di estrazione, elaborazione e ricerca di informazione da > documenti, ad esempio archivistici. In questi impieghi, la pappagallagine è > un beneficio e le allucinazioni, se ci sono, sono nei documenti sorgente, > non nelle piattaforme (pseudo) linguistiche. > Questa roba è qui per restare, facciamocene una ragione. > Ma non esistono solo le Big Tech US in questa storia: escono LLM dalle > maledette pareti! Molte di queste pareti sono europee, accademiche o > pubblico-private. > Insomma i margini di manovra ci sono, ma bisogna capire meglio quali siano > le manovre. Non credo che andremo lontano a colpi di regolamenti, > certificazioni e relativi enti, simposi e convegni, comitati etici, et > ceteris. > > G. > > > > > On Fri, 23 Feb 2024 at 18:33, Giacomo Tesio <giacomo(a)tesio.it> wrote: > >> Salve Daniela, >> >> come avrai certamentr notato il postmortem può essere diviso in 3 parti: >> >> 1. L'elenco di fatti non negabili >> >> > On February 20, 2024, an optimization to the user experience introduced >> a bug [...] >> > >> > LLMs generate responses by randomly sampling words based in part on >> probabilities. [...] >> > >> > In this case, the bug was in the step where the model chooses these >> numbers. [...] >> > >> > Upon identifying the cause of this incident, we rolled out a fix and >> confirmed that >> > the incident was resolved. >> >> >> 2. L'antropomorfizzazione del modello >> >> > [... a bug] with how the model processes language. >> > >> > [...] Their “language” consists of numbers that map to tokens. >> > >> > [...] Akin to being lost in translation, the model chose slightly wrong >> numbers, which >> > produced word sequences that made no sense. >> >> Povero! Povero modellino! :-D >> >> Notare le espressioni "processes language", "language consists", "lost in >> translation" >> e soprattutto "choose". >> >> E notare come quando gli output non supportano la loro narrazione sulla >> "intelligenza artificiale" >> diventano subito "word sequences that made no sense". >> >> L'output passa da "language" a "word sequences". >> >> Come se gli output prodotti "randomly sampling words based in part on >> probabilities" >> avessero un avuto senso prima del bug! >> >> >> 3. La supercazzola magica >> >> > More technically, inference kernels produced incorrect results when >> used in certain >> > GPU configurations. >> >> Data la menzione delle probabilità e delle configurazioni delle GPU, >> scommetterei >> un caffé che il bug era riconducibile ad un overflow numerico o qualcosa >> di simile. >> >> Il software si rivela semplicemente per quello che è, privo di qualsiasi >> intelligenza. >> >> >> > Come hanno osservato in molti, la definizione di chatGPT fornita dai >> tecnici di OpenAI >> > è quella a cui ci si riferisce con "pappagallo stocastico". >> >> Ed è anche quella considerata blasfema dai "believers" della AI. >> >> Che però si aggrapperanno a quell'innocente "in part" per continuare a >> credere alle favole. >> >> >> Piuttosto, su cosa si basa il software ChatGPT oltre alle probabilità? >> >> Semplicemente, la volontà di OpenAI/Microsoft, impressa nel codice delle >> varie parti >> dell'applicazione, dalla selezione dei contenuti, alle configurazioni, ai >> prefiltri e ai post filtri. >> >> Volontà che ChatGPT riprodurrà pedissequamente su vastissima scala, in >> tutti gli output rilevanti. >> >> >> Giacomo >> _______________________________________________ >> nexa mailing list >> nexa(a)server-nexa.polito.it >> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >> > > _______________________________________________ > nexa mailing listnexa@server-nexa.polito.ithttps://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >

Feb. 24, 2024

Re: [nexa] Unexpected responses from ChatGPT - Incident Report for OpenAI

by Marco Ciurcina

Il 24/02/24 11:02, Stefano Quintarelli ha scritto: > che regole sbagliate possano favorire i monopolisti non e' una > affermazione vera a prescindere ? È anche vero che: - l'assenza di regole può favorire i monopolisti, - regole giuste possono favorire gli altri (quelli che non sono monopolisti). m.c. > > On 24/02/24 11:00, Guido Vetere wrote: >> non è che non ci vogliono regole, è che regole sbagliate possono >> favorire i monopolisti >> quanto ai simposi e ai comitati, sono diventati quasi più noiosi >> dell'AI :-)) >> G. >> >> On Sat, 24 Feb 2024 at 10:50, Stefano Quintarelli >> <stefano(a)quintarelli.it <mailto:stefano@quintarelli.it>> wrote: >> >> non mi a pare nessuno discuta cio'. >> la "AI noiosa" e' tra noi da anni e lo sara' sempre di piu' >> solo che non e' la tecnologia salvifica, taumaturgica, human-like >> che alcuni narrano. >> e' uno strumento e va usato e considerato come tale. >> come la calcolatrice. >> IMHO >> >> come per ogni strumento, la regolazione e', per metterla in >> termini semplici, necessaria. >> >> ciao, s. >> >> On 24/02/24 10:37, Guido Vetere wrote: >> > Gufare sui LLM è divertentissimo, tuttavia hanno risolto >> problemi di NLP che si sono >> > dimostrati praticamente inattaccabili con tecniche >> tradizionali, tipo summarization o >> > semantic role labelling. >> > Per questo, sono già largamente impiegati per compiti >> relativamente 'modesti' di >> > estrazione, elaborazione e ricerca di informazione da >> documenti, ad esempio >> archivistici. >> > In questi impieghi, la pappagallagine è un beneficio e le >> allucinazioni, se ci >> sono, sono >> > nei documenti sorgente, non nelle piattaforme (pseudo) >> linguistiche. >> > Questa roba è qui per restare, facciamocene una ragione. >> > Ma non esistono solo le Big Tech US in questa storia: escono >> LLM dalle maledette >> pareti! >> > Molte di queste pareti sono europee, accademiche o >> pubblico-private. >> > Insomma i margini di manovra ci sono, ma bisogna capire meglio >> quali siano le >> manovre. Non >> > credo che andremo lontano a colpi di regolamenti, >> certificazioni e relativi enti, >> simposi >> > e convegni, comitati etici, et ceteris. >> > >> > G. >> > >> > >> > >> > >> > On Fri, 23 Feb 2024 at 18:33, Giacomo Tesio <giacomo(a)tesio.it >> <mailto:giacomo@tesio.it> <mailto:giacomo@tesio.it >> <mailto:giacomo@tesio.it>>> >> > wrote: >> > >> > Salve Daniela, >> > >> > come avrai certamentr notato il postmortem può essere >> diviso in 3 parti: >> > >> > 1. L'elenco di fatti non negabili >> > >> > > On February 20, 2024, an optimization to the user >> experience introduced a >> bug [...] >> > > >> > > LLMs generate responses by randomly sampling words >> based in part on >> probabilities. >> > [...] >> > > >> > > In this case, the bug was in the step where the model >> chooses these numbers. >> [...] >> > > >> > > Upon identifying the cause of this incident, we rolled >> out a fix and >> confirmed that >> > > the incident was resolved. >> > >> > >> > 2. L'antropomorfizzazione del modello >> > >> > > [... a bug] with how the model processes language. >> > > >> > > [...] Their “language” consists of numbers that map to >> tokens. >> > > >> > > [...] Akin to being lost in translation, the model >> chose slightly wrong >> numbers, which >> > > produced word sequences that made no sense. >> > >> > Povero! Povero modellino! :-D >> > >> > Notare le espressioni "processes language", "language >> consists", "lost in >> translation" >> > e soprattutto "choose". >> > >> > E notare come quando gli output non supportano la loro >> narrazione sulla >> "intelligenza >> > artificiale" >> > diventano subito "word sequences that made no sense". >> > >> > L'output passa da "language" a "word sequences". >> > >> > Come se gli output prodotti "randomly sampling words based >> in part on >> probabilities" >> > avessero un avuto senso prima del bug! >> > >> > >> > 3. La supercazzola magica >> > >> > > More technically, inference kernels produced incorrect >> results when used in >> certain >> > > GPU configurations. >> > >> > Data la menzione delle probabilità e delle configurazioni >> delle GPU, scommetterei >> > un caffé che il bug era riconducibile ad un overflow >> numerico o qualcosa di simile. >> > >> > Il software si rivela semplicemente per quello che è, >> privo di qualsiasi >> intelligenza. >> > >> > >> > > Come hanno osservato in molti, la definizione di >> chatGPT fornita dai tecnici >> di OpenAI >> > > è quella a cui ci si riferisce con "pappagallo >> stocastico". >> > >> > Ed è anche quella considerata blasfema dai "believers" >> della AI. >> > >> > Che però si aggrapperanno a quell'innocente "in part" per >> continuare a credere alle >> > favole. >> > >> > >> > Piuttosto, su cosa si basa il software ChatGPT oltre alle >> probabilità? >> > >> > Semplicemente, la volontà di OpenAI/Microsoft, impressa >> nel codice delle varie >> parti >> > dell'applicazione, dalla selezione dei contenuti, alle >> configurazioni, ai >> prefiltri e >> > ai post filtri. >> > >> > Volontà che ChatGPT riprodurrà pedissequamente su >> vastissima scala, in tutti gli >> > output rilevanti. >> > >> > >> > Giacomo >> > _______________________________________________ >> > nexa mailing list >> > nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> >> <mailto:nexa@server-nexa.polito.it >> <mailto:nexa@server-nexa.polito.it>> >> > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >> <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa> >> > <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >> <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa>> >> > >> > >> > _______________________________________________ >> > nexa mailing list >> > nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> >> > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >> <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa> >> > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa -- Avv. Marco Ciurcina Via San Quintino, 32 10121 Torino TO tel +39 011 4546112 cell +39 335 6650910

Feb. 24, 2024

Re: [nexa] Unexpected responses from ChatGPT - Incident Report for OpenAI

by Guido Vetere

certo, ma cerchiamo di non farla diventare anche analitica :-) On Sat, 24 Feb 2024 at 11:02, Stefano Quintarelli <stefano(a)quintarelli.it> wrote: > che regole sbagliate possano favorire i monopolisti non e' una > affermazione vera a > prescindere ? > > On 24/02/24 11:00, Guido Vetere wrote: > > non è che non ci vogliono regole, è che regole sbagliate possono > favorire i monopolisti > > quanto ai simposi e ai comitati, sono diventati quasi più noiosi > dell'AI :-)) > > G. > > > > On Sat, 24 Feb 2024 at 10:50, Stefano Quintarelli < > stefano(a)quintarelli.it > > <mailto:stefano@quintarelli.it>> wrote: > > > > non mi a pare nessuno discuta cio'. > > la "AI noiosa" e' tra noi da anni e lo sara' sempre di piu' > > solo che non e' la tecnologia salvifica, taumaturgica, human-like > che alcuni narrano. > > e' uno strumento e va usato e considerato come tale. > > come la calcolatrice. > > IMHO > > > > come per ogni strumento, la regolazione e', per metterla in termini > semplici, necessaria. > > > > ciao, s. > > > > On 24/02/24 10:37, Guido Vetere wrote: > > > Gufare sui LLM è divertentissimo, tuttavia hanno risolto problemi > di NLP che si sono > > > dimostrati praticamente inattaccabili con tecniche tradizionali, > tipo summarization o > > > semantic role labelling. > > > Per questo, sono già largamente impiegati per compiti > relativamente 'modesti' di > > > estrazione, elaborazione e ricerca di informazione da documenti, > ad esempio > > archivistici. > > > In questi impieghi, la pappagallagine è un beneficio e le > allucinazioni, se ci > > sono, sono > > > nei documenti sorgente, non nelle piattaforme (pseudo) > linguistiche. > > > Questa roba è qui per restare, facciamocene una ragione. > > > Ma non esistono solo le Big Tech US in questa storia: escono LLM > dalle maledette > > pareti! > > > Molte di queste pareti sono europee, accademiche o > pubblico-private. > > > Insomma i margini di manovra ci sono, ma bisogna capire meglio > quali siano le > > manovre. Non > > > credo che andremo lontano a colpi di regolamenti, certificazioni > e relativi enti, > > simposi > > > e convegni, comitati etici, et ceteris. > > > > > > G. > > > > > > > > > > > > > > > On Fri, 23 Feb 2024 at 18:33, Giacomo Tesio <giacomo(a)tesio.it > > <mailto:giacomo@tesio.it> <mailto:giacomo@tesio.it <mailto: > giacomo(a)tesio.it>>> > > > wrote: > > > > > > Salve Daniela, > > > > > > come avrai certamentr notato il postmortem può essere diviso > in 3 parti: > > > > > > 1. L'elenco di fatti non negabili > > > > > > > On February 20, 2024, an optimization to the user > experience introduced a > > bug [...] > > > > > > > > LLMs generate responses by randomly sampling words based > in part on > > probabilities. > > > [...] > > > > > > > > In this case, the bug was in the step where the model > chooses these numbers. > > [...] > > > > > > > > Upon identifying the cause of this incident, we rolled out > a fix and > > confirmed that > > > > the incident was resolved. > > > > > > > > > 2. L'antropomorfizzazione del modello > > > > > > > [... a bug] with how the model processes language. > > > > > > > > [...] Their “language” consists of numbers that map to > tokens. > > > > > > > > [...] Akin to being lost in translation, the model chose > slightly wrong > > numbers, which > > > > produced word sequences that made no sense. > > > > > > Povero! Povero modellino! :-D > > > > > > Notare le espressioni "processes language", "language > consists", "lost in > > translation" > > > e soprattutto "choose". > > > > > > E notare come quando gli output non supportano la loro > narrazione sulla > > "intelligenza > > > artificiale" > > > diventano subito "word sequences that made no sense". > > > > > > L'output passa da "language" a "word sequences". > > > > > > Come se gli output prodotti "randomly sampling words based in > part on > > probabilities" > > > avessero un avuto senso prima del bug! > > > > > > > > > 3. La supercazzola magica > > > > > > > More technically, inference kernels produced incorrect > results when used in > > certain > > > > GPU configurations. > > > > > > Data la menzione delle probabilità e delle configurazioni > delle GPU, scommetterei > > > un caffé che il bug era riconducibile ad un overflow numerico > o qualcosa di simile. > > > > > > Il software si rivela semplicemente per quello che è, privo > di qualsiasi > > intelligenza. > > > > > > > > > > Come hanno osservato in molti, la definizione di chatGPT > fornita dai tecnici > > di OpenAI > > > > è quella a cui ci si riferisce con "pappagallo stocastico". > > > > > > Ed è anche quella considerata blasfema dai "believers" della > AI. > > > > > > Che però si aggrapperanno a quell'innocente "in part" per > continuare a credere alle > > > favole. > > > > > > > > > Piuttosto, su cosa si basa il software ChatGPT oltre alle > probabilità? > > > > > > Semplicemente, la volontà di OpenAI/Microsoft, impressa nel > codice delle varie > > parti > > > dell'applicazione, dalla selezione dei contenuti, alle > configurazioni, ai > > prefiltri e > > > ai post filtri. > > > > > > Volontà che ChatGPT riprodurrà pedissequamente su vastissima > scala, in tutti gli > > > output rilevanti. > > > > > > > > > Giacomo > > > _______________________________________________ > > > nexa mailing list > > > nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> > > <mailto:nexa@server-nexa.polito.it <mailto: > nexa(a)server-nexa.polito.it>> > > > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > > <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa> > > > <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > > <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa>> > > > > > > > > > _______________________________________________ > > > nexa mailing list > > > nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> > > > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > > <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa> > > >

Feb. 24, 2024

Re: [nexa] Unexpected responses from ChatGPT - Incident Report for OpenAI

by Alberto Cammozzo

Computers are often being used for what the computer does poorly and the human mind does well. At the same time the human mind is being used for what the human mind does poorly and the computer does well. Even worse, impossible tasks are attempted while achievable and important goals are ignored. Forrester, J. W. (1971). /Counterintuitive behavior of social systems. Theory and Decision, 2(2), 109–140./ doi:10.1007/bf00148991 Distinguiamo gli scopi 'modesti' e 'noiosi' (per i quali nessuno si preoccupa) da quelli pericolosi. Amplificare a dismisura gli errori delle menti umane è un errore specifico dei nuovi sistemi computerizzati, e questa è una loro pericolosità specifica. Alberto On 24/02/24 10:37, Guido Vetere wrote: > Gufare sui LLM è divertentissimo, tuttavia hanno risolto problemi di > NLP che si sono dimostrati praticamente inattaccabili con tecniche > tradizionali, tipo summarization o semantic role labelling. > Per questo, sono già largamente impiegati per compiti relativamente > 'modesti' di estrazione, elaborazione e ricerca di informazione da > documenti, ad esempio archivistici. In questi impieghi, la > pappagallagine è un beneficio e le allucinazioni, se ci sono, sono nei > documenti sorgente, non nelle piattaforme (pseudo) linguistiche. > Questa roba è qui per restare, facciamocene una ragione. > Ma non esistono solo le Big Tech US in questa storia: escono LLM dalle > maledette pareti! Molte di queste pareti sono europee, accademiche o > pubblico-private. > Insomma i margini di manovra ci sono, ma bisogna capire meglio quali > siano le manovre. Non credo che andremo lontano a colpi di > regolamenti, certificazioni e relativi enti, simposi e convegni, > comitati etici, et ceteris. > > G. > > > > > On Fri, 23 Feb 2024 at 18:33, Giacomo Tesio <giacomo(a)tesio.it> wrote: > > Salve Daniela, > > come avrai certamentr notato il postmortem può essere diviso in 3 > parti: > > 1. L'elenco di fatti non negabili > > > On February 20, 2024, an optimization to the user experience > introduced a bug [...] > > > > LLMs generate responses by randomly sampling words based in part > on probabilities. [...] > > > > In this case, the bug was in the step where the model chooses > these numbers. [...] > > > > Upon identifying the cause of this incident, we rolled out a fix > and confirmed that > > the incident was resolved. > > > 2. L'antropomorfizzazione del modello > > > [... a bug] with how the model processes language. > > > > [...] Their “language” consists of numbers that map to tokens. > > > > [...] Akin to being lost in translation, the model chose > slightly wrong numbers, which > > produced word sequences that made no sense. > > Povero! Povero modellino! :-D > > Notare le espressioni "processes language", "language consists", > "lost in translation" > e soprattutto "choose". > > E notare come quando gli output non supportano la loro narrazione > sulla "intelligenza artificiale" > diventano subito "word sequences that made no sense". > > L'output passa da "language" a "word sequences". > > Come se gli output prodotti "randomly sampling words based in part > on probabilities" > avessero un avuto senso prima del bug! > > > 3. La supercazzola magica > > > More technically, inference kernels produced incorrect results > when used in certain > > GPU configurations. > > Data la menzione delle probabilità e delle configurazioni delle > GPU, scommetterei > un caffé che il bug era riconducibile ad un overflow numerico o > qualcosa di simile. > > Il software si rivela semplicemente per quello che è, privo di > qualsiasi intelligenza. > > > > Come hanno osservato in molti, la definizione di chatGPT fornita > dai tecnici di OpenAI > > è quella a cui ci si riferisce con "pappagallo stocastico". > > Ed è anche quella considerata blasfema dai "believers" della AI. > > Che però si aggrapperanno a quell'innocente "in part" per > continuare a credere alle favole. > > > Piuttosto, su cosa si basa il software ChatGPT oltre alle probabilità? > > Semplicemente, la volontà di OpenAI/Microsoft, impressa nel codice > delle varie parti > dell'applicazione, dalla selezione dei contenuti, alle > configurazioni, ai prefiltri e ai post filtri. > > Volontà che ChatGPT riprodurrà pedissequamente su vastissima > scala, in tutti gli output rilevanti. > > > Giacomo > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > > > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa

Feb. 24, 2024

Re: [nexa] Unexpected responses from ChatGPT - Incident Report for OpenAI

by Stefano Quintarelli

che regole sbagliate possano favorire i monopolisti non e' una affermazione vera a prescindere ? On 24/02/24 11:00, Guido Vetere wrote: > non è che non ci vogliono regole, è che regole sbagliate possono favorire i monopolisti > quanto ai simposi e ai comitati, sono diventati quasi più noiosi dell'AI :-)) > G. > > On Sat, 24 Feb 2024 at 10:50, Stefano Quintarelli <stefano(a)quintarelli.it > <mailto:stefano@quintarelli.it>> wrote: > > non mi a pare nessuno discuta cio'. > la "AI noiosa" e' tra noi da anni e lo sara' sempre di piu' > solo che non e' la tecnologia salvifica, taumaturgica, human-like che alcuni narrano. > e' uno strumento e va usato e considerato come tale. > come la calcolatrice. > IMHO > > come per ogni strumento, la regolazione e', per metterla in termini semplici, necessaria. > > ciao, s. > > On 24/02/24 10:37, Guido Vetere wrote: > > Gufare sui LLM è divertentissimo, tuttavia hanno risolto problemi di NLP che si sono > > dimostrati praticamente inattaccabili con tecniche tradizionali, tipo summarization o > > semantic role labelling. > > Per questo, sono già largamente impiegati per compiti relativamente 'modesti' di > > estrazione, elaborazione e ricerca di informazione da documenti, ad esempio > archivistici. > > In questi impieghi, la pappagallagine è un beneficio e le allucinazioni, se ci > sono, sono > > nei documenti sorgente, non nelle piattaforme (pseudo) linguistiche. > > Questa roba è qui per restare, facciamocene una ragione. > > Ma non esistono solo le Big Tech US in questa storia: escono LLM dalle maledette > pareti! > > Molte di queste pareti sono europee, accademiche o pubblico-private. > > Insomma i margini di manovra ci sono, ma bisogna capire meglio quali siano le > manovre. Non > > credo che andremo lontano a colpi di regolamenti, certificazioni e relativi enti, > simposi > > e convegni, comitati etici, et ceteris. > > > > G. > > > > > > > > > > On Fri, 23 Feb 2024 at 18:33, Giacomo Tesio <giacomo(a)tesio.it > <mailto:giacomo@tesio.it> <mailto:giacomo@tesio.it <mailto:giacomo@tesio.it>>> > > wrote: > > > > Salve Daniela, > > > > come avrai certamentr notato il postmortem può essere diviso in 3 parti: > > > > 1. L'elenco di fatti non negabili > > > > > On February 20, 2024, an optimization to the user experience introduced a > bug [...] > > > > > > LLMs generate responses by randomly sampling words based in part on > probabilities. > > [...] > > > > > > In this case, the bug was in the step where the model chooses these numbers. > [...] > > > > > > Upon identifying the cause of this incident, we rolled out a fix and > confirmed that > > > the incident was resolved. > > > > > > 2. L'antropomorfizzazione del modello > > > > > [... a bug] with how the model processes language. > > > > > > [...] Their “language” consists of numbers that map to tokens. > > > > > > [...] Akin to being lost in translation, the model chose slightly wrong > numbers, which > > > produced word sequences that made no sense. > > > > Povero! Povero modellino! :-D > > > > Notare le espressioni "processes language", "language consists", "lost in > translation" > > e soprattutto "choose". > > > > E notare come quando gli output non supportano la loro narrazione sulla > "intelligenza > > artificiale" > > diventano subito "word sequences that made no sense". > > > > L'output passa da "language" a "word sequences". > > > > Come se gli output prodotti "randomly sampling words based in part on > probabilities" > > avessero un avuto senso prima del bug! > > > > > > 3. La supercazzola magica > > > > > More technically, inference kernels produced incorrect results when used in > certain > > > GPU configurations. > > > > Data la menzione delle probabilità e delle configurazioni delle GPU, scommetterei > > un caffé che il bug era riconducibile ad un overflow numerico o qualcosa di simile. > > > > Il software si rivela semplicemente per quello che è, privo di qualsiasi > intelligenza. > > > > > > > Come hanno osservato in molti, la definizione di chatGPT fornita dai tecnici > di OpenAI > > > è quella a cui ci si riferisce con "pappagallo stocastico". > > > > Ed è anche quella considerata blasfema dai "believers" della AI. > > > > Che però si aggrapperanno a quell'innocente "in part" per continuare a credere alle > > favole. > > > > > > Piuttosto, su cosa si basa il software ChatGPT oltre alle probabilità? > > > > Semplicemente, la volontà di OpenAI/Microsoft, impressa nel codice delle varie > parti > > dell'applicazione, dalla selezione dei contenuti, alle configurazioni, ai > prefiltri e > > ai post filtri. > > > > Volontà che ChatGPT riprodurrà pedissequamente su vastissima scala, in tutti gli > > output rilevanti. > > > > > > Giacomo > > _______________________________________________ > > nexa mailing list > > nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> > <mailto:nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it>> > > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa> > > <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa>> > > > > > > _______________________________________________ > > nexa mailing list > > nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> > > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa> >

Feb. 24, 2024

Re: [nexa] Unexpected responses from ChatGPT - Incident Report for OpenAI

by Guido Vetere

non è che non ci vogliono regole, è che regole sbagliate possono favorire i monopolisti quanto ai simposi e ai comitati, sono diventati quasi più noiosi dell'AI :-)) G. On Sat, 24 Feb 2024 at 10:50, Stefano Quintarelli <stefano(a)quintarelli.it> wrote: > non mi a pare nessuno discuta cio'. > la "AI noiosa" e' tra noi da anni e lo sara' sempre di piu' > solo che non e' la tecnologia salvifica, taumaturgica, human-like che > alcuni narrano. > e' uno strumento e va usato e considerato come tale. > come la calcolatrice. > IMHO > > come per ogni strumento, la regolazione e', per metterla in termini > semplici, necessaria. > > ciao, s. > > On 24/02/24 10:37, Guido Vetere wrote: > > Gufare sui LLM è divertentissimo, tuttavia hanno risolto problemi di NLP > che si sono > > dimostrati praticamente inattaccabili con tecniche tradizionali, tipo > summarization o > > semantic role labelling. > > Per questo, sono già largamente impiegati per compiti relativamente > 'modesti' di > > estrazione, elaborazione e ricerca di informazione da documenti, ad > esempio archivistici. > > In questi impieghi, la pappagallagine è un beneficio e le allucinazioni, > se ci sono, sono > > nei documenti sorgente, non nelle piattaforme (pseudo) linguistiche. > > Questa roba è qui per restare, facciamocene una ragione. > > Ma non esistono solo le Big Tech US in questa storia: escono LLM dalle > maledette pareti! > > Molte di queste pareti sono europee, accademiche o pubblico-private. > > Insomma i margini di manovra ci sono, ma bisogna capire meglio quali > siano le manovre. Non > > credo che andremo lontano a colpi di regolamenti, certificazioni e > relativi enti, simposi > > e convegni, comitati etici, et ceteris. > > > > G. > > > > > > > > > > On Fri, 23 Feb 2024 at 18:33, Giacomo Tesio <giacomo(a)tesio.it <mailto: > giacomo(a)tesio.it>> > > wrote: > > > > Salve Daniela, > > > > come avrai certamentr notato il postmortem può essere diviso in 3 > parti: > > > > 1. L'elenco di fatti non negabili > > > > > On February 20, 2024, an optimization to the user experience > introduced a bug [...] > > > > > > LLMs generate responses by randomly sampling words based in part > on probabilities. > > [...] > > > > > > In this case, the bug was in the step where the model chooses > these numbers. [...] > > > > > > Upon identifying the cause of this incident, we rolled out a fix > and confirmed that > > > the incident was resolved. > > > > > > 2. L'antropomorfizzazione del modello > > > > > [... a bug] with how the model processes language. > > > > > > [...] Their “language” consists of numbers that map to tokens. > > > > > > [...] Akin to being lost in translation, the model chose slightly > wrong numbers, which > > > produced word sequences that made no sense. > > > > Povero! Povero modellino! :-D > > > > Notare le espressioni "processes language", "language consists", > "lost in translation" > > e soprattutto "choose". > > > > E notare come quando gli output non supportano la loro narrazione > sulla "intelligenza > > artificiale" > > diventano subito "word sequences that made no sense". > > > > L'output passa da "language" a "word sequences". > > > > Come se gli output prodotti "randomly sampling words based in part > on probabilities" > > avessero un avuto senso prima del bug! > > > > > > 3. La supercazzola magica > > > > > More technically, inference kernels produced incorrect results > when used in certain > > > GPU configurations. > > > > Data la menzione delle probabilità e delle configurazioni delle GPU, > scommetterei > > un caffé che il bug era riconducibile ad un overflow numerico o > qualcosa di simile. > > > > Il software si rivela semplicemente per quello che è, privo di > qualsiasi intelligenza. > > > > > > > Come hanno osservato in molti, la definizione di chatGPT fornita > dai tecnici di OpenAI > > > è quella a cui ci si riferisce con "pappagallo stocastico". > > > > Ed è anche quella considerata blasfema dai "believers" della AI. > > > > Che però si aggrapperanno a quell'innocente "in part" per continuare > a credere alle > > favole. > > > > > > Piuttosto, su cosa si basa il software ChatGPT oltre alle > probabilità? > > > > Semplicemente, la volontà di OpenAI/Microsoft, impressa nel codice > delle varie parti > > dell'applicazione, dalla selezione dei contenuti, alle > configurazioni, ai prefiltri e > > ai post filtri. > > > > Volontà che ChatGPT riprodurrà pedissequamente su vastissima scala, > in tutti gli > > output rilevanti. > > > > > > Giacomo > > _______________________________________________ > > nexa mailing list > > nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> > > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > > <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa> > > > > > > _______________________________________________ > > nexa mailing list > > nexa(a)server-nexa.polito.it > > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >

Feb. 24, 2024