- nexa - server-nexa.polito.it

Re: [nexa] Unexpected responses from ChatGPT - Incident Report for OpenAI

by Guido Vetere

> Amplificare a dismisura gli errori delle menti umane è un errore specifico dei nuovi sistemi computerizzati, e questa è una loro pericolosità specifica secondo me l'AI fa errori tutti suoi: noi ragioniamo male (l'elenco delle fallacie argomentative è impressionante) ma quella (parlo dei 'pappagalli') non ragiona affatto, il che, dicevo, per le applicazioni modeste (ma utili) è un bene. ma concordo: l'AGI è una devastante narrazione che va smontata G. On Sat, 24 Feb 2024 at 11:12, Alberto Cammozzo via nexa < nexa(a)server-nexa.polito.it> wrote: > Computers are often being used for what the computer does poorly and the > human mind does well. > At the same time the human mind is being used for what the human mind does > poorly and the computer does well. > Even worse, impossible tasks are attempted while achievable and important > goals are ignored. > > Forrester, J. W. (1971). *Counterintuitive behavior of social systems. > Theory and Decision, 2(2), 109–140.* doi:10.1007/bf00148991 > > Distinguiamo gli scopi 'modesti' e 'noiosi' (per i quali nessuno si > preoccupa) da quelli pericolosi. > Amplificare a dismisura gli errori delle menti umane è un errore specifico > dei nuovi sistemi computerizzati, e questa è una loro pericolosità > specifica. > > > Alberto > > > On 24/02/24 10:37, Guido Vetere wrote: > > Gufare sui LLM è divertentissimo, tuttavia hanno risolto problemi di NLP > che si sono dimostrati praticamente inattaccabili con tecniche > tradizionali, tipo summarization o semantic role labelling. > Per questo, sono già largamente impiegati per compiti relativamente > 'modesti' di estrazione, elaborazione e ricerca di informazione da > documenti, ad esempio archivistici. In questi impieghi, la pappagallagine è > un beneficio e le allucinazioni, se ci sono, sono nei documenti sorgente, > non nelle piattaforme (pseudo) linguistiche. > Questa roba è qui per restare, facciamocene una ragione. > Ma non esistono solo le Big Tech US in questa storia: escono LLM dalle > maledette pareti! Molte di queste pareti sono europee, accademiche o > pubblico-private. > Insomma i margini di manovra ci sono, ma bisogna capire meglio quali siano > le manovre. Non credo che andremo lontano a colpi di regolamenti, > certificazioni e relativi enti, simposi e convegni, comitati etici, et > ceteris. > > G. > > > > > On Fri, 23 Feb 2024 at 18:33, Giacomo Tesio <giacomo(a)tesio.it> wrote: > >> Salve Daniela, >> >> come avrai certamentr notato il postmortem può essere diviso in 3 parti: >> >> 1. L'elenco di fatti non negabili >> >> > On February 20, 2024, an optimization to the user experience introduced >> a bug [...] >> > >> > LLMs generate responses by randomly sampling words based in part on >> probabilities. [...] >> > >> > In this case, the bug was in the step where the model chooses these >> numbers. [...] >> > >> > Upon identifying the cause of this incident, we rolled out a fix and >> confirmed that >> > the incident was resolved. >> >> >> 2. L'antropomorfizzazione del modello >> >> > [... a bug] with how the model processes language. >> > >> > [...] Their “language” consists of numbers that map to tokens. >> > >> > [...] Akin to being lost in translation, the model chose slightly wrong >> numbers, which >> > produced word sequences that made no sense. >> >> Povero! Povero modellino! :-D >> >> Notare le espressioni "processes language", "language consists", "lost in >> translation" >> e soprattutto "choose". >> >> E notare come quando gli output non supportano la loro narrazione sulla >> "intelligenza artificiale" >> diventano subito "word sequences that made no sense". >> >> L'output passa da "language" a "word sequences". >> >> Come se gli output prodotti "randomly sampling words based in part on >> probabilities" >> avessero un avuto senso prima del bug! >> >> >> 3. La supercazzola magica >> >> > More technically, inference kernels produced incorrect results when >> used in certain >> > GPU configurations. >> >> Data la menzione delle probabilità e delle configurazioni delle GPU, >> scommetterei >> un caffé che il bug era riconducibile ad un overflow numerico o qualcosa >> di simile. >> >> Il software si rivela semplicemente per quello che è, privo di qualsiasi >> intelligenza. >> >> >> > Come hanno osservato in molti, la definizione di chatGPT fornita dai >> tecnici di OpenAI >> > è quella a cui ci si riferisce con "pappagallo stocastico". >> >> Ed è anche quella considerata blasfema dai "believers" della AI. >> >> Che però si aggrapperanno a quell'innocente "in part" per continuare a >> credere alle favole. >> >> >> Piuttosto, su cosa si basa il software ChatGPT oltre alle probabilità? >> >> Semplicemente, la volontà di OpenAI/Microsoft, impressa nel codice delle >> varie parti >> dell'applicazione, dalla selezione dei contenuti, alle configurazioni, ai >> prefiltri e ai post filtri. >> >> Volontà che ChatGPT riprodurrà pedissequamente su vastissima scala, in >> tutti gli output rilevanti. >> >> >> Giacomo >> _______________________________________________ >> nexa mailing list >> nexa(a)server-nexa.polito.it >> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >> > > _______________________________________________ > nexa mailing listnexa@server-nexa.polito.ithttps://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >

Feb. 24, 2024

Re: [nexa] Unexpected responses from ChatGPT - Incident Report for OpenAI

by Marco Ciurcina

Il 24/02/24 11:02, Stefano Quintarelli ha scritto: > che regole sbagliate possano favorire i monopolisti non e' una > affermazione vera a prescindere ? È anche vero che: - l'assenza di regole può favorire i monopolisti, - regole giuste possono favorire gli altri (quelli che non sono monopolisti). m.c. > > On 24/02/24 11:00, Guido Vetere wrote: >> non è che non ci vogliono regole, è che regole sbagliate possono >> favorire i monopolisti >> quanto ai simposi e ai comitati, sono diventati quasi più noiosi >> dell'AI :-)) >> G. >> >> On Sat, 24 Feb 2024 at 10:50, Stefano Quintarelli >> <stefano(a)quintarelli.it <mailto:stefano@quintarelli.it>> wrote: >> >> non mi a pare nessuno discuta cio'. >> la "AI noiosa" e' tra noi da anni e lo sara' sempre di piu' >> solo che non e' la tecnologia salvifica, taumaturgica, human-like >> che alcuni narrano. >> e' uno strumento e va usato e considerato come tale. >> come la calcolatrice. >> IMHO >> >> come per ogni strumento, la regolazione e', per metterla in >> termini semplici, necessaria. >> >> ciao, s. >> >> On 24/02/24 10:37, Guido Vetere wrote: >> > Gufare sui LLM è divertentissimo, tuttavia hanno risolto >> problemi di NLP che si sono >> > dimostrati praticamente inattaccabili con tecniche >> tradizionali, tipo summarization o >> > semantic role labelling. >> > Per questo, sono già largamente impiegati per compiti >> relativamente 'modesti' di >> > estrazione, elaborazione e ricerca di informazione da >> documenti, ad esempio >> archivistici. >> > In questi impieghi, la pappagallagine è un beneficio e le >> allucinazioni, se ci >> sono, sono >> > nei documenti sorgente, non nelle piattaforme (pseudo) >> linguistiche. >> > Questa roba è qui per restare, facciamocene una ragione. >> > Ma non esistono solo le Big Tech US in questa storia: escono >> LLM dalle maledette >> pareti! >> > Molte di queste pareti sono europee, accademiche o >> pubblico-private. >> > Insomma i margini di manovra ci sono, ma bisogna capire meglio >> quali siano le >> manovre. Non >> > credo che andremo lontano a colpi di regolamenti, >> certificazioni e relativi enti, >> simposi >> > e convegni, comitati etici, et ceteris. >> > >> > G. >> > >> > >> > >> > >> > On Fri, 23 Feb 2024 at 18:33, Giacomo Tesio <giacomo(a)tesio.it >> <mailto:giacomo@tesio.it> <mailto:giacomo@tesio.it >> <mailto:giacomo@tesio.it>>> >> > wrote: >> > >> > Salve Daniela, >> > >> > come avrai certamentr notato il postmortem può essere >> diviso in 3 parti: >> > >> > 1. L'elenco di fatti non negabili >> > >> > > On February 20, 2024, an optimization to the user >> experience introduced a >> bug [...] >> > > >> > > LLMs generate responses by randomly sampling words >> based in part on >> probabilities. >> > [...] >> > > >> > > In this case, the bug was in the step where the model >> chooses these numbers. >> [...] >> > > >> > > Upon identifying the cause of this incident, we rolled >> out a fix and >> confirmed that >> > > the incident was resolved. >> > >> > >> > 2. L'antropomorfizzazione del modello >> > >> > > [... a bug] with how the model processes language. >> > > >> > > [...] Their “language” consists of numbers that map to >> tokens. >> > > >> > > [...] Akin to being lost in translation, the model >> chose slightly wrong >> numbers, which >> > > produced word sequences that made no sense. >> > >> > Povero! Povero modellino! :-D >> > >> > Notare le espressioni "processes language", "language >> consists", "lost in >> translation" >> > e soprattutto "choose". >> > >> > E notare come quando gli output non supportano la loro >> narrazione sulla >> "intelligenza >> > artificiale" >> > diventano subito "word sequences that made no sense". >> > >> > L'output passa da "language" a "word sequences". >> > >> > Come se gli output prodotti "randomly sampling words based >> in part on >> probabilities" >> > avessero un avuto senso prima del bug! >> > >> > >> > 3. La supercazzola magica >> > >> > > More technically, inference kernels produced incorrect >> results when used in >> certain >> > > GPU configurations. >> > >> > Data la menzione delle probabilità e delle configurazioni >> delle GPU, scommetterei >> > un caffé che il bug era riconducibile ad un overflow >> numerico o qualcosa di simile. >> > >> > Il software si rivela semplicemente per quello che è, >> privo di qualsiasi >> intelligenza. >> > >> > >> > > Come hanno osservato in molti, la definizione di >> chatGPT fornita dai tecnici >> di OpenAI >> > > è quella a cui ci si riferisce con "pappagallo >> stocastico". >> > >> > Ed è anche quella considerata blasfema dai "believers" >> della AI. >> > >> > Che però si aggrapperanno a quell'innocente "in part" per >> continuare a credere alle >> > favole. >> > >> > >> > Piuttosto, su cosa si basa il software ChatGPT oltre alle >> probabilità? >> > >> > Semplicemente, la volontà di OpenAI/Microsoft, impressa >> nel codice delle varie >> parti >> > dell'applicazione, dalla selezione dei contenuti, alle >> configurazioni, ai >> prefiltri e >> > ai post filtri. >> > >> > Volontà che ChatGPT riprodurrà pedissequamente su >> vastissima scala, in tutti gli >> > output rilevanti. >> > >> > >> > Giacomo >> > _______________________________________________ >> > nexa mailing list >> > nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> >> <mailto:nexa@server-nexa.polito.it >> <mailto:nexa@server-nexa.polito.it>> >> > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >> <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa> >> > <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >> <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa>> >> > >> > >> > _______________________________________________ >> > nexa mailing list >> > nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> >> > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >> <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa> >> > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa -- Avv. Marco Ciurcina Via San Quintino, 32 10121 Torino TO tel +39 011 4546112 cell +39 335 6650910

Feb. 24, 2024

Re: [nexa] Unexpected responses from ChatGPT - Incident Report for OpenAI

by Guido Vetere

certo, ma cerchiamo di non farla diventare anche analitica :-) On Sat, 24 Feb 2024 at 11:02, Stefano Quintarelli <stefano(a)quintarelli.it> wrote: > che regole sbagliate possano favorire i monopolisti non e' una > affermazione vera a > prescindere ? > > On 24/02/24 11:00, Guido Vetere wrote: > > non è che non ci vogliono regole, è che regole sbagliate possono > favorire i monopolisti > > quanto ai simposi e ai comitati, sono diventati quasi più noiosi > dell'AI :-)) > > G. > > > > On Sat, 24 Feb 2024 at 10:50, Stefano Quintarelli < > stefano(a)quintarelli.it > > <mailto:stefano@quintarelli.it>> wrote: > > > > non mi a pare nessuno discuta cio'. > > la "AI noiosa" e' tra noi da anni e lo sara' sempre di piu' > > solo che non e' la tecnologia salvifica, taumaturgica, human-like > che alcuni narrano. > > e' uno strumento e va usato e considerato come tale. > > come la calcolatrice. > > IMHO > > > > come per ogni strumento, la regolazione e', per metterla in termini > semplici, necessaria. > > > > ciao, s. > > > > On 24/02/24 10:37, Guido Vetere wrote: > > > Gufare sui LLM è divertentissimo, tuttavia hanno risolto problemi > di NLP che si sono > > > dimostrati praticamente inattaccabili con tecniche tradizionali, > tipo summarization o > > > semantic role labelling. > > > Per questo, sono già largamente impiegati per compiti > relativamente 'modesti' di > > > estrazione, elaborazione e ricerca di informazione da documenti, > ad esempio > > archivistici. > > > In questi impieghi, la pappagallagine è un beneficio e le > allucinazioni, se ci > > sono, sono > > > nei documenti sorgente, non nelle piattaforme (pseudo) > linguistiche. > > > Questa roba è qui per restare, facciamocene una ragione. > > > Ma non esistono solo le Big Tech US in questa storia: escono LLM > dalle maledette > > pareti! > > > Molte di queste pareti sono europee, accademiche o > pubblico-private. > > > Insomma i margini di manovra ci sono, ma bisogna capire meglio > quali siano le > > manovre. Non > > > credo che andremo lontano a colpi di regolamenti, certificazioni > e relativi enti, > > simposi > > > e convegni, comitati etici, et ceteris. > > > > > > G. > > > > > > > > > > > > > > > On Fri, 23 Feb 2024 at 18:33, Giacomo Tesio <giacomo(a)tesio.it > > <mailto:giacomo@tesio.it> <mailto:giacomo@tesio.it <mailto: > giacomo(a)tesio.it>>> > > > wrote: > > > > > > Salve Daniela, > > > > > > come avrai certamentr notato il postmortem può essere diviso > in 3 parti: > > > > > > 1. L'elenco di fatti non negabili > > > > > > > On February 20, 2024, an optimization to the user > experience introduced a > > bug [...] > > > > > > > > LLMs generate responses by randomly sampling words based > in part on > > probabilities. > > > [...] > > > > > > > > In this case, the bug was in the step where the model > chooses these numbers. > > [...] > > > > > > > > Upon identifying the cause of this incident, we rolled out > a fix and > > confirmed that > > > > the incident was resolved. > > > > > > > > > 2. L'antropomorfizzazione del modello > > > > > > > [... a bug] with how the model processes language. > > > > > > > > [...] Their “language” consists of numbers that map to > tokens. > > > > > > > > [...] Akin to being lost in translation, the model chose > slightly wrong > > numbers, which > > > > produced word sequences that made no sense. > > > > > > Povero! Povero modellino! :-D > > > > > > Notare le espressioni "processes language", "language > consists", "lost in > > translation" > > > e soprattutto "choose". > > > > > > E notare come quando gli output non supportano la loro > narrazione sulla > > "intelligenza > > > artificiale" > > > diventano subito "word sequences that made no sense". > > > > > > L'output passa da "language" a "word sequences". > > > > > > Come se gli output prodotti "randomly sampling words based in > part on > > probabilities" > > > avessero un avuto senso prima del bug! > > > > > > > > > 3. La supercazzola magica > > > > > > > More technically, inference kernels produced incorrect > results when used in > > certain > > > > GPU configurations. > > > > > > Data la menzione delle probabilità e delle configurazioni > delle GPU, scommetterei > > > un caffé che il bug era riconducibile ad un overflow numerico > o qualcosa di simile. > > > > > > Il software si rivela semplicemente per quello che è, privo > di qualsiasi > > intelligenza. > > > > > > > > > > Come hanno osservato in molti, la definizione di chatGPT > fornita dai tecnici > > di OpenAI > > > > è quella a cui ci si riferisce con "pappagallo stocastico". > > > > > > Ed è anche quella considerata blasfema dai "believers" della > AI. > > > > > > Che però si aggrapperanno a quell'innocente "in part" per > continuare a credere alle > > > favole. > > > > > > > > > Piuttosto, su cosa si basa il software ChatGPT oltre alle > probabilità? > > > > > > Semplicemente, la volontà di OpenAI/Microsoft, impressa nel > codice delle varie > > parti > > > dell'applicazione, dalla selezione dei contenuti, alle > configurazioni, ai > > prefiltri e > > > ai post filtri. > > > > > > Volontà che ChatGPT riprodurrà pedissequamente su vastissima > scala, in tutti gli > > > output rilevanti. > > > > > > > > > Giacomo > > > _______________________________________________ > > > nexa mailing list > > > nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> > > <mailto:nexa@server-nexa.polito.it <mailto: > nexa(a)server-nexa.polito.it>> > > > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > > <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa> > > > <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > > <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa>> > > > > > > > > > _______________________________________________ > > > nexa mailing list > > > nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> > > > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > > <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa> > > >

Feb. 24, 2024

Re: [nexa] Unexpected responses from ChatGPT - Incident Report for OpenAI

by Alberto Cammozzo

Computers are often being used for what the computer does poorly and the human mind does well. At the same time the human mind is being used for what the human mind does poorly and the computer does well. Even worse, impossible tasks are attempted while achievable and important goals are ignored. Forrester, J. W. (1971). /Counterintuitive behavior of social systems. Theory and Decision, 2(2), 109–140./ doi:10.1007/bf00148991 Distinguiamo gli scopi 'modesti' e 'noiosi' (per i quali nessuno si preoccupa) da quelli pericolosi. Amplificare a dismisura gli errori delle menti umane è un errore specifico dei nuovi sistemi computerizzati, e questa è una loro pericolosità specifica. Alberto On 24/02/24 10:37, Guido Vetere wrote: > Gufare sui LLM è divertentissimo, tuttavia hanno risolto problemi di > NLP che si sono dimostrati praticamente inattaccabili con tecniche > tradizionali, tipo summarization o semantic role labelling. > Per questo, sono già largamente impiegati per compiti relativamente > 'modesti' di estrazione, elaborazione e ricerca di informazione da > documenti, ad esempio archivistici. In questi impieghi, la > pappagallagine è un beneficio e le allucinazioni, se ci sono, sono nei > documenti sorgente, non nelle piattaforme (pseudo) linguistiche. > Questa roba è qui per restare, facciamocene una ragione. > Ma non esistono solo le Big Tech US in questa storia: escono LLM dalle > maledette pareti! Molte di queste pareti sono europee, accademiche o > pubblico-private. > Insomma i margini di manovra ci sono, ma bisogna capire meglio quali > siano le manovre. Non credo che andremo lontano a colpi di > regolamenti, certificazioni e relativi enti, simposi e convegni, > comitati etici, et ceteris. > > G. > > > > > On Fri, 23 Feb 2024 at 18:33, Giacomo Tesio <giacomo(a)tesio.it> wrote: > > Salve Daniela, > > come avrai certamentr notato il postmortem può essere diviso in 3 > parti: > > 1. L'elenco di fatti non negabili > > > On February 20, 2024, an optimization to the user experience > introduced a bug [...] > > > > LLMs generate responses by randomly sampling words based in part > on probabilities. [...] > > > > In this case, the bug was in the step where the model chooses > these numbers. [...] > > > > Upon identifying the cause of this incident, we rolled out a fix > and confirmed that > > the incident was resolved. > > > 2. L'antropomorfizzazione del modello > > > [... a bug] with how the model processes language. > > > > [...] Their “language” consists of numbers that map to tokens. > > > > [...] Akin to being lost in translation, the model chose > slightly wrong numbers, which > > produced word sequences that made no sense. > > Povero! Povero modellino! :-D > > Notare le espressioni "processes language", "language consists", > "lost in translation" > e soprattutto "choose". > > E notare come quando gli output non supportano la loro narrazione > sulla "intelligenza artificiale" > diventano subito "word sequences that made no sense". > > L'output passa da "language" a "word sequences". > > Come se gli output prodotti "randomly sampling words based in part > on probabilities" > avessero un avuto senso prima del bug! > > > 3. La supercazzola magica > > > More technically, inference kernels produced incorrect results > when used in certain > > GPU configurations. > > Data la menzione delle probabilità e delle configurazioni delle > GPU, scommetterei > un caffé che il bug era riconducibile ad un overflow numerico o > qualcosa di simile. > > Il software si rivela semplicemente per quello che è, privo di > qualsiasi intelligenza. > > > > Come hanno osservato in molti, la definizione di chatGPT fornita > dai tecnici di OpenAI > > è quella a cui ci si riferisce con "pappagallo stocastico". > > Ed è anche quella considerata blasfema dai "believers" della AI. > > Che però si aggrapperanno a quell'innocente "in part" per > continuare a credere alle favole. > > > Piuttosto, su cosa si basa il software ChatGPT oltre alle probabilità? > > Semplicemente, la volontà di OpenAI/Microsoft, impressa nel codice > delle varie parti > dell'applicazione, dalla selezione dei contenuti, alle > configurazioni, ai prefiltri e ai post filtri. > > Volontà che ChatGPT riprodurrà pedissequamente su vastissima > scala, in tutti gli output rilevanti. > > > Giacomo > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > > > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa

Feb. 24, 2024

Re: [nexa] Unexpected responses from ChatGPT - Incident Report for OpenAI

by Stefano Quintarelli

che regole sbagliate possano favorire i monopolisti non e' una affermazione vera a prescindere ? On 24/02/24 11:00, Guido Vetere wrote: > non è che non ci vogliono regole, è che regole sbagliate possono favorire i monopolisti > quanto ai simposi e ai comitati, sono diventati quasi più noiosi dell'AI :-)) > G. > > On Sat, 24 Feb 2024 at 10:50, Stefano Quintarelli <stefano(a)quintarelli.it > <mailto:stefano@quintarelli.it>> wrote: > > non mi a pare nessuno discuta cio'. > la "AI noiosa" e' tra noi da anni e lo sara' sempre di piu' > solo che non e' la tecnologia salvifica, taumaturgica, human-like che alcuni narrano. > e' uno strumento e va usato e considerato come tale. > come la calcolatrice. > IMHO > > come per ogni strumento, la regolazione e', per metterla in termini semplici, necessaria. > > ciao, s. > > On 24/02/24 10:37, Guido Vetere wrote: > > Gufare sui LLM è divertentissimo, tuttavia hanno risolto problemi di NLP che si sono > > dimostrati praticamente inattaccabili con tecniche tradizionali, tipo summarization o > > semantic role labelling. > > Per questo, sono già largamente impiegati per compiti relativamente 'modesti' di > > estrazione, elaborazione e ricerca di informazione da documenti, ad esempio > archivistici. > > In questi impieghi, la pappagallagine è un beneficio e le allucinazioni, se ci > sono, sono > > nei documenti sorgente, non nelle piattaforme (pseudo) linguistiche. > > Questa roba è qui per restare, facciamocene una ragione. > > Ma non esistono solo le Big Tech US in questa storia: escono LLM dalle maledette > pareti! > > Molte di queste pareti sono europee, accademiche o pubblico-private. > > Insomma i margini di manovra ci sono, ma bisogna capire meglio quali siano le > manovre. Non > > credo che andremo lontano a colpi di regolamenti, certificazioni e relativi enti, > simposi > > e convegni, comitati etici, et ceteris. > > > > G. > > > > > > > > > > On Fri, 23 Feb 2024 at 18:33, Giacomo Tesio <giacomo(a)tesio.it > <mailto:giacomo@tesio.it> <mailto:giacomo@tesio.it <mailto:giacomo@tesio.it>>> > > wrote: > > > > Salve Daniela, > > > > come avrai certamentr notato il postmortem può essere diviso in 3 parti: > > > > 1. L'elenco di fatti non negabili > > > > > On February 20, 2024, an optimization to the user experience introduced a > bug [...] > > > > > > LLMs generate responses by randomly sampling words based in part on > probabilities. > > [...] > > > > > > In this case, the bug was in the step where the model chooses these numbers. > [...] > > > > > > Upon identifying the cause of this incident, we rolled out a fix and > confirmed that > > > the incident was resolved. > > > > > > 2. L'antropomorfizzazione del modello > > > > > [... a bug] with how the model processes language. > > > > > > [...] Their “language” consists of numbers that map to tokens. > > > > > > [...] Akin to being lost in translation, the model chose slightly wrong > numbers, which > > > produced word sequences that made no sense. > > > > Povero! Povero modellino! :-D > > > > Notare le espressioni "processes language", "language consists", "lost in > translation" > > e soprattutto "choose". > > > > E notare come quando gli output non supportano la loro narrazione sulla > "intelligenza > > artificiale" > > diventano subito "word sequences that made no sense". > > > > L'output passa da "language" a "word sequences". > > > > Come se gli output prodotti "randomly sampling words based in part on > probabilities" > > avessero un avuto senso prima del bug! > > > > > > 3. La supercazzola magica > > > > > More technically, inference kernels produced incorrect results when used in > certain > > > GPU configurations. > > > > Data la menzione delle probabilità e delle configurazioni delle GPU, scommetterei > > un caffé che il bug era riconducibile ad un overflow numerico o qualcosa di simile. > > > > Il software si rivela semplicemente per quello che è, privo di qualsiasi > intelligenza. > > > > > > > Come hanno osservato in molti, la definizione di chatGPT fornita dai tecnici > di OpenAI > > > è quella a cui ci si riferisce con "pappagallo stocastico". > > > > Ed è anche quella considerata blasfema dai "believers" della AI. > > > > Che però si aggrapperanno a quell'innocente "in part" per continuare a credere alle > > favole. > > > > > > Piuttosto, su cosa si basa il software ChatGPT oltre alle probabilità? > > > > Semplicemente, la volontà di OpenAI/Microsoft, impressa nel codice delle varie > parti > > dell'applicazione, dalla selezione dei contenuti, alle configurazioni, ai > prefiltri e > > ai post filtri. > > > > Volontà che ChatGPT riprodurrà pedissequamente su vastissima scala, in tutti gli > > output rilevanti. > > > > > > Giacomo > > _______________________________________________ > > nexa mailing list > > nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> > <mailto:nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it>> > > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa> > > <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa>> > > > > > > _______________________________________________ > > nexa mailing list > > nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> > > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa> >

Feb. 24, 2024

Re: [nexa] Unexpected responses from ChatGPT - Incident Report for OpenAI

by Guido Vetere

non è che non ci vogliono regole, è che regole sbagliate possono favorire i monopolisti quanto ai simposi e ai comitati, sono diventati quasi più noiosi dell'AI :-)) G. On Sat, 24 Feb 2024 at 10:50, Stefano Quintarelli <stefano(a)quintarelli.it> wrote: > non mi a pare nessuno discuta cio'. > la "AI noiosa" e' tra noi da anni e lo sara' sempre di piu' > solo che non e' la tecnologia salvifica, taumaturgica, human-like che > alcuni narrano. > e' uno strumento e va usato e considerato come tale. > come la calcolatrice. > IMHO > > come per ogni strumento, la regolazione e', per metterla in termini > semplici, necessaria. > > ciao, s. > > On 24/02/24 10:37, Guido Vetere wrote: > > Gufare sui LLM è divertentissimo, tuttavia hanno risolto problemi di NLP > che si sono > > dimostrati praticamente inattaccabili con tecniche tradizionali, tipo > summarization o > > semantic role labelling. > > Per questo, sono già largamente impiegati per compiti relativamente > 'modesti' di > > estrazione, elaborazione e ricerca di informazione da documenti, ad > esempio archivistici. > > In questi impieghi, la pappagallagine è un beneficio e le allucinazioni, > se ci sono, sono > > nei documenti sorgente, non nelle piattaforme (pseudo) linguistiche. > > Questa roba è qui per restare, facciamocene una ragione. > > Ma non esistono solo le Big Tech US in questa storia: escono LLM dalle > maledette pareti! > > Molte di queste pareti sono europee, accademiche o pubblico-private. > > Insomma i margini di manovra ci sono, ma bisogna capire meglio quali > siano le manovre. Non > > credo che andremo lontano a colpi di regolamenti, certificazioni e > relativi enti, simposi > > e convegni, comitati etici, et ceteris. > > > > G. > > > > > > > > > > On Fri, 23 Feb 2024 at 18:33, Giacomo Tesio <giacomo(a)tesio.it <mailto: > giacomo(a)tesio.it>> > > wrote: > > > > Salve Daniela, > > > > come avrai certamentr notato il postmortem può essere diviso in 3 > parti: > > > > 1. L'elenco di fatti non negabili > > > > > On February 20, 2024, an optimization to the user experience > introduced a bug [...] > > > > > > LLMs generate responses by randomly sampling words based in part > on probabilities. > > [...] > > > > > > In this case, the bug was in the step where the model chooses > these numbers. [...] > > > > > > Upon identifying the cause of this incident, we rolled out a fix > and confirmed that > > > the incident was resolved. > > > > > > 2. L'antropomorfizzazione del modello > > > > > [... a bug] with how the model processes language. > > > > > > [...] Their “language” consists of numbers that map to tokens. > > > > > > [...] Akin to being lost in translation, the model chose slightly > wrong numbers, which > > > produced word sequences that made no sense. > > > > Povero! Povero modellino! :-D > > > > Notare le espressioni "processes language", "language consists", > "lost in translation" > > e soprattutto "choose". > > > > E notare come quando gli output non supportano la loro narrazione > sulla "intelligenza > > artificiale" > > diventano subito "word sequences that made no sense". > > > > L'output passa da "language" a "word sequences". > > > > Come se gli output prodotti "randomly sampling words based in part > on probabilities" > > avessero un avuto senso prima del bug! > > > > > > 3. La supercazzola magica > > > > > More technically, inference kernels produced incorrect results > when used in certain > > > GPU configurations. > > > > Data la menzione delle probabilità e delle configurazioni delle GPU, > scommetterei > > un caffé che il bug era riconducibile ad un overflow numerico o > qualcosa di simile. > > > > Il software si rivela semplicemente per quello che è, privo di > qualsiasi intelligenza. > > > > > > > Come hanno osservato in molti, la definizione di chatGPT fornita > dai tecnici di OpenAI > > > è quella a cui ci si riferisce con "pappagallo stocastico". > > > > Ed è anche quella considerata blasfema dai "believers" della AI. > > > > Che però si aggrapperanno a quell'innocente "in part" per continuare > a credere alle > > favole. > > > > > > Piuttosto, su cosa si basa il software ChatGPT oltre alle > probabilità? > > > > Semplicemente, la volontà di OpenAI/Microsoft, impressa nel codice > delle varie parti > > dell'applicazione, dalla selezione dei contenuti, alle > configurazioni, ai prefiltri e > > ai post filtri. > > > > Volontà che ChatGPT riprodurrà pedissequamente su vastissima scala, > in tutti gli > > output rilevanti. > > > > > > Giacomo > > _______________________________________________ > > nexa mailing list > > nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> > > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > > <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa> > > > > > > _______________________________________________ > > nexa mailing list > > nexa(a)server-nexa.polito.it > > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >

Feb. 24, 2024

Re: [nexa] Unexpected responses from ChatGPT - Incident Report for OpenAI

by Stefano Quintarelli

non mi a pare nessuno discuta cio'. la "AI noiosa" e' tra noi da anni e lo sara' sempre di piu' solo che non e' la tecnologia salvifica, taumaturgica, human-like che alcuni narrano. e' uno strumento e va usato e considerato come tale. come la calcolatrice. IMHO come per ogni strumento, la regolazione e', per metterla in termini semplici, necessaria. ciao, s. On 24/02/24 10:37, Guido Vetere wrote: > Gufare sui LLM è divertentissimo, tuttavia hanno risolto problemi di NLP che si sono > dimostrati praticamente inattaccabili con tecniche tradizionali, tipo summarization o > semantic role labelling. > Per questo, sono già largamente impiegati per compiti relativamente 'modesti' di > estrazione, elaborazione e ricerca di informazione da documenti, ad esempio archivistici. > In questi impieghi, la pappagallagine è un beneficio e le allucinazioni, se ci sono, sono > nei documenti sorgente, non nelle piattaforme (pseudo) linguistiche. > Questa roba è qui per restare, facciamocene una ragione. > Ma non esistono solo le Big Tech US in questa storia: escono LLM dalle maledette pareti! > Molte di queste pareti sono europee, accademiche o pubblico-private. > Insomma i margini di manovra ci sono, ma bisogna capire meglio quali siano le manovre. Non > credo che andremo lontano a colpi di regolamenti, certificazioni e relativi enti, simposi > e convegni, comitati etici, et ceteris. > > G. > > > > > On Fri, 23 Feb 2024 at 18:33, Giacomo Tesio <giacomo(a)tesio.it <mailto:giacomo@tesio.it>> > wrote: > > Salve Daniela, > > come avrai certamentr notato il postmortem può essere diviso in 3 parti: > > 1. L'elenco di fatti non negabili > > > On February 20, 2024, an optimization to the user experience introduced a bug [...] > > > > LLMs generate responses by randomly sampling words based in part on probabilities. > [...] > > > > In this case, the bug was in the step where the model chooses these numbers. [...] > > > > Upon identifying the cause of this incident, we rolled out a fix and confirmed that > > the incident was resolved. > > > 2. L'antropomorfizzazione del modello > > > [... a bug] with how the model processes language. > > > > [...] Their “language” consists of numbers that map to tokens. > > > > [...] Akin to being lost in translation, the model chose slightly wrong numbers, which > > produced word sequences that made no sense. > > Povero! Povero modellino! :-D > > Notare le espressioni "processes language", "language consists", "lost in translation" > e soprattutto "choose". > > E notare come quando gli output non supportano la loro narrazione sulla "intelligenza > artificiale" > diventano subito "word sequences that made no sense". > > L'output passa da "language" a "word sequences". > > Come se gli output prodotti "randomly sampling words based in part on probabilities" > avessero un avuto senso prima del bug! > > > 3. La supercazzola magica > > > More technically, inference kernels produced incorrect results when used in certain > > GPU configurations. > > Data la menzione delle probabilità e delle configurazioni delle GPU, scommetterei > un caffé che il bug era riconducibile ad un overflow numerico o qualcosa di simile. > > Il software si rivela semplicemente per quello che è, privo di qualsiasi intelligenza. > > > > Come hanno osservato in molti, la definizione di chatGPT fornita dai tecnici di OpenAI > > è quella a cui ci si riferisce con "pappagallo stocastico". > > Ed è anche quella considerata blasfema dai "believers" della AI. > > Che però si aggrapperanno a quell'innocente "in part" per continuare a credere alle > favole. > > > Piuttosto, su cosa si basa il software ChatGPT oltre alle probabilità? > > Semplicemente, la volontà di OpenAI/Microsoft, impressa nel codice delle varie parti > dell'applicazione, dalla selezione dei contenuti, alle configurazioni, ai prefiltri e > ai post filtri. > > Volontà che ChatGPT riprodurrà pedissequamente su vastissima scala, in tutti gli > output rilevanti. > > > Giacomo > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa> > > > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa

Feb. 24, 2024

Re: [nexa] Unexpected responses from ChatGPT - Incident Report for OpenAI

by Guido Vetere

Gufare sui LLM è divertentissimo, tuttavia hanno risolto problemi di NLP che si sono dimostrati praticamente inattaccabili con tecniche tradizionali, tipo summarization o semantic role labelling. Per questo, sono già largamente impiegati per compiti relativamente 'modesti' di estrazione, elaborazione e ricerca di informazione da documenti, ad esempio archivistici. In questi impieghi, la pappagallagine è un beneficio e le allucinazioni, se ci sono, sono nei documenti sorgente, non nelle piattaforme (pseudo) linguistiche. Questa roba è qui per restare, facciamocene una ragione. Ma non esistono solo le Big Tech US in questa storia: escono LLM dalle maledette pareti! Molte di queste pareti sono europee, accademiche o pubblico-private. Insomma i margini di manovra ci sono, ma bisogna capire meglio quali siano le manovre. Non credo che andremo lontano a colpi di regolamenti, certificazioni e relativi enti, simposi e convegni, comitati etici, et ceteris. G. On Fri, 23 Feb 2024 at 18:33, Giacomo Tesio <giacomo(a)tesio.it> wrote: > Salve Daniela, > > come avrai certamentr notato il postmortem può essere diviso in 3 parti: > > 1. L'elenco di fatti non negabili > > > On February 20, 2024, an optimization to the user experience introduced > a bug [...] > > > > LLMs generate responses by randomly sampling words based in part on > probabilities. [...] > > > > In this case, the bug was in the step where the model chooses these > numbers. [...] > > > > Upon identifying the cause of this incident, we rolled out a fix and > confirmed that > > the incident was resolved. > > > 2. L'antropomorfizzazione del modello > > > [... a bug] with how the model processes language. > > > > [...] Their “language” consists of numbers that map to tokens. > > > > [...] Akin to being lost in translation, the model chose slightly wrong > numbers, which > > produced word sequences that made no sense. > > Povero! Povero modellino! :-D > > Notare le espressioni "processes language", "language consists", "lost in > translation" > e soprattutto "choose". > > E notare come quando gli output non supportano la loro narrazione sulla > "intelligenza artificiale" > diventano subito "word sequences that made no sense". > > L'output passa da "language" a "word sequences". > > Come se gli output prodotti "randomly sampling words based in part on > probabilities" > avessero un avuto senso prima del bug! > > > 3. La supercazzola magica > > > More technically, inference kernels produced incorrect results when used > in certain > > GPU configurations. > > Data la menzione delle probabilità e delle configurazioni delle GPU, > scommetterei > un caffé che il bug era riconducibile ad un overflow numerico o qualcosa > di simile. > > Il software si rivela semplicemente per quello che è, privo di qualsiasi > intelligenza. > > > > Come hanno osservato in molti, la definizione di chatGPT fornita dai > tecnici di OpenAI > > è quella a cui ci si riferisce con "pappagallo stocastico". > > Ed è anche quella considerata blasfema dai "believers" della AI. > > Che però si aggrapperanno a quell'innocente "in part" per continuare a > credere alle favole. > > > Piuttosto, su cosa si basa il software ChatGPT oltre alle probabilità? > > Semplicemente, la volontà di OpenAI/Microsoft, impressa nel codice delle > varie parti > dell'applicazione, dalla selezione dei contenuti, alle configurazioni, ai > prefiltri e ai post filtri. > > Volontà che ChatGPT riprodurrà pedissequamente su vastissima scala, in > tutti gli output rilevanti. > > > Giacomo > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >

Feb. 24, 2024

La corte distrettuale del Nevada chiede a Meta di *fermare* il rilascio di crittografia

by Damiano Verzulli

Mi è passato sotto agli occhi --piu' o meno per caso-- un POST su Mastodon [1] che accenna --se capisco bene-- ad un ordine di restrizione che la corte federale del Nevada avrebbe emesso nei confronti di Meta, pochi giorni fa, per "stoppare" il rilascio di aggiornamenti software (da parte di Meta, ai suoi utenti) che includono l'impiego di crittografia end-to-end. Data la portata della notizia, sono andato a sfogliare il PDF allegato [che ho recuperato da GDrive e ri-pubblicato qui [2]] e... mi pare interessante. Intravedo il solito discorso della... "protezione" dei minori ("/.... Entering a temporary restraining order, going into effect within seven (7) days of the Court’s order, enjoining and restraining Defendant Meta from using End-to-End Encryption in its Messenger application and services (“Messenger”) as Messenger relates to other services Meta offers when these services are used by Young Users (defined herein to refer to all users of Messenger located within the State of Nevada who Meta either knows or has reason to know are under the age of 18);/" Il documento originale (...decisamente troppo "tecnico" per me) credo sia di interesse per molti, su questa lista. Un caro saluto, DV [1] https://mastodon.lawprofs.org/@riana/111982802756354530 [2] https://mega.nz/file/ccACxDDT#HhOPn_njhqXPiCWhRloHeGQ87TcW4fEeAVOBw3zGTXE -- Damiano Verzulli e-mail:damiano@verzulli.it --- possible?ok:while(!possible){open_mindedness++} --- "...I realized that free software would not generate the kind of income that was needed. Maybe in USA or Europe, you may be able to get a well paying job as a free software developer, but not here [in Africa]..." -- Guido Sohne - 1973-2008 http://ole.kenic.or.ke/pipermail/skunkworks/2008-April/005989.html

Feb. 24, 2024

Re: [nexa] Unexpected responses from ChatGPT - Incident Report for OpenAI

by Giacomo Tesio

Salve Daniela, come avrai certamentr notato il postmortem può essere diviso in 3 parti: 1. L'elenco di fatti non negabili > On February 20, 2024, an optimization to the user experience introduced a bug [...] > > LLMs generate responses by randomly sampling words based in part on probabilities. [...] > > In this case, the bug was in the step where the model chooses these numbers. [...] > > Upon identifying the cause of this incident, we rolled out a fix and confirmed that > the incident was resolved. 2. L'antropomorfizzazione del modello > [... a bug] with how the model processes language. > > [...] Their “language” consists of numbers that map to tokens. > > [...] Akin to being lost in translation, the model chose slightly wrong numbers, which > produced word sequences that made no sense. Povero! Povero modellino! :-D Notare le espressioni "processes language", "language consists", "lost in translation" e soprattutto "choose". E notare come quando gli output non supportano la loro narrazione sulla "intelligenza artificiale" diventano subito "word sequences that made no sense". L'output passa da "language" a "word sequences". Come se gli output prodotti "randomly sampling words based in part on probabilities" avessero un avuto senso prima del bug! 3. La supercazzola magica > More technically, inference kernels produced incorrect results when used in certain > GPU configurations. Data la menzione delle probabilità e delle configurazioni delle GPU, scommetterei un caffé che il bug era riconducibile ad un overflow numerico o qualcosa di simile. Il software si rivela semplicemente per quello che è, privo di qualsiasi intelligenza. > Come hanno osservato in molti, la definizione di chatGPT fornita dai tecnici di OpenAI > è quella a cui ci si riferisce con "pappagallo stocastico". Ed è anche quella considerata blasfema dai "believers" della AI. Che però si aggrapperanno a quell'innocente "in part" per continuare a credere alle favole. Piuttosto, su cosa si basa il software ChatGPT oltre alle probabilità? Semplicemente, la volontà di OpenAI/Microsoft, impressa nel codice delle varie parti dell'applicazione, dalla selezione dei contenuti, alle configurazioni, ai prefiltri e ai post filtri. Volontà che ChatGPT riprodurrà pedissequamente su vastissima scala, in tutti gli output rilevanti. Giacomo

Feb. 23, 2024