February 2024 - nexa - server-nexa.polito.it

Re: [nexa] Unexpected responses from ChatGPT - Incident Report for OpenAI

by Stefano Quintarelli

non mi a pare nessuno discuta cio'. la "AI noiosa" e' tra noi da anni e lo sara' sempre di piu' solo che non e' la tecnologia salvifica, taumaturgica, human-like che alcuni narrano. e' uno strumento e va usato e considerato come tale. come la calcolatrice. IMHO come per ogni strumento, la regolazione e', per metterla in termini semplici, necessaria. ciao, s. On 24/02/24 10:37, Guido Vetere wrote: > Gufare sui LLM è divertentissimo, tuttavia hanno risolto problemi di NLP che si sono > dimostrati praticamente inattaccabili con tecniche tradizionali, tipo summarization o > semantic role labelling. > Per questo, sono già largamente impiegati per compiti relativamente 'modesti' di > estrazione, elaborazione e ricerca di informazione da documenti, ad esempio archivistici. > In questi impieghi, la pappagallagine è un beneficio e le allucinazioni, se ci sono, sono > nei documenti sorgente, non nelle piattaforme (pseudo) linguistiche. > Questa roba è qui per restare, facciamocene una ragione. > Ma non esistono solo le Big Tech US in questa storia: escono LLM dalle maledette pareti! > Molte di queste pareti sono europee, accademiche o pubblico-private. > Insomma i margini di manovra ci sono, ma bisogna capire meglio quali siano le manovre. Non > credo che andremo lontano a colpi di regolamenti, certificazioni e relativi enti, simposi > e convegni, comitati etici, et ceteris. > > G. > > > > > On Fri, 23 Feb 2024 at 18:33, Giacomo Tesio <giacomo(a)tesio.it <mailto:giacomo@tesio.it>> > wrote: > > Salve Daniela, > > come avrai certamentr notato il postmortem può essere diviso in 3 parti: > > 1. L'elenco di fatti non negabili > > > On February 20, 2024, an optimization to the user experience introduced a bug [...] > > > > LLMs generate responses by randomly sampling words based in part on probabilities. > [...] > > > > In this case, the bug was in the step where the model chooses these numbers. [...] > > > > Upon identifying the cause of this incident, we rolled out a fix and confirmed that > > the incident was resolved. > > > 2. L'antropomorfizzazione del modello > > > [... a bug] with how the model processes language. > > > > [...] Their “language” consists of numbers that map to tokens. > > > > [...] Akin to being lost in translation, the model chose slightly wrong numbers, which > > produced word sequences that made no sense. > > Povero! Povero modellino! :-D > > Notare le espressioni "processes language", "language consists", "lost in translation" > e soprattutto "choose". > > E notare come quando gli output non supportano la loro narrazione sulla "intelligenza > artificiale" > diventano subito "word sequences that made no sense". > > L'output passa da "language" a "word sequences". > > Come se gli output prodotti "randomly sampling words based in part on probabilities" > avessero un avuto senso prima del bug! > > > 3. La supercazzola magica > > > More technically, inference kernels produced incorrect results when used in certain > > GPU configurations. > > Data la menzione delle probabilità e delle configurazioni delle GPU, scommetterei > un caffé che il bug era riconducibile ad un overflow numerico o qualcosa di simile. > > Il software si rivela semplicemente per quello che è, privo di qualsiasi intelligenza. > > > > Come hanno osservato in molti, la definizione di chatGPT fornita dai tecnici di OpenAI > > è quella a cui ci si riferisce con "pappagallo stocastico". > > Ed è anche quella considerata blasfema dai "believers" della AI. > > Che però si aggrapperanno a quell'innocente "in part" per continuare a credere alle > favole. > > > Piuttosto, su cosa si basa il software ChatGPT oltre alle probabilità? > > Semplicemente, la volontà di OpenAI/Microsoft, impressa nel codice delle varie parti > dell'applicazione, dalla selezione dei contenuti, alle configurazioni, ai prefiltri e > ai post filtri. > > Volontà che ChatGPT riprodurrà pedissequamente su vastissima scala, in tutti gli > output rilevanti. > > > Giacomo > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa> > > > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa

Feb. 24, 2024

Re: [nexa] Unexpected responses from ChatGPT - Incident Report for OpenAI

by Guido Vetere

Gufare sui LLM è divertentissimo, tuttavia hanno risolto problemi di NLP che si sono dimostrati praticamente inattaccabili con tecniche tradizionali, tipo summarization o semantic role labelling. Per questo, sono già largamente impiegati per compiti relativamente 'modesti' di estrazione, elaborazione e ricerca di informazione da documenti, ad esempio archivistici. In questi impieghi, la pappagallagine è un beneficio e le allucinazioni, se ci sono, sono nei documenti sorgente, non nelle piattaforme (pseudo) linguistiche. Questa roba è qui per restare, facciamocene una ragione. Ma non esistono solo le Big Tech US in questa storia: escono LLM dalle maledette pareti! Molte di queste pareti sono europee, accademiche o pubblico-private. Insomma i margini di manovra ci sono, ma bisogna capire meglio quali siano le manovre. Non credo che andremo lontano a colpi di regolamenti, certificazioni e relativi enti, simposi e convegni, comitati etici, et ceteris. G. On Fri, 23 Feb 2024 at 18:33, Giacomo Tesio <giacomo(a)tesio.it> wrote: > Salve Daniela, > > come avrai certamentr notato il postmortem può essere diviso in 3 parti: > > 1. L'elenco di fatti non negabili > > > On February 20, 2024, an optimization to the user experience introduced > a bug [...] > > > > LLMs generate responses by randomly sampling words based in part on > probabilities. [...] > > > > In this case, the bug was in the step where the model chooses these > numbers. [...] > > > > Upon identifying the cause of this incident, we rolled out a fix and > confirmed that > > the incident was resolved. > > > 2. L'antropomorfizzazione del modello > > > [... a bug] with how the model processes language. > > > > [...] Their “language” consists of numbers that map to tokens. > > > > [...] Akin to being lost in translation, the model chose slightly wrong > numbers, which > > produced word sequences that made no sense. > > Povero! Povero modellino! :-D > > Notare le espressioni "processes language", "language consists", "lost in > translation" > e soprattutto "choose". > > E notare come quando gli output non supportano la loro narrazione sulla > "intelligenza artificiale" > diventano subito "word sequences that made no sense". > > L'output passa da "language" a "word sequences". > > Come se gli output prodotti "randomly sampling words based in part on > probabilities" > avessero un avuto senso prima del bug! > > > 3. La supercazzola magica > > > More technically, inference kernels produced incorrect results when used > in certain > > GPU configurations. > > Data la menzione delle probabilità e delle configurazioni delle GPU, > scommetterei > un caffé che il bug era riconducibile ad un overflow numerico o qualcosa > di simile. > > Il software si rivela semplicemente per quello che è, privo di qualsiasi > intelligenza. > > > > Come hanno osservato in molti, la definizione di chatGPT fornita dai > tecnici di OpenAI > > è quella a cui ci si riferisce con "pappagallo stocastico". > > Ed è anche quella considerata blasfema dai "believers" della AI. > > Che però si aggrapperanno a quell'innocente "in part" per continuare a > credere alle favole. > > > Piuttosto, su cosa si basa il software ChatGPT oltre alle probabilità? > > Semplicemente, la volontà di OpenAI/Microsoft, impressa nel codice delle > varie parti > dell'applicazione, dalla selezione dei contenuti, alle configurazioni, ai > prefiltri e ai post filtri. > > Volontà che ChatGPT riprodurrà pedissequamente su vastissima scala, in > tutti gli output rilevanti. > > > Giacomo > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >

Feb. 24, 2024

La corte distrettuale del Nevada chiede a Meta di *fermare* il rilascio di crittografia

by Damiano Verzulli

Mi è passato sotto agli occhi --piu' o meno per caso-- un POST su Mastodon [1] che accenna --se capisco bene-- ad un ordine di restrizione che la corte federale del Nevada avrebbe emesso nei confronti di Meta, pochi giorni fa, per "stoppare" il rilascio di aggiornamenti software (da parte di Meta, ai suoi utenti) che includono l'impiego di crittografia end-to-end. Data la portata della notizia, sono andato a sfogliare il PDF allegato [che ho recuperato da GDrive e ri-pubblicato qui [2]] e... mi pare interessante. Intravedo il solito discorso della... "protezione" dei minori ("/.... Entering a temporary restraining order, going into effect within seven (7) days of the Court’s order, enjoining and restraining Defendant Meta from using End-to-End Encryption in its Messenger application and services (“Messenger”) as Messenger relates to other services Meta offers when these services are used by Young Users (defined herein to refer to all users of Messenger located within the State of Nevada who Meta either knows or has reason to know are under the age of 18);/" Il documento originale (...decisamente troppo "tecnico" per me) credo sia di interesse per molti, su questa lista. Un caro saluto, DV [1] https://mastodon.lawprofs.org/@riana/111982802756354530 [2] https://mega.nz/file/ccACxDDT#HhOPn_njhqXPiCWhRloHeGQ87TcW4fEeAVOBw3zGTXE -- Damiano Verzulli e-mail:damiano@verzulli.it --- possible?ok:while(!possible){open_mindedness++} --- "...I realized that free software would not generate the kind of income that was needed. Maybe in USA or Europe, you may be able to get a well paying job as a free software developer, but not here [in Africa]..." -- Guido Sohne - 1973-2008 http://ole.kenic.or.ke/pipermail/skunkworks/2008-April/005989.html

Feb. 24, 2024

Re: [nexa] Unexpected responses from ChatGPT - Incident Report for OpenAI

by Giacomo Tesio

Salve Daniela, come avrai certamentr notato il postmortem può essere diviso in 3 parti: 1. L'elenco di fatti non negabili > On February 20, 2024, an optimization to the user experience introduced a bug [...] > > LLMs generate responses by randomly sampling words based in part on probabilities. [...] > > In this case, the bug was in the step where the model chooses these numbers. [...] > > Upon identifying the cause of this incident, we rolled out a fix and confirmed that > the incident was resolved. 2. L'antropomorfizzazione del modello > [... a bug] with how the model processes language. > > [...] Their “language” consists of numbers that map to tokens. > > [...] Akin to being lost in translation, the model chose slightly wrong numbers, which > produced word sequences that made no sense. Povero! Povero modellino! :-D Notare le espressioni "processes language", "language consists", "lost in translation" e soprattutto "choose". E notare come quando gli output non supportano la loro narrazione sulla "intelligenza artificiale" diventano subito "word sequences that made no sense". L'output passa da "language" a "word sequences". Come se gli output prodotti "randomly sampling words based in part on probabilities" avessero un avuto senso prima del bug! 3. La supercazzola magica > More technically, inference kernels produced incorrect results when used in certain > GPU configurations. Data la menzione delle probabilità e delle configurazioni delle GPU, scommetterei un caffé che il bug era riconducibile ad un overflow numerico o qualcosa di simile. Il software si rivela semplicemente per quello che è, privo di qualsiasi intelligenza. > Come hanno osservato in molti, la definizione di chatGPT fornita dai tecnici di OpenAI > è quella a cui ci si riferisce con "pappagallo stocastico". Ed è anche quella considerata blasfema dai "believers" della AI. Che però si aggrapperanno a quell'innocente "in part" per continuare a credere alle favole. Piuttosto, su cosa si basa il software ChatGPT oltre alle probabilità? Semplicemente, la volontà di OpenAI/Microsoft, impressa nel codice delle varie parti dell'applicazione, dalla selezione dei contenuti, alle configurazioni, ai prefiltri e ai post filtri. Volontà che ChatGPT riprodurrà pedissequamente su vastissima scala, in tutti gli output rilevanti. Giacomo

Feb. 23, 2024

Articolo - A chi servono i generatori di linguaggio

by Daniela Tafani

Buonasera. Colgo l'occasione degli ultimi scambi per segnalarvi che ho appena reso disponibile su Zenodo un mio articolo in corso di pubblicazione in "Alternative per il socialismo", A chi servono i generatori di linguaggio https://zenodo.org/records/10697969 Un saluto, Daniela

Feb. 23, 2024

Corte Europea dei Diritti Umani e... crittografia end-to-end

by Damiano Verzulli

Non mi pare sia passato in lista... (è di 10 giorni fa...) => "Backdoors that let cops decrypt messages violate human rights, EU court says" https://arstechnica.com/tech-policy/2024/02/human-rights-court-takes-stand-… Saluti, DV -- Damiano Verzulli e-mail: damiano(a)verzulli.it --- possible?ok:while(!possible){open_mindedness++} --- "...I realized that free software would not generate the kind of income that was needed. Maybe in USA or Europe, you may be able to get a well paying job as a free software developer, but not here [in Africa]..." -- Guido Sohne - 1973-2008 http://ole.kenic.or.ke/pipermail/skunkworks/2008-April/005989.html

Feb. 23, 2024

Re: [nexa] Unexpected responses from ChatGPT - Incident Report for OpenAI

by Andrea Bolioli

Grazie Daniela per la segnalazione dell'articolo, che leggerò con interesse. L'affermazione "con gli LLM si è ottenuto di produrre linguaggio dissociato dal pensiero" mi sembra corretta, utile nel dibattito sugli LLM, e in linea con la storia del Natural Language Processing, che non si è occupato di pensiero ma appunto di "processing" del linguaggio (tecnologie del linguaggio, trattamento automatico, riproduzione meccanica), pur interagendo un po' con le scienze cognitive, un po' con la filosofia del linguaggio, a volte con la filosofia della mente, e, soprattutto, con la linguistica computazionale. Tra parentesi, non credo che i pappagalli come esseri viventi, gli animali in generale e neanche le piante siano deterministici né stocastici, sono organismi viventi complessi. Andrea Il giorno ven 23 feb 2024 alle ore 10:23 Daniela Tafani <daniela.tafani(a)unipi.it> ha scritto: > > Buongiorno, Guido. > > "Pappagallo stocastico" non è un ossimoro, perché il riferimento non è all'animale, è a ciò che si intende con l'espressione "a pappagallo", > ossia senza sapere o capire ciò che pur si stia dicendo. > > Così, "pappagallo" dice in una parola ciò che qui > > K. Mahowald, A.A. Ivanova, I.A. Blank, N. Kanwisher, J.B. Tenenbaum, E. Fedorenko, Dissociating language and thought in large language models, 2023, > https://arxiv.org/abs/2301.06627v2 > > si sostiene diffusamente: che con gli LLMM si è ottenuto di produrre linguaggio dissociato dal pensiero. > > Un saluto, > Daniela

Feb. 23, 2024

Pseudo-Science entering education

by Enrico Nardelli

(from the Algorithm Watch newsletter here https://r.algorithmwatch.org/nl3/dAy5-iYV4Kk4Edf6OpbOmg ) *All in for innovation.* Last July, I wrote a story about 200 undergraduates who failed their exams after a proctoring system had flagged their performance during their tests <https://algorithmwatch.org/en/spain-students-failed-blame-automated-proctor…>. I was in talks with a communication officer of the university in question. When he figured out that my reporting would not benefit the institution’s prestige, he tried to divert me from writing what happened and convince me of a supposedly much more uncontroversial subject: applying Artificial Intelligence to measure students' performances in the future. He did not say “emotion recognition” but described a software that could track students’ academic trajectories and scan their movements to assess, for instance, if their motivation might be dwindling. The university had been working on a similar project with IBM in 2018 <https://www.unir.net/actualidad/investigacion/inteligencia-artificial-para-…>, but at the time, it didn’t involve real-time image analysis. The software is yet to be deployed. With all the marketing effort to hype the technology, one can guess that the project might have been dropped (or delayed) because the implementation proved to be more difficult. *Tech vs. psychology.* It’s not the first time (nor will it be the last) that education institutions toy with face and emotion recognition systems. Some secondary schools in France were forced to ban face recognition <https://etudiant.lefigaro.fr/article/la-justice-interdit-la-reconnaissance-…> on the premises. Teachers in Denmark use apps to measure the “mood landscape” <https://www.technologyreview.com/2023/04/17/1071137/denmark-teachers-apps-s…> of elementary students. The apps have costed the government millions of crowns. In Spain, almost every autonomous region has incorporated these tools in their Artificial Intelligence strategies. They plan to improve the academic careers of students, either by scanning grade histories or measuring their behavior in real time. None of them have actually moved forward with it <https://www.businessinsider.es/estrategias-ia-espana-no-estan-sirviendo-nad…>, but it’s /cool/ and avant-garde to say they will. They are not completely to blame for trying, taking into account that even the Organization for Economic Co-operation and Development (OECD) is pushing AI to “assess knowledge” and “gauge emotion” <https://archive.ph/I9Nb9>. *Outdated ideas.* The people heralding these tools as the future of education seem to care little about researchers criticizing the pseudo-scientific approach of emotion recognition technology <https://www.article19.org/emotion-recognition-technology-report/>. The use of AI to predict people’s behavior or interpret their emotional state is fundamentally based in the assumption that the expression of emotions is universal and limited to six basic states <https://www.annualreviews.org/doi/abs/10.1146/annurev.ps.30.020179.002523>. This is scientifically untenable and has been harshly refuted <https://journals.sagepub.com/doi/10.1177/1529100619832930>. A smile doesn't always mean happiness, just as a wide range of expressions can indicate anger. Even if automated systems can detect an expression, they don't know what to make of it. Yet, some enthusiasts trust that AI will not only swiftly interpret human emotions but also predict people’s behavior and make decisions on that basis. Minors and migrants (or both) are a testing ground <https://pubmed.ncbi.nlm.nih.gov/37535569/> in many cases. The recently-approved AI Act bans emotion recognition systems in schools but carves out exemptions for “medical” or “safety” reasons. It remains to be seen if the AI Act will protect students and pupils from transgressive surveillance rooted in pseudo-scientific discourse. -- -- EN https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html ====================================================== Prof. Enrico Nardelli Past President di "Informatics Europe" Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI Dipartimento di Matematica - Università di Roma "Tor Vergata" Via della Ricerca Scientifica snc - 00133 Roma home page: https://www.mat.uniroma2.it/~nardelli blog: https://link-and-think.blogspot.it/ tel: +39 06 7259.4204 fax: +39 06 7259.4699 mobile: +39 335 590.2331 e-mail: nardelli(a)mat.uniroma2.it online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont ====================================================== --

Feb. 23, 2024

Re: [nexa] Unexpected responses from ChatGPT - Incident Report for OpenAI

by Guido Vetere

'dissociato dal pensiero' è dir poco: per i 'mathematicos' di oggi il significato linguistico è solo un 'campo' (nel senso della fisica) indotto dalle espressioni, comprese le frescacce scritte sui social. espressivismo on steroids, si direbbe :-) G. On Fri, 23 Feb 2024 at 10:24, Daniela Tafani <daniela.tafani(a)unipi.it> wrote: > Buongiorno, Guido. > > "Pappagallo stocastico" non è un ossimoro, perché il riferimento non è > all'animale, è a ciò che si intende con l'espressione "a pappagallo", > ossia senza sapere o capire ciò che pur si stia dicendo. > > Così, "pappagallo" dice in una parola ciò che qui > > K. Mahowald, A.A. Ivanova, I.A. Blank, N. Kanwisher, J.B. Tenenbaum, E. > Fedorenko, Dissociating language and thought in large language models, > 2023, > https://arxiv.org/abs/2301.06627v2 > > si sostiene diffusamente: che con gli LLMM si è ottenuto di produrre > linguaggio dissociato dal pensiero. > > Un saluto, > Daniela > ________________________________________ > Da: Guido Vetere <vetere.guido(a)gmail.com> > Inviato: venerdì 23 febbraio 2024 08:02 > A: Daniela Tafani > Cc: nexa(a)server-nexa.polito.it > Oggetto: Re: [nexa] Unexpected responses from ChatGPT - Incident Report > for OpenAI > > 'pappagallo stocastico' è un ossimoro: i pappagalli sono notoriamente > deterministici, ma forse l'efficacia dell'epiteto è proprio in questa > giustapposizione > nessuno sa cosa davvero accade in quelle cucine. a me piace pensare che > stiano lavorando per evitare sequenze 'verbatim' e dover pagare pegno al > NYT e a tutti gli altri > G. > > On Thu, 22 Feb 2024 at 20:37, Daniela Tafani <daniela.tafani(a)unipi.it > <mailto:daniela.tafani@unipi.it>> wrote: > On February 20, 2024, an optimization to the user experience introduced a > bug with how the model processes language. > > LLMs generate responses by randomly sampling words based in part on > probabilities. Their “language” consists of numbers that map to tokens. > > In this case, the bug was in the step where the model chooses these > numbers. Akin to being lost in translation, the model chose slightly wrong > numbers, which produced word sequences that made no sense. More > technically, inference kernels produced incorrect results when used in > certain GPU configurations. > > Upon identifying the cause of this incident, we rolled out a fix and > confirmed that the incident was resolved. > Posted 18 hours ago. Feb 21, 2024 - 17:03 PST > > > https://openai.statuspage.io/incidents/ssg8fh7sfyz3 > > Come hanno osservato in molti, la definizione di chatGPT fornita dai > tecnici di OpenAI è quella a cui ci si riferisce con "pappagallo > stocastico". > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it<mailto:nexa@server-nexa.polito.it> > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >

Feb. 23, 2024

Re: [nexa] Riflessioni (amare) sul ruolo di Apple e Google, (non) visti dai vertici politici

by Marco Fioretti

On Thu, Feb 22, 2024 at 22:48, Damiano Verzulli wrote: ...Dove abbiamo sbagliato? Perché si è arrivati al punto in cui un esponente apicale governativo è preoccupato da un P.M. e non, piuttosto, di un soggetto straniero? E soprattutto: cosa è possibile fare per provare a spostare l'angolo di visuale? visto che si chiede... mi permetto di risuggerire quanto dico da ormai quasi vent'anni, riassunto in questi due post che contengono anche link ai precedenti sullo stesso tema: https://stop.zona-m.net/2021/04/on-richard-stallman-ousted-from-fsf/ (https://stop.zona-m.net/2021/04/on-richard-stallman-ousted-from-fsf/) https://stop.zona-m.net/2019/09/have-we-missed-something-in-foss-of-course/ (https://stop.zona-m.net/2019/09/have-we-missed-something-in-foss-of-course/) Marco -- https://mfioretti.substack.com

Feb. 23, 2024