December 2024 - nexa - server-nexa.polito.it

Re: [nexa] The Curious Case of David Mayer, the man ChatGPT cannot name

by Guido Vetere

Credo che il rilievo del Garante sul caso GEDI sia un atto dovuto: non si possono cedere dati sensibili di cui si è responsabili, che i giornali pubblicano in base al diritto di cronaca, a soggetti terzi che ne vogliono farne usi diversi senza il consenso degli interessati. Quindi la cessione sarebbe illecita anche se OpenAI (o chi per essa) avesse modo di correggere e smentire le notizie 'on the fly' come possono fare i giornali. Il problema è che i LLM acquisiscono competenze linguistiche generali (ad es. quelle che servono per fare summarization) e fattuali (chi è David Mayer) allo stesso modo, e anche se sulla modularizzazione si sono fatti progressi, tutto è più o meno fuso in un sol blocco. Diverso è il caso in cui gli LLM sono usati per fare Retrieval Augmented Generation (RAG). In questi casi, le competenze fattuali si trovano nei documenti 'in chiaro' dove il RAG va a pescare, e alla componente LLM spetta solo il compito di mettere in bella prosa alcuni passaggi informativi che non si trovano nel modello ma appunto in qualche testo leggibile e emendabile. La notizia è che per questo esercizio bastano modelli relativamente piccoli, anche 'aperti', e non è impensabile che questi possano essere costruiti con dati 'puliti'. Nota a margine: quello che GEDI dice di voler fare, da quello che capisco, è esattamente un RAG, come quello che altre testate (es. Washington Post) stanno sperimentando. Non c'è davvero bisogno che OpenAI faccia training sul loro archivio. G. On Tue, 3 Dec 2024 at 12:04, Stefano Quintarelli via nexa < nexa(a)server-nexa.polito.it> wrote: > Ciao Carlo > > On 02/12/24 23:55, Carlo Blengino wrote: > > Grazie! > > Interessante leggere come da lontano vedano il GDPR e il diritto > > all'oblio (o quello che è). > > La cosa più certa, al di là del caso Mayer, è che, mi pare, il GDPR se > > interpretato restrittivamente non è compatibile con la tecnologia degli > > LLM. Punto. Si possono fare un po' di accrocchi, ma di fondo c'è un > > totale contrasto, su più principi di base. E questo è un problema per > > l'Europa. > > non mi pare. > se non ricordo male c'e' un termine di 3 mesi, il che vorrebbe dire 4 > re-training del modello all'anno. > > per l'azienda si tratta di trovare il punto di equilibrio costi/benefici > rispetto alle dimensioni del proprio modello (e per il sistema, fare un > po' di ricerca su metodi di ottimizzazione) > > https://neuralmagic.com/blog/24-sparse-llama-smaller-models-for-efficient-g… > > d'altronde, anche il consorzio obbligatorio degli olii usati è una > maggiorazione di costi per i meccanici... > :-) > > > > > Il caso GEDI https://www.ilsole24ore.com/art/nel-mirino-garante-l- > > accordo-gedi-openai-AGJLoOTB <https://www.ilsole24ore.com/art/nel- > > mirino-garante-l-accordo-gedi-openai-AGJLoOTB> ne è ulteriore riprova > > (quell'accordo e tutti gli accordi in atto sono una pessima deriva, sia > > chiaro, ma per altre ragioni) > > Aggiungo a scanso di equivoci, che questa considerazione non vuol dire a > > mio parere che vi sia incompatibilità tra queste tecnologie ed il > > sacrosanto diritto fondamentale alla protezione dei dati personali. > > CB > > > > > > > > Il giorno lun 2 dic 2024 alle ore 22:32 Daniela Tafani > > <daniela.tafani(a)unipi.it <mailto:daniela.tafani@unipi.it>> ha scritto: > > > > Dec 01, 2024 - Georg Zoeller (AILTI) > > The Curious Case of David Mayer, the man ChatGPT cannot name. > > > > ChatGPT users have noticed a curious behavior: It refuses to talk > > about a 'David Mayer'. We have the explanation and point out less > > obvious implications. > > > > TL;DR: While not a juicy conspiracy, OpenAI cut some corners on > > regulatory compliance and the implications are less benign than they > > seem. In fact, they can be weaponized with unexpected consequences. > > > > ChatGPT is well known for not knowing when to stop talking - the > > underlying transformer architecture lends itself to hallucinations > > in situations when the model is asked to generate text beyond the > > context it was trained on. Even more curious, sometimes it starts > > giving a response, only to change its mind mid sentence, and > > terminating the conversation. > > > > So naturally, when the software stops and refuses to answer, users > > take notice. In this case, ChatGPT users found that mention of the > > name “David Mayer”, whenever included in a message, would > > consistently cause the model to terminate the conversation. > > > > It’s a conspiracy! > > Creating even more mystery, chatGPT rejection messages quickly move > > from unhelpful to ominously threatening when the user starts > > investigating the phenomenon. > > > > Continua qui: > > <https://centreforaileadership.org/resources/ > > analysis_the_curious_case_of_one_david_mayer/ <https:// > > centreforaileadership.org/resources/ > > analysis_the_curious_case_of_one_david_mayer/>> > > > > > > > > -- > > * > > * > > *Avv. Carlo Blengino* > > * > > * > > /Via Duchessa Jolanda n. 19,/ > > /10138 Torino (TO) - Italy/ > > /tel. +39 011 4474035/ > > Penalistiassociati.it > > // > > -- > You can reach me on Signal: @quinta.01 (no Whatsapp, no Telegram) > >

Dec. 4, 2024

"New report highlights the scientific impact of open source software"

by J.C. DE MARTIN

*New report highlights the scientific impact of open source software* Two of the scientists who won this year’s Nobel Prize <https://www.nobelprize.org/prizes/chemistry/2024/press-release/> for cracking the code of proteins’ intricate structures relied, in part, on a series of computing models that anyone with a computer and the right understanding can access and run. Their creation, collectively called AlphaFold, quickly and accurately predicts the three-dimensional structure of each of the millions of proteins in the human body, a key to understanding their unique functions. In designing this model, Demis Hassabis and John Jumper relied on the shared work of tens of thousands of scientists and publicly available open source software, underscoring how open science is powering scientific discovery. Open source software refers to blocks of code that are developed and maintained online for anyone to use, improve, or share as they see fit — all for free. Biomedical scientists depend on these public tools to analyze large, complex data sets, paving the way for the development of new drugs and treatments. [...] continua qui: https://www.statnews.com/sponsor/2024/11/26/new-report-highlights-the-scien…

Dec. 4, 2024

"Why ‘open’ AI systems are actually closed, and why this matters"

by J.C. DE MARTIN

Published: 27 November 2024 *Why ‘open’ AI systems are actually closed, and why this matters * David Gray Widder, Meredith Whittaker & Sarah Myers West / Nature/ *635*, 827–833 (2024). https://doi.org/10.1038/s41586-024-08141-1 Abstract This paper examines ‘open’ artificial intelligence (AI). Claims about ‘open’ AI often lack precision, frequently eliding scrutiny of substantial industry concentration in large-scale AI development and deployment, and often incorrectly applying understandings of ‘open’ imported from free and open-source software to AI systems. At present, powerful actors are seeking to shape policy using claims that ‘open’ AI is either beneficial to innovation and democracy, on the one hand, or detrimental to safety, on the other. When policy is being shaped, definitions matter. To add clarity to this debate, we examine the basis for claims of openness in AI, and offer a material analysis of what AI is and what ‘openness’ in AI can and cannot provide: examining models, data, labour, frameworks, and computational power. We highlight three main affordances of ‘open’ AI, namely transparency, reusability, and extensibility, and we observe that maximally ‘open’ AI allows some forms of oversight and experimentation on top of existing models. However, we find that openness alone does not perturb the concentration of power in AI. Just as many traditional open-source software projects were co-opted in various ways by large technology companies, we show how rhetoric around ‘open’ AI is frequently wielded in ways that exacerbate rather than reduce concentration of power in the AI sector. https://www.nature.com/articles/s41586-024-08141-1

Dec. 4, 2024

Articolo per il Manifesto

by J.C. DE MARTIN

Mie riflessioni oggi sul Manifesto: https://ilmanifesto.it/smartphone-cambiare-prima-di-vietare Per leggere, basta registrarsi. Se qualcuno avesse comunque problemi, mi scriva. juan carlos

Dec. 3, 2024

Nuovo rapporto: "Reclaiming Digital Sovereignty"

by J.C. DE MARTIN

Oggi alle 16 è stato pubblicato questo rapporto dal titolo "Reclaiming Digital Sovereignty" https://www.ucl.ac.uk/bartlett/public-purpose/publications/2024/dec/reclaim… Penso che meriti una lettura :-) juan carlos

Dec. 3, 2024

Re: [nexa] The Curious Case of David Mayer, the man ChatGPT cannot name

by Stefano Quintarelli

Ciao Carlo On 02/12/24 23:55, Carlo Blengino wrote: > Grazie! > Interessante leggere come da lontano vedano il GDPR e il diritto > all'oblio (o quello che è). > La cosa più certa, al di là del caso Mayer, è che, mi pare, il GDPR se > interpretato restrittivamente non è compatibile con la tecnologia degli > LLM. Punto. Si possono fare un po' di accrocchi, ma di fondo c'è un > totale contrasto, su più principi di base. E questo è un problema per > l'Europa. non mi pare. se non ricordo male c'e' un termine di 3 mesi, il che vorrebbe dire 4 re-training del modello all'anno. per l'azienda si tratta di trovare il punto di equilibrio costi/benefici rispetto alle dimensioni del proprio modello (e per il sistema, fare un po' di ricerca su metodi di ottimizzazione) https://neuralmagic.com/blog/24-sparse-llama-smaller-models-for-efficient-g… d'altronde, anche il consorzio obbligatorio degli olii usati è una maggiorazione di costi per i meccanici... :-) > Il caso GEDI https://www.ilsole24ore.com/art/nel-mirino-garante-l- > accordo-gedi-openai-AGJLoOTB <https://www.ilsole24ore.com/art/nel- > mirino-garante-l-accordo-gedi-openai-AGJLoOTB> ne è ulteriore riprova > (quell'accordo e tutti gli accordi in atto sono una pessima deriva, sia > chiaro, ma per altre ragioni) > Aggiungo a scanso di equivoci, che questa considerazione non vuol dire a > mio parere che vi sia incompatibilità tra queste tecnologie ed il > sacrosanto diritto fondamentale alla protezione dei dati personali. > CB > > > > Il giorno lun 2 dic 2024 alle ore 22:32 Daniela Tafani > <daniela.tafani(a)unipi.it <mailto:daniela.tafani@unipi.it>> ha scritto: > > Dec 01, 2024 - Georg Zoeller (AILTI) > The Curious Case of David Mayer, the man ChatGPT cannot name. > > ChatGPT users have noticed a curious behavior: It refuses to talk > about a 'David Mayer'. We have the explanation and point out less > obvious implications. > > TL;DR: While not a juicy conspiracy, OpenAI cut some corners on > regulatory compliance and the implications are less benign than they > seem. In fact, they can be weaponized with unexpected consequences. > > ChatGPT is well known for not knowing when to stop talking - the > underlying transformer architecture lends itself to hallucinations > in situations when the model is asked to generate text beyond the > context it was trained on. Even more curious, sometimes it starts > giving a response, only to change its mind mid sentence, and > terminating the conversation. > > So naturally, when the software stops and refuses to answer, users > take notice. In this case, ChatGPT users found that mention of the > name “David Mayer”, whenever included in a message, would > consistently cause the model to terminate the conversation. > > It’s a conspiracy! > Creating even more mystery, chatGPT rejection messages quickly move > from unhelpful to ominously threatening when the user starts > investigating the phenomenon. > > Continua qui: > <https://centreforaileadership.org/resources/ > analysis_the_curious_case_of_one_david_mayer/ <https:// > centreforaileadership.org/resources/ > analysis_the_curious_case_of_one_david_mayer/>> > > > > -- > * > * > *Avv. Carlo Blengino* > * > * > /Via Duchessa Jolanda n. 19,/ > /10138 Torino (TO) - Italy/ > /tel. +39 011 4474035/ > Penalistiassociati.it > // -- You can reach me on Signal: @quinta.01 (no Whatsapp, no Telegram)

Dec. 3, 2024

Re: [nexa] The Curious Case of David Mayer, the man ChatGPT cannot name

by Stefano Borroni Barale

Buongiorno, da fisico (quindi turista del diritto e da semplice 'smanettone' informatico) non sono certo di aver ben compreso su che base si fonda il ragionamento secondo il quale tale tecnologia non sarebbe compatibile con la protezione dei dati personali (la vedo abbastanza come Giacomo, direi). Ammesso e non concesso che lo sia, direi che sarebbe una cattiva notizia per l'Ai sub-simbolica, che andrebbe abbandonata di corsa. Osservazioni: - non sarebbe la prima volta che l'Ai sub-simbolica viene abbandonata. Basti dire che John McCarthy scriveva che non credeva nella bontà dell'approccio sub-simbolico, che ha già conosciuto un "inverno". E certamente non era uno scettico dell'Ai; - non sarebbe la prima volta che una tecnologia/materiale/sostanza viene abbandonata, senza che questo causi non solo l'arresto del progresso, ma nemmeno l'arresto di un determinato campo tecnologico. Per esempio l'abbandono del piombo come additivo per alimentare i motori a scoppio non ha certo fermato la diffusione di tali motori (purtroppo); - molti, e non da oggi (da oggi non più solo Gary Marcus), pensano che il puro approccio sub-simbolico non basti e che l'Ai dovrebbe evolvere verso qualcosa che sia capace di avere almeno un semplice modello di realtà "embedded", cosa che credo aiuterebbe assai a risolvere il problema in questione. Insomma, come sempre, There Are Thousands of Alternatives. Stefano Inviato con l'email sicura [Proton Mail](https://proton.me/mail/home). lunedì 2 dicembre 2024 23:55, Carlo Blengino <blengino(a)penalistiassociati.it> ha scritto: > Grazie! > Interessante leggere come da lontano vedano il GDPR e il diritto all'oblio (o quello che è). > La cosa più certa, al di là del caso Mayer, è che, mi pare, il GDPR se interpretato restrittivamente non è compatibile con la tecnologia degli LLM. Punto. Si possono fare un po' di accrocchi, ma di fondo c'è un totale contrasto, su più principi di base. E questo è un problema per l'Europa. > Il caso GEDI https://www.ilsole24ore.com/art/nel-mirino-garante-l-accordo-gedi-openai-AG… ne è ulteriore riprova (quell'accordo e tutti gli accordi in atto sono una pessima deriva, sia chiaro, ma per altre ragioni) > Aggiungo a scanso di equivoci, che questa considerazione non vuol dire a mio parere che vi sia incompatibilità tra queste tecnologie ed il sacrosanto diritto fondamentale alla protezione dei dati personali. > CB > > Il giorno lun 2 dic 2024 alle ore 22:32 Daniela Tafani <daniela.tafani(a)unipi.it> ha scritto: > >> Dec 01, 2024 - Georg Zoeller (AILTI) >> The Curious Case of David Mayer, the man ChatGPT cannot name. >> >> ChatGPT users have noticed a curious behavior: It refuses to talk about a 'David Mayer'. We have the explanation and point out less obvious implications. >> >> TL;DR: While not a juicy conspiracy, OpenAI cut some corners on regulatory compliance and the implications are less benign than they seem. In fact, they can be weaponized with unexpected consequences. >> >> ChatGPT is well known for not knowing when to stop talking - the underlying transformer architecture lends itself to hallucinations in situations when the model is asked to generate text beyond the context it was trained on. Even more curious, sometimes it starts giving a response, only to change its mind mid sentence, and terminating the conversation. >> >> So naturally, when the software stops and refuses to answer, users take notice. In this case, ChatGPT users found that mention of the name “David Mayer”, whenever included in a message, would consistently cause the model to terminate the conversation. >> >> It’s a conspiracy! >> Creating even more mystery, chatGPT rejection messages quickly move from unhelpful to ominously threatening when the user starts investigating the phenomenon. >> >> Continua qui: >> <https://centreforaileadership.org/resources/analysis_the_curious_case_of_on…> > > -- > > Avv. Carlo Blengino > Via Duchessa Jolanda n. 19, > 10138 Torino (TO) - Italy > > tel. +39 011 4474035 > Penalistiassociati.it

Dec. 3, 2024

Re: [nexa] The Curious Case of David Mayer, the man ChatGPT cannot name

by Stefano Zacchiroli

Ciao Carlo, On Mon, Dec 02, 2024 at 11:55:50PM +0100, Carlo Blengino wrote: > La cosa più certa, al di là del caso Mayer, è che, mi pare, il GDPR se > interpretato restrittivamente non è compatibile con la tecnologia degli > LLM. lo dici in considerazione del livello di difficoltà di cancellare da un LLM dati che ha memorizzato e che, ai sensi del GDPR (interpretato restrittivamente) devono essere dimenticati? Chiedo perché, concettualmente, non vedo una profonda differenza tra un LLM che memorizza qualcosa che non dovrebbe (ai sensi di GDPR) od un motore di ricerca o ancora un archivio digitale. Ritieni che anche queste altre tecnologie più datate siano fondamentalmente incompatibili con GDPR? A me pare che la differenza sia solamente nella difficoltà di cancellazione da un LLM, che oggi è oggettivamente molto alta (di fatto l'unico modo sicuro è fare retraining dopo avere pulito il training dataset, il che è molto costoso). Ma non è detto che questo difficoltà tecnica resti tale in futuro --- penso ad esempio a potenziali progressi nell'ambito del machine unlearning (mondo che alcuni Nexiani mi hanno di recente fatto scoprire, h/t a Antonio e Maurizio). Ciao -- Stefano Zacchiroli . zack(a)upsilon.cc . https://upsilon.cc/zack _. ^ ._ Full professor of Computer Science o o o \/|V|\/ Télécom Paris, Polytechnic Institute of Paris o o o </> <\> Co-founder & CSO Software Heritage o o o o /\|^|/\ Mastodon: https://mastodon.xyz/@zacchiro '" V "'

Dec. 3, 2024

Re: [nexa] The Curious Case of David Mayer, the man ChatGPT cannot name

by Giacomo Tesio

Carlo... non devi berti qualsiasi sciocchezza che trovi su Google! ;-) On Mon, 2 Dec 2024 23:55:50 +0100 Carlo Blengino wrote: > il GDPR se interpretato restrittivamente non è compatibile con la > tecnologia degli LLM. Punto. Si possono fare un po' di accrocchi, ma > di fondo c'è un totale contrasto, su più principi di base. Il GDPR, se interpretato correttamente, rende costosa la realizzazione e la manutenzione degli LLM che le BigTech USA stanno immettendo sul mercato, richiedendo continui aggiornamenti (detti impropriamente re-training) ogni qual volta un cittadino esercita i propri diritti. Tutto qui. Costosa, non tecnicamente impossibile. Ma sono costi d'impresa, come le scarpe antinfortunistiche in cantiere, le siringhe in ospedale o la carta igienica in ufficio. > E questo è un problema per l'Europa. Stai assumendo che questa tecnologia abbia una qualche utilità pratica. Come stanno finalmente notando molti investitori... è ancora ben lungi dall'essere dimostrato. Comunque al tuo posto non mi cruccerei. Le scuole sono ancora saldamente in mano a Google, a riprova del fatto che il GDPR e lo Stato di Diritto sono favole per bambini. Quindi rallegrati: potrai continuare a sollazzarti con ChatGPT a lungo! Mi preoccuperei piuttosto dell'incompatibilità intrinseca fra la pubblicazione sul Web di output prodotti da LLM e gli articoli 580 e 589 del Codice Penale https://apnews.com/article/chatbot-ai-lawsuit-suicide-teen-artificial-intel… https://www.brusselstimes.com/430098/belgian-man-commits-suicide-following-… O dici che dovremmo interpretare anche il Codice Penale in modo "meno restrittivo" per tutelare i profitti europei di OpenAI e soci? Giacomo

Dec. 3, 2024

Re: [nexa] The Curious Case of David Mayer, the man ChatGPT cannot name

by Carlo Blengino

Grazie! Interessante leggere come da lontano vedano il GDPR e il diritto all'oblio (o quello che è). La cosa più certa, al di là del caso Mayer, è che, mi pare, il GDPR se interpretato restrittivamente non è compatibile con la tecnologia degli LLM. Punto. Si possono fare un po' di accrocchi, ma di fondo c'è un totale contrasto, su più principi di base. E questo è un problema per l'Europa. Il caso GEDI https://www.ilsole24ore.com/art/nel-mirino-garante-l-accordo-gedi-openai-AG… ne è ulteriore riprova (quell'accordo e tutti gli accordi in atto sono una pessima deriva, sia chiaro, ma per altre ragioni) Aggiungo a scanso di equivoci, che questa considerazione non vuol dire a mio parere che vi sia incompatibilità tra queste tecnologie ed il sacrosanto diritto fondamentale alla protezione dei dati personali. CB Il giorno lun 2 dic 2024 alle ore 22:32 Daniela Tafani < daniela.tafani(a)unipi.it> ha scritto: > Dec 01, 2024 - Georg Zoeller (AILTI) > The Curious Case of David Mayer, the man ChatGPT cannot name. > > ChatGPT users have noticed a curious behavior: It refuses to talk about a > 'David Mayer'. We have the explanation and point out less obvious > implications. > > TL;DR: While not a juicy conspiracy, OpenAI cut some corners on regulatory > compliance and the implications are less benign than they seem. In fact, > they can be weaponized with unexpected consequences. > > ChatGPT is well known for not knowing when to stop talking - the > underlying transformer architecture lends itself to hallucinations in > situations when the model is asked to generate text beyond the context it > was trained on. Even more curious, sometimes it starts giving a response, > only to change its mind mid sentence, and terminating the conversation. > > So naturally, when the software stops and refuses to answer, users take > notice. In this case, ChatGPT users found that mention of the name “David > Mayer”, whenever included in a message, would consistently cause the model > to terminate the conversation. > > It’s a conspiracy! > Creating even more mystery, chatGPT rejection messages quickly move from > unhelpful to ominously threatening when the user starts investigating the > phenomenon. > > Continua qui: > < > https://centreforaileadership.org/resources/analysis_the_curious_case_of_on… > > -- *Avv. Carlo Blengino* *Via Duchessa Jolanda n. 19,* *10138 Torino (TO) - Italy* *tel. +39 011 4474035* Penalistiassociati.it

Dec. 2, 2024