- nexa - server-nexa.polito.it

Intelligenza artificiale: ordine esecutivo degli Stati Uniti
by Mauro Alovisio Oct. 31, 2023

Oct. 31, 2023

Gent.mi segnalo interessante provvedimento su Intelligenza artificiale da parte del Governo americano https://www.whitehouse.gov/briefing-room/statements-releases/2023/10/30/fac… Una prima analisi https://www.notizie.ai/ordine-esecutivo-della-casa-bianca-per-regolamentare… Cordiali saluti Mauro

3 2

Re: [nexa] opinioni corrette Vs. scienza Vs. fogli di calcolo (was Re: IA, lavoro, immaginari)
by Giuseppe Attardi Oct. 30, 2023

Oct. 30, 2023

> On 26 Oct 2023, at 17:12, nexa-request(a)server-nexa.polito.it wrote: > > Aneddoto: lo sapete che la politica di "austerity" implementata dalla EU > fu frutto di un errore in un foglio di calcolo [3], vero? :-O > > ...già, i fogli di calcolo fanno già abbastanza danni, Non sono i fogli di calcolo a fare danni, ma chi li usa malamente e a sostegno di tesi preconcette: la celebre frase “lo dicono i dati” è quanto di più sbagliato si possa immaginare. I dati non /dicono/ nulla, i dati vanno /interpretati/ e ciascuno li interpreta a modo suo, visto che, con una quantità sufficiente di dati si può dimostrare qualunque tesi. Il caso Reinhart-Rogoff è stato ampiamente dibattuto (https://en.wikipedia.org/wiki/Growth_in_a_Time_of_Debt) ma, anche dopo che fu svelato l’errore nell'uso del foglio di calcolo a sostegno dell’asserto che l’austerity fa bene, i due autori hanno ribadito il loro convincimento: After reviewing their own work, they now say that countries that pass the 90 percent mark see 2.3 percent growth, down from 3.5 percent if they stay under that threshold. In other words, not negative growth, but still a significant drop. Peggio ancora, dopo decenni di politiche di austerity che hanno dimostrato coi fatti, non con le formule, che l’austerità non migliora l'economia, una scuola di economisti continua a non volerlo ammettere, per la frustrazione di Paul Krugman. Quest’ultimo conclude che i politici preferiscono ascoltare coloro che suffragano le loro intenzioni politiche, piuttosto che la realtà dei fatti. Si tratta, come sempre, di difetti degli umani, non degli strumenti che usano. — Beppe > non è il caso di > peggiorare la situazione con la c.d. AI (alimentata con dati gestiti su > fogli di calcolo "on steroids", *aiuto*!): > > https://eusprig.org/research-info/horror-stories/ > > (è evidente che sono riportati solo lo 0.1% degli incidenti causati da > "sphreadsheet errors") >

5 8

166° Mercoledì di Nexa | 8 novembre 2023, ore 17.00
by Valeria Bergantino Oct. 30, 2023

Oct. 30, 2023

Gentilissime, gentilissimi, Vi invitiamo a partecipare al *166° Mercoledì di Nexa*, che si terrà *mercoledì 8 novembre*, alle ore 17.00, con un incontro dal titolo /*"Etica del digitale ed euristiche mentali"*/. Ospite dell'incontro: *Guglielmo Tamburrini* (Università di Napoli Federico II)/*.*/ _L'incontro si terrà IN PRESENZA e ONLINE._ _SEDE FISICA_ dell'incontro: Centro Nexa su Internet e Società, Politecnico di Torino, Via Boggio 65/a, Torino (1° piano). Per accedere alla sala si raccomanda di suonare al citofono *Portineria* e di seguire le indicazioni segnalate lungo il percorso. QUI <https://nexa.polito.it/contatti> maggiori informazioni su come raggiungerci. _STANZA VIRTUALE_ dell'incontro: https://didattica.polito.it/VClass/NexaEvent Di seguito maggiori dettagli: Se non visualizzi correttamente questo messaggio clicca qui <https://nexa.polito.it/mercoledi-166> NEXA 166° Mercoledì di Nexa Mercoledì 8 novembre 2023, ore 17.00 - 19.00 Politecnico di Torino https://nexa.polito.it/mercoledi-166 /Etica del digitale ed euristiche mentali/ *GUGLIELMO TAMBURRINI (Università di Napoli Federico II)* *L'INCONTRO SI TERRÀ IN PRESENZA E ONLINE* *SEDE FISICA*: Centro Nexa su Internet e Società, Politecnico di Torino, Via Boggio 65/a, Torino (1° piano). Suonare al citofono *Portineria* - Seguire le indicazioni segnalate dai cartelli lungo il percorso. (Per maggiori informazioni su come raggiungerci clicca QUI <https://nexa.polito.it/contatti>) *STANZA VIRTUALE*: https://didattica.polito.it/VClass/NexaEvent Per mettere in pratica le *raccomandazioni etiche sulla progettazione e l’uso dei sistemi digitali* è fondamentale affidarsi a *processi decisionali analitici e ponderati*. Ma i modelli psicologici del doppio processo decisionale affermano che spesso affidiamo le nostre scelte e azioni a valutazioni intuitive, più rapide ed emotivamente cariche. Da qui emergono difficoltà significative per la messa in pratica di linee di condotta analiticamente ponderate ed eticamente motivate per la progettazione e l’uso dei sistemi digitali. Nel corso dell’incontro si discuteranno, in particolare: la *difficoltà di perseguire*, in assenza di esperienze vissute e reazioni viscerali al riscaldamento climatico, il *contenimento dell’impronta di carbonio del settore digitale*; la *difficoltà di esercitare la prudenza e la frugalità nella sfera digitale*, differendo la fruizione immediata di stati emotivi positivi; la *difficoltà di attuare un controllo umano veramente significativo sui sistemi dell’IA nel settore militare* – soprattutto nel campo delle armi autonome e della difesa nucleare – allorché si opacizzano i processi deliberativi e si accelerano le decisioni, ostacolando così il dispiegamento di ragionamenti analitici e ponderati da parte dei decisori militari e politici. Si prenderanno anche in considerazione alcune strategie per attenuare queste difficoltà, e per *conferire all’etica del digitale un ruolo più incisivo nell’ambito della ragione pratica*. BIOGRAFIA e informazioni supplementari: [mercoledì166] *Guglielmo TAMBURRINI* è professore ordinario di filosofia della scienza e della tecnologia all’Università di Napoli Federico II. Coordinatore del primo progetto europeo sull’etica della robotica (Ethicbots, 2005-08), vincitore del Premio Internazionale Giulio Preti nel 2014 per il suo lavoro didattico e di ricerca sull’etica della robotica e dell’intelligenza artificiale, è membro dell’ICRAC (International Committee for Robot Arms Control) e del Consiglio scientifico dell’USPID (Unione degli Scienziati per il Disarmo). Tra le sue pubblicazioni recenti in lingua italiana, il volume /Etica delle macchine. Dilemmi morali per la robotica e l’intelligenza artificiale/ (Roma, 2020), vari capitoli sia del volume /Automi e persone. Introduzione all’etica dell’intelligenza artificiale e della robotica/ (Roma, 2021), che ha curato insieme a F. Fossa e V. Schiaffonati, sia del volume /open access Dai droni alle armi autonome/ (a cura di F. Farruggia, Roma 2023). *Letture consigliate:* * P. Slovic, H. S. Lin (2020), /The caveman and the bomb in the digital age/, disponibile al LINK <https://www.hoover.org/sites/default/files/research/docs/trinkunas_threetwe…> * F. Farruggia (a cura di) (2023), /Dai droni alle armi autonome/, in particolare i capp. 4, 5 e 9. Roma, Franco Angeli, disponibile in open access al LINK <https://series.francoangeli.it/index.php/oa/catalog/book/948> * G. Tamburrini (2022), The AI carbon footprint and responsibilities of AI scientists, Philosophies, 7(1), 4 (open access) al LINK <https://doi.org/10.3390/philosophies7010004> * D. Kahneman (2011), /Thinking, Fast and Slow/, trad. It. Pensieri lenti e veloci, Milano, Mondadori, 2012 Che cosa sono il Centro Nexa e i cicli di incontri “Mercoledì di Nexa” e “Nexa Lunch Seminar” <https://www.facebook.com/nexa.center/> <https://twitter.com/nexacenter> <https://www.youtube.com/user/NexaCenter> <https://www.instagram.com/nexa_center/> <https://www.linkedin.com/company/3054864/admin/> #nexawednesday <https://twitter.com/search?q=%23nexawednesday&src=typd> #UniversitàdiNapoliFedericoII <https://twitter.com/UninaIT> Il Centro Nexa su Internet & Società del Politecnico di Torino (Dipartimento di Automatica e Informatica), fondato nel 2006, è un centro di ricerca interdisciplinare che, in collaborazione con l’Università di Torino (in particolare il Dipartimento di Giurisprudenza), studia le tecnologie digitali e il loro rapporto con la società. Maggiori informazioni all'indirizzo: http://nexa.polito.it/about. Durante i “Mercoledì di Nexa”, che si tengono *ogni 2° mercoledì del mese alle ore 17 in punto*, il Centro Nexa su Internet e Società apre le sue porte non solo agli esperti e a tutti coloro i quali lavorano con Internet, ma anche a semplici appassionati e cittadini. Il ciclo di incontri intende approfondire, con un linguaggio preciso ma accessibile, i temi legati alla Rete: “intelligenza artificiale”, reti sociali, software libero, capitalismo della sorveglianza, neutralità della rete, libertà di espressione, privacy, condivisione di file, "big data" e "open data", “smart cities”, e molto altro. Al centro della maggior parte degli incontri un ospite pronto a dialogare con i direttori del Centro Nexa, il Prof. Juan Carlos De Martin del Politecnico di Torino, i Proff. Marco Ricolfi e Maurizio Borghi dell'Università di Torino, lo staff, i Fellows del Centro Nexa e tutti i presenti. Maggiori informazioni sui Mercoledì di Nexa, incluso un elenco di tutti i “Mercoledì” passati, sono disponibili all'indirizzo: http://nexa.polito.it/mercoledi. Le registrazioni degli incontri sono disponibili qui: https://nexa.polito.it/audio-video. Si segnala inoltre che dal maggio 2012 *ogni 4° mercoledì* del mese *dalle ore 13 alle ore 14* il Centro Nexa organizza anche i "*Nexa Lunch Seminar*". Una lista di tutti i “Lunch Seminar” passati è disponibile all'indirizzo: http://nexa.polito.it/lunch-seminars. See our events calendar <http://nexa.polito.it/events> if you're curious about future luncheons, discussions, lectures, and conferences not listed in this email. Our events are free and open to the public, unless otherwise noted. Responsabile Comunicazione Centro Nexa su Internet & Società: *Valeria Bergantino*, tel: +39 011 090 7219, Mob: +39 347 344 3585, valeria.bergantino(a)polito.it. Maggiori informazioni sui Mercoledì di Nexa e i Nexa Lunch Seminar, sono disponibili all'indirizzo: http://nexa.polito.it/events. Weekly Events Newsletter. Sign up <http://nexa.polito.it/mailing-lists> to receive this newsletter if this email was forwarded to you. To manage your subscription preferences, please click here <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa>. Connect & get involved: Jobs, internships, and more <http://nexa.polito.it/get-involved>. Nexa Center for Internet and Society Newsletter Cordiali saluti, -- Valeria Bergantino Communication Officer Nexa Center for Internet & Society Politecnico di Torino - DAUIN Via Pier Carlo Boggio, 65/A - 10138 Torino web: https://nexa.polito.it/ <https://nexa.polito.it/> mail: valeria.bergantino(a)polito.it <mailto:valeria.bergantino@polito.it> tel: 3473443585

1 0

Sweeping new Biden order aims to alter the AI landscape
by Luigi Scorca Oct. 30, 2023

Oct. 30, 2023

https://www.politico.com/news/2023/10/27/white-house-ai-executive-order-001…

1 0

This new data poisoning tool lets artists fight back against generative AI | MIT Technology Review
by Alberto Cammozzo Oct. 29, 2023

Oct. 29, 2023

<https://www.technologyreview.com/2023/10/23/1082189/data-poisoning-artists-…> A new tool lets artists add invisible changes to the pixels in their art before they upload it online so that if it’s scraped into an AI training set, it can cause the resulting model to break in chaotic and unpredictable ways. The tool, called Nightshade, is intended as a way to fight back against AI companies that use artists’ work to train their models without the creator’s permission. Using it to “poison” this training data could damage future iterations of image-generating AI models, such as DALL-E, Midjourney, and Stable Diffusion, by rendering some of their outputs useless—dogs become cats, cars become cows, and so forth. MIT Technology Review got an exclusive preview of the research, which has been submitted for peer review at computer security conference Usenix. AI companies such as OpenAI, Meta, Google, and Stability AI are facing a slew of lawsuits from artists who claim that their copyrighted material and personal information was scraped without consent or compensation. Ben Zhao, a professor at the University of Chicago, who led the team that created Nightshade, says the hope is that it will help tip the power balance back from AI companies towards artists, by creating a powerful deterrent against disrespecting artists’ copyright and intellectual property. Meta, Google, Stability AI, and OpenAI did not respond to MIT Technology Review’s request for comment on how they might respond. Zhao’s team also developed Glaze, a tool that allows artists to “mask” their own personal style to prevent it from being scraped by AI companies. It works in a similar way to Nightshade: by changing the pixels of images in subtle ways that are invisible to the human eye but manipulate machine-learning models to interpret the image as something different from what it actually shows. The team intends to integrate Nightshade into Glaze, and artists can choose whether they want to use the data-poisoning tool or not. The team is also making Nightshade open source, which would allow others to tinker with it and make their own versions. The more people use it and make their own versions of it, the more powerful the tool becomes, Zhao says. The data sets for large AI models can consist of billions of images, so the more poisoned images can be scraped into the model, the more damage the technique will cause. A targeted attack Nightshade exploits a security vulnerability in generative AI models, one arising from the fact that they are trained on vast amounts of data—in this case, images that have been hoovered from the internet. Nightshade messes with those images. Related Story This artist is dominating AI-generated art. And he’s not happy about it. Greg Rutkowski is a more popular prompt than Picasso. Artists who want to upload their work online but don’t want their images to be scraped by AI companies can upload them to Glaze and choose to mask it with an art style different from theirs. They can then also opt to use Nightshade. Once AI developers scrape the internet to get more data to tweak an existing AI model or build a new one, these poisoned samples make their way into the model’s data set and cause it to malfunction. Poisoned data samples can manipulate models into learning, for example, that images of hats are cakes, and images of handbags are toasters. The poisoned data is very difficult to remove, as it requires tech companies to painstakingly find and delete each corrupted sample. The researchers tested the attack on Stable Diffusion’s latest models and on an AI model they trained themselves from scratch. When they fed Stable Diffusion just 50 poisoned images of dogs and then prompted it to create images of dogs itself, the output started looking weird—creatures with too many limbs and cartoonish faces. With 300 poisoned samples, an attacker can manipulate Stable Diffusion to generate images of dogs to look like cats. Generative AI models are excellent at making connections between words, which helps the poison spread. Nightshade infects not only the word “dog” but all similar concepts, such as “puppy,” “husky,” and “wolf.” The poison attack also works on tangentially related images. For example, if the model scraped a poisoned image for the prompt “fantasy art,” the prompts “dragon” and “a castle in The Lord of the Rings” would similarly be manipulated into something else. Zhao admits there is a risk that people might abuse the data poisoning technique for malicious uses. However, he says attackers would need thousands of poisoned samples to inflict real damage on larger, more powerful models, as they are trained on billions of data samples. “We don’t yet know of robust defenses against these attacks. We haven’t yet seen poisoning attacks on modern [machine learning] models in the wild, but it could be just a matter of time,” says Vitaly Shmatikov, a professor at Cornell University who studies AI model security and was not involved in the research. “The time to work on defenses is now,” Shmatikov adds. Gautam Kamath, an assistant professor at the University of Waterloo who researches data privacy and robustness in AI models and wasn’t involved in the study, says the work is “fantastic.” The research shows that vulnerabilities “don’t magically go away for these new models, and in fact only become more serious,” Kamath says. “This is especially true as these models become more powerful and people place more trust in them, since the stakes only rise over time.” A powerful deterrent Junfeng Yang, a computer science professor at Columbia University, who has studied the security of deep-learning systems and wasn’t involved in the work, says Nightshade could have a big impact if it makes AI companies respect artists’ rights more—for example, by being more willing to pay out royalties. AI companies that have developed generative text-to-image models, such as Stability AI and OpenAI, have offered to let artists opt out of having their images used to train future versions of the models. But artists say this is not enough. Eva Toorenent, an illustrator and artist who has used Glaze, says opt-out policies require artists to jump through hoops and still leave tech companies with all the power. Toorenent hopes Nightshade will change the status quo. “It is going to make [AI companies] think twice, because they have the possibility of destroying their entire model by taking our work without our consent,” she says. Autumn Beverly, another artist, says tools like Nightshade and Glaze have given her the confidence to post her work online again. She previously removed it from the internet after discovering it had been scraped without her consent into the popular LAION image database. “I’m just really grateful that we have a tool that can help return the power back to the artists for their own work,” she says.

1 0

Google paid a whopping $26.3 billion in 2021 to be the default search engine everywhere
by Daniela Tafani Oct. 28, 2023

Oct. 28, 2023

Google paid a whopping $26.3 billion in 2021 to be the default search engine everywhere / We knew Google paid handsomely to be the default browser in Safari, Firefox, and elsewhere. Now we know, after years of guessing, exactly what it cost. By David Pierce, editor-at-large and Vergecast co-host with over a decade of experience covering consumer tech. Previously, at Protocol, The Wall Street Journal, and Wired. Oct 27, 2023, 6:56 PM GMT+2| The US v. Google antitrust trial is about many things, but more than anything, it’s about the power of defaults. Even if it’s easy to switch browsers or platforms or search engines, the one that appears when you turn it on matters a lot. Google obviously agrees and has paid a staggering amount to make sure it is the default: testimony in the trial revealed that Google spent a total of $26.3 billion in 2021 to be the default search engine in multiple browsers, phones, and platforms. That number, the sum total of all of Google’s search distribution deals, came out during the Justice Department’s cross-examination of Google’s search head, Prabhakar Raghavan. It was made public after a debate earlier in the week between the two sides and Judge Amit Mehta over whether the figure should be redacted. Mehta has begun to push for more openness in the trial in general, and this was one of the most significant new pieces of information to be shared openly. Just to put that $26.3 billion in context: Alphabet, Google’s parent company, announced in its recent earnings report that Google Search ad business brought in about $44 billion over the last three months and about $165 billion in the last year. Its entire ad business — which also includes YouTube ads — made a bit under $90 billion in profit. This is all back-of-the-napkin math, but essentially, Google is giving up about 16 percent of its search revenue and about 29 percent of its profit to those distribution deals. Google is giving up about 16 percent of its search revenue and about 29 percent of its profit to those distribution deals Most of that money, of course, goes to Apple. The New York Times recently reported that Google’s deal to be the default search engine in Safari across Google products cost the company about $18 billion in 2021. (Apple’s outsize percentage of the total is why that particular deal has been such a focus of the first weeks of the trial.) In addition, Google pays Mozilla for default placement in Firefox; it pays Samsung for the same on its devices; and it has deals with many device makers, wireless carriers, and other platforms to be the default as well. Until now, these numbers have been closely held secrets, leaving competitors and analysts to speculate about exactly what it’s worth to Google to be the near-universal default choice. The information also comes as Google is beginning its defense portion of the trial, which started with Raghavan testifying that Google is at perpetual risk of losing its cool — and its users — to platforms like TikTok and ChatGPT. Raghavan said that some users call his search engine “Grandpa Google.” (Raghavan has been saying stuff like this for a while now.) He also said that he sees Yelp and Amazon as competitors and that, in such a hot market, Google has to do everything it can to stay relevant and compete. The Justice Department, on the other hand, is making the case that spending $26.3 billion on securing default status everywhere is actually a way to make sure the market isn’t competitive. After a few more weeks of testimony, Mehta will have to decide who’s right. https://www.theverge.com/2023/10/27/23934961/google-antitrust-trial-default…

1 0

Controformazione digitale
by de petra giulio Oct. 28, 2023

Oct. 28, 2023

Molte volte in lista è emersa la necessità, l’urgenza e la difficoltà di diffondere competenza critica tra i non addetti ai lavori. E’ questa l’intenzione del libro ‘Dati digitali. Guida per un uso consapevole’, un tentativo di fare “controformazione digitale” a partire dai dati. https://themiscrime.com/it/edizioni-themis/digitale-societa/item/588-i-dati… Chi è interessato può leggere qui l’introduzione https://centroriformastato.it/controformazione-digitale/

1 0

https://dontspy.eu - severa ma giusta
by Claudio Agosti Oct. 28, 2023

Oct. 28, 2023

I negoziati sull'AI Act sono la chiave per una regolamentazione che tuteli alcuni interessi piuttosto che altri, e purtroppo, stanno prendendo una direzione preoccupante. La realtà distopica in cui il riconoscimento facciale può essere applicato con restrizioni ridotte sta diventando sempre più chiara, e questo potrebbe riguardare 450 milioni di europei. La campagna di https://dontspy.eu applica questo trattamento ai ministri più importanti vicini al Consiglio d'Europa, l'istituzione ultima che si occupa del regolamento. Date un'occhiata, l'abbiamo lanciata ieri e continueremo a migliorarla e ad aggiungere materiale nelle prossime settimane. Se avete qualche suggerimento o supporto da offrire, è benvenuto. Nei prossimi giorni dovremmo: 1) Continuare a raccogliere immagini di politici. Si spera di ottenere tutte e 5 le immagini registrate in ogni Stato membro. https://dontspy.eu/faces/ 2) Pubblicare l'API per recuperare i dati biometrici dei politici (è ciò che avverrà su di noi!), per ora la documentazione è incompleta ed è qui: https://dontspy.eu/swagger/ 3) Produrre dei nuovi aggiornamenti per mantenere alta l'attenzione, fino a quando non si sarà conclusa questa fase del trilogo. E per concludere con i problemi irrisolti: i deepfake sono una conseguenza della diffusione di applicazioni che trattano dati biometrici? e se questo tipo di sorveglianza diverrà uno standard, saranno i deepfake a proteggerci da sistemi come clearview o pimeyes? questa la riflessione: https://dontspy.eu/blog/why-deepfake/ Grazie per l'attenzione, Claudio per https://dontspy.eu

2 3

Il Ministero dell'Istruzione migra la posta elettronica di docenti e ATA su server Microsoft
by graffio Oct. 27, 2023

Oct. 27, 2023

Buongiorno, immagino che la maggior parte di voi lo sappiano, ma in questi giorni c'è stata l'ennesima svendita di pezzi di scuola ad aziende private, oltre tutto americane. Ne ho fatto una breve pillola, che per comodità riporto anche di seguito,: https://pillole.graffio.org/pillole/mim-migrazione-della-posta-su-microsoft "A partire dal mese di novembre 2023 il Ministero migrerà le vecchie caselle di posta @posta.istruzione.it su un nuovo sistema a seguito di decorrenza dei termini contrattuali." Quello che il Ministero omette di dire è quale sarà il nuovo provider e quali sono le ragioni del cambio di fornitore. Mentre il motivo del cambio di fornitore non è molto chiaro (la sezione vantaggi chiarisce solo in parte), il primo mistero è svelato facilmente visitando la sezione "Per saperne di più <https://www.istruzione.it/nuova-peo/utente_docenti-ata.html>" sulla migrazione del sito del Ministero. Si legge: "Potrà accedere alla nuova webmail tramite il seguente link: https://outlook.office.com/". Ovvero il sistema di posta elettronica è "ospitato" sui server Microsoft. Le domande a questo punto sono lecite: * siamo certi che passare da un fornitore di posta elettronica italiano (Aruba), compatibile con il regolamento per la protezione dei dati personali (GDPR) europeo, ad uno americano (Microsoft), con tutti i dubbi sulla medesima compatibilità di aziende USA e in attesa di un probabile nuovo ricorso e conseguentepronunciamento contrario della Corte di giustizia dell'Unione europea <https://pillole.graffio.org/pillole/la-corte-europea-invalida-laccordo-priv…>(sarebbe il terzo), sia negli interessi del sistema scuola italiano? * Siamo certi che i dati dei docenti "catturati" da Microsoft non siano usati all'insaputa degli insegnanti per "addestrare" ChatGPT? * Siamo certi che non sarebbe meglio, sia economicamente che per la crescita del sapere locale, adottare una soluzione basata su software libero (vedi gli esempi della Provincia autonoma di Bolzano)? Queste le domande. Ci sarà mai risposta? m -- Maurizio "Graffio" Pillole di informazione digitale -https://pillole.graffio.org/ "C.I.R.C.E. -https://circex.org" AvANa -https://avana.forteprenestino.net/

3 2

Re: [nexa] IA, lavoro, immaginari
by Giuseppe Attardi Oct. 27, 2023

Oct. 27, 2023

Scusate se riprendo questo tema dall’inizio, in quanto finora sono stato impegnato ad organizzare questo dibattito, che affronta alcuni delle questioni di fondo sulle capacità dell’AI di avere impatti sulla società: https://sites.google.com/view/ellisfms2023/program/debate-ai-societal-impact e a cui parteciperanno alcuni tra i principali esperti al mondo, tra cui Yoshua Bengio, Moshe Vardi, Ricardo Baeza-Yates, Gary Marcus, Geoff Hinton. Gli ultimi due si confronteranno proprio sulla questione se i LLM siano in grado di comprendere. Daniele Gambetta riporta il termine spregiativo di “stochastic parrot” che è stato affibbiato ai LLM da Timnit Gebru e colleghi. L’articolo è molto controverso ed è costato a Gebru il posto a Google. Nell’articolo si sostiene che: An LM is a system for haphazardly stitching together sequences of linguistic forms it has observed in its vast training data, according to probabilistic information about how they combine, but without any reference to meaning: a stochastic parrot. Questa affermazione è superficiale e inesatta, perché non tiene conto di alcune cose: 1. Alla base dei LLMs ci sono i word embedding, un modo per assegnare un significato alle parole, un problema che ha eluso la filosofia e la linguistica per due millenni e che il Deep Learning ha risolto. Questo è quanto afferma Hinton in proposito: “Many people who think it’s just statistics are thinking in terms of program models or counting the co-occurrence frequencies of words. We think this process of creating features of the embeddings and then interactions between features is actually understanding. Once you’ve taken the raw data of symbol strings and you can now predict the next symbol not by things like trigrams, but the huge number of features interacting in very complicated way to predict the features of the next word and from that make a prediction about the probability of the next word, the point is that is understanding, at least I believe that is understanding. I believe that is what our brains are doing. But that’s an issue to be discussed by the research community and it would be great if we could convince people that they are not just stochastic parrots.” 2. I LLM sono evoluti dai tempi dell’articolo, in particolare, ChatGPT e successivi sono stati allenati a interagire in conversazioni con il fine-tuning e quindi a tenere conto del contesto della discussione 3. La capacità di “comprendere” è difficile da definire, almeno in termini umani. L’unico modo che abbiamo per stabilire se uno studente ha “capito” una certa materia, è di sottoporlo a domande di verifica di comprensione. Ma in gran parte di tali test, GPT-4 supera il livello medio umano. Quindi, a tutti gli effetti pratici, capisce non solo una, ma molte materie. Lo “capisce” in una qualche forma diversa dalla nostra, ma pur sempre verificabile. 4. Le sorprendenti abilità dei LLM (perché hanno sorpreso tutti, compresi i loro sviluppatori), derivano dal fenomeno denominato “emergent abilities”, che appiano solo quando i modelli superano una certa scala. Per ora si tratta di un'osservazione empirica, iniziata con gli esperimenti di Jason Wei sul Chain-of-Thought, ma che si sta cercando di approfondire con una serie di spunti. Uno di questi si lega alla teoria dei sistemi complessi di Giorgio Parisi, che spiega il loro comportamento come dovuto all’applicazione su larga scala di semplici leggi probabilistiche. Ho suggerito a Parisi che sia proprio questo ciò che avviene nei LLM, che applicano su larga scala, in modelli di centinaia di miliardi di parametri, la semplice probabilità stimata della prossima parola. Parisi mi ha confermato di persona che l’ipotesi è alquanto plausibile. Questa stessa ipotesi spiega perché molti si rifiutano di riconoscere queste capacità: la mente umana è abituata a comprendere i fenomeni, scomponendoli in poche parti funzionali, che si combinano in modo deterministico. Nei fenomeni complessi questo non è possibile farlo. Nel frattempo stanno uscendo diversi lavori scientifici, che cercano di dare una base scientifica al fenomeno: 1. Ekin Akyürek, Dale Schuurmans, Jacob Andreas, Tengyu Ma, and Denny Zhou. What learning algorithm is in-context learning? Investigations with linear models <https://openreview.net/forum?id=0g0X4H8yN4I>. ICLR 2023 (Oral) 2. Guhao Feng, Bohang Zhang, Yuntian Gu, Haotian Ye, Di He, Liwei Wang. Towards Revealing the Mystery behind Chain of Thought: A Theoretical Perspective <https://arxiv.org/abs/2305.15408>. NeurIPS 2023 (Oral). 3. Angeliki Giannou, Shashank Rajput, Jy-yong Sohn, Kangwook Lee, Jason D Lee, Dimitris Papailiopoulos. Looped Transformers as Programmable Computers <https://arxiv.org/abs/2301.13196>. ICML 2023. 4. Ruiqi Zhang, Spencer Frei, Peter L Bartlett. Trained Transformers Learn Linear Models In-Context <https://scholar.google.com/citations?view_op=view_citation&hl=en&user=uErE2…>. arXiv preprint arXiv:2306.09927, 2023. Segnalo anche questo video di una presentazione di Sanjeev Arora su A Theory of Emergence of Complex Skills in Language Models (https://www.youtube.com/live/0D23NeBjCeQ?si=Trtt160lkXCgFEa6) In sostanza, siamo di fronte a questioni scientifiche articolate e complesse, e suggerisco che vengano affrontate basandosi su studi scientifici, di cui c’è molto bisogno. Per uno studente del Dottorato Nazionale in Intelligenza Artificiale (che ho contribuito a far nascere) dovrebbe essere una grande opportunità. — Beppe > On 6 Oct 2023, at 23:30, <nexa-request(a)server-nexa.polito.it> <nexa-request(a)server-nexa.polito.it> wrote: > > From: Daniele Gambetta <daniele.gambetta7(a)gmail.com <mailto:daniele.gambetta7@gmail.com>> > To: nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> > Subject: [nexa] IA, lavoro, immaginari > Message-ID: > <CAJTd2eikFissqhKHR7dhmZwfn9B5ijpLtLERz7VH8H4YrWEsUA(a)mail.gmail.com <mailto:CAJTd2eikFissqhKHR7dhmZwfn9B5ijpLtLERz7VH8H4YrWEsUA@mail.gmail.com>> > Content-Type: text/plain; charset="utf-8" > > Ciao a tutte/i, > seguo da tempo questa mailing list con interesse anche se scrivo poco. > Volevo segnalarvi un articolo che ho scritto di recente su temi legati > all'IA, pubblicato in due parti su DinamoPress. > Mi farebbe piacere avere feedback e pareri o avviare una discussione. > > 1) > https://www.dinamopress.it/news/al-di-la-del-faust-e-dellhype-appunti-su-in… > 2) > https://www.dinamopress.it/news/technic-and-magic-animismo-di-piattaforma-e… > > Saluti e buon we. > Daniele

10 32