October 2023 - nexa - server-nexa.polito.it

https://dontspy.eu - severa ma giusta
by Claudio Agosti Oct. 28, 2023

Oct. 28, 2023

I negoziati sull'AI Act sono la chiave per una regolamentazione che tuteli alcuni interessi piuttosto che altri, e purtroppo, stanno prendendo una direzione preoccupante. La realtà distopica in cui il riconoscimento facciale può essere applicato con restrizioni ridotte sta diventando sempre più chiara, e questo potrebbe riguardare 450 milioni di europei. La campagna di https://dontspy.eu applica questo trattamento ai ministri più importanti vicini al Consiglio d'Europa, l'istituzione ultima che si occupa del regolamento. Date un'occhiata, l'abbiamo lanciata ieri e continueremo a migliorarla e ad aggiungere materiale nelle prossime settimane. Se avete qualche suggerimento o supporto da offrire, è benvenuto. Nei prossimi giorni dovremmo: 1) Continuare a raccogliere immagini di politici. Si spera di ottenere tutte e 5 le immagini registrate in ogni Stato membro. https://dontspy.eu/faces/ 2) Pubblicare l'API per recuperare i dati biometrici dei politici (è ciò che avverrà su di noi!), per ora la documentazione è incompleta ed è qui: https://dontspy.eu/swagger/ 3) Produrre dei nuovi aggiornamenti per mantenere alta l'attenzione, fino a quando non si sarà conclusa questa fase del trilogo. E per concludere con i problemi irrisolti: i deepfake sono una conseguenza della diffusione di applicazioni che trattano dati biometrici? e se questo tipo di sorveglianza diverrà uno standard, saranno i deepfake a proteggerci da sistemi come clearview o pimeyes? questa la riflessione: https://dontspy.eu/blog/why-deepfake/ Grazie per l'attenzione, Claudio per https://dontspy.eu

2 3

Il Ministero dell'Istruzione migra la posta elettronica di docenti e ATA su server Microsoft
by graffio Oct. 27, 2023

Oct. 27, 2023

Buongiorno, immagino che la maggior parte di voi lo sappiano, ma in questi giorni c'è stata l'ennesima svendita di pezzi di scuola ad aziende private, oltre tutto americane. Ne ho fatto una breve pillola, che per comodità riporto anche di seguito,: https://pillole.graffio.org/pillole/mim-migrazione-della-posta-su-microsoft "A partire dal mese di novembre 2023 il Ministero migrerà le vecchie caselle di posta @posta.istruzione.it su un nuovo sistema a seguito di decorrenza dei termini contrattuali." Quello che il Ministero omette di dire è quale sarà il nuovo provider e quali sono le ragioni del cambio di fornitore. Mentre il motivo del cambio di fornitore non è molto chiaro (la sezione vantaggi chiarisce solo in parte), il primo mistero è svelato facilmente visitando la sezione "Per saperne di più <https://www.istruzione.it/nuova-peo/utente_docenti-ata.html>" sulla migrazione del sito del Ministero. Si legge: "Potrà accedere alla nuova webmail tramite il seguente link: https://outlook.office.com/". Ovvero il sistema di posta elettronica è "ospitato" sui server Microsoft. Le domande a questo punto sono lecite: * siamo certi che passare da un fornitore di posta elettronica italiano (Aruba), compatibile con il regolamento per la protezione dei dati personali (GDPR) europeo, ad uno americano (Microsoft), con tutti i dubbi sulla medesima compatibilità di aziende USA e in attesa di un probabile nuovo ricorso e conseguentepronunciamento contrario della Corte di giustizia dell'Unione europea <https://pillole.graffio.org/pillole/la-corte-europea-invalida-laccordo-priv…>(sarebbe il terzo), sia negli interessi del sistema scuola italiano? * Siamo certi che i dati dei docenti "catturati" da Microsoft non siano usati all'insaputa degli insegnanti per "addestrare" ChatGPT? * Siamo certi che non sarebbe meglio, sia economicamente che per la crescita del sapere locale, adottare una soluzione basata su software libero (vedi gli esempi della Provincia autonoma di Bolzano)? Queste le domande. Ci sarà mai risposta? m -- Maurizio "Graffio" Pillole di informazione digitale -https://pillole.graffio.org/ "C.I.R.C.E. -https://circex.org" AvANa -https://avana.forteprenestino.net/

3 2

Re: [nexa] IA, lavoro, immaginari
by Giuseppe Attardi Oct. 27, 2023

Oct. 27, 2023

Scusate se riprendo questo tema dall’inizio, in quanto finora sono stato impegnato ad organizzare questo dibattito, che affronta alcuni delle questioni di fondo sulle capacità dell’AI di avere impatti sulla società: https://sites.google.com/view/ellisfms2023/program/debate-ai-societal-impact e a cui parteciperanno alcuni tra i principali esperti al mondo, tra cui Yoshua Bengio, Moshe Vardi, Ricardo Baeza-Yates, Gary Marcus, Geoff Hinton. Gli ultimi due si confronteranno proprio sulla questione se i LLM siano in grado di comprendere. Daniele Gambetta riporta il termine spregiativo di “stochastic parrot” che è stato affibbiato ai LLM da Timnit Gebru e colleghi. L’articolo è molto controverso ed è costato a Gebru il posto a Google. Nell’articolo si sostiene che: An LM is a system for haphazardly stitching together sequences of linguistic forms it has observed in its vast training data, according to probabilistic information about how they combine, but without any reference to meaning: a stochastic parrot. Questa affermazione è superficiale e inesatta, perché non tiene conto di alcune cose: 1. Alla base dei LLMs ci sono i word embedding, un modo per assegnare un significato alle parole, un problema che ha eluso la filosofia e la linguistica per due millenni e che il Deep Learning ha risolto. Questo è quanto afferma Hinton in proposito: “Many people who think it’s just statistics are thinking in terms of program models or counting the co-occurrence frequencies of words. We think this process of creating features of the embeddings and then interactions between features is actually understanding. Once you’ve taken the raw data of symbol strings and you can now predict the next symbol not by things like trigrams, but the huge number of features interacting in very complicated way to predict the features of the next word and from that make a prediction about the probability of the next word, the point is that is understanding, at least I believe that is understanding. I believe that is what our brains are doing. But that’s an issue to be discussed by the research community and it would be great if we could convince people that they are not just stochastic parrots.” 2. I LLM sono evoluti dai tempi dell’articolo, in particolare, ChatGPT e successivi sono stati allenati a interagire in conversazioni con il fine-tuning e quindi a tenere conto del contesto della discussione 3. La capacità di “comprendere” è difficile da definire, almeno in termini umani. L’unico modo che abbiamo per stabilire se uno studente ha “capito” una certa materia, è di sottoporlo a domande di verifica di comprensione. Ma in gran parte di tali test, GPT-4 supera il livello medio umano. Quindi, a tutti gli effetti pratici, capisce non solo una, ma molte materie. Lo “capisce” in una qualche forma diversa dalla nostra, ma pur sempre verificabile. 4. Le sorprendenti abilità dei LLM (perché hanno sorpreso tutti, compresi i loro sviluppatori), derivano dal fenomeno denominato “emergent abilities”, che appiano solo quando i modelli superano una certa scala. Per ora si tratta di un'osservazione empirica, iniziata con gli esperimenti di Jason Wei sul Chain-of-Thought, ma che si sta cercando di approfondire con una serie di spunti. Uno di questi si lega alla teoria dei sistemi complessi di Giorgio Parisi, che spiega il loro comportamento come dovuto all’applicazione su larga scala di semplici leggi probabilistiche. Ho suggerito a Parisi che sia proprio questo ciò che avviene nei LLM, che applicano su larga scala, in modelli di centinaia di miliardi di parametri, la semplice probabilità stimata della prossima parola. Parisi mi ha confermato di persona che l’ipotesi è alquanto plausibile. Questa stessa ipotesi spiega perché molti si rifiutano di riconoscere queste capacità: la mente umana è abituata a comprendere i fenomeni, scomponendoli in poche parti funzionali, che si combinano in modo deterministico. Nei fenomeni complessi questo non è possibile farlo. Nel frattempo stanno uscendo diversi lavori scientifici, che cercano di dare una base scientifica al fenomeno: 1. Ekin Akyürek, Dale Schuurmans, Jacob Andreas, Tengyu Ma, and Denny Zhou. What learning algorithm is in-context learning? Investigations with linear models <https://openreview.net/forum?id=0g0X4H8yN4I>. ICLR 2023 (Oral) 2. Guhao Feng, Bohang Zhang, Yuntian Gu, Haotian Ye, Di He, Liwei Wang. Towards Revealing the Mystery behind Chain of Thought: A Theoretical Perspective <https://arxiv.org/abs/2305.15408>. NeurIPS 2023 (Oral). 3. Angeliki Giannou, Shashank Rajput, Jy-yong Sohn, Kangwook Lee, Jason D Lee, Dimitris Papailiopoulos. Looped Transformers as Programmable Computers <https://arxiv.org/abs/2301.13196>. ICML 2023. 4. Ruiqi Zhang, Spencer Frei, Peter L Bartlett. Trained Transformers Learn Linear Models In-Context <https://scholar.google.com/citations?view_op=view_citation&hl=en&user=uErE2…>. arXiv preprint arXiv:2306.09927, 2023. Segnalo anche questo video di una presentazione di Sanjeev Arora su A Theory of Emergence of Complex Skills in Language Models (https://www.youtube.com/live/0D23NeBjCeQ?si=Trtt160lkXCgFEa6) In sostanza, siamo di fronte a questioni scientifiche articolate e complesse, e suggerisco che vengano affrontate basandosi su studi scientifici, di cui c’è molto bisogno. Per uno studente del Dottorato Nazionale in Intelligenza Artificiale (che ho contribuito a far nascere) dovrebbe essere una grande opportunità. — Beppe > On 6 Oct 2023, at 23:30, <nexa-request(a)server-nexa.polito.it> <nexa-request(a)server-nexa.polito.it> wrote: > > From: Daniele Gambetta <daniele.gambetta7(a)gmail.com <mailto:daniele.gambetta7@gmail.com>> > To: nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> > Subject: [nexa] IA, lavoro, immaginari > Message-ID: > <CAJTd2eikFissqhKHR7dhmZwfn9B5ijpLtLERz7VH8H4YrWEsUA(a)mail.gmail.com <mailto:CAJTd2eikFissqhKHR7dhmZwfn9B5ijpLtLERz7VH8H4YrWEsUA@mail.gmail.com>> > Content-Type: text/plain; charset="utf-8" > > Ciao a tutte/i, > seguo da tempo questa mailing list con interesse anche se scrivo poco. > Volevo segnalarvi un articolo che ho scritto di recente su temi legati > all'IA, pubblicato in due parti su DinamoPress. > Mi farebbe piacere avere feedback e pareri o avviare una discussione. > > 1) > https://www.dinamopress.it/news/al-di-la-del-faust-e-dellhype-appunti-su-in… > 2) > https://www.dinamopress.it/news/technic-and-magic-animismo-di-piattaforma-e… > > Saluti e buon we. > Daniele

10 32

Gramellini ha dimenticato un "solo"
by Marco Fioretti Oct. 26, 2023

Oct. 26, 2023

visti i danni causati PROPRIO dall'aver abbandonato certi sviluppi interamente in mano a ragazzini (relativamente, chiaro) ignoranti di tutto tranne che di coding, lo aggiungo io in maiuscolo: "La rivoluzione digitale non può essere pienamente compresa né tantomeno disciplinata SOLO da chi è cresciuto con i telefoni a disco rotante e spesso ha problemi anche soltanto con le app (il riferimento è dolorosamente autobiografico)." Post completo qui: https://www.corriere.it/caffe-gramellini/23_ottobre_25/digital-amato-1b867e… (https://www.corriere.it/caffe-gramellini/23_ottobre_25/digital-amato-1b867e…) Marco

5 8

Ancora sul rapporto "Ministero Istruzione vs. Microsoft" (ambito Posta Elettronica)
by Damiano Verzulli Oct. 26, 2023

Oct. 26, 2023

Mi è stato appena fatto notare che il Ministero dell'Istruzione ha avviato la migrazione delle caselle di posta assegnate a Docenti e Personale ATA, dall'attuale piattaforma a... Microsoft. L'annuncio è questo: https://www.istruzione.it/nuova-peo/utente_docenti-ata.html Qualora vi stiate domandando: "Ma cavolo! Non stavano gia' su Microsoft?", magari perché avevate in mente quello che a suo tempo (2020) scrissi (anche) al riguardo [1].... in realta' la questione è piu' complessa: * nel 2020, si migrarono i domini "@istruzione.it" e "@istruzione.gov.it", almeno stando a quanto riportava la mia fonte [2] * ora, invece, si migrano "@scuola.istruzione.it" e "@posta.istruzione.it", almeno stando all'annuncio di cui sopra. Tirando ad indovinare, quella del 2020 era la posta "interna" + le caselle assegnate alle singole scuole. Quella di adesso, invece, è la posta assegnata ai singoli docenti e personale ATA (un numero di caselle che stimo essere superiore, almeno di due ordini di grandezza). Trovo interessante il fatto che, nel testo dell'annuncio, Microsoft non viene citata come fornitore, né vengono citati i prodotti cloud utilizzati... se non fosse per il fatto che l'occhio mi è caduto sulla URL indicata come webmail: https://outlook.office.com/ :-) Speriamo solo che il Ministero si faccia pagare^W^W^W abbia chiesto uno sconto per la pubblicita'... :-) Un caro saluto, DV [1] https://dvblog.soabit.com/la-posta-elettronica-negli-atenei-italiani/ [2] https://www.lffl.org/2020/07/ministero-istruzione-microsoft-office-365.html -- Damiano Verzulli e-mail:damiano@verzulli.it --- possible?ok:while(!possible){open_mindedness++} --- "...I realized that free software would not generate the kind of income that was needed. Maybe in USA or Europe, you may be able to get a well paying job as a free software developer, but not here [in Africa]..." -- Guido Sohne - 1973-2008 http://ole.kenic.or.ke/pipermail/skunkworks/2008-April/005989.html

1 0

Human-like systematic generalization through a meta-learning neural network
by Fabio Alemagna Oct. 25, 2023

Oct. 25, 2023

Su Nature è stato pubblicato un paper Open Access che mostra "how a standard neural net, optimized for compositional skills, can mimic human systematic generalization (SG) in a head-to-head comparison", per usare le parole di Brenden Lake, autore principale del paper, culmine di una ricerca di 5 anni con l'altro autore, Marco Baroni. Qui il paper: https://www.nature.com/articles/s41586-023-06668-3 Qui la discussione su X: https://twitter.com/LakeBrenden/status/1717198382115221859 Fabio

1 1

Consiglio di Stato annulla l'assegnazione del PSN
by Stefano Quintarelli Oct. 25, 2023

Oct. 25, 2023

Consiglio di Stato annulla l'assegnazione del PSN Sole 24 Ore pag. 31 ahia ciao, s.

3 3

How AI Can Be Regulated Like Nuclear Energy
by Daniela Tafani Oct. 25, 2023

Oct. 25, 2023

How AI Can Be Regulated Like Nuclear Energy By Heidy Khlaaf October 24, 2023 11:48 AM Prominent AI researchers and figures have consistently dominated headlines by invoking comparisons that AI risk is on par with the existential and safety risks that were posed with the coming of the nuclear age. From statements that AI should be subject to regulation akin to nuclear energy, to declarations paralleling the risk of human extinction to that of nuclear war, the analogies drawn between AI and nuclear have been consistent. The argument for such extinction risk has hinged on the hypothetical and unproven risk of an Artificial General Intelligence (AGI) imminently arising from current Large Language Models (e.g., ChatGPT), necessitating increased caution with their creation and deployment. Sam Altman, the CEO of OpenAI, has even referenced to the well established nuclear practice of “licensing”, deemed anti-competitive by some. He has called on the creation of a federal agency that can grant licenses to create AI models above a certain threshold of capabilities. This is akin to how operators of nuclear facilities are required to be licensed by a nuclear regulator, such as the US Nuclear Regulatory Commission and the UK Office for Nuclear Regulation. As part of their licence conditions, nuclear operators must comply with regulatory safety guidelines and a legal duty to reduce risks so far as is reasonably practicable. The incessant references to nuclear safety should naturally lend urgency in applying nuclear-level regulations and assessments to the very AI systems being deliberated. Yet, there is only resistance to be met at the mention of the EU AI Act, a whittled down document compared to the intricacies and rigour of the regulations required for nuclear systems. Indeed Altman has previously noted that the EU AI Act would be “over-regulating”, specifically noting OpenAI's systems as they exist are not high-risk, and that OpenAI will cease to operate if they cannot comply with the upcoming EU AI Act. Two conflicting messages are thus being presented. One being that the future of AI capabilities present such a significant risk, that an exclusive nuclear-level regulatory licensing scheme is required, but also that existing systems do not warrant any regulation, despite well-documented harms, and deemed insignificant. And herein where the analogies to nuclear safety crumble. Safety Engineering, the discipline which assures the safety of nuclear systems, is built on the foundation that system failures or misbehaviours, no matter how small, can compound and lead to catastrophic events. Consider that all components of a nuclear system, that being uranium or plutonium, hardware, and software, down to literal concrete, are individually and rigorously regulated. These elements separately do not pose a threat of nuclear catastrophe, but in orchestration lead to the emergence of a controlled nuclear fission reaction. Conversely, failures in said orchestration can cascade into catastrophic or high-risk events. For example, a minuscule software bug known as a race condition led to the Northeast blackout of 2003. Our inability to prevent today’s AI harms, such as algorithmic discrimination and reducing the cost of disinformation or cybersecurity attacks, only entails that we are ill-prepared to trace and grasp any cascading implications and control of AI risks. And if we lack the technical and governing facilities to control or measure AI mechanisms which output these harms, then we would be mistaken to believe we have the technical foundation to resolve larger-scale avalanching risks that AI may hypothetically enable. Then why have AI labs shown resistance to following through with the nuclear-level rigour required to keep the predecessors (e.g., ChatGPT) of “extinction level” technology safe? In a blog post by the OpenAI founders, they note that “it would be important that such an [regulatory] agency focus on reducing existential risk and not issues that should be left to individual countries.” This statement attempts to not only detach the existing harms AI systems pose from hypothetical existential risks, but fails to recognise the fundamental engineering principle that harms compound. If current AI systems are indeed the foundations of a hypothetical AGI, as is often implied, then as they stand they too must be regulated to address current harms in preparation for further emergent behaviour, whether it be AGI or otherwise. A pattern emerges that invoking the analogy to nuclear war often serves to inflame specific narratives, whether it be exclusive licensing, or an attempt to divert the regulatory conversation to focus on speculative future threats instead. Both having potentially harmful impacts. For the former, AI-based systems do not possess any unique software components that warrant a generalized licensing scheme that would not heavily impede the use of software and hardware as a whole. Indeed, any implementation of such a scheme would likely result in significant overreach due to the broad definition and software components of AI systems, lending basic blocks for technological advancements to be available to a privileged few. After all, current AI systems are built using traditional hardware and software components. Even Generative AI technologies utilise Deep Neural Networks, a technique that dates back to the 1970’s. For the latter (abiding by the foundations of nuclear safety aside), current AI systems have demonstrated enough harms to warrant regulation even without an extinction threat. Nuclear-level regulation methodologies already exist for the very same hardware, software, and data components, ready to be adopted any day for AI labs to utilise for high-risk applications. Yet we have observed that the very pushback and lobbying by AI labs against the EU AI Act has proven to be fruitful, having already distracted from regulatory efforts relative to the harms posed by these AI systems today. A post by the European Commission reflected the exact wording of the extinction letter, "Mitigating the risk of extinction from AI should be a global priority”, a far cry from the risks outlined in the initial drafts of the act. If AI labs are to consistently invoke exaggerated fears through comparisons to nuclear hazards, then they must be willing to take the analogy to completion. Ironically, if they were to explore the readily available safety mechanisms for nuclear components, they would be pressed to find inflammatory language supporting the use of terminology such as “extinction” and “existential risks”. Indeed, nuclear catastrophe is supported by known scientific and geo-political capabilities that have been theoretically and meticulously studied even during the Manhattan Project. The risks identified are tethered to tractable and compounding risks. Meanwhile, there exists no scientific basis or evidence for how or when AGI will emerge (if ever), leaving us with only a hypothetical risk that has capitulated many of our regulatory efforts today. https://time.com/6327635/ai-needs-to-be-regulated-like-nuclear-weapons/

1 0

Un caso di "intercettazione telematica", in Europa (Hetzner, Germania)
by Damiano Verzulli Oct. 25, 2023

Oct. 25, 2023

Segnalo un articolo un po' tecnico che descrive uno scenario nel quale il traffico XMPP (un protocollo utilizzato per servizi a-la "chat" sincrona), seppur protetto da crittografia (TLS), è stato oggetto di intercettazione, verosimilmente da parte delle autorita' tedesche. In particolare, il provider tedesco che offriva l'infrastruttura "cloud" con la quale veniva gestito il relativo "server" (parliamo di "jabber.ru" e di "xmpp.ru"), si è adoperato per "riorganizzare" il collegamento Internet del server in esame (isolandolo dal resto dell'infrastruttura e lasciandolo connesso, in disparte dal resto) e poi "aggiungere" un livello di gestione lato TLS (ossia, mettendosi in mezzo fra i client sparsi su Internet, ed il server che era li in casa) facendo in modo che entrambi (client e server) parlassero TLS, senza rendersi conto che lui, pero', era nel mezzo (a guardare e potenzialmente alterare il relativo traffico). E' interessante osservare che il tutto è emerso alla luce del sole, solo a causa di una "distrazione" di un qualche tecnico... che si è "dimenticato" di rinnovare un certificato TLS ( che quindi è scaduto, portanto i client a.. innervosirsi... e cosi' innescando l'analisi tecnica degli admin). Che io sappia, è la prima volta che vedo "documentato" uno schema del genere. I dettagli, sono qui: https://notes.valdikss.org.ru/jabber.ru-mitm/ Ne è nato un piccolo thread (ancora piu' tecnico) sulla community ITNOG [1] dove provavo a riflettere su come "detectare" tali situazioni e, ove necessario, "impedirle". Saluti, DV [1] https://t.me/IT_NOG/99331/115800 -- Damiano Verzulli e-mail: damiano(a)verzulli.it --- possible?ok:while(!possible){open_mindedness++} --- "...I realized that free software would not generate the kind of income that was needed. Maybe in USA or Europe, you may be able to get a well paying job as a free software developer, but not here [in Africa]..." -- Guido Sohne - 1973-2008 http://ole.kenic.or.ke/pipermail/skunkworks/2008-April/005989.html

4 6

Managing AI Risks in an Era of Rapid Progress
by don Luca Peyron Oct. 24, 2023

Oct. 24, 2023

Documento interessante, buona lettura dl https://managing-ai-risks.com/ _________________________ don Luca Peyron Pastorale Universitaria - Apostolato Digitale Arcidiocesi di Torino www.universitari.to.it via XX settembre 83, Torino tel. 011 5156239

1 0