Grazie Beppe per il contributo al dibattito. Un paio di osservazioni, anzi tre. 1. Dal mio punto di vista, "senso delle parole" è un'espressione che possiamo usare noi esseri umani, ma quando la attribuiamo ad un meccanismo stiamo commettendo esattamente la fallacia di proiezione di cui si sta discutendo qua in lista. Parlare invece di "rete di relazione tra i termini che ne modella la semantica" è tutta un'altra cosa, perché stabilisce chiaramente che stiamo parlando di modelli. Anche perché il senso delle parole per noi umani passa attraverso l'esperienza che il nostro corpo ha fatto delle tante situazioni in cui ha usato o sentito usare o visto usare quella parola. Ovviamente, per i termini più tecnici questo è meno rilevante, ma questi termini tecnici sono, appunto, più precisi e in genere non ambigui, dato il contesto. Posso comprendere che tu abbia un'opinione diversa, ma - come avevo già scritto nel mio primo messaggio - se andiamo su domini vicini all'essere umano e parliamo di sentimenti ed emozioni allora io sicuramente ritengo che "senso delle parole" sia del tutto improprio. E, per riallacciarmi ad una tua precedente osservazione, non sono questioni da lasciare ai filosofi. Non possiamo e non dobbiamo, da informatici, occuparci solo degli aspetti tecnici della nostra disciplina trascurandone gli impatti sociali. Certo che dobbiamo fare ricerca, ma farla senza cercare di comprendere la più ampia portata di ciò che si sta facendo è disumano e, come già accaduto in passato, può portare ad aberrazioni inaccettabili per la nostra specie. 2. Quando l'oste dice che il vino è cattivo (fuor di metafora, OpenAI che ammette che le allucinazioni sono matematicamente inevitabili) penso che, da ricercatori che tentano faticosamente di capire cosa può essere vero come teoria interpretativa dei fenomeni, forse gli possiamo dare un certo credito, non ti pare? Viceversa, l'approccio "ab auctoritate" del citare Knuth mi ricorda un po' "ipse dixit". Comunque, entrando nel merito, l'articolo di Knuth l'ho letto bene, ma sostenere che l'iterazione dei cicli di predizione del prossimo token - usando differenti tecniche di predizione ad ogni ciclo - sia cosa sostanzialmente diversa dalla predizione del prossimo token non mi convince affatto. Al contrario, da quanto Knuth riporta: «/Filip told me that the explorations reported above, though ultimately successful, weren’t really smooth. He had to do some restarts when Claude stopped on random errors; then some of the previous search results were lost. After every two or three test programs were run, he had to remind Claude again and again that it was supposed to document its progress carefully/» mi pare evidente che il qualcosa che è stato ottenuto, che "non era già presente nei dati", è il risultato dell'interazione tra un essere umano e un LLM. Che questa collaborazione, quando l'umano - come in questo caso - conosce bene il campo su cui si sta lavorando, possa essere molto fruttuosa non l'ho mai contestato. Anzi, ho sempre detto che se conosci l'ambito questi strumenti possono essere utili. Quanto utili, non è ancora chiaro, dipende molto dallo specifico settore. La mia intuizione è che se il dominio è altamente formalizzato (matematica, informatica teorica) e stai facendo ricerca (quindi hai tempo da perdere) l'utilità sia molto superiore a quella del suo utilizzo in altri ambiti, in cui non puoi perdere tempo a controllare le potenziali allucinazioni. 3. Perdonami, ma mi sono perso quali sono i controesempi «tra quelli che ho citato, per mostrare che non sanno solo "riorganizzare le informazioni già presenti nei dati”». Mi puoi cortesemente ripetere i link a questi controesempi? Ciao, Enrico Il 09/05/2026 14:24, Giuseppe Attardi via nexa ha scritto:
Scusate se mi sono perso alcuni passaggi, provo a replicare a più obiezioni insieme. Non credo di riuscire a convincere gli estensori della petizione, ma spero di instillare qualche dubbio in altri rispetto alla “nostra [della petizione] visione”.
Che gli LLM funzionino esattamente come predittori del prossimo token, con una serie di ammenicoli di contorno che non cambiano la loro natura di fondo, è spiegato - tra l'altro - nello studio citato in questo articolo https://www.computerworld.com/article/4059383/openai-admits-ai-hallucination...
È difficile capire davvero come si svolge il processo di generazione delle risposte tramite un LLM, ma non bisogna limitarsi a guardare alla superficie, ossia all’uso della distribuzione di probabilità delle parole per dire che i modelli sono solo generatori statistici del prossimo token. In realtà il processo è ben più complesso, perché consiste prima di tutto nella costruzione di una rappresentazione a molti livelli di astrazione, del contesto di partenza, che include la rappresentazione del senso delle parole nel primo strato di embedding e poi di relazioni sintattiche tra le parole nelle matrici di attention a livelli superiori, poi riferimenti anaforici e altre relazioni che non sappiamo interpretare in altri livelli. Alcune di queste relazioni sono state esaminate con dei probe sui modelli, come i syntax probe.
Durante la generazione sono coinvolte le attivazioni della rete a tutti i suoi livelli, ossia centinaia di milioni, che è impossibile esaminare manualmente. Ma una idea interessante è quella di usare un altro modello per analizzare le attivazioni della rete e produrne una verbalizzazione leggibile da noi. L’architettura del meccanismo è descritta in un interessante articolo di ricercatori di Anthropic, si basa su Natural Language Autoencoders (NLAs) e comprende due modelli, uno per verbalizzazione (AV, Activation Verbalizer) ed uno per verificare (AR, Activation Reconstructor) che corrisponda alle attivazioni della rete. Uno degli esempi analizza il processo di generazione di una poesia in rima e mostra come il modello pianifichi l’uso di una successiva parola in rima ben prima del token precedente la rima. Un altro esperimento, riproducibile tramite codice GitHub, utilizza un prompt che inizia così, per chiedere di indicare quali elementi vengono sfruttati per produrre la risposta:
A language model needs to predict what text comes next after a snippet which will be presented to you shortly. Identify the 4-5 most important features it would use for this prediction. Focus on what the language model must be "thinking about" at the point where the provided text ends. You should not need reference the fact that the text is truncated/incomplete/a prefix: the language model is causal, so only sees the prefix to what it predicts and this is implicit. Order features by what is most important for predicting the next tokens. Each feature should consist of a ~5-15 word description. …
Ottenendo ad esempio:
"Annals of the Joseon" requires completion of the dynasty name, following the established pattern of full title references throughout (e.g., "Annals of Joseon Dynasty" appearing twice earlier). Historical narrative describing a specific dated event (November 15, 1519 arrests) now transitioning to "the following day" cabinet meeting, requiring continuation of sequential political proceedings. Formal historical chronicle style maintained through passive constructions, detailed titles, and objective third-person narration of court intrigue and factional conflict. Quotation pattern established with section headers ("Jo will become the King", "What is their crime?") suggests the cabinet meeting description will include direct dialogue or quoted exchanges about Jo's fate. …
https://transformer-circuits.pub/2026/nla/
Dopo di che, il dibattito di opinioni è libero, ci mancherebbe altro, ma quando andiamo su temi scientifici e tecnologici, e se vogliamo rimanere in un paradigma di conoscenza galileiano, le opinioni dovrebbero essere sostenute da evidenze sperimentali assai vaste e robuste, che mi pare non ci siano in questo momento. Ci sono numerose evidenze sperimentali sulle capacità degli attuali modelli, ad esempio nella dimostrazione di problemi matematici irrisolti, nella risoluzione di questioni di fisica teorica (https://www.youtube.com/watch?v=wrkiMZ3SKH4&t=79s <https://www.youtube.com/watch?v=wrkiMZ3SKH4&t=79s> <https://www.youtube.com/watch?v=wrkiMZ3SKH4&t=79s <https://www.youtube.com/watch?v=wrkiMZ3SKH4&t=79s>>), nella risoluzione di problemi informatici, come racconta con shock Donald Knuth (https://cs.stanford.edu/~knuth/papers/claude-cycles.pdf). Aggiungo solo che come evidenze alle tue affermazioni, porti un video di YouTube e un articolo di opinione di Donald Knuth, rispettabilissimo mostro sacro dell'informatica, ma - appunto - un'opinione e non un'evidenza sperimentale. Vedo che tu citi un blog aziendale di OpenAI ma non accetti un articolo di Donald Knuth, che ha avuto diversi riscontri, al punto di dire:
This result is significant for at least three reasons. First, it demonstrates that modern language models can function as tools for creative mathematical discovery, not merely coding assistants. Second, Claude’s methodology, which included successive reformulations, failed experiments, and eventual synthesis, structurally resembles the process a human researcher follows. Third, the subsequent extension of the problem to even numbers, achieved through collaboration between humans and multiple models (Claude and GPT), signals a new form of human-machine mathematical collaboration.
Non solo, ma l’articolo di Knuth analizza proprio il procedimento seguito da Claude per arrivare alla soluzione, quelle che chiama cicli di “exploration”, un procedimento quindi ben più articolato degli asseriti "predittori del prossimo token”.
In ogni caso, la petizione che afferma che i modelli svolgono compiti cognitivi che "non equivalgono a comprensione nel senso umano del termine”, e finchè tu non definisci “scientificamente”, “galileanamente”, cosa significhi “in senso umano”, la questione è mal posta. Basta comunque un solo controesempio, tra quelli che ho citato, per mostrare che non sanno solo "riorganizzare le informazioni già presenti nei dati”.
Stesso discorso all’obiezione di Quintarelli: gli esempi servivano a illustrare il “procedimento” utilizzato, non tanto il risultato.
— Beppe
On 8 May 2026, at 20:31, nexa-request@server-nexa.polito.it wrote:
From: Enrico Nardelli <nardelli@mat.uniroma2.it> Subject: [nexa] Re: Una visione realistica dell’Intelligenza Artificiale - Lettera aperta alla società To:nexa@server-nexa.polito.it Message-ID: <806f9bff-2906-4d3b-b375-afae87e6f80f@mat.uniroma2.it> Content-Type: multipart/alternative; boundary="------------t48ad3Ez6bZpaV0pJGKLTCSS"
Il 08/05/2026 11:00, Stefano Quintarelli via nexa ha scritto:
bolla ? si inutile ? no questi oggetti, anche se non pensano (non sognano, non immaginano, non riflettono, ecc.) e anche se producono artefatti (che noi, attribuendo un senso, chiamiamo errori), sono comunque assai utili! il mondo (e le aziende) e' pieno di casi d'uso in cui l'approssimazione va piu' che bene, fintanto che lo human resta in the lead. come dice uno dei capi di openai, oggi costano piu' degli umani. e la speculazione fa il resto. per cui, si, siamo in bolla. si sgonfiera' (tanto, poco ?) nel frattempo, forse, qualcuno avra' raccolto abbastanza soldi da donatori?W investitori, sufficienti per traghettarsi fino al momento della sostenibilita' economica. imho
Sono molto d'accordo con la visione pragmatica di Stefano.
Non sarà la nuova età dell'oro né la fine del mondo.
Qualcuno perderà molti soldi (ma, se prendiamo la crisi Lehman-Brothers come esempio, o anche quello che è successo in Europa con le banche franco-tedesche al tempo della crisi greca, se li farà ridare da governi più o meno compiacenti) qualcuno farà comunque dei soldi perché c'è comunque un'utilità in queste tecnologie.
La vera sfida è sociale: abbiamo visto i danni che hanno prodotto smartphone e social a go-go soprattutto sulla generazioni più giovani - Juan Carlos ci ha scritto un intero libro, io ne ho scritto recentemente qui https://www.startmag.it/innovazione/strumenti-digitali-e-apprendimento-plato...
L'invasività delle tecnologie basate sull'IA è ancora maggiore e più nefasta (e Daniela Tafani ce lo ricorda periodicamente).
Quihttps://arxiv.org/abs/2601.19062c'è un'analisi di un milione e mezzo di conversazioni, con questo abstract: /... We focus on situational disempowerment potential, which occurs when AI assistant interactions risk leading users to form distorted perceptions of reality, make inauthentic value judgments, or act in ways misaligned with their values. Quantitatively, we find that severe forms of disempowerment potential occur in fewer than one in a thousand conversations, though rates are substantially higher in personal domains like relationships and lifestyle. Qualitatively, we uncover several concerning patterns, such as validation of persecution narratives and grandiose identities with emphatic sycophantic language, definitive moral judgments about third parties, and complete scripting of value-laden personal communications that users appear to implement verbatim. Analysis of historical trends reveals an increase in the prevalence of disempowerment potential over time. We also find that interactions with greater disempowerment potential receive higher user approval ratings, possibly suggesting a tension between short-term user preferences and long-term human empowerment. .../
Non c'è da stare allegri.
Ci sono dei segni di reazione, vedi ad esempio https://futurism.com/artificial-intelligence/gen-z-turning-against-ai
/... there’s been a surge in resentment towards AI, which has encroached almost every aspect of our daily lives, from the never-ending slop in our social media feeds to flawed chatbots poorly assuming the roles of human customer service agents. As The Verge reports, the backlash is particularly apparent among Gen Z, a demographic that’s at the epicenter of the industry’s push for AI adoption. The generation is facing a dire post-graduation job market after losing much of its youth to the COVID-19 pandemic. Usually, young people love new innovations. But for Gen Z, a tech inherently designed to replace human agency is strikingly unwelcome — and inspiring a growing rebellion. .../
Ma c'è ancora molto lavoro da fare, soprattutto di sensibilizzazione e di alfabetizzazione, su cosa sono davvero queste tecnologie e cosa fanno e, soprattutto (cfr. Cory Doctorow) a chi lo fanno e per conto di chi lo fanno.
Buon fine settimana a tutti, Enrico
--
-- EN
-- -- EN https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html ====================================================== Prof. Enrico Nardelli Past President di "Informatics Europe" Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI Dipartimento di Matematica - Università di Roma "Tor Vergata" Via della Ricerca Scientifica snc - 00133 Roma home page: https://www.mat.uniroma2.it/~nardelli blog: https://link-and-think.blogspot.it/ tel: +39 06 7259.4204 fax: +39 06 7259.4699 mobile: +39 335 590.2331 e-mail: nardelli@mat.uniroma2.it online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont ====================================================== --
