Non credo di riuscire a convincere gli estensori della petizione, ma spero di instillare qualche dubbio in altri rispetto alla “nostra [della petizione] visione”.
Che gli LLM funzionino esattamente come predittori del prossimo token,
con una serie di ammenicoli di contorno che non cambiano la loro natura
di fondo, è spiegato - tra l'altro - nello studio citato in questo
articolo
https://www.computerworld.com/article/4059383/openai-admits-ai-hallucinations-are-mathematically-inevitable-not-just-engineering-flaws.html
È difficile capire davvero come si svolge il processo di generazione delle risposte tramite un LLM, ma non bisogna limitarsi a guardare alla superficie, ossia all’uso della distribuzione di probabilità delle parole per dire che i modelli sono solo generatori
statistici del prossimo token.
In realtà il processo è ben più complesso, perché consiste prima di tutto nella costruzione di una rappresentazione a molti livelli di astrazione, del contesto di partenza, che include la rappresentazione del senso delle parole nel primo strato di embedding
e poi di relazioni sintattiche tra le parole nelle matrici di attention a livelli superiori, poi riferimenti anaforici e altre relazioni che non sappiamo interpretare in altri livelli. Alcune di queste relazioni sono state esaminate con dei probe sui modelli,
come i syntax probe.
Durante la generazione sono coinvolte le attivazioni della rete a tutti i suoi livelli, ossia centinaia di milioni, che è impossibile esaminare manualmente.
Ma una idea interessante è quella di usare un altro modello per analizzare le attivazioni della rete e produrne una verbalizzazione leggibile da noi.
L’architettura del meccanismo è descritta in un interessante articolo di ricercatori di Anthropic, si basa su Natural Language Autoencoders (NLAs) e comprende due modelli, uno per verbalizzazione (AV, Activation Verbalizer) ed uno per verificare (AR, Activation
Reconstructor) che corrisponda alle attivazioni della rete.
Uno degli esempi analizza il processo di generazione di una poesia in rima e mostra come il modello pianifichi l’uso di una successiva parola in rima ben prima del token precedente la rima.
Un altro esperimento, riproducibile tramite codice GitHub, utilizza un prompt che inizia così, per chiedere di indicare quali elementi vengono sfruttati per produrre la risposta:
A language model needs to predict what text comes next after a snippet which will be presented to you shortly. Identify the 4-5 most important features it would use for this prediction.
Focus on what the language model must be "thinking about" at the point where the provided text ends. You should not need reference the fact that the text is truncated/incomplete/a prefix: the language model is causal, so only sees the prefix to what it
predicts and this is implicit.
Order features by what is most important for predicting the next tokens.
Each feature should consist of a ~5-15 word description. …
Ottenendo ad esempio:
"Annals of the Joseon" requires completion of the dynasty name, following the established pattern of full title references throughout (e.g., "Annals of Joseon Dynasty" appearing twice earlier).
Historical narrative describing a specific dated event (November 15, 1519 arrests) now transitioning to "the following day" cabinet meeting, requiring continuation of sequential political proceedings.
Formal historical chronicle style maintained through passive constructions, detailed titles, and objective third-person narration of court intrigue and factional conflict.
Quotation pattern established with section headers ("Jo will become the King", "What is their crime?") suggests the cabinet meeting description will include direct dialogue or quoted exchanges about Jo's fate. …
Dopo di che, il dibattito di opinioni è libero, ci mancherebbe altro, ma
quando andiamo su temi scientifici e tecnologici, e se vogliamo rimanere
in un paradigma di conoscenza galileiano, le opinioni dovrebbero essere
sostenute da evidenze sperimentali assai vaste e robuste, che mi pare
non ci siano in questo momento.
Ci sono numerose evidenze sperimentali sulle capacità degli attuali
modelli, ad esempio nella dimostrazione di problemi matematici
irrisolti, nella risoluzione di questioni di fisica teorica
(https://www.youtube.com/watch?v=wrkiMZ3SKH4&t=79s
<https://www.youtube.com/watch?v=wrkiMZ3SKH4&t=79s>), nella
risoluzione di problemi informatici, come racconta con shock Donald Knuth (https://cs.stanford.edu/~knuth/papers/claude-cycles.pdf).
Aggiungo solo che come evidenze alle tue affermazioni, porti un video di
YouTube e un articolo di opinione di Donald Knuth, rispettabilissimo
mostro sacro dell'informatica, ma - appunto - un'opinione e non
un'evidenza sperimentale.
Vedo che tu citi un blog aziendale di OpenAI ma non accetti un articolo di Donald Knuth, che ha avuto diversi riscontri, al punto di dire:
This result is significant for at least three reasons. First, it demonstrates that modern language models can function as tools for creative mathematical discovery, not merely coding assistants. Second, Claude’s methodology, which included successive reformulations,
failed experiments, and eventual synthesis, structurally resembles the process a human researcher follows. Third, the subsequent extension of the problem to even numbers, achieved through collaboration between humans and multiple models (Claude and GPT), signals
a new form of human-machine mathematical collaboration.
Non solo, ma l’articolo di Knuth analizza proprio il procedimento seguito da Claude per arrivare alla soluzione, quelle che chiama cicli di “exploration”, un procedimento quindi ben più articolato degli asseriti "predittori del prossimo token”.
In ogni caso, la petizione che afferma che i modelli svolgono compiti cognitivi che "non equivalgono a comprensione nel senso umano del termine”, e finchè tu non definisci “scientificamente”, “galileanamente”, cosa significhi “in senso umano”, la questione
è mal posta.
Basta comunque un solo controesempio, tra quelli che ho citato, per mostrare che non sanno solo "riorganizzare le informazioni già presenti nei dati”.
Stesso discorso all’obiezione di Quintarelli: gli esempi servivano a illustrare il “procedimento” utilizzato, non tanto il risultato.
— Beppe
On 8 May 2026, at 20:31, nexa-request@server-nexa.polito.it wrote:
From:
Enrico Nardelli <nardelli@mat.uniroma2.it>
Subject:
[nexa] Re: Una visione realistica dell’Intelligenza
Artificiale
- Lettera aperta alla società
To: nexa@server-nexa.polito.it
Message-ID:
<806f9bff-2906-4d3b-b375-afae87e6f80f@mat.uniroma2.it>
Content-Type:
multipart/alternative;
boundary="------------t48ad3Ez6bZpaV0pJGKLTCSS"
Il
08/05/2026 11:00, Stefano Quintarelli via nexa ha scritto:
bolla ? si
inutile ? no
questi oggetti, anche se non pensano (non sognano, non immaginano, non
riflettono, ecc.) e anche se producono artefatti (che noi, attribuendo
un senso, chiamiamo errori), sono comunque assai utili!
il mondo (e le aziende) e' pieno di casi d'uso in cui
l'approssimazione va piu' che bene, fintanto che lo human resta in the
lead.
come dice uno dei capi di openai, oggi costano piu' degli umani. e la
speculazione fa il resto. per cui, si, siamo in bolla.
si sgonfiera' (tanto, poco ?) nel frattempo, forse, qualcuno avra'
raccolto abbastanza soldi da donatori?W investitori, sufficienti per
traghettarsi fino al momento della sostenibilita' economica.
imho
Sono
molto d'accordo con la visione pragmatica di Stefano.
Non
sarà la nuova età dell'oro né la fine del mondo.
Qualcuno
perderà molti soldi (ma, se prendiamo la crisi Lehman-Brothers
come
esempio, o anche quello che è successo in Europa con le banche
franco-tedesche
al tempo della crisi greca, se li farà ridare da governi
più
o meno compiacenti) qualcuno farà comunque dei soldi perché c'è
comunque
un'utilità in queste tecnologie.
La
vera sfida è sociale: abbiamo visto i danni che hanno prodotto
smartphone
e social a go-go soprattutto sulla generazioni più giovani -
Juan
Carlos ci ha scritto un intero libro, io ne ho scritto recentemente
qui
https://www.startmag.it/innovazione/strumenti-digitali-e-apprendimento-platone-vince-ancora/
L'invasività
delle tecnologie basate sull'IA è ancora maggiore e più
nefasta
(e Daniela Tafani ce lo ricorda periodicamente).
Qui https://arxiv.org/abs/2601.19062 c'è
un'analisi di un milione e
mezzo
di conversazioni, con questo abstract:
/...
We focus on situational disempowerment potential, which occurs when
AI
assistant interactions risk leading users to form distorted
perceptions
of reality, make inauthentic value judgments, or act in ways
misaligned
with their values. Quantitatively, we find that severe forms
of
disempowerment potential occur in fewer than one in a thousand
conversations,
though rates are substantially higher in personal domains
like
relationships and lifestyle. Qualitatively, we uncover several
concerning
patterns, such as validation of persecution narratives and
grandiose
identities with emphatic sycophantic language, definitive
moral
judgments about third parties, and complete scripting of
value-laden
personal communications that users appear to implement
verbatim.
Analysis of historical trends reveals an increase in the
prevalence
of disempowerment potential over time. We also find that
interactions
with greater disempowerment potential receive higher user
approval
ratings, possibly suggesting a tension between short-term user
preferences
and long-term human empowerment. .../
Non
c'è da stare allegri.
Ci
sono dei segni di reazione, vedi ad esempio
https://futurism.com/artificial-intelligence/gen-z-turning-against-ai
/...
there’s been a surge in resentment towards AI, which has encroached
almost
every aspect of our daily lives, from the never-ending slop in
our
social media feeds to flawed chatbots poorly assuming the roles of
human
customer service agents.
As
The Verge reports, the backlash is particularly apparent among Gen Z,
a
demographic that’s at the epicenter of the industry’s push for AI
adoption.
The generation is facing a dire post-graduation job market
after
losing much of its youth to the COVID-19 pandemic.
Usually,
young people love new innovations. But for Gen Z, a tech
inherently
designed to replace human agency is strikingly unwelcome —
and
inspiring a growing rebellion. .../
Ma
c'è ancora molto lavoro da fare, soprattutto di sensibilizzazione e
di
alfabetizzazione, su cosa sono davvero queste tecnologie e cosa fanno
e,
soprattutto (cfr. Cory Doctorow) a chi lo fanno e per conto di chi lo
fanno.
Buon
fine settimana a tutti,
Enrico
--
--
EN