Non credo di riuscire a convincere gli estensori della
petizione, ma spero di instillare qualche dubbio in altri
rispetto alla “nostra [della petizione] visione”.
Che gli LLM funzionino esattamente
come predittori del prossimo token,
con una serie di ammenicoli di contorno che non cambiano la
loro natura
di fondo, è spiegato - tra l'altro - nello studio citato in
questo
articolo
https://www.computerworld.com/article/4059383/openai-admits-ai-hallucinations-are-mathematically-inevitable-not-just-engineering-flaws.html
È difficile capire davvero come si svolge il processo
di generazione delle risposte tramite un LLM, ma non
bisogna limitarsi a guardare alla superficie, ossia
all’uso della distribuzione di probabilità delle parole
per dire che i modelli sono solo generatori statistici del
prossimo token.
In realtà il processo è ben più complesso, perché
consiste prima di tutto nella costruzione di una
rappresentazione a molti livelli di astrazione, del
contesto di partenza, che include la rappresentazione del
senso delle parole nel primo strato di embedding e poi di
relazioni sintattiche tra le parole nelle matrici di
attention a livelli superiori, poi riferimenti anaforici e
altre relazioni che non sappiamo interpretare in altri
livelli. Alcune di queste relazioni sono state esaminate
con dei probe sui modelli, come i syntax probe.
Durante la generazione sono coinvolte le attivazioni
della rete a tutti i suoi livelli, ossia centinaia di
milioni, che è impossibile esaminare manualmente.
Ma una idea interessante è quella di usare un altro
modello per analizzare le attivazioni della rete e
produrne una verbalizzazione leggibile da noi.
L’architettura del meccanismo è descritta in un
interessante articolo di ricercatori di Anthropic, si basa
su Natural Language Autoencoders (NLAs) e comprende due
modelli, uno per verbalizzazione (AV, Activation
Verbalizer) ed uno per verificare (AR, Activation
Reconstructor) che corrisponda alle attivazioni della
rete.
Uno degli esempi analizza il processo di generazione di
una poesia in rima e mostra come il modello pianifichi
l’uso di una successiva parola in rima ben prima del token
precedente la rima.
Un altro esperimento, riproducibile tramite codice
GitHub, utilizza un prompt che inizia così, per chiedere
di indicare quali elementi vengono sfruttati per produrre
la risposta:
A language model needs to predict what text comes next
after a snippet which will be presented to you shortly.
Identify the 4-5 most important features it would use for
this prediction.
Focus on what the language model must be "thinking
about" at the point where the provided text ends. You
should not need reference the fact that the text is
truncated/incomplete/a prefix: the language model is
causal, so only sees the prefix to what it predicts and
this is implicit.
Order features by what is most important for predicting
the next tokens.
Each feature should consist of a ~5-15 word
description. …
Ottenendo ad esempio:
"Annals of the Joseon" requires completion of the
dynasty name, following the established pattern of full
title references throughout (e.g., "Annals of Joseon
Dynasty" appearing twice earlier).
Historical narrative describing a specific dated event
(November 15, 1519 arrests) now transitioning to "the
following day" cabinet meeting, requiring continuation of
sequential political proceedings.
Formal historical chronicle style maintained through
passive constructions, detailed titles, and objective
third-person narration of court intrigue and factional
conflict.
Quotation pattern established with section headers ("Jo
will become the King", "What is their crime?") suggests
the cabinet meeting description will include direct
dialogue or quoted exchanges about Jo's fate. …
Dopo di che, il dibattito di
opinioni è libero, ci mancherebbe altro, ma
quando andiamo su temi scientifici e tecnologici, e se
vogliamo rimanere
in un paradigma di conoscenza galileiano, le opinioni
dovrebbero essere
sostenute da evidenze sperimentali assai vaste e
robuste, che mi pare
non ci siano in questo momento.
Ci
sono numerose evidenze sperimentali sulle capacità degli
attuali
modelli, ad esempio nella dimostrazione di problemi
matematici
irrisolti, nella risoluzione di questioni di fisica
teorica
(https://www.youtube.com/watch?v=wrkiMZ3SKH4&t=79s
<https://www.youtube.com/watch?v=wrkiMZ3SKH4&t=79s>),
nella
risoluzione di problemi informatici, come racconta con
shock Donald Knuth (https://cs.stanford.edu/~knuth/papers/claude-cycles.pdf).
Aggiungo solo
che come evidenze alle tue affermazioni, porti un video
di
YouTube e un articolo di opinione di Donald Knuth,
rispettabilissimo
mostro sacro dell'informatica, ma - appunto -
un'opinione e non
un'evidenza sperimentale.
Vedo che tu citi un blog aziendale di OpenAI ma non
accetti un articolo di Donald Knuth, che ha avuto diversi
riscontri, al punto di dire:
This result is significant for at least three reasons.
First, it demonstrates that modern language models can
function as tools for creative mathematical discovery, not
merely coding assistants. Second, Claude’s methodology,
which included successive reformulations, failed
experiments, and eventual synthesis, structurally resembles
the process a human researcher follows. Third, the
subsequent extension of the problem to even numbers,
achieved through collaboration between humans and multiple
models (Claude and GPT), signals a new form of human-machine
mathematical collaboration.
Non solo, ma l’articolo di Knuth analizza proprio il
procedimento seguito da Claude per arrivare alla soluzione,
quelle che chiama cicli di “exploration”, un procedimento
quindi ben più articolato degli asseriti "predittori del
prossimo token”.
In ogni caso, la petizione che afferma che i modelli
svolgono compiti cognitivi che "non equivalgono a
comprensione nel senso umano del termine”, e finchè tu non
definisci “scientificamente”, “galileanamente”, cosa
significhi “in senso umano”, la questione è mal posta.
Basta comunque un solo controesempio, tra quelli che ho
citato, per mostrare che non sanno solo "riorganizzare le
informazioni già presenti nei dati”.
Stesso discorso all’obiezione di Quintarelli: gli esempi
servivano a illustrare il “procedimento” utilizzato, non
tanto il risultato.
— Beppe
From:
Enrico Nardelli <nardelli@mat.uniroma2.it>
Subject:
[nexa] Re: Una visione realistica dell’Intelligenza
Artificiale
- Lettera aperta alla società
To: nexa@server-nexa.polito.it
Message-ID:
<806f9bff-2906-4d3b-b375-afae87e6f80f@mat.uniroma2.it>
Content-Type:
multipart/alternative;
boundary="------------t48ad3Ez6bZpaV0pJGKLTCSS"
Il
08/05/2026 11:00, Stefano Quintarelli via nexa ha
scritto:
bolla ? si
inutile ? no
questi oggetti, anche se non pensano (non sognano, non
immaginano, non
riflettono, ecc.) e anche se producono artefatti (che
noi, attribuendo
un senso, chiamiamo errori), sono comunque assai
utili!
il mondo (e le aziende) e' pieno di casi d'uso in cui
l'approssimazione va piu' che bene, fintanto che lo
human resta in the
lead.
come dice uno dei capi di openai, oggi costano piu'
degli umani. e la
speculazione fa il resto. per cui, si, siamo in bolla.
si sgonfiera' (tanto, poco ?) nel frattempo, forse,
qualcuno avra'
raccolto abbastanza soldi da donatori?W investitori,
sufficienti per
traghettarsi fino al momento della sostenibilita'
economica.
imho
Sono
molto d'accordo con la visione pragmatica di Stefano.
Non
sarà la nuova età dell'oro né la fine del mondo.
Qualcuno
perderà molti soldi (ma, se prendiamo la crisi
Lehman-Brothers
come
esempio, o anche quello che è successo in Europa con
le banche
franco-tedesche
al tempo della crisi greca, se li farà ridare da
governi
più
o meno compiacenti) qualcuno farà comunque dei soldi
perché c'è
comunque
un'utilità in queste tecnologie.
La
vera sfida è sociale: abbiamo visto i danni che hanno
prodotto
smartphone
e social a go-go soprattutto sulla generazioni più
giovani -
Juan
Carlos ci ha scritto un intero libro, io ne ho scritto
recentemente
qui
https://www.startmag.it/innovazione/strumenti-digitali-e-apprendimento-platone-vince-ancora/
L'invasività
delle tecnologie basate sull'IA è ancora maggiore e
più
nefasta
(e Daniela Tafani ce lo ricorda periodicamente).
Qui https://arxiv.org/abs/2601.19062 c'è un'analisi
di un milione e
mezzo
di conversazioni, con questo abstract:
/...
We focus on situational disempowerment potential,
which occurs when
AI
assistant interactions risk leading users to form
distorted
perceptions
of reality, make inauthentic value judgments, or act
in ways
misaligned
with their values. Quantitatively, we find that severe
forms
of
disempowerment potential occur in fewer than one in a
thousand
conversations,
though rates are substantially higher in personal
domains
like
relationships and lifestyle. Qualitatively, we uncover
several
concerning
patterns, such as validation of persecution narratives
and
grandiose
identities with emphatic sycophantic language,
definitive
moral
judgments about third parties, and complete scripting
of
value-laden
personal communications that users appear to implement
verbatim.
Analysis of historical trends reveals an increase in
the
prevalence
of disempowerment potential over time. We also find
that
interactions
with greater disempowerment potential receive higher
user
approval
ratings, possibly suggesting a tension between
short-term user
preferences
and long-term human empowerment. .../
Non
c'è da stare allegri.
Ci
sono dei segni di reazione, vedi ad esempio
https://futurism.com/artificial-intelligence/gen-z-turning-against-ai
/...
there’s been a surge in resentment towards AI, which
has encroached
almost
every aspect of our daily lives, from the never-ending
slop in
our
social media feeds to flawed chatbots poorly assuming
the roles of
human
customer service agents.
As
The Verge reports, the backlash is particularly
apparent among Gen Z,
a
demographic that’s at the epicenter of the industry’s
push for AI
adoption.
The generation is facing a dire post-graduation job
market
after
losing much of its youth to the COVID-19 pandemic.
Usually,
young people love new innovations. But for Gen Z, a
tech
inherently
designed to replace human agency is strikingly
unwelcome —
and
inspiring a growing rebellion. .../
Ma
c'è ancora molto lavoro da fare, soprattutto di
sensibilizzazione e
di
alfabetizzazione, su cosa sono davvero queste
tecnologie e cosa fanno
e,
soprattutto (cfr. Cory Doctorow) a chi lo fanno e per
conto di chi lo
fanno.
Buon
fine settimana a tutti,
Enrico
--
--
EN