“Nel frattempo gli LLM sono diventati sistemi enormemente più sofisticati rispetto alla caricatura che spesso ne fanno sia gli entusiasti sia i detrattori. Oggi osserviamo rappresentazioni latenti complesse, strutture interne relativamente stabili, capacità
composizionali, forme di pianificazione statistica e geometrie ad alta dimensionalità che comprimono enormi quantità di regolarità linguistiche.”
Che riprende il suo commento all’articolo succitato:
"Il lavoro mostra che i modelli molto grandi sviluppano rappresentazioni interne sofisticate mentre generano testo. Per esempio: mantengono coerenza narrativa, tengono traccia del contesto, “preparano” statisticamente una rima futura, coordinano informazioni
distribuite lungo la frase.”
[ndr tralascio ogni commento sull’uso di termini antropomorfi]
Un altro articolo, Mathematics is all you need 2 [2], mostra la presenza di due componenti, una che costruisce queste rappresentazioni astratte dal contesto e dalla conoscenza acquisita ed una che genera la risposta da queste con la next-token prediction:
"frozen language models compute behavioral self-state in a channel that is geometrically routed away from the speaking channel — the model knows before it speak”.
Non solo, ma queste strutture si trasferiscono tra modelli diversi: "this work measures it geometrically, demonstrates it transfers across architectures”.
Disclaimer: non ho approfondito i dettagli matematici dell’articolo.
Se aggiungiamo un terzo elemento, ossia che le strutture astratte possono essere estratte da un modello ed usate per altri compiti, si può arrivare a ritenere che quelle rappresentino la conoscenza astratta del modello.
Questo fenomeno era noto fin dall’inizio a chi usava il Deep Learning in NLP: i word embeddings calcolati con un LM venivano estratti ed usati come rappresentazione del senso delle parole in altri task, quali classificazione, sommarizzazione, l’attention
veniva usata nella traduzione e nel parsing.
Ossia, l’obiettivo di apprendere la distribuzione di probabilità del next token, ha un effetto laterale non previsto, una costruzione di astrazioni che non sono direttamente necessarie all’obiettivo, come sostiene anche David Chalmers.
In altri termini, ci sono indizi per ritenere che i modelli costruiscano una rappresentazione della conoscenza acquisita dai testi, compresa una forma di word model (David Chalmers fa l’esempio di un modello che risponde sui percorsi della metro di NY),
astratta e indipendente dal processo di generazione di risposte un token alla volta.
Questo è un effetto secondario del processo di ottimizzazione durante l’apprendimentonto.
Naturalmente non spero di convincere nessuno, perché alcune sono speculazioni, ma la ricerca si alimenta con ipotesi che qualcuno si impegna a verificare.
On 14 May 2026, at 08:08, nexa-request@server-nexa.polito.it wrote:
From:
Massimo Ghisalberti <zairik@zohomail.eu>
Subject:
[nexa] Pappagalli stocastici: Alberto Puliafito sulle
precisazioni
di Emily Bender in merito.
To: nexa@server-nexa.polito.it
Message-ID:
<1f987337-a589-41ea-834e-0e4316693ced@zohomail.eu>
Content-Type:
multipart/alternative;
boundary="----=_Part_4_176739338.1778736313006"
Come
detto moltissime volte e dall'inizio (non qui ma chi mi conosce sa) le argomentazioni comuni sia a favore che contro non hanno fatto altro che portare acqua al mulino AI. Pappagalli stocastici era una falsità dall'inizio. Siccome però noi tutti siamo inclini
alla fuffa ci è piaciuta la definizione come le tante altre pro o contro. Sono quelle definizioni che ci fanno sentire intelligenti e non esclusi dalla materia.
--
massimo