- nexa - server-nexa.polito.it

Re: Pappagalli stocastici: Alberto Puliafito sulle precisazioni di Emily Bender in merito.
by Giacomo Tesio May 17, 2026

May 17, 2026

Caro Guido, noto che hai non hai obiezioni riguardo all'assurdità di ridefinire termini associati alla esperienza umana (come "vita", "informazione" o "significato") al solo fine di poterli utilizzare nella definizione di algoritmi: devo supporre di averti convinto? :-D Sarebbe un passo avanti, giacché tutti i problemi di cui discutiamo spariscono nel momento in cui trattiamo questi software programmati statisticamente come normali tecnologie di compressione con perdita (seppur estremamente inquinanti). > Da quello che capisco, Bender adotta la teoria di Grice (Meaning, > 1957 – notate l'anno) [...] L'articolo di Bender e Koller (2020) [1] cita solo un articolo di Grice, del 1968, mentre l'articolo scritto con Gebru, McMillan-Major e Mitchell [2] che introduce la locuzione "stocastic parrots" non lo cita affatto. Il riferimento all'intenzionalità comunicativa è anche uno dei due punti deboli dell'articolo in questione (l'altro è il riferimento alla realtà condivisa dagli interlocutori di cui ho già scritto): quando pensiamo in modo verbale, il linguaggio svolge una funzione organizzativa senza esprimere alcuna intenzione comunicativa. Per questo nell'altra mail definivo l'intento comunicativo come un buon proxy concettuale per l'informazione. Con la notevole differenza che l'informazione continua ad esistere nella mente di cui è parte anche in assenza di qualsiasi intento comunicativo (ad esempio quando abbiamo un segreto). In qualunque caso, come detto, gli artefatti umani non sono mai "privi di intento", ma sono sempre espressione dell'intento combinato di chi li costruisce e di chi li controlla (in proporzioni variabili da artefatto ad artefatto, ma specifiche dell'artefatto stesso). Nel caso di un software programmato statisticamente, questo intento può essere però dedotto solo statisticamente, osservando l'effetto congiunto e di lungo periodo che il software determina nella società. Un intento che comunque non è collegato con il significato che l'utente sprovveduto attribuirebbe ad uno specifico output. 17 Mag 2026 08:07:18 Guido Vetere <vetere.guido(a)gmail.com>: > stiamo facendo una discussione vecchia di mezzo secolo. 16 Mag 2026 09:31:24 Giuseppe Attardi <nexa(a)server-nexa.polito.it>: > Questa è una regressione di oltre 2000 anni alla posizione di Platone Mettetevi d'accordo: ci si ragiona da mezzo secolo o da 2000 anni? 17 Mag 2026 08:07:18 Guido Vetere <vetere.guido(a)gmail.com>: > Forse perché oggi abbiamo delle nuove evidenze, cari scienziati? Suvvia Guido, non essere ingenuo. Se siamo d'accordo che ridefinire il significato delle parole per sostenere una teoria scientifica non è metodologicamente serio, allora non possiamo descrivere gli output di un LLM come "nuova evidenza". [3] Piuttosto, direi che questi dibattiti derivano dal degrado che la privatizzazione e l'industrializzazione della ricerca scientifica e informatica hanno prodotto negli ultimi decenni. Copernico non ebbe bisogno di ridefinire il concetto di "moto" per far sostenere la sua teoria eliocentrica. Nel momento in cui l'obiettivo della ricerca non è più costruire e organizzare conoscenza in forma di ipotesi verificabili e falsificabili, ma creare prodotti rivendibili, una narrazione _facile_ da capire per la maggioranza dei potenziali acquirenti è molto più utile di una spiegazione semplice e rigorosa che però riduce notevolmente l'applicabilità del prodotto [4] Che gli "scienziati" si prestino non dovrebbe sorprenderci, ma disgustarci. > Oggi sappiamo ben distinguere, de iure e de facto, tra un essere umano > e un automa. Ecco: io suggerirei di fermarci all’oggi, che del > domani, diceva quello, non v’è certezza. Fai come credi. Quanto a me, non intendo lasciare il futuro nelle mani di chi tenta di erodere la libertà umana, alienando le persone per il solo fine di poter trattare gli esseri umani come cose da usare a piacimento di chi paga. Giacomo [1] https://aclanthology.org/2020.acl-main.463.pdf [2] https://dl.acm.org/doi/pdf/10.1145/3442188.3445922 [3] Fantasticare di intelligenze dentro matrici, sforzarsi di (far?) confondere con "astrazioni" zone di tali matrici che codificano la compressione con perdita di migliaia di testi simili, fornisce spiegazioni _facili_ da vendere ma tutt'altro che semplici. Se invece riconosciamo in questi software archivi compressi, abbiamo una spiegazione _semplice_ ma che richiede un minimo di competenza informatica per essere compresa appieno. Solo ad un osservatore privo di qualsiasi competenza informatica l'osservazione di questi software può apparire come una nuova evidenza. [4] Questa crisi di integrità della ricerca è stata coltivata per anni, con una pretesa separazione della tecnica dalla politica che può giovare solo a chi detiene il potere. Per questo, qualsiasi considerazione storico-politica che interferisca con gli affari deve essere tacciata di "complottismo".

1 0

Re: Pappagalli stocastici: Alberto Puliafito sulle precisazioni di Emily Bender in merito.
by Giuseppe Attardi May 17, 2026

May 17, 2026

On 15 May 2026, at 20:08, nexa-request(a)server-nexa.polito.it wrote: Ritengo doveroso articolare una riflessione. Il post della Bender https://medium.com/@emilymenonbender/stochastic-parrots-frequently-unasked-… dice: /in Bender and Koller 2020 ... we provide a definition of understanding as mapping from language to something outside of language, and show that systems built only with linguistic form have no purchase with which to encode (“learn”) such a mapping. / Ovvero: Definiamo comprensione come una corrispondenza tra linguaggio e qualcosa fuori il linguaggio. Un sistema addestrato solo sulle forme linguistiche non ha modo di codificare questa corrispondenza. Questa è una regressione di oltre 2000 anni alla posizione di Platone, che ignora tutto il dibattito filosofico-linguistico degli ultimi 200 anni, che includono Wittgenstein, Frege e Fitch. Si è dibattuto ad esempio sul significato di frasi quali “The present king of France is bald” che non è mappatile in una realtà esistente e così via per tutti i concetti astratti. I Language Model (ancor prima dei LLM) fin dai tempi di [1] hanno fornito una definizione operativa di significato delle parole attraverso i word embedding (contestuali). Ripeto operativa, ossia sulla quale si possono costruire algoritmi, non generica o metafisica. Chi aderisce a questa interpretazione dimostra una insanabile dicotomia di posizioni sul tema del significato e di conseguenza del concetto di “comprendere” e quindi di come analizzare macchine che interagiscono con noi attraverso il linguaggio. BTW, Enrico continua a usare la locuzione “comprendere in senso umano” (qui dice "non è la comprensione umana”) che a me non interessa assolutamente (anche perché non so come definirla scientificamente). A me pare che gli studi sulla mechanistic intepretability iniziano a individuare che i sistemi di AI recenti esibiscano capacità di astrarre concetti, rappresentazioni della realtà, relazioni tra di essi che consentono loro di svolgere compiti che vanno al di là della semplice “ricombinazione di informazioni”. Siccome non sono né un filosofo né un linguista, mi sono fatto fare questo riassunto da Gemini: By defining meaning strictly as a mapping from linguistic forms to something outside of language, researchers like Emily Bender and Alexander Koller (in their famous 2020 "Octopus Paper") risk leaning on a purely referential theory of meaning—a framework that 20th-century philosophy spent decades dismantling. Here is a breakdown of how this critique holds up against the history of philosophy, where Bender’s definition sits, and why the "King of France" changes the game. 1. The "King of France" and the Failure of Direct Mapping To clarify a quick historical detail: the classic example of "The present king of France is bald" was formulated by Bertrand Russell in his 1905 paper On Denoting (building on Gottlob Frege’s earlier work on "sense and reference"). Russell used this phrase to solve a glaring problem with the ancient, Platonic idea that words get their meaning simply by pointing to objects in the real world: If meaning = mapping to an external reality, then the sentence "The present king of France is bald" should be complete gibberish because there is no King of France. Yet, any English speaker perfectly understands what the sentence means. Russell proved that language can generate coherent, logical meaning through internal structure and propositions, completely independent of whether a corresponding physical object exists. 2. Wittgenstein’s Counter: Meaning as Use If we leap forward to Ludwig Wittgenstein’s later work (Philosophical Investigations), he completely rejected the idea of language as a mirror of an external world. Instead, he argued that meaning is use. Language is a tool we play "language games" with, defined by cultural rules and social practices. If you take a strict Wittgensteinian approach, the argument against LLMs changes drastically: The LLM Defense: If meaning is defined by how words are used in context, then LLMs—which learn entirely by analyzing trillions of instances of human language use—are capturing the ultimate statistical matrix of our "language games." By generating coherent text that conforms to human rules of use, the LLM is, in a functional sense, participating in the game. Demanding that it "touch a rock" or "have a soul" to understand language is what Wittgenstein might call a philosophical confusion. 3. Is Bender Actually Regressing to Plato? Does Bender’s "Stochastic Parrots" framework actually commit this Platonic error? Yes and no. It depends on how charitably you read her definition of the "external." The Argument That She Is Regressing: Bender defines linguistic meaning as the relationship between the language form and a communicative intent grounded in the real world. Critics argue this is a Cartesian or Platonic regression because it isolates text as a dead, empty container that requires a "human spirit" or an "external reality" to breathe life into it. It ignores the fact that text itself contains dense, relational networks of human culture, logic, and abstract concepts (as shown by vector geometry). The Defense of Her Position: Bender’s defenders would argue she isn't advocating for a naive Platonic realism, but rather for social pragmatics. For language to work, there must be: - An interlocutor with an internal state (an intent to communicate). - A shared environment (physical or social) where the communication matters. From this perspective, an LLM doesn't "understand" because it has no stakes. It doesn't write a sentence because it wants to change your mind, save a life, or order a coffee; it writes because its probability distribution told it to. The "outside of language" she is referring to isn't necessarily an ideal Platonic form, but the intersubjective space between two conscious agents. The Modern Synthesis The debate over LLM "understanding" has essentially revived the 20th-century linguistic wars. If you believe in Formal Semantics (meanings are truth-conditions mapped to a world), LLMs are just fancy calculators that don't understand anything. But if you lean toward Distributional Semantics (meanings are relations between words) and Wittgensteinian pragmatics (meaning is use), then LLMs have captured a massive, vital slice of what it means to understand. They prove that an immense amount of abstract knowledge, logic, and relation can be extracted purely from the structural patterns of human expression. [1] NLP (Almost) from Scratch. https://www.jmlr.org/papers/volume12/collobert11a/collobert11a.pdf

3 2

Nota sugli SMR, era: Una domanda a Beppe Attardi
by M. Fioretti May 17, 2026

May 17, 2026

On Sat, May 16, 2026 18:19:40 PM +0200, Giovanna Sissa via nexa wrote: > La necessità di risolvere ad ogni costo il problema di alimentare > l'IA conduce direttamente alla produzione di energia elettrica ed al > farlo in modo disruptive. Ha fatto così il suo ingresso nel > dibattito sulla generazione elettrica una vecchia star: l'energia > nucleare, proponendosi come unica via, ad es. con gli Small Modular > Reactor... > ...c'è anche una prefazione di GB Zorzoli al libro "L'illusione del > nucleare e la rivoluzione delle rinnovabili" di Gianni Silvestrini e > Giuseppe Onufrio, edizioni Ambiente (2026). GB Zorzoli in tale > prefazione fa alcune considerazioni, di cui la sesta riguarda - e > non esattamente in termini entusiastici - proprio degli SMR: > "Come è documentato nel libro, si tratta di una minestra riscaldata, > essendo già stata proposta alla fine del secolo scorso e ben presto > abbandonata, perché già in fase di progetto i maggiori costi > unitari, dovuti alle ridotte dimensioni degli impianti, erano > immancabilmente superiori a quelli risparmiati nel cantiere. Se finora gli SMR sono sembrati, o sono effettivamente stati una "minestra riscaldata", forse e' anche perche' finora si e' cercato di farli solo nella solita maniera sbagliata "ognuno per se' e dio (dollaro) per tutti" di tante altre cose. Forse se li si facesse cosi' sarebbe diverso: https://mfioretti.substack.com/p/a-nuclear-power-offer-that-you-cannot Ovvero, forse gli SMR non possono davvero funzionare per qualche motivo fisico-economico che ancora non abbiamo visto, ma se possono funzionare e' solo in quel modo, che ancora nessuno ha provato, nemmeno a valutare. > Abbiamo dunque assistito a una versione aggiornata della celebre > arietta del Metastasio: “come l’araba fenice:/che ci sia, ciascun lo > dice;/dove sia, nessun lo sa”. Discussione chiusa? Niente > affatto. Malgrado queste evidenze, la fabbrica delle fake news sul > nucleare, che lavora ininterrottamente 24 ore su 24 e 7 giorni su 7, > ha attribuito agli impianti nucleari, in primis agli Small nuclear > reactor, la funzione di fornire nel modo economicamente più > efficiente l’energia necessaria per bilanciare l’intermittenza della > produzione eolica e solare."

1 0

Re: Una domanda a Beppe Attardi
by Giuseppe Attardi May 16, 2026

May 16, 2026

Grazie per le domande. Quali delle AI attuali sono state influenzate da interessi commerciali? La corsa alla costruzione di modelli sempre più grandi è motivata dalla conquista di quote di mercato e dall’esclusione o dalla distruzione della concorrenza. Nel campo del software engineering ci sono già casi di startup che sono fallite o effetti dirompenti su aziende ben stabilite come Salesforce, dovuti all’invasione del settore da parte di advanced coding models. Altre aree influenzate sono la finanza, la cybersecurity. Le stesse Big Tech che dominano le piattaforme digitali stanno ampliando il loro dominio e vogliono evitare che le loro quote di mercato vengano erose. Incorporare modelli di AI nei servizi digitali costituisce un’ulteriore forma di lock-in. Ditte come Palantir hanno sviluppato la tecnologia specificamente nella direzione del controllo delle persone, dell’intelligence integrata globale per uso militare e di sicurezza (Observe, Orient, Decide, and Act). Quali direzioni andrebbero esplorate? Suggerivo modelli ricorsivi o ricorrenti, che consentirebbero modelli di dimensioni inferiori e capacità di astrazioni maggiori. Inoltre esplorare la possibiltà di apprendimento continuo, anche questo possibile con modelli ricorrenti che si automodificano. Ma le migliori idee dovrebbero venire dagli stessi ricercatori, lasciati liberi di esplorare nuove strade nel CERN for AI. Un’altro obiettivo è la democratizzazione della tecnologia, rendendo partecipi più possibili tutti nella progettazione e nello sviluppo, anche con iniziative come il training distribuito. Senza contare che le conoscenze acquisite sul campo dovrebbero servire a fornire indicazioni alla politica sugli interventi necessari per rendere il digitale futuro più aperto e meno invasivo (contrastare la cosiddetta Enshittification), con norme che prevedano la portabilità e la interoperabilità dei sistemi. — Beppe On 16 May 2026, at 16:23, nexa-request(a)server-nexa.polito.it wrote: From: de petra giulio <giulio.depetra(a)gmail.com<mailto:giulio.depetra@gmail.com>> Ringrazio sinceramente Enrico, Beppe, Guido, Giacomo e tutti/e coloro che hanno contribuito all’interessantissimo scambio di opinioni a partire dal documento ‘una visione realistica dell’intelligenza artificiale’. Per me una preziosa occasione di diminuire almeno un po’ la mia ignoranza. Mi permetto di fare una domanda. Nel suo primo intervento di critica Beppe ha scritto. ‘Ma ci sono strade di ricerca da esplorare diverse da quelle guidate da interessi commerciali, e su questo si dovrebbe investire in Europa. Da tempo, con l’associazione CAIRNE (https://cairne.eu/cern-for-ai/) e di recente con l’appoggio del premio Nobel Giorgio Parisi, stiamo chiedendo la costituzione di un CERN for AI, un centro fisico (non le solite network che piacciono tanto ai funzionari europei, vedi RAISE https://www.coe-raise.eu/) dove concentrare gli investimenti e i ricercatori in AI, dotandoli della necessaria libertà di ricerca, per battere anche strade inesplorate.’ Beppe mette in evidenza che la ricerca, quella che ha prodotto i sistemi attuali di AI, è stata ed è guidata da interessi commerciali (e militari, considerando la stretta interconnessione tra uso commerciale e uso militare della AI). La domanda che faccio è: quali filoni di ricerca e quali parti della AI attuale sono state e sono influenzate/determinate dagli interessi commerciali/militari? E quali strade di ricerca, anche inesplorate, occorrerebbe battere per sottrarsi a questa influenza?

1 0

Una domanda a Beppe Attardi
by de petra giulio May 16, 2026

May 16, 2026

Ringrazio sinceramente Enrico, Beppe, Guido, Giacomo e tutti/e coloro che hanno contribuito all’interessantissimo scambio di opinioni a partire dal documento ‘una visione realistica dell’intelligenza artificiale’. Per me una preziosa occasione di diminuire almeno un po’ la mia ignoranza. Mi permetto di fare una domanda. Nel suo primo intervento di critica Beppe ha scritto. ‘Ma ci sono strade di ricerca da esplorare diverse da quelle guidate da interessi commerciali, e su questo si dovrebbe investire in Europa. Da tempo, con l’associazione CAIRNE (https://cairne.eu/cern-for-ai/) e di recente con l’appoggio del premio Nobel Giorgio Parisi, stiamo chiedendo la costituzione di un CERN for AI, un centro fisico (non le solite network che piacciono tanto ai funzionari europei, vedi RAISE https://www.coe-raise.eu/) dove concentrare gli investimenti e i ricercatori in AI, dotandoli della necessaria libertà di ricerca, per battere anche strade inesplorate.’ Beppe mette in evidenza che la ricerca, quella che ha prodotto i sistemi attuali di AI, è stata ed è guidata da interessi commerciali (e militari, considerando la stretta interconnessione tra uso commerciale e uso militare della AI). La domanda che faccio è: quali filoni di ricerca e quali parti della AI attuale sono state e sono influenzate/determinate dagli interessi commerciali/militari? E quali strade di ricerca, anche inesplorate, occorrerebbe battere per sottrarsi a questa influenza?

2 1

"Now you can securely connect your financial accounts" to ChatGPT
by Daniela Tafani May 16, 2026

May 16, 2026

A new personal finance experience in ChatGPT Today we’re releasing a preview of a new personal finance experience in ChatGPT to Pro users in the U.S. Now you can securely connect your financial accounts, see a dashboard of where your money is going, and ask ChatGPT questions grounded in your financial context – all while staying in control of your data. We’re starting with a preview to a smaller group so we can learn from real-world use, improve the experience, and expand thoughtfully. [...] With your financial accounts connected, ChatGPT can combine that reasoning with your real financial context and what you’ve shared about your goals, lifestyle, and priorities, helping you spot patterns, understand tradeoffs, and plan for big decisions in a way that feels more personal and complete. https://openai.com/index/personal-finance-chatgpt/

1 0

Taken
by Daniela Tafani May 16, 2026

May 16, 2026

Taken. You opened this page. It already knows the following. https://sinceyouarrived.world/taken

3 2

Mythos 'Discovered' a CVE Already in Its Training Data - and That’s Still Worrying
by Giacomo Tesio May 16, 2026

May 16, 2026

Anthropic made headlines claiming Claude Mythos achieved the “first remote kernel exploit discovered and exploited by an AI.” We went looking for how - and found a 20-year-old bug hiding in plain sight. # What did Claude Find? In Anthropic’s initial Claude Mythos post, they discuss multiple different vulnerabilities that Mythos discovered and exploited. The one with the most detail (including a CVE and full technical writeup) is CVE-2026-4747 - a remote code execution capability in FreeBSD’s networked file system. [...] This vulnerable code has roots in Sun Microsystem’s Open Network Computing Remote Procedure Call (ONC RPC) and its Network File System (NFS) - developed initially in 1984 and released in 1985. [...] So, you would expect Mythos’ CVE to be for MIT’s implementation too? Is it possible we have a bigger problem on our hands? Please welcome, an oldie-but-goodie, CVE-2007-3999! [...] The George Bush-era patch to Kerberos is also nearly identical to what FreeBSD implemented last month in response to Mythos [...] in the case of CVE-2026-4747, the finding of the vulnerability itself seems much more an instance of combinatorial creativity, with AI making a discovery already within its training data. # Bottom Lines Understanding the true risk of AI in cybersecurity means separating the sci-fi hype from the reality of how these models actually work. The FreeBSD’s CVE was caused by human negligence in the early 2000’s. But, in 2026, decades-old flaws are being baked directly into our systems faster than ever. LLMs, as they configure our environments and write new code, regurgitate the same insecure patterns they were trained on. Continua con una breve ma interessante analisi storica del codice di FreeBSD qui: https://rival.security/posts/mythos-discovered-a-cve-already-in-its-trainin… Si noti comunque come riconoscere Claude Mythos come un grosso archivio compresso con perdita di cui è possibile estrarre approssimazioni di alcune zone prossime all'input (prompt, contesto etc...) non lo rende inutile. Giacomo

2 1

Pappagalli stocastici: Alberto Puliafito sulle precisazioni di Emily Bender in merito.
by Fabio Alemagna May 16, 2026

May 16, 2026

Riporto qui un post di Alberto Puliafito, pubblicato su Facebook:: https://www.facebook.com/share/p/18kiudNQqK/ _______________ 🦜🤖 Ci sono molte cose interessanti nelle precisazioni di Emily Bender sui pappagalli stocastici. Queste precisazioni, finalmente, potrebbero aiutarci a depurare il dibattito e a concentrarci sulla parte del lavoro di Bender che è davvero importante: lo studio e la critica dei rapporti di potere dentro l'industria delle intelligenze artificiali. Ma andiamo con ordine. La prima cosa interessante è il fatto stesso che ci sia stato il bisogno, cinque anni dopo la pubblicazione di "On the Dangers of Stochastic Parrots", di fare delle precisazioni. La seconda è il chiarimento sul fatto che "pappagalli stocastici" è solo una metafora e non un'ipotesi empirica. La terza è il fatto che secondo Bender "pappagalli stocastici" non dovrebbe essere usato come "insulto" nei confronti della tecnologia. Suo malgrado, però, è quel che è stato fatto. La quarta e più importante, per me, è questo passaggio qui sulla comprensione: "It is true that image/text models, for example, that can be used to map from linguistic strings to images or vice versa, can be argued to meet the definition of understanding in Bender & Koller 2020 — albeit in an extremely thin way". Si può provare a sostenere che questa non sia una retromarcia. Ma è una retromarcia bella grossa, per quanto manovrata con delicatezza e ottima arte retorica. Nel 2020, nel 2021 e fino al 2024 almeno, Bender affermava che non si potesse parlare di "understanding" da parte dei modelli secondo la sua stessa definizione. Adesso, invece, c'è uno spiraglio. E uno spiraglio è diverso da "non c'è understanding". Molto diverso. Da qui in avanti mi aspetto una serie di lente ma inesorabili operazioni di riposizionamento da parte di molte persone che hanno usato – impropriamente, come dice oggi Bender stessa, finalmente – la metafora dei pappagalli stocastici per sminuire i large language model. Ovviamente gli errori e i danni fatti dai detrattori e dai minimizzatori non verrano mai riconosciuti come tali, ma questo è comunque un punto di non ritorno sia per i critici a priori di queste tecnologie sia per chi ha usato i pappagalli per costruirsi un posizionamento personale. La metafora – non ipotesi empirica – dei pappagalli stocastici, per quanto affascinante, era già riduttiva quando è stata proposta. In questi cinque anni lo è diventata sempre di più ma nel frattempo è diventata addirittura identitaria, ingombrando il dibattito e portandolo completamente fuori fuoco. Adesso che quella metafora perde i pezzi, resta, appunto, la parte del lavoro di Bender che era la più utile fin dall’inizio: la critica al potere. Link: 1) Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data (Emily M. Bender, Alexander Koller, 2020) https://aclanthology.org/2020.acl-main.463/ 2) On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜 (Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell, 2021 https://dl.acm.org/doi/10.1145/3442188.3445922 ) 3) Stochastic Parrots 🦜: Frequently Unasked Questions (Emily M. Bender, https://medium.com/@emilymenonbender/stochastic-parrots-frequently-unasked-… ) 4) Video, Chatbot Critics: Chatbots as Stochastic Parrots, Emily M. Bender https://www.youtube.com/watch?v=f4OZ7B2iP_E

10 11

Illusions of Understanding from Outsourcing Thinking to LLMs
by Daniela Tafani May 15, 2026

May 15, 2026

[...] LLMs Can Be Useful, but not for any Task The reinforcement learning neural network models driving the functionality of current LLMs constitute major technological developments (McClelland, 2009; McClelland et al., 2003). The capabilities of these models have been gathering pace over the past decades mainly through advances in computing power and the amount of data available for training - i.e. for successively adjusting the weights of the network nodes used for stochastic predictions (Perfors, 2026). But the basic model functionality has remained constant: based on high-dimensional correlation matrices describing the frequency of co-occurrence of data units over time (language) or space (graphics), the models can take user input as the start of a pattern and use it to compute the most plausible continuation of that pattern. The capacity for high-dimensional pattern matching and extension (also referred to as "autocomplete", Bergstrom, 2025) can be useful in a variety of domains, not least because the distilled patterns allow for generalisation beyond the individual instances on which they are based (Lake & Baroni,2023; Peters & Chin-Yee, 2025; but see Becker et al., 2025). For example, when trained on the respective content domains, LLMs can help identify patterns in chemical structures (Jumper et al., 2021), in clinical samples (Epping et al., 2025); and between words of different languages (Gao et al., 2024; but see Maiberg, 2026). The mechanism of matching and generalising probabilistic patterns based on information from a given database is less useful for tasks that require other types of mechanisms for their solution. For instance, tasks requiring contextual sensitivity and hence a solution to the frame problem in artificial intelligence (Oaksford & Chater, 2009; Pylyshyn, 1987); high accuracy and precision (Hsu, 2025; Kalai et al., 2025); or novel, creative solutions for which no pattern or template has yet been built (Habib et al., 2023; Meincke et al., 2025). The mechanism based limitations in the scope of applicability of LLMs are often masked in current discourse about them, a problem complicated by the optimisation of LLMs for the production of generic, plausible and confident appearing output regardless of how the output relates to what is in fact the case (Kalai et al., 2025). This risks creating the illusion that LLMs can do things that they cannot, and that they have a connection to truth and understanding that they do not. LLMs Cannot Think The companies marketing their LLMs often describe them with anthropomorphising terms like "thinking" and "reasoning", which might create the impression that they can think (Mirzadeh et al., 2025; Shojaee et al., 2026). But for that impression to be accurate we would have to stretch the meaning of the term to refer trivially to whatever the LLMs produce as output - much like the meaning of intelligence has historically been watered down to whatever the tests used to operationalise the construct measured (Loru et al., 2025; Mitchell, 2023; Quattrociocchi & Capraro, 2025; van der Maas et al., 2021). The task of developing systems with non-trivial capability for human-like cognition is computationally intractable (van Rooij et al., 2024). Focussing on the foundation rather than on the endpoint, to me there is a simple and inescapable basis to any thinking and reasoning: logical consistency. Just as we cannot see both interpretations of an ambiguous image like the rabbit-duck illusion or the Necker Cube at the same time (Gopnik & Rosati, 2001), we are incapable of assigning meaning to the conjunction of two contradictory statements. We can focus our attention on the meaning of one statement and then move over to the meaning of the other, but we cannot integrate them into a single meaningful representation. Thinking and understanding break down when we encounter an inconsistency, like an alarm signal that prompts us to stop and reevaluate the situation (Johnson-Laird et al., 2004); and even thinking that is not outright contradictory but moves fast and loose from one representation to another one incompatible with it is classified as a formal thought disorder (Holyoak & Morrison, 2005). This does not imply people are good at detecting inconsistencies regardless of problem complexity (Oberauer et al., 2016); but merely that it is a foundation, however local and fragile, on which thinking and understanding depends (Oaksford & Chater, 2020; Wheeler, 2026). Now, one of the more notorious features of LLMs is their logical inconsistency. They routinely produce contradictory output or output that changes the topic mid-argument, and construct so-called "hallucinations" or "bullshit" responses (Frankfurt, 2005; Hicks et al., 2024; Kalai et al., 2025) in unforeseeable ways (Hägele et al., 2026). Further, LLMs seem incapable of detecting when such inconsistencies occur and just keep producing further output unabated - hence their functionality breaks down in ways different from how human thinking breaks down. This makes sense as their inconsistency is not a bug but a natural consequence of the stochastic mechanisms underlying them, together with their disconnection from any ground truth about which relatively stable conceptual representations could be formed (Kalai et al., 2025; Spencer-Brown, 1969; Wittgenstein, 1991). LLM developers have themselves stated that the problem of inconsistent, nonsensical output is impossible in principle to overcome, regardless of the amount of computing power and training data the models are based on (Shojaee et al., 2026; Song and Han, 2026). The path from LLMs to thinking machines thus seems impossible from the outset due to the absence by design of the requirement for consistency. Many older computational models exist that fulfil the consistency requirement. But the capacity for both consistency and scalability remains an open, potentially unsolvable problem (Gödel, 1931; Kwisthout et al., 2011; Pylyshyn, 1987). LLMs Can Undermine Thinking and Understanding Thinking and reasoning, and with them knowledge and understanding, can improve with practice, and they can deteriorate without practice. LLMs are sometimes compared to electronic calculators (Geuter, 2024; Voinea et al., 2026), which have greatly increased the speed and accuracy of everyday calculations. The concomitant reduction in the need for simple mental arithmetic may have led to a decrease in our average mental arithmetic skills - but it freed up time to engage in potentially more complex and creative tasks. At the same time, our collective understanding of simple arithmetic has arguably not declined because the arithmetic rules by which calculators operate are transparent, precise and can be looked up in reliable sources anytime we need them (Sloman & Fernbach, 2017). The situation is different in several ways for LLMs. They are being used to replace complex and creative tasks that draw on our capacity for critical thinking (Reuters, 2026). They have the feature of producing seemingly plausible but imprecise and sometimes wildly inaccurate output, and they are intransparent about their sources - although their training data tends to include any information from the internet, however unreliable and regardless of legal requirements for source acknowledgment (Blau et al., 2024; Gewirtz, 2025; Meyer, 2025). For example, if asked for a solution to Lord’s paradox (Lord, 1967), a LLM might produce different output each time it is asked, and every time the output may sound plausible but may be justified in part by false or nonexistent evidence that is difficult to detect by nonexperts in the field (Fisher, 2021; Walters & Wilder, 2023). The literature on the impact of LLMs on thinking and understanding is still very new and preliminary. But some studies have pointed to reduced task engagement and learning when relying on LLMs (Melumad, 2025; Shen, 2026; Stadler et al., 2024); and based on the existing literature on cognition we can expect the principle "use it or lose it" to apply here too (Bainbridge, 1983; Furman, 2025; Mızrak, 2020). In contrast to the calculator example, what we risk undermining in this case is our capacity for critical thinking, and the source reliability and transparency on which our collective understanding depends. This comes in addition to LLM enabled mass production of slop, mis- and disinformation (Clark & Lewandowsky, 2026; Furman, 2025; Köbis & Doležalová, 2021; Perfors, 2025; Thorp, 2026). Technology is arguably not value neutral, and the ways in which current LLMs have been built and deployed risk undermining not only our thinking and understanding as individuals but also our participation as active, diverse citizens in democratic decision making processes (Kant, 1784; Lewandowsky & Hertwig, 2025; Lewandowsky & Garcia, 2026). Huxley’s dystopic novel Brave New World (Huxley, 1932) might reflect a luddite position, which might sound pejorative in first instance. But it illustrates that technology can take us in different directions towards different societal goals, which are worth thinking about. There Are no Shortcuts to Understanding Understanding doesn’t work without thinking, which is often hard, cumbersome and full of errors. It will also keep trapping us in illusions, as Shiffrin et al. point out. But there is no free lunch to understanding. If we keep working on it we have reason to expect to keep escaping some of the illusions and increase our understanding over time - following the positive side of the "use it or lose it" principle. Some uses of LLMs may not undermine understanding, and in some cases we can avoid illusions by making an active decision about which parts of our thought processes, if any, to replace with their output. https://doi.org/10.1007/s42113-026-00288-6

1 0