nexa

By thread

nexa@server-nexa.polito.it

May 2026

34 participants
176 messages

Re: Pappagalli stocastici: Alberto Puliafito sulle precisazioni di Emily Bender in merito.

by Guido Vetere

Il significato non emerge dalla forma ma dal rapporto della parola con la realtà. Dal lato del locutore, questo rapporto fonda l'intenzione comunicativa; dal lato del ricevente, fonda l'interpretazione. La comprensione avviene quando entrambi convengono sugli stessi oggetti di una realtà che è uguale per tutti. Quando si parla di significato, la realtà è necessaria, dice Emily Bender. Tant'è che, surrogata in immagini associate alle parole, questa può, benché in minima misura, giustificare l'affermazione che un automa possa significare, uscendo dalla voliera dei pappagalli stocastici. Questa è la classica visione realista del linguaggio (Aristotele, Agostino, Tommaso) a cui si è sempre opposto uno scetticismo con radici altrettanto antiche. Nel Novecento, il rifiuto del realismo referenziale percorre la nozione di arbitrarietà del segno nello strutturalismo, i giochi linguistici dalle regole inscrutabili di Wittgenstein e Kripke, la traduzione radicale di Quine, fino all'ermeneutica del pensiero debole. Vale la pena notare, per chi lavora con la semantica formale della logica, che il realismo referenziale può facilmente essere accolto come metafisica implicita dell'informatica: chi lo difende senza tematizzarlo sta, spesso senza saperlo, facendo filosofia tomistica. D’altra parte all’origine delle tecnologie linguistiche troviamo Padre Busa, non dimentichiamolo. Nessuno tra realisti e scettici può vantare risultati sperimentali decisivi, né prevalere per via dell'h-index, versione miserabilmente moderna dell'auctoritas. Bisogna quindi prendere sul serio la domanda con tutto il suo carico di apertura. Tenere aperta la domanda non è "fuffa filosofica” (cit.): è pretendere rigore dove c'è facile dogmatismo. Se qualcosa si può rimproverare alla Bender, che ha tutto il diritto di propendere per il realismo, è l'ablazione del dubbio, è non domandarsi quale sia il fondamento di realtà della parola ‘verità’. Io osservo che il fatto che gli automi siano locutori così potenti pur senza paure, desideri e intenzioni, lungi dall’essere il silver bullet dello scetticismo, è tuttavia un indizio da non trascurare. Depone a favore, insomma: qualche domanda il realista se la dovrebbe pur fare. Visto che il tema – giustamente – appassiona, vi informo che è uscita una nuova edizione di ‘Intelligenze aliene’ per i tipi di Sossella; l’abbiamo intitolata ‘Incontri ravvicinati’ per parlare degli sviluppi e dei dibattiti più recenti. Il volume è arricchito da una postfazione di Luca De Biase. [https://www.ibs.it/incontri-ravvicinati-intelligenze-aliene-nuova-libro-gui…] Buona giornata, Guido > Il giorno 15 mag 2026, alle ore 23:02, Enrico Nardelli via nexa <nexa(a)server-nexa.polito.it> ha scritto: > > Bonus track: > > Vi riporto più sotto la traduzione del paragrafo 4 dell'articolo di Bender di Bender & Koller del 2020 fatta da Claude (l'ho ricontrollata io e non dovrebbero esserci castronerie), perché la ritengo molto utile per capire bene la sostanza delle argomentazioni in gioco rispetto al problema di cosa vuol dire "comprendere come un essere umano". > > È facilmente comprensibile da chiunque, non è tecnica, non ha formule. > > Naturalmente, non è un teorema matematico, come il teorema di PItagora, ma è un argomento difficilmente contestabile se non dicendo ciò che viene ripetuto a proposito di questi sistemi, cioè che le loro rappresentazioni interne molto sofisticate e i loro output altamente complessi sono equivalenti a quelli degli esseri umani, e quindi questi sistemi comprendono e ragionano come gli essere umani. > > L'articolo di Bender & Koller del 2020, alla cui lettura vi invito nuovamente, contesta proprio questo uso di termini: If the highlighted terms are meant to describe human-analogous understanding, comprehension, or recall of factual knowledge, then these are gross overclaims. If, instead, they are intended as technical terms, they should be explicitly defined. E poi sottolinea: we have highlighted both the extent to which there is evidence that large LMs can learn aspects of linguistic formal structure (e.g. agreement, dependency structure), and how their apparent ability to “reason” is sometimes a mirage built on leveraging artifacts in the training data (i.e. form, not meaning). Our contribution is an argument on theoretical grounds that a system exposed only to form in its training cannot in principle learn meaning. > > Ecco quindi il paragrafo 4, intitolato "Il test del polpo". > > Buona lettura e buona riflessione. > > Enrico > > ------------------------------------------------------ > Per illustrare le difficoltà nel tentare di apprendere il significato dalla sola forma, proponiamo uno scenario concreto. Immaginiamo che A e B, entrambi parlanti fluenti di inglese, si ritrovino naufraghi su due isole disabitate. Scoprono presto che i visitatori precedenti hanno lasciato dei telegrafi e che possono comunicare tra loro tramite un cavo sottomarino. A e B cominciano felicemente a scambiarsi messaggi. > > Nel frattempo, O, un polpo degli abissi dall'intelligenza sopraffina che non può visitare né osservare le due isole, scopre un modo per intercettare il cavo sottomarino e origliare le conversazioni tra A e B. O inizialmente non sa nulla di inglese, ma è molto bravo a rilevare schemi statistici. Col tempo, impara a prevedere con grande precisione come B risponderà a ciascun messaggio di A. O osserva anche che certe parole tendono a comparire in contesti simili, e forse impara a generalizzare i pattern lessicali ipotizzando che possano essere usate in modo intercambiabile. Ciononostante, O non ha mai osservato quegli oggetti nel mondo reale, e quindi non sarebbe in grado di identificare il referente di una parola se gli venisse presentata una serie di alternative (fisiche). > > A un certo punto, O comincia a sentirsi solo. Taglia il cavo sottomarino e si inserisce nella conversazione, fingendo di essere B e rispondendo ai messaggi di A. O riesce a spacciarsi per B senza insospettire A? Questo costituisce una forma debole del test di Turing (debole perché A non ha motivo di sospettare di star parlando con un non umano); la domanda interessante è se O fallisca il test perché non ha appreso la relazione di significato, avendo visto solo la forma degli enunciati di A e B. > > La misura in cui O riesce a ingannare A dipende dal compito — cioè da ciò di cui A vuole parlare. A e B hanno trascorso molto tempo a scambiarsi note banali sulla vita quotidiana per rendere più piacevoli le lunghe serate sull'isola. Sembra plausibile che O riesca a produrre nuove frasi del tipo di quelle che usava B; comportandosi essenzialmente come un chatbot. Questo perché gli enunciati in tali conversazioni hanno principalmente una funzione sociale e non devono essere radicati nei particolari della situazione fisica concreta degli interlocutori né in nulla di specifico del mondo reale. È sufficiente produrre testo internamente coerente. > > Ora immaginiamo che A abbia inventato un nuovo congegno, diciamo una catapulta per noci di cocco. Eccitata, invia a B le istruzioni dettagliate per costruirla e chiede delle sue esperienze e suggerimenti per migliorarla. Anche se O avesse un modo per costruire la catapulta sott'acqua, non sa a cosa si riferiscono parole come *corda* e *noce di cocco*, e quindi non può riprodurre fisicamente l'esperimento. Può solo ricorrere alle osservazioni precedenti su come B rispondeva a enunciati simili. Forse O riconosce gli enunciati sui manghi e i chiodi come "simili" perché quelle parole erano apparse in contesti analoghi a *noce di cocco* e *corda*. Così O decide di dire semplicemente "Bella idea, ottimo lavoro!", perché B lo diceva spesso quando A parlava di corde e chiodi. È del tutto concepibile che A accetti questa risposta come significativa — ma solo perché è A a fare tutto il lavoro nell'attribuire significato alla risposta di O. Non è perché O abbia capito il significato delle istruzioni di A, né tantomeno della propria risposta. > > Infine, A si trova in una situazione d'emergenza. Viene all'improvviso inseguita da un orso arrabbiato. Afferra un paio di bastoni e chiede freneticamente a B di trovare un modo per costruire un'arma con cui difendersi. Naturalmente, O non ha la minima idea di cosa A "intenda". Risolvere un compito del genere richiede la capacità di mappare con precisione le parole sulle entità del mondo reale (oltre che ragionamento e pensiero creativo). È a questo punto che O fallirebbe il test di Turing — se A non fosse già stata divorata dall'orso prima di accorgersi dell'inganno. > > Avendo a disposizione solo la forma come dati di addestramento, O non ha appreso il significato. Il linguaggio scambiato da A e B è una proiezione delle loro intenzioni comunicative, attraverso la relazione di significato, in forme linguistiche. Senza accesso a un mezzo per ipotizzare e verificare le intenzioni comunicative sottostanti, ricostruirle a partire dalle sole forme è un'impresa impossibile, e l'uso del linguaggio da parte di O finirà inevitabilmente per divergere da quello di un agente capace di radicare il linguaggio in intenzioni comunicative coerenti. > > L'esperimento mentale illustra anche il punto del §3 sul ruolo attivo degli ascoltatori nella comunicazione. Quando O inviava segnali ad A fingendo di essere B, sfruttava le regolarità statistiche della forma, ovvero la distribuzione delle forme linguistiche che aveva osservato. Qualunque cosa abbia imparato O è un riflesso delle intenzioni comunicative di A e B e della relazione di significato. Ma riprodurre questa distribuzione non è sufficiente per una comunicazione significativa. O ha ingannato A facendole credere di essere B solo perché A era un'ascoltatrice così attiva: poiché gli agenti che producono frasi in inglese di solito hanno intenzioni comunicative, A assume che anche O le abbia, e quindi attribuisce agli enunciati di O il significato convenzionale che l'inglese vi associa. Poiché assume che O sia B, usa quel significato convenzionale insieme alle sue altre ipotesi sullo stato mentale e gli obiettivi di B per attribuire un'intenzione comunicativa. Non è che gli enunciati di O abbiano senso, ma piuttosto che A riesce a dargli senso. > ---------------------------------------------------- > > > > Il 15/05/2026 20:08, Enrico Nardelli via nexa ha scritto: >> Ritengo doveroso articolare una riflessione. >> >> Il post della Bender >> https://medium.com/@emilymenonbender/stochastic-parrots-frequently-unasked-… >> dice: >> in Bender and Koller 2020 ... we provide a definition of understanding as mapping from language to something outside of language, and show that systems built only with linguistic form have no purchase with which to encode (“learn”) such a mapping. >> >> Ovvero: Definiamo comprensione come una corrispondenza tra linguaggio e qualcosa fuori il linguaggio. Un sistema addestrato solo sulle forme linguistiche non ha modo di codificare questa corrispondenza. >> >> Dopo di che dice: >> Stochastic parrots was coined to refer to language models, i.e. systems trained only on linguistic form used to mimic the kinds of sequences of linguistic form that people use. >> >> Ovvero: Il termine "pappagalli stocastici" si riferiva ai sistemi addestrati sulle forme linguistiche che imitano quelle che usano le persone. >> >> E poi dice ancora, e qui c'è l'espressione che si pensa scardini tutto: >> It is true that image/text models, for example, that can be used to map from linguistic strings to images or vice versa, can be argued to meet the definition of understanding in Bender & Koller 2020, albeit in an extremely thin way. >> >> Ovvero: si può sostenere che un modello misto con testo e immagini, che mette in corrispondenza testi con immagini o viceversa, risponda alla nostra definizione di comprensione, anche se in un modo estremamente sottile. >> >> E poi continua: >> When we look at the text in an image/text model, we make sense of it in a way that is rich and socially situated and we must not project that onto the model if we want to keep a clear-eyed view of how such models actually function (and in what circumstances we should be willing to use them). >> >> Ovvero: quando noi guardiamo il testo di un modello misto con testo e immagini, lo comprendiamo in modo ricco e socialmente situato, che non deve essere proiettato sul modello, se vogliamo mantenere una visione chiara su come il modello funziona effettivamente >> >> E infine: >> Even if there is some thin kind of technical “understanding” in e.g. a text/image model, the fact that it’s using our language at all will send misleading signals about what is actually going on, so long as we relate to language as we always do (and I don’t see how we can avoid doing so). >> >> Ovvero: anche se c'è una esile forma di "comprensione" in senso tecnico in un modello misto con testo e immagini, il semplice fatto che usi il nostro linguaggio ci manda segnali fuorvianti su ciò che sta accadendo, finché noi ci relazioniamo al linguaggio come sempre facciamo (e non vedo come potremmo fare diversamente) >> >> Ecco, leggendo questi passi tutti insieme e non estraendo solo la frase "risponde alla nostra definizione di comprensione", si capisce che l'accoppiamento fra testo e immagine rientra da un punto di vista sintattico (in an estremely thin way - direi per un capello) nella definizione tecnica di comprensione della Bender, ma non è la comprensione umana. Notate che dice che siamo NOI che lo comprendiamo (we make a sense of it) sulla base della nostra esperienza. Infatti, questo "qualcosa fuori il linguaggio" della definizione è l'intento comunicativo del parlante, che è basato sul mondo reale che parlante e ascoltatore condividono (the communicative intent is grounded in the real world the speaker and listener inhabit together). >> >> Se si legge con attenzione l'articolo di Bender & Koller del 2020 citato nel post della Bender (https://www.aclweb.org/anthology/2020.acl-main.463/ - cosa che vi invito a fare, è abbastanza accessibile) tutto questo è molto chiaro, così come la tesi principale di quell'articolo, che rimane interamente salda e non scalfita. >> We argue that the language modeling task, because it only uses form as training data, cannot in principle lead to learning of meaning. ... We take (linguistic) meaning to be the relation between a linguistic form and communicative intent. >> >> Certo, uno può leggere nel recente post della Bender quello che vuole, ma argomentare trionfanti che "è una retromarcia bella grossa" mi sembra esagerato. >> >> Questo non vuol ovviamente dire che progressi nella ricerca e nelle architetture dei sistemi di IA non potranno darci in futuro una qualche forma di comprensione, che con le attuali architetture non c'è. >> >> Ciao, Enrico >> >> >> >> Il 14/05/2026 00:43, Fabio Alemagna via nexa ha scritto: >>> Riporto qui un post di Alberto Puliafito, pubblicato su Facebook:: >>> https://www.facebook.com/share/p/18kiudNQqK/ >>> >>> _______________ >>> >>> 🦜🤖 Ci sono molte cose interessanti nelle precisazioni di Emily Bender sui pappagalli stocastici. Queste precisazioni, finalmente, potrebbero aiutarci a depurare il dibattito e a concentrarci sulla parte del lavoro di Bender che è davvero importante: lo studio e la critica dei rapporti di potere dentro l'industria delle intelligenze artificiali. >>> >>> Ma andiamo con ordine. >>> >>> La prima cosa interessante è il fatto stesso che ci sia stato il bisogno, cinque anni dopo la pubblicazione di "On the Dangers of Stochastic Parrots", di fare delle precisazioni. >>> >>> La seconda è il chiarimento sul fatto che "pappagalli stocastici" è solo una metafora e non un'ipotesi empirica. >>> >>> La terza è il fatto che secondo Bender "pappagalli stocastici" non dovrebbe essere usato come "insulto" nei confronti della tecnologia. Suo malgrado, però, è quel che è stato fatto. >>> >>> La quarta e più importante, per me, è questo passaggio qui sulla comprensione: "It is true that image/text models, for example, that can be used to map from linguistic strings to images or vice versa, can be argued to meet the definition of understanding in Bender & Koller 2020 — albeit in an extremely thin way". >>> >>> Si può provare a sostenere che questa non sia una retromarcia. Ma è una retromarcia bella grossa, per quanto manovrata con delicatezza e ottima arte retorica. Nel 2020, nel 2021 e fino al 2024 almeno, Bender affermava che non si potesse parlare di "understanding" da parte dei modelli secondo la sua stessa definizione. Adesso, invece, c'è uno spiraglio. E uno spiraglio è diverso da "non c'è understanding". Molto diverso. >>> >>> Da qui in avanti mi aspetto una serie di lente ma inesorabili operazioni di riposizionamento da parte di molte persone che hanno usato – impropriamente, come dice oggi Bender stessa, finalmente – la metafora dei pappagalli stocastici per sminuire i large language model. >>> >>> Ovviamente gli errori e i danni fatti dai detrattori e dai minimizzatori non verrano mai riconosciuti come tali, ma questo è comunque un punto di non ritorno sia per i critici a priori di queste tecnologie sia per chi ha usato i pappagalli per costruirsi un posizionamento personale. >>> >>> La metafora – non ipotesi empirica – dei pappagalli stocastici, per quanto affascinante, era già riduttiva quando è stata proposta. In questi cinque anni lo è diventata sempre di più ma nel frattempo è diventata addirittura identitaria, ingombrando il dibattito e portandolo completamente fuori fuoco. >>> >>> Adesso che quella metafora perde i pezzi, resta, appunto, la parte del lavoro di Bender che era la più utile fin dall’inizio: la critica al potere. >>> >>> Link: >>> >>> 1) Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data (Emily M. Bender, Alexander Koller, 2020) https://aclanthology.org/2020.acl-main.463/ >>> >>> 2) On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜 (Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell, 2021 https://dl.acm.org/doi/10.1145/3442188.3445922 ) >>> >>> 3) Stochastic Parrots 🦜: Frequently Unasked Questions (Emily M. Bender, https://medium.com/@emilymenonbender/stochastic-parrots-frequently-unasked-… ) >>> >>> 4) Video, Chatbot Critics: Chatbots as Stochastic Parrots, Emily M. Bender https://www.youtube.com/watch?v=f4OZ7B2iP_E >> -- >> -- EN >> >> https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html >> <7htcC5QnkGAvFO5p.png> ====================================================== >> Prof. Enrico Nardelli >> Presidente di "Informatics Europe" >> Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI >> Dipartimento di Matematica - Università di Roma "Tor Vergata" >> Via della Ricerca Scientifica snc - 00133 Roma >> home page: https://www <https://www/> . mat . uniroma2 . it/~nardelli >> blog: https://link-and-think.blogspot.it/ >> tel: +39 06 7259.4204 fax: +39 06 7259.4699 >> mobile: +39 335 590.2331 e-mail: nardelli@mat . uniroma2 . it >> online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont >> ====================================================================================================== >> -- > -- > -- EN > > https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html > <EgEalX2uwfG0a2pa.png> ====================================================== > Prof. Enrico Nardelli > Presidente di "Informatics Europe" > Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI > Dipartimento di Matematica - Università di Roma "Tor Vergata" > Via della Ricerca Scientifica snc - 00133 Roma > home page: https://www <https://www/> . mat . uniroma2 . it/~nardelli > blog: https://link-and-think.blogspot.it/ > tel: +39 06 7259.4204 fax: +39 06 7259.4699 > mobile: +39 335 590.2331 e-mail: nardelli@mat . uniroma2 . it > online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont > ====================================================================================================== > -- >

May 16, 2026

Illusions of Understanding from Outsourcing Thinking to LLMs

by Daniela Tafani

[...] LLMs Can Be Useful, but not for any Task The reinforcement learning neural network models driving the functionality of current LLMs constitute major technological developments (McClelland, 2009; McClelland et al., 2003). The capabilities of these models have been gathering pace over the past decades mainly through advances in computing power and the amount of data available for training - i.e. for successively adjusting the weights of the network nodes used for stochastic predictions (Perfors, 2026). But the basic model functionality has remained constant: based on high-dimensional correlation matrices describing the frequency of co-occurrence of data units over time (language) or space (graphics), the models can take user input as the start of a pattern and use it to compute the most plausible continuation of that pattern. The capacity for high-dimensional pattern matching and extension (also referred to as "autocomplete", Bergstrom, 2025) can be useful in a variety of domains, not least because the distilled patterns allow for generalisation beyond the individual instances on which they are based (Lake & Baroni,2023; Peters & Chin-Yee, 2025; but see Becker et al., 2025). For example, when trained on the respective content domains, LLMs can help identify patterns in chemical structures (Jumper et al., 2021), in clinical samples (Epping et al., 2025); and between words of different languages (Gao et al., 2024; but see Maiberg, 2026). The mechanism of matching and generalising probabilistic patterns based on information from a given database is less useful for tasks that require other types of mechanisms for their solution. For instance, tasks requiring contextual sensitivity and hence a solution to the frame problem in artificial intelligence (Oaksford & Chater, 2009; Pylyshyn, 1987); high accuracy and precision (Hsu, 2025; Kalai et al., 2025); or novel, creative solutions for which no pattern or template has yet been built (Habib et al., 2023; Meincke et al., 2025). The mechanism based limitations in the scope of applicability of LLMs are often masked in current discourse about them, a problem complicated by the optimisation of LLMs for the production of generic, plausible and confident appearing output regardless of how the output relates to what is in fact the case (Kalai et al., 2025). This risks creating the illusion that LLMs can do things that they cannot, and that they have a connection to truth and understanding that they do not. LLMs Cannot Think The companies marketing their LLMs often describe them with anthropomorphising terms like "thinking" and "reasoning", which might create the impression that they can think (Mirzadeh et al., 2025; Shojaee et al., 2026). But for that impression to be accurate we would have to stretch the meaning of the term to refer trivially to whatever the LLMs produce as output - much like the meaning of intelligence has historically been watered down to whatever the tests used to operationalise the construct measured (Loru et al., 2025; Mitchell, 2023; Quattrociocchi & Capraro, 2025; van der Maas et al., 2021). The task of developing systems with non-trivial capability for human-like cognition is computationally intractable (van Rooij et al., 2024). Focussing on the foundation rather than on the endpoint, to me there is a simple and inescapable basis to any thinking and reasoning: logical consistency. Just as we cannot see both interpretations of an ambiguous image like the rabbit-duck illusion or the Necker Cube at the same time (Gopnik & Rosati, 2001), we are incapable of assigning meaning to the conjunction of two contradictory statements. We can focus our attention on the meaning of one statement and then move over to the meaning of the other, but we cannot integrate them into a single meaningful representation. Thinking and understanding break down when we encounter an inconsistency, like an alarm signal that prompts us to stop and reevaluate the situation (Johnson-Laird et al., 2004); and even thinking that is not outright contradictory but moves fast and loose from one representation to another one incompatible with it is classified as a formal thought disorder (Holyoak & Morrison, 2005). This does not imply people are good at detecting inconsistencies regardless of problem complexity (Oberauer et al., 2016); but merely that it is a foundation, however local and fragile, on which thinking and understanding depends (Oaksford & Chater, 2020; Wheeler, 2026). Now, one of the more notorious features of LLMs is their logical inconsistency. They routinely produce contradictory output or output that changes the topic mid-argument, and construct so-called "hallucinations" or "bullshit" responses (Frankfurt, 2005; Hicks et al., 2024; Kalai et al., 2025) in unforeseeable ways (Hägele et al., 2026). Further, LLMs seem incapable of detecting when such inconsistencies occur and just keep producing further output unabated - hence their functionality breaks down in ways different from how human thinking breaks down. This makes sense as their inconsistency is not a bug but a natural consequence of the stochastic mechanisms underlying them, together with their disconnection from any ground truth about which relatively stable conceptual representations could be formed (Kalai et al., 2025; Spencer-Brown, 1969; Wittgenstein, 1991). LLM developers have themselves stated that the problem of inconsistent, nonsensical output is impossible in principle to overcome, regardless of the amount of computing power and training data the models are based on (Shojaee et al., 2026; Song and Han, 2026). The path from LLMs to thinking machines thus seems impossible from the outset due to the absence by design of the requirement for consistency. Many older computational models exist that fulfil the consistency requirement. But the capacity for both consistency and scalability remains an open, potentially unsolvable problem (Gödel, 1931; Kwisthout et al., 2011; Pylyshyn, 1987). LLMs Can Undermine Thinking and Understanding Thinking and reasoning, and with them knowledge and understanding, can improve with practice, and they can deteriorate without practice. LLMs are sometimes compared to electronic calculators (Geuter, 2024; Voinea et al., 2026), which have greatly increased the speed and accuracy of everyday calculations. The concomitant reduction in the need for simple mental arithmetic may have led to a decrease in our average mental arithmetic skills - but it freed up time to engage in potentially more complex and creative tasks. At the same time, our collective understanding of simple arithmetic has arguably not declined because the arithmetic rules by which calculators operate are transparent, precise and can be looked up in reliable sources anytime we need them (Sloman & Fernbach, 2017). The situation is different in several ways for LLMs. They are being used to replace complex and creative tasks that draw on our capacity for critical thinking (Reuters, 2026). They have the feature of producing seemingly plausible but imprecise and sometimes wildly inaccurate output, and they are intransparent about their sources - although their training data tends to include any information from the internet, however unreliable and regardless of legal requirements for source acknowledgment (Blau et al., 2024; Gewirtz, 2025; Meyer, 2025). For example, if asked for a solution to Lord’s paradox (Lord, 1967), a LLM might produce different output each time it is asked, and every time the output may sound plausible but may be justified in part by false or nonexistent evidence that is difficult to detect by nonexperts in the field (Fisher, 2021; Walters & Wilder, 2023). The literature on the impact of LLMs on thinking and understanding is still very new and preliminary. But some studies have pointed to reduced task engagement and learning when relying on LLMs (Melumad, 2025; Shen, 2026; Stadler et al., 2024); and based on the existing literature on cognition we can expect the principle "use it or lose it" to apply here too (Bainbridge, 1983; Furman, 2025; Mızrak, 2020). In contrast to the calculator example, what we risk undermining in this case is our capacity for critical thinking, and the source reliability and transparency on which our collective understanding depends. This comes in addition to LLM enabled mass production of slop, mis- and disinformation (Clark & Lewandowsky, 2026; Furman, 2025; Köbis & Doležalová, 2021; Perfors, 2025; Thorp, 2026). Technology is arguably not value neutral, and the ways in which current LLMs have been built and deployed risk undermining not only our thinking and understanding as individuals but also our participation as active, diverse citizens in democratic decision making processes (Kant, 1784; Lewandowsky & Hertwig, 2025; Lewandowsky & Garcia, 2026). Huxley’s dystopic novel Brave New World (Huxley, 1932) might reflect a luddite position, which might sound pejorative in first instance. But it illustrates that technology can take us in different directions towards different societal goals, which are worth thinking about. There Are no Shortcuts to Understanding Understanding doesn’t work without thinking, which is often hard, cumbersome and full of errors. It will also keep trapping us in illusions, as Shiffrin et al. point out. But there is no free lunch to understanding. If we keep working on it we have reason to expect to keep escaping some of the illusions and increase our understanding over time - following the positive side of the "use it or lose it" principle. Some uses of LLMs may not undermine understanding, and in some cases we can avoid illusions by making an active decision about which parts of our thought processes, if any, to replace with their output. https://doi.org/10.1007/s42113-026-00288-6

May 15, 2026

Re: Pappagalli stocastici: Alberto Puliafito sulle precisazioni di Emily Bender in merito.

by Enrico Nardelli

Bonus track: Vi riporto più sotto la traduzione del paragrafo 4 dell'articolo di Bender di Bender & Koller del 2020 fatta da Claude (l'ho ricontrollata io e non dovrebbero esserci castronerie), perché la ritengo molto utile per capire bene la sostanza delle argomentazioni in gioco rispetto al problema di cosa vuol dire "comprendere come un essere umano". È facilmente comprensibile da chiunque, non è tecnica, non ha formule. Naturalmente, non è un teorema matematico, come il teorema di PItagora, ma è un argomento difficilmente contestabile se non dicendo ciò che viene ripetuto a proposito di questi sistemi, cioè che le loro rappresentazioni interne molto sofisticate e i loro output altamente complessi sono equivalenti a quelli degli esseri umani, e quindi questi sistemi comprendono e ragionano come gli essere umani. L'articolo di Bender & Koller del 2020, alla cui lettura vi invito nuovamente, contesta proprio questo uso di termini: /If the highlighted terms are meant to describe human-analogous understanding, comprehension, or recall of factual knowledge, then these are gross overclaims. If, instead, they are intended as technical terms, they should be explicitly defined./ E poi sottolinea: /we have highlighted both the extent to which there is evidence that large LMs can learn aspects of linguistic formal structure (e.g. agreement, dependency structure), and how their apparent ability to “reason” is sometimes a mirage built on leveraging artifacts in the training data (i.e. form, not meaning). Our contribution is an argument on theoretical grounds that a system exposed only to form in its training cannot in principle learn meaning/. Ecco quindi il paragrafo 4, intitolato "Il test del polpo". Buona lettura e buona riflessione. Enrico ------------------------------------------------------ Per illustrare le difficoltà nel tentare di apprendere il significato dalla sola forma, proponiamo uno scenario concreto. Immaginiamo che A e B, entrambi parlanti fluenti di inglese, si ritrovino naufraghi su due isole disabitate. Scoprono presto che i visitatori precedenti hanno lasciato dei telegrafi e che possono comunicare tra loro tramite un cavo sottomarino. A e B cominciano felicemente a scambiarsi messaggi. Nel frattempo, O, un polpo degli abissi dall'intelligenza sopraffina che non può visitare né osservare le due isole, scopre un modo per intercettare il cavo sottomarino e origliare le conversazioni tra A e B. O inizialmente non sa nulla di inglese, ma è molto bravo a rilevare schemi statistici. Col tempo, impara a prevedere con grande precisione come B risponderà a ciascun messaggio di A. O osserva anche che certe parole tendono a comparire in contesti simili, e forse impara a generalizzare i pattern lessicali ipotizzando che possano essere usate in modo intercambiabile. Ciononostante, O non ha mai osservato quegli oggetti nel mondo reale, e quindi non sarebbe in grado di identificare il referente di una parola se gli venisse presentata una serie di alternative (fisiche). A un certo punto, O comincia a sentirsi solo. Taglia il cavo sottomarino e si inserisce nella conversazione, fingendo di essere B e rispondendo ai messaggi di A. O riesce a spacciarsi per B senza insospettire A? Questo costituisce una forma debole del test di Turing (debole perché A non ha motivo di sospettare di star parlando con un non umano); la domanda interessante è se O fallisca il test perché non ha appreso la relazione di significato, avendo visto solo la forma degli enunciati di A e B. La misura in cui O riesce a ingannare A dipende dal compito — cioè da ciò di cui A vuole parlare. A e B hanno trascorso molto tempo a scambiarsi note banali sulla vita quotidiana per rendere più piacevoli le lunghe serate sull'isola. Sembra plausibile che O riesca a produrre nuove frasi del tipo di quelle che usava B; comportandosi essenzialmente come un chatbot. Questo perché gli enunciati in tali conversazioni hanno principalmente una funzione sociale e non devono essere radicati nei particolari della situazione fisica concreta degli interlocutori né in nulla di specifico del mondo reale. È sufficiente produrre testo internamente coerente. Ora immaginiamo che A abbia inventato un nuovo congegno, diciamo una catapulta per noci di cocco. Eccitata, invia a B le istruzioni dettagliate per costruirla e chiede delle sue esperienze e suggerimenti per migliorarla. Anche se O avesse un modo per costruire la catapulta sott'acqua, non sa a cosa si riferiscono parole come *corda* e *noce di cocco*, e quindi non può riprodurre fisicamente l'esperimento. Può solo ricorrere alle osservazioni precedenti su come B rispondeva a enunciati simili. Forse O riconosce gli enunciati sui manghi e i chiodi come "simili" perché quelle parole erano apparse in contesti analoghi a *noce di cocco* e *corda*. Così O decide di dire semplicemente "Bella idea, ottimo lavoro!", perché B lo diceva spesso quando A parlava di corde e chiodi. È del tutto concepibile che A accetti questa risposta come significativa — ma solo perché è A a fare tutto il lavoro nell'attribuire significato alla risposta di O. Non è perché O abbia capito il significato delle istruzioni di A, né tantomeno della propria risposta. Infine, A si trova in una situazione d'emergenza. Viene all'improvviso inseguita da un orso arrabbiato. Afferra un paio di bastoni e chiede freneticamente a B di trovare un modo per costruire un'arma con cui difendersi. Naturalmente, O non ha la minima idea di cosa A "intenda". Risolvere un compito del genere richiede la capacità di mappare con precisione le parole sulle entità del mondo reale (oltre che ragionamento e pensiero creativo). È a questo punto che O fallirebbe il test di Turing — se A non fosse già stata divorata dall'orso prima di accorgersi dell'inganno. Avendo a disposizione solo la forma come dati di addestramento, O non ha appreso il significato. Il linguaggio scambiato da A e B è una proiezione delle loro intenzioni comunicative, attraverso la relazione di significato, in forme linguistiche. Senza accesso a un mezzo per ipotizzare e verificare le intenzioni comunicative sottostanti, ricostruirle a partire dalle sole forme è un'impresa impossibile, e l'uso del linguaggio da parte di O finirà inevitabilmente per divergere da quello di un agente capace di radicare il linguaggio in intenzioni comunicative coerenti. L'esperimento mentale illustra anche il punto del §3 sul ruolo attivo degli ascoltatori nella comunicazione. Quando O inviava segnali ad A fingendo di essere B, sfruttava le regolarità statistiche della forma, ovvero la distribuzione delle forme linguistiche che aveva osservato. Qualunque cosa abbia imparato O è un riflesso delle intenzioni comunicative di A e B e della relazione di significato. Ma riprodurre questa distribuzione non è sufficiente per una comunicazione significativa. O ha ingannato A facendole credere di essere B solo perché A era un'ascoltatrice così attiva: poiché gli agenti che producono frasi in inglese di solito hanno intenzioni comunicative, A assume che anche O le abbia, e quindi attribuisce agli enunciati di O il significato convenzionale che l'inglese vi associa. Poiché assume che O sia B, usa quel significato convenzionale insieme alle sue altre ipotesi sullo stato mentale e gli obiettivi di B per attribuire un'intenzione comunicativa. Non è che gli enunciati di O abbiano senso, ma piuttosto che A riesce a dargli senso. ---------------------------------------------------- Il 15/05/2026 20:08, Enrico Nardelli via nexa ha scritto: > > Ritengo doveroso articolare una riflessione. > > Il post della Bender > https://medium.com/@emilymenonbender/stochastic-parrots-frequently-unasked-… > dice: > /in Bender and Koller 2020 ... we provide a definition of > understanding as mapping from language to something outside of > language, and show that systems built only with linguistic form have > no purchase with which to encode (“learn”) such a mapping. > / > Ovvero: Definiamo comprensione come una corrispondenza tra linguaggio > e qualcosa fuori il linguaggio. Un sistema addestrato solo sulle forme > linguistiche non ha modo di codificare questa corrispondenza. > > Dopo di che dice: > /Stochastic parrots was coined to refer to language models, i.e. > systems trained only on linguistic form used to mimic the kinds of > sequences of linguistic form that people use./ > > Ovvero: Il termine "pappagalli stocastici" si riferiva ai sistemi > addestrati sulle forme linguistiche che imitano quelle che usano le > persone. > > E poi dice ancora, e qui c'è l'espressione che si pensa scardini tutto: > /It is true that image/text models, for example, that can be used to > map from linguistic strings to images or vice versa, can be argued to > meet the definition of understanding in Bender & Koller 2020, albeit > in an extremely thin way/. > > Ovvero: si può sostenere che un modello misto con testo e immagini, > che mette in corrispondenza testi con immagini o viceversa, risponda > alla nostra definizione di comprensione, anche se in un modo > estremamente sottile. > > E poi continua: > /When we look at the text in an image/text model, we make sense of it > in a way that is rich and socially situated and we must not project > that onto the model if we want to keep a clear-eyed view of how such > models actually function (and in what circumstances we should be > willing to use them)/. > > Ovvero: quando noi guardiamo il testo di un modello misto con testo e > immagini, lo comprendiamo in modo ricco e socialmente situato, che non > deve essere proiettato sul modello, se vogliamo mantenere una visione > chiara su come il modello funziona effettivamente > > E infine: > /Even if there is some thin kind of technical “understanding” in e.g. > a text/image model, the fact that it’s using our language at all will > send misleading signals about what is actually going on, so long as we > relate to language as we always do (and I don’t see how we can avoid > doing so)/. > > Ovvero: anche se c'è una esile forma di "comprensione" in senso > tecnico in un modello misto con testo e immagini, il semplice fatto > che usi il nostro linguaggio ci manda segnali fuorvianti su ciò che > sta accadendo, finché noi ci relazioniamo al linguaggio come sempre > facciamo (e non vedo come potremmo fare diversamente) > > Ecco, leggendo questi passi tutti insieme e non estraendo solo la > frase "risponde alla nostra definizione di comprensione", si capisce > che l'accoppiamento fra testo e immagine rientra da un punto di vista > sintattico (/in an estremely thin way/ - direi per un capello) nella > definizione tecnica di comprensione della Bender, ma non è la > comprensione umana. Notate che dice che siamo NOI che lo comprendiamo > (/we make a sense of it/) sulla base della nostra esperienza. Infatti, > questo "qualcosa fuori il linguaggio" della definizione è l'intento > comunicativo del parlante, che è basato sul mondo reale che parlante e > ascoltatore condividono (/the communicative intent is grounded in the > real world the speaker and listener inhabit together/). > > Se si legge con attenzione l'articolo di Bender & Koller del 2020 > citato nel post della Bender > (https://www.aclweb.org/anthology/2020.acl-main.463/ - cosa che vi > invito a fare, è abbastanza accessibile) tutto questo è molto chiaro, > così come la tesi principale di quell'articolo, che rimane interamente > salda e non scalfita. > /We argue that the language modeling task, because it only uses form > as training data, cannot in principle lead to learning of meaning. ... > We take (linguistic) meaning to be the relation between a linguistic > form and communicative intent/. > > Certo, uno può leggere nel recente post della Bender quello che vuole, > ma argomentare trionfanti che "è una retromarcia bella grossa" mi > sembra esagerato. > > Questo non vuol ovviamente dire che progressi nella ricerca e nelle > architetture dei sistemi di IA non potranno darci in futuro una > qualche forma di comprensione, che con le attuali architetture non c'è. > > Ciao, Enrico > > > Il 14/05/2026 00:43, Fabio Alemagna via nexa ha scritto: >> Riporto qui un post di Alberto Puliafito, pubblicato su Facebook:: >> https://www.facebook.com/share/p/18kiudNQqK/ >> >> _______________ >> >> 🦜🤖 Ci sono molte cose interessanti nelle precisazioni di Emily >> Bender sui pappagalli stocastici. Queste precisazioni, finalmente, >> potrebbero aiutarci a depurare il dibattito e a concentrarci sulla >> parte del lavoro di Bender che è davvero importante: lo studio e la >> critica dei rapporti di potere dentro l'industria delle intelligenze >> artificiali. >> >> Ma andiamo con ordine. >> >> La prima cosa interessante è il fatto stesso che ci sia stato il >> bisogno, cinque anni dopo la pubblicazione di "On the Dangers of >> Stochastic Parrots", di fare delle precisazioni. >> >> La seconda è il chiarimento sul fatto che "pappagalli stocastici" è >> solo una metafora e non un'ipotesi empirica. >> >> La terza è il fatto che secondo Bender "pappagalli stocastici" non >> dovrebbe essere usato come "insulto" nei confronti della tecnologia. >> Suo malgrado, però, è quel che è stato fatto. >> >> La quarta e più importante, per me, è questo passaggio qui sulla >> comprensione: "It is true that image/text models, for example, that >> can be used to map from linguistic strings to images or vice versa, >> can be argued to meet the definition of understanding in Bender & >> Koller 2020 — albeit in an extremely thin way". >> >> Si può provare a sostenere che questa non sia una retromarcia. Ma è >> una retromarcia bella grossa, per quanto manovrata con delicatezza e >> ottima arte retorica. Nel 2020, nel 2021 e fino al 2024 almeno, >> Bender affermava che non si potesse parlare di "understanding" da >> parte dei modelli secondo la sua stessa definizione. Adesso, invece, >> c'è uno spiraglio. E uno spiraglio è diverso da "non c'è >> understanding". Molto diverso. >> >> Da qui in avanti mi aspetto una serie di lente ma inesorabili >> operazioni di riposizionamento da parte di molte persone che hanno >> usato – impropriamente, come dice oggi Bender stessa, finalmente – la >> metafora dei pappagalli stocastici per sminuire i large language model. >> >> Ovviamente gli errori e i danni fatti dai detrattori e dai >> minimizzatori non verrano mai riconosciuti come tali, ma questo è >> comunque un punto di non ritorno sia per i critici a priori di queste >> tecnologie sia per chi ha usato i pappagalli per costruirsi un >> posizionamento personale. >> >> La metafora – non ipotesi empirica – dei pappagalli stocastici, per >> quanto affascinante, era già riduttiva quando è stata proposta. In >> questi cinque anni lo è diventata sempre di più ma nel frattempo è >> diventata addirittura identitaria, ingombrando il dibattito e >> portandolo completamente fuori fuoco. >> >> Adesso che quella metafora perde i pezzi, resta, appunto, la parte >> del lavoro di Bender che era la più utile fin dall’inizio: la critica >> al potere. >> >> Link: >> >> 1) Climbing towards NLU: On Meaning, Form, and Understanding in the >> Age of Data (Emily M. Bender, Alexander Koller, 2020) >> https://aclanthology.org/2020.acl-main.463/ >> >> 2) On the Dangers of Stochastic Parrots: Can Language Models Be Too >> Big? 🦜 (Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, >> Shmargaret Shmitchell, 2021 >> https://dl.acm.org/doi/10.1145/3442188.3445922 ) >> >> 3) Stochastic Parrots 🦜: Frequently Unasked Questions (Emily M. >> Bender, >> https://medium.com/@emilymenonbender/stochastic-parrots-frequently-unasked-… >> ) >> >> 4) Video, Chatbot Critics: Chatbots as Stochastic Parrots, Emily M. >> Bender https://www.youtube.com/watch?v=f4OZ7B2iP_E > -- > > -- EN > > https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html > ====================================================== > Prof. Enrico Nardelli > Presidente di "Informatics Europe" > Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI > Dipartimento di Matematica - Università di Roma "Tor Vergata" > Via della Ricerca Scientifica snc - 00133 Roma > home page: https://www . mat . uniroma2 . it/~nardelli > blog: https://link-and-think.blogspot.it/ > tel: +39 06 7259.4204 fax: +39 06 7259.4699 > mobile: +39 335 590.2331 e-mail: nardelli@mat . uniroma2 . it > online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont > ====================================================================================================== > > -- -- -- EN https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html ====================================================== Prof. Enrico Nardelli Presidente di "Informatics Europe" Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI Dipartimento di Matematica - Università di Roma "Tor Vergata" Via della Ricerca Scientifica snc - 00133 Roma home page: https://www . mat . uniroma2 . it/~nardelli blog: https://link-and-think.blogspot.it/ tel: +39 06 7259.4204 fax: +39 06 7259.4699 mobile: +39 335 590.2331 e-mail: nardelli@mat . uniroma2 . it online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont ====================================================================================================== --

May 15, 2026

R: Re: Pappagalli stocastici: Alberto Puliafito sulle precisazioni di Emily Bender in merito.

by Daniela Tafani

> Da: Roberto Dolci via nexa <nexa(a)server-nexa.polito.it> > Mi pare una definizione molto stretta: noi comprendiamo la musica, il movimento, gli odori, le sensazioni tattili, ben al di fuori di qualsiasi > costrutto verbale linguistico. Ma l'articolo in oggetto si occupava della comprensione del linguaggio, non della comprensione tout court. ________________________________ From: Enrico Nardelli via nexa <nexa(a)server-nexa.polito.it> Sent: Friday, May 15, 2026 14:08 To: nexa(a)server-nexa.polito.it <nexa(a)server-nexa.polito.it> Subject: [nexa] Re: Pappagalli stocastici: Alberto Puliafito sulle precisazioni di Emily Bender in merito. Ritengo doveroso articolare una riflessione. Il post della Bender https://medium.com/@emilymenonbender/stochastic-parrots-frequently-unasked-… dice: in Bender and Koller 2020 ... sophospsmartbannerend Ritengo doveroso articolare una riflessione. Il post della Bender https://medium.com/@emilymenonbender/stochastic-parrots-frequently-unasked-…<https://eu-west-1.protection.sophos.com?d=medium.com&u=aHR0cHM6Ly9tZWRpdW0u…> dice: in Bender and Koller 2020 ... we provide a definition of understanding as mapping from language to something outside of language, and show that systems built only with linguistic form have no purchase with which to encode (“learn”) such a mapping. Ovvero: Definiamo comprensione come una corrispondenza tra linguaggio e qualcosa fuori il linguaggio. Un sistema addestrato solo sulle forme linguistiche non ha modo di codificare questa corrispondenza. Dopo di che dice: Stochastic parrots was coined to refer to language models, i.e. systems trained only on linguistic form used to mimic the kinds of sequences of linguistic form that people use. Ovvero: Il termine "pappagalli stocastici" si riferiva ai sistemi addestrati sulle forme linguistiche che imitano quelle che usano le persone. E poi dice ancora, e qui c'è l'espressione che si pensa scardini tutto: It is true that image/text models, for example, that can be used to map from linguistic strings to images or vice versa, can be argued to meet the definition of understanding in Bender & Koller 2020, albeit in an extremely thin way. Ovvero: si può sostenere che un modello misto con testo e immagini, che mette in corrispondenza testi con immagini o viceversa, risponda alla nostra definizione di comprensione, anche se in un modo estremamente sottile. E poi continua: When we look at the text in an image/text model, we make sense of it in a way that is rich and socially situated and we must not project that onto the model if we want to keep a clear-eyed view of how such models actually function (and in what circumstances we should be willing to use them). Ovvero: quando noi guardiamo il testo di un modello misto con testo e immagini, lo comprendiamo in modo ricco e socialmente situato, che non deve essere proiettato sul modello, se vogliamo mantenere una visione chiara su come il modello funziona effettivamente E infine: Even if there is some thin kind of technical “understanding” in e.g. a text/image model, the fact that it’s using our language at all will send misleading signals about what is actually going on, so long as we relate to language as we always do (and I don’t see how we can avoid doing so). Ovvero: anche se c'è una esile forma di "comprensione" in senso tecnico in un modello misto con testo e immagini, il semplice fatto che usi il nostro linguaggio ci manda segnali fuorvianti su ciò che sta accadendo, finché noi ci relazioniamo al linguaggio come sempre facciamo (e non vedo come potremmo fare diversamente) Ecco, leggendo questi passi tutti insieme e non estraendo solo la frase "risponde alla nostra definizione di comprensione", si capisce che l'accoppiamento fra testo e immagine rientra da un punto di vista sintattico (in an estremely thin way - direi per un capello) nella definizione tecnica di comprensione della Bender, ma non è la comprensione umana. Notate che dice che siamo NOI che lo comprendiamo (we make a sense of it) sulla base della nostra esperienza. Infatti, questo "qualcosa fuori il linguaggio" della definizione è l'intento comunicativo del parlante, che è basato sul mondo reale che parlante e ascoltatore condividono (the communicative intent is grounded in the real world the speaker and listener inhabit together). Se si legge con attenzione l'articolo di Bender & Koller del 2020 citato nel post della Bender (https://www.aclweb.org/anthology/2020.acl-main.463/<https://eu-west-1.protection.sophos.com?d=aclweb.org&u=aHR0cHM6Ly93d3cuYWNs…> - cosa che vi invito a fare, è abbastanza accessibile) tutto questo è molto chiaro, così come la tesi principale di quell'articolo, che rimane interamente salda e non scalfita. We argue that the language modeling task, because it only uses form as training data, cannot in principle lead to learning of meaning. ... We take (linguistic) meaning to be the relation between a linguistic form and communicative intent. Certo, uno può leggere nel recente post della Bender quello che vuole, ma argomentare trionfanti che "è una retromarcia bella grossa" mi sembra esagerato. Questo non vuol ovviamente dire che progressi nella ricerca e nelle architetture dei sistemi di IA non potranno darci in futuro una qualche forma di comprensione, che con le attuali architetture non c'è. Ciao, Enrico Il 14/05/2026 00:43, Fabio Alemagna via nexa ha scritto: Riporto qui un post di Alberto Puliafito, pubblicato su Facebook:: https://www.facebook.com/share/p/18kiudNQqK/<https://eu-west-1.protection.sophos.com?d=facebook.com&u=aHR0cHM6Ly93d3cuZm…> _______________ 🦜🤖 Ci sono molte cose interessanti nelle precisazioni di Emily Bender sui pappagalli stocastici. Queste precisazioni, finalmente, potrebbero aiutarci a depurare il dibattito e a concentrarci sulla parte del lavoro di Bender che è davvero importante: lo studio e la critica dei rapporti di potere dentro l'industria delle intelligenze artificiali. Ma andiamo con ordine. La prima cosa interessante è il fatto stesso che ci sia stato il bisogno, cinque anni dopo la pubblicazione di "On the Dangers of Stochastic Parrots", di fare delle precisazioni. La seconda è il chiarimento sul fatto che "pappagalli stocastici" è solo una metafora e non un'ipotesi empirica. La terza è il fatto che secondo Bender "pappagalli stocastici" non dovrebbe essere usato come "insulto" nei confronti della tecnologia. Suo malgrado, però, è quel che è stato fatto. La quarta e più importante, per me, è questo passaggio qui sulla comprensione: "It is true that image/text models, for example, that can be used to map from linguistic strings to images or vice versa, can be argued to meet the definition of understanding in Bender & Koller 2020 — albeit in an extremely thin way". Si può provare a sostenere che questa non sia una retromarcia. Ma è una retromarcia bella grossa, per quanto manovrata con delicatezza e ottima arte retorica. Nel 2020, nel 2021 e fino al 2024 almeno, Bender affermava che non si potesse parlare di "understanding" da parte dei modelli secondo la sua stessa definizione. Adesso, invece, c'è uno spiraglio. E uno spiraglio è diverso da "non c'è understanding". Molto diverso. Da qui in avanti mi aspetto una serie di lente ma inesorabili operazioni di riposizionamento da parte di molte persone che hanno usato – impropriamente, come dice oggi Bender stessa, finalmente – la metafora dei pappagalli stocastici per sminuire i large language model. Ovviamente gli errori e i danni fatti dai detrattori e dai minimizzatori non verrano mai riconosciuti come tali, ma questo è comunque un punto di non ritorno sia per i critici a priori di queste tecnologie sia per chi ha usato i pappagalli per costruirsi un posizionamento personale. La metafora – non ipotesi empirica – dei pappagalli stocastici, per quanto affascinante, era già riduttiva quando è stata proposta. In questi cinque anni lo è diventata sempre di più ma nel frattempo è diventata addirittura identitaria, ingombrando il dibattito e portandolo completamente fuori fuoco. Adesso che quella metafora perde i pezzi, resta, appunto, la parte del lavoro di Bender che era la più utile fin dall’inizio: la critica al potere. Link: 1) Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data (Emily M. Bender, Alexander Koller, 2020) https://aclanthology.org/2020.acl-main.463/<https://eu-west-1.protection.sophos.com?d=aclanthology.org&u=aHR0cHM6Ly9hY2…> 2) On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜 (Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell, 2021 https://dl.acm.org/doi/10.1145/3442188.3445922<https://eu-west-1.protection.sophos.com?d=acm.org&u=aHR0cHM6Ly9kbC5hY20ub3J…> ) 3) Stochastic Parrots 🦜: Frequently Unasked Questions (Emily M. Bender, https://medium.com/@emilymenonbender/stochastic-parrots-frequently-unasked-…<https://eu-west-1.protection.sophos.com?d=medium.com&u=aHR0cHM6Ly9tZWRpdW0u…> ) 4) Video, Chatbot Critics: Chatbots as Stochastic Parrots, Emily M. Bender https://www.youtube.com/watch?v=f4OZ7B2iP_E<https://eu-west-1.protection.sophos.com?d=youtube.com&u=aHR0cHM6Ly93d3cueW9…> -- -- EN https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html<https://eu-west-1.protection.sophos.com?d=hoepli.it&u=aHR0cHM6Ly93d3cuaG9lc…> [cid:072daaf5-7a33-4e50-81b2-2df43773bf0f] ====================================================== Prof. Enrico Nardelli Presidente di "Informatics Europe" Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI Dipartimento di Matematica - Università di Roma "Tor Vergata" Via della Ricerca Scientifica snc - 00133 Roma home page: https://www . mat . uniroma2 . it/~nardelli blog: https://link-and-think.blogspot.it/<https://eu-west-1.protection.sophos.com?d=blogspot.it&u=aHR0cHM6Ly9saW5rLWF…> tel: +39 06 7259.4204 fax: +39 06 7259.4699 mobile: +39 335 590.2331 e-mail: nardelli@mat . uniroma2 . it online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont<https://eu-west-1.protection.sophos.com?d=garr.it&u=aHR0cHM6Ly9ibHVlLm1lZXQ…> ====================================================================================================== --

May 15, 2026

"when you talk about these systems as conscious, you’re actually doing marketing for these companies"

by Daniela Tafani

[...] A man like Dawkins being fooled by the marketing and mimicry of AI may be surprising, but it is not entirely unexpected. In fact, back in 2020, computer scientist Timnit Gebru anticipated exactly such a scenario. At the time, Gebru was the technical co-lead of Google’s ethical AI team, but was fired after co-authoring a paper called On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?, laying out the risks of large language models. These risks included the environmental costs of LLMs, the dangers of built-in bias and the danger that the coherent text generated by these models could lead people into perceiving some sort of “mind” when what they’re actually seeing is just pattern-matching and text prediction. [...] “To parrot something is to repeat it without understanding,” says Gebru. This is essentially what LLMs are doing. “They have been taught to calculate how likely sequences of text are based on the data they were trained on.” Because they’ve been fed enormous quantities of data, these models are very sophisticated but that “doesn’t mean consciousness or understanding or anything like that”. --A lot of academics, beguiled by enormous amounts of money, are incentivized to hype the technology up-- After leaving Google, Gebru founded the Distributed Artificial Intelligence Research Institute and has been one of the loudest voices in calling “bullshit” on a lot of the marketing puff that’s coming out of the industry. Because here’s the thing, she says: the AI industry is desperate for you to think that their product could be conscious. They’re desperate for you to think that it’s all-powerful. Because that sort of rhetoric helps keep the money coming in. “I really want to hone in on how this idea of superintelligence or consciousness is pushed by the companies building these things,” says Gebru. “OpenAI originally branded itself as a non-profit that would ‘save us’ from these machines. Anthropic brands itself as a benevolent AI ‘safety’ company. So when you talk about these systems as conscious, you’re actually doing marketing for these companies.” <https://www.theguardian.com/commentisfree/2026/may/14/richard-dawkins-ai-at…>

May 15, 2026

Re: Pappagalli stocastici: Alberto Puliafito sulle precisazioni di Emily Bender in merito.

by Roberto Dolci

Ciao Enrico Mi pare una definizione molto stretta: noi comprendiamo la musica, il movimento, gli odori, le sensazioni tattili, ben al di fuori di qualsiasi costrutto verbale linguistico. Il bimbo di 4 anni ha gia' assorbito una quantita' enorme di informazioni e s'e' ricreato bene quei modelli del mondo che ora Yann LeCun sta provando a rifare con la sua startup, e Gary Marcus predica da anni. Ciao Roberto ________________________________ From: Enrico Nardelli via nexa <nexa(a)server-nexa.polito.it> Sent: Friday, May 15, 2026 14:08 To: nexa(a)server-nexa.polito.it <nexa(a)server-nexa.polito.it> Subject: [nexa] Re: Pappagalli stocastici: Alberto Puliafito sulle precisazioni di Emily Bender in merito. Ritengo doveroso articolare una riflessione. Il post della Bender https://medium.com/@emilymenonbender/stochastic-parrots-frequently-unasked-…<https://eu-west-1.protection.sophos.com?d=medium.com&u=aHR0cHM6Ly9tZWRpdW0u…> dice: in Bender and Koller 2020 ... we provide a definition of understanding as mapping from language to something outside of language, and show that systems built only with linguistic form have no purchase with which to encode (“learn”) such a mapping. Ovvero: Definiamo comprensione come una corrispondenza tra linguaggio e qualcosa fuori il linguaggio. Un sistema addestrato solo sulle forme linguistiche non ha modo di codificare questa corrispondenza. Dopo di che dice: Stochastic parrots was coined to refer to language models, i.e. systems trained only on linguistic form used to mimic the kinds of sequences of linguistic form that people use. Ovvero: Il termine "pappagalli stocastici" si riferiva ai sistemi addestrati sulle forme linguistiche che imitano quelle che usano le persone. E poi dice ancora, e qui c'è l'espressione che si pensa scardini tutto: It is true that image/text models, for example, that can be used to map from linguistic strings to images or vice versa, can be argued to meet the definition of understanding in Bender & Koller 2020, albeit in an extremely thin way. Ovvero: si può sostenere che un modello misto con testo e immagini, che mette in corrispondenza testi con immagini o viceversa, risponda alla nostra definizione di comprensione, anche se in un modo estremamente sottile. E poi continua: When we look at the text in an image/text model, we make sense of it in a way that is rich and socially situated and we must not project that onto the model if we want to keep a clear-eyed view of how such models actually function (and in what circumstances we should be willing to use them). Ovvero: quando noi guardiamo il testo di un modello misto con testo e immagini, lo comprendiamo in modo ricco e socialmente situato, che non deve essere proiettato sul modello, se vogliamo mantenere una visione chiara su come il modello funziona effettivamente E infine: Even if there is some thin kind of technical “understanding” in e.g. a text/image model, the fact that it’s using our language at all will send misleading signals about what is actually going on, so long as we relate to language as we always do (and I don’t see how we can avoid doing so). Ovvero: anche se c'è una esile forma di "comprensione" in senso tecnico in un modello misto con testo e immagini, il semplice fatto che usi il nostro linguaggio ci manda segnali fuorvianti su ciò che sta accadendo, finché noi ci relazioniamo al linguaggio come sempre facciamo (e non vedo come potremmo fare diversamente) Ecco, leggendo questi passi tutti insieme e non estraendo solo la frase "risponde alla nostra definizione di comprensione", si capisce che l'accoppiamento fra testo e immagine rientra da un punto di vista sintattico (in an estremely thin way - direi per un capello) nella definizione tecnica di comprensione della Bender, ma non è la comprensione umana. Notate che dice che siamo NOI che lo comprendiamo (we make a sense of it) sulla base della nostra esperienza. Infatti, questo "qualcosa fuori il linguaggio" della definizione è l'intento comunicativo del parlante, che è basato sul mondo reale che parlante e ascoltatore condividono (the communicative intent is grounded in the real world the speaker and listener inhabit together). Se si legge con attenzione l'articolo di Bender & Koller del 2020 citato nel post della Bender (https://www.aclweb.org/anthology/2020.acl-main.463/<https://eu-west-1.protection.sophos.com?d=aclweb.org&u=aHR0cHM6Ly93d3cuYWNs…> - cosa che vi invito a fare, è abbastanza accessibile) tutto questo è molto chiaro, così come la tesi principale di quell'articolo, che rimane interamente salda e non scalfita. We argue that the language modeling task, because it only uses form as training data, cannot in principle lead to learning of meaning. ... We take (linguistic) meaning to be the relation between a linguistic form and communicative intent. Certo, uno può leggere nel recente post della Bender quello che vuole, ma argomentare trionfanti che "è una retromarcia bella grossa" mi sembra esagerato. Questo non vuol ovviamente dire che progressi nella ricerca e nelle architetture dei sistemi di IA non potranno darci in futuro una qualche forma di comprensione, che con le attuali architetture non c'è. Ciao, Enrico Il 14/05/2026 00:43, Fabio Alemagna via nexa ha scritto: Riporto qui un post di Alberto Puliafito, pubblicato su Facebook:: https://www.facebook.com/share/p/18kiudNQqK/<https://eu-west-1.protection.sophos.com?d=facebook.com&u=aHR0cHM6Ly93d3cuZm…> _______________ 🦜🤖 Ci sono molte cose interessanti nelle precisazioni di Emily Bender sui pappagalli stocastici. Queste precisazioni, finalmente, potrebbero aiutarci a depurare il dibattito e a concentrarci sulla parte del lavoro di Bender che è davvero importante: lo studio e la critica dei rapporti di potere dentro l'industria delle intelligenze artificiali. Ma andiamo con ordine. La prima cosa interessante è il fatto stesso che ci sia stato il bisogno, cinque anni dopo la pubblicazione di "On the Dangers of Stochastic Parrots", di fare delle precisazioni. La seconda è il chiarimento sul fatto che "pappagalli stocastici" è solo una metafora e non un'ipotesi empirica. La terza è il fatto che secondo Bender "pappagalli stocastici" non dovrebbe essere usato come "insulto" nei confronti della tecnologia. Suo malgrado, però, è quel che è stato fatto. La quarta e più importante, per me, è questo passaggio qui sulla comprensione: "It is true that image/text models, for example, that can be used to map from linguistic strings to images or vice versa, can be argued to meet the definition of understanding in Bender & Koller 2020 — albeit in an extremely thin way". Si può provare a sostenere che questa non sia una retromarcia. Ma è una retromarcia bella grossa, per quanto manovrata con delicatezza e ottima arte retorica. Nel 2020, nel 2021 e fino al 2024 almeno, Bender affermava che non si potesse parlare di "understanding" da parte dei modelli secondo la sua stessa definizione. Adesso, invece, c'è uno spiraglio. E uno spiraglio è diverso da "non c'è understanding". Molto diverso. Da qui in avanti mi aspetto una serie di lente ma inesorabili operazioni di riposizionamento da parte di molte persone che hanno usato – impropriamente, come dice oggi Bender stessa, finalmente – la metafora dei pappagalli stocastici per sminuire i large language model. Ovviamente gli errori e i danni fatti dai detrattori e dai minimizzatori non verrano mai riconosciuti come tali, ma questo è comunque un punto di non ritorno sia per i critici a priori di queste tecnologie sia per chi ha usato i pappagalli per costruirsi un posizionamento personale. La metafora – non ipotesi empirica – dei pappagalli stocastici, per quanto affascinante, era già riduttiva quando è stata proposta. In questi cinque anni lo è diventata sempre di più ma nel frattempo è diventata addirittura identitaria, ingombrando il dibattito e portandolo completamente fuori fuoco. Adesso che quella metafora perde i pezzi, resta, appunto, la parte del lavoro di Bender che era la più utile fin dall’inizio: la critica al potere. Link: 1) Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data (Emily M. Bender, Alexander Koller, 2020) https://aclanthology.org/2020.acl-main.463/<https://eu-west-1.protection.sophos.com?d=aclanthology.org&u=aHR0cHM6Ly9hY2…> 2) On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜 (Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell, 2021 https://dl.acm.org/doi/10.1145/3442188.3445922<https://eu-west-1.protection.sophos.com?d=acm.org&u=aHR0cHM6Ly9kbC5hY20ub3J…> ) 3) Stochastic Parrots 🦜: Frequently Unasked Questions (Emily M. Bender, https://medium.com/@emilymenonbender/stochastic-parrots-frequently-unasked-…<https://eu-west-1.protection.sophos.com?d=medium.com&u=aHR0cHM6Ly9tZWRpdW0u…> ) 4) Video, Chatbot Critics: Chatbots as Stochastic Parrots, Emily M. Bender https://www.youtube.com/watch?v=f4OZ7B2iP_E<https://eu-west-1.protection.sophos.com?d=youtube.com&u=aHR0cHM6Ly93d3cueW9…> -- -- EN https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html<https://eu-west-1.protection.sophos.com?d=hoepli.it&u=aHR0cHM6Ly93d3cuaG9lc…> [cid:072daaf5-7a33-4e50-81b2-2df43773bf0f] ====================================================== Prof. Enrico Nardelli Presidente di "Informatics Europe" Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI Dipartimento di Matematica - Università di Roma "Tor Vergata" Via della Ricerca Scientifica snc - 00133 Roma home page: https://www . mat . uniroma2 . it/~nardelli blog: https://link-and-think.blogspot.it/<https://eu-west-1.protection.sophos.com?d=blogspot.it&u=aHR0cHM6Ly9saW5rLWF…> tel: +39 06 7259.4204 fax: +39 06 7259.4699 mobile: +39 335 590.2331 e-mail: nardelli@mat . uniroma2 . it online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont<https://eu-west-1.protection.sophos.com?d=garr.it&u=aHR0cHM6Ly9ibHVlLm1lZXQ…> ====================================================================================================== --

May 15, 2026

Re: Pappagalli stocastici: Alberto Puliafito sulle precisazioni di Emily Bender in merito.

by abregni

Vorrei capire di cosa stiamo parlando... Io sono fermo a "La scorciatoia" di Cristianini: fallita l'AGI, hanno fatto gli LLM. Bene. PUNTO. Perché vogliamo filosofeggiarci sopra...? NOI -- nell'output di un LLM -- ci leggiamo un significato. E' UMANO (a me riesce arduo leggere senza trovarne uno: mi irrito), ...e ho persino gestito gruppi creativi, dove il linguaggio creava interessanti associazioni che NON erano -- almeno consapevolmente -- nella mente di chi parlava, ma le "leggeva" chi ascoltava. Questo cestina -- mi scuso con Giacomo -- il suo parzialissimo modello di comunicazione (e, ancor prima, di informazione: non di rado è come la bellezza: negli occhi di chi guarda, ...qui di chi legge), ed è forse l'unico vero valore degli LLM: **darci materiale**. Finiamola li. Non mi sogno neanche di "ipotizzare" che "insegnino" (già è difficile farlo bene per gli umani), MA fornire un quadro strutturato in modo ragionevole su qualche argomento, ...perché no? La filosofia -- checché se ne dica -- sforna solo opinioni (...e le manca pure il cestino dove buttarle quando hanno poco senso: continuiamo a raccontarcele *tutte*). Appena sento la parola "ontologia" in ambito informatico (e non in becero senso tecnico, che mi rimane comunque insopportabile), ...reagisco. Scusate, ma temo che lo sfogo sia dovuto. Il 2026-05-15 20:08 Enrico Nardelli via nexa ha scritto: > Ritengo doveroso articolare una riflessione. > > Il post della Bender > > https://medium.com/@emilymenonbender/stochastic-parrots-frequently-unasked-… > dice: > in Bender and Koller 2020 ... we provide a definition of > understanding as mapping from language to something outside of > language, and show that systems built only with linguistic form have > no purchase with which to encode (“learn”) such a mapping. > > Ovvero: Definiamo comprensione come una corrispondenza tra linguaggio > e qualcosa fuori il linguaggio. Un sistema addestrato solo sulle forme > linguistiche non ha modo di codificare questa corrispondenza. > > Dopo di che dice: > _Stochastic parrots was coined to refer to language models, i.e. > systems trained only on linguistic form used to mimic the kinds of > sequences of linguistic form that people use._ > > Ovvero: Il termine "pappagalli stocastici" si riferiva ai sistemi > addestrati sulle forme linguistiche che imitano quelle che usano le > persone. > > E poi dice ancora, e qui c'è l'espressione che si pensa scardini > tutto: > _It is true that image/text models, for example, that can be used > to map from linguistic strings to images or vice versa, can be argued > to meet the definition of understanding in Bender & Koller 2020, > albeit in an extremely thin way_. > > Ovvero: si può sostenere che un modello misto con testo e immagini, > che mette in corrispondenza testi con immagini o viceversa, risponda > alla nostra definizione di comprensione, anche se in un modo > estremamente sottile. > > E poi continua: > _When we look at the text in an image/text model, we make sense of > it in a way that is rich and socially situated and we must not project > that onto the model if we want to keep a clear-eyed view of how such > models actually function (and in what circumstances we should be > willing to use them)_. > > Ovvero: quando noi guardiamo il testo di un modello misto con testo e > immagini, lo comprendiamo in modo ricco e socialmente situato, che non > deve essere proiettato sul modello, se vogliamo mantenere una visione > chiara su come il modello funziona effettivamente > > E infine: > _Even if there is some thin kind of technical “understanding” > in e.g. a text/image model, the fact that it’s using our language at > all will send misleading signals about what is actually going on, so > long as we relate to language as we always do (and I don’t see how > we can avoid doing so)_. > > Ovvero: anche se c'è una esile forma di "comprensione" in senso > tecnico in un modello misto con testo e immagini, il semplice fatto > che usi il nostro linguaggio ci manda segnali fuorvianti su ciò che > sta accadendo, finché noi ci relazioniamo al linguaggio come sempre > facciamo (e non vedo come potremmo fare diversamente) > > Ecco, leggendo questi passi tutti insieme e non estraendo solo la > frase "risponde alla nostra definizione di comprensione", si capisce > che l'accoppiamento fra testo e immagine rientra da un punto di vista > sintattico (_in an estremely thin way_ - direi per un capello) nella > definizione tecnica di comprensione della Bender, ma non è la > comprensione umana. Notate che dice che siamo NOI che lo comprendiamo > (_we make a sense of it_) sulla base della nostra esperienza. Infatti, > questo "qualcosa fuori il linguaggio" della definizione è l'intento > comunicativo del parlante, che è basato sul mondo reale che parlante > e ascoltatore condividono (_the communicative intent is grounded in > the real world the speaker and listener inhabit together_). > > Se si legge con attenzione l'articolo di Bender & Koller del 2020 > citato nel post della Bender > (https://www.aclweb.org/anthology/2020.acl-main.463/ - cosa che vi > invito a fare, è abbastanza accessibile) tutto questo è molto > chiaro, così come la tesi principale di quell'articolo, che rimane > interamente salda e non scalfita. > _We argue that the language modeling task, because it only uses > form as training data, cannot in principle lead to learning of > meaning. ... We take (linguistic) meaning to be the relation between a > linguistic form and communicative intent_. > > Certo, uno può leggere nel recente post della Bender quello che > vuole, ma argomentare trionfanti che "è una retromarcia bella grossa" > mi sembra esagerato. > > Questo non vuol ovviamente dire che progressi nella ricerca e nelle > architetture dei sistemi di IA non potranno darci in futuro una > qualche forma di comprensione, che con le attuali architetture non > c'è. > > Ciao, Enrico > > Il 14/05/2026 00:43, Fabio Alemagna via nexa ha scritto: > >> Riporto qui un post di Alberto Puliafito, pubblicato su Facebook:: >> https://www.facebook.com/share/p/18kiudNQqK/ >> >> _______________ >> >> 🦜🤖 Ci sono molte cose interessanti nelle precisazioni di Emily >> Bender sui pappagalli stocastici. Queste precisazioni, finalmente, >> potrebbero aiutarci a depurare il dibattito e a concentrarci sulla >> parte del lavoro di Bender che è davvero importante: lo studio e la >> critica dei rapporti di potere dentro l'industria delle intelligenze >> artificiali. >> >> Ma andiamo con ordine. >> >> La prima cosa interessante è il fatto stesso che ci sia stato il >> bisogno, cinque anni dopo la pubblicazione di "On the Dangers of >> Stochastic Parrots", di fare delle precisazioni. >> >> La seconda è il chiarimento sul fatto che "pappagalli stocastici" >> è solo una metafora e non un'ipotesi empirica. >> >> La terza è il fatto che secondo Bender "pappagalli stocastici" non >> dovrebbe essere usato come "insulto" nei confronti della tecnologia. >> Suo malgrado, però, è quel che è stato fatto. >> >> La quarta e più importante, per me, è questo passaggio qui sulla >> comprensione: "It is true that image/text models, for example, that >> can be used to map from linguistic strings to images or vice versa, >> can be argued to meet the definition of understanding in Bender & >> Koller 2020 — albeit in an extremely thin way". >> >> Si può provare a sostenere che questa non sia una retromarcia. Ma >> è una retromarcia bella grossa, per quanto manovrata con >> delicatezza e ottima arte retorica. Nel 2020, nel 2021 e fino al >> 2024 almeno, Bender affermava che non si potesse parlare di >> "understanding" da parte dei modelli secondo la sua stessa >> definizione. Adesso, invece, c'è uno spiraglio. E uno spiraglio è >> diverso da "non c'è understanding". Molto diverso. >> >> Da qui in avanti mi aspetto una serie di lente ma inesorabili >> operazioni di riposizionamento da parte di molte persone che hanno >> usato – impropriamente, come dice oggi Bender stessa, finalmente >> – la metafora dei pappagalli stocastici per sminuire i large >> language model. >> >> Ovviamente gli errori e i danni fatti dai detrattori e dai >> minimizzatori non verrano mai riconosciuti come tali, ma questo è >> comunque un punto di non ritorno sia per i critici a priori di >> queste tecnologie sia per chi ha usato i pappagalli per costruirsi >> un posizionamento personale. >> >> La metafora – non ipotesi empirica – dei pappagalli stocastici, >> per quanto affascinante, era già riduttiva quando è stata >> proposta. In questi cinque anni lo è diventata sempre di più ma >> nel frattempo è diventata addirittura identitaria, ingombrando il >> dibattito e portandolo completamente fuori fuoco. >> >> Adesso che quella metafora perde i pezzi, resta, appunto, la parte >> del lavoro di Bender che era la più utile fin dall’inizio: la >> critica al potere. >> >> Link: >> >> 1) Climbing towards NLU: On Meaning, Form, and Understanding in the >> Age of Data (Emily M. Bender, Alexander Koller, 2020) >> https://aclanthology.org/2020.acl-main.463/ >> >> 2) On the Dangers of Stochastic Parrots: Can Language Models Be Too >> Big? 🦜 (Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, >> Shmargaret Shmitchell, 2021 >> https://dl.acm.org/doi/10.1145/3442188.3445922 ) >> >> 3) Stochastic Parrots 🦜: Frequently Unasked Questions (Emily M. >> Bender, >> > https://medium.com/@emilymenonbender/stochastic-parrots-frequently-unasked-… >> ) >> >> 4) Video, Chatbot Critics: Chatbots as Stochastic Parrots, Emily M. >> Bender https://www.youtube.com/watch?v=f4OZ7B2iP_E > > -- > -- EN > https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html > > ====================================================== > Prof. Enrico Nardelli > Presidente di "Informatics Europe" > Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI > Dipartimento di Matematica - Università di Roma "Tor Vergata" > Via della Ricerca Scientifica snc - 00133 Roma > home page: https://www . mat . uniroma2 . it/~nardelli > blog: https://link-and-think.blogspot.it/ > tel: +39 06 7259.4204 fax: +39 06 7259.4699 > mobile: +39 335 590.2331 e-mail: nardelli@mat . uniroma2 . it > online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont > ====================================================================================================== > > --

May 15, 2026

Re: Pappagalli stocastici: Alberto Puliafito sulle precisazioni di Emily Bender in merito.

by Enrico Nardelli

Ritengo doveroso articolare una riflessione. Il post della Bender https://medium.com/@emilymenonbender/stochastic-parrots-frequently-unasked-… dice: /in Bender and Koller 2020 ... we provide a definition of understanding as mapping from language to something outside of language, and show that systems built only with linguistic form have no purchase with which to encode (“learn”) such a mapping. / Ovvero: Definiamo comprensione come una corrispondenza tra linguaggio e qualcosa fuori il linguaggio. Un sistema addestrato solo sulle forme linguistiche non ha modo di codificare questa corrispondenza. Dopo di che dice: /Stochastic parrots was coined to refer to language models, i.e. systems trained only on linguistic form used to mimic the kinds of sequences of linguistic form that people use./ Ovvero: Il termine "pappagalli stocastici" si riferiva ai sistemi addestrati sulle forme linguistiche che imitano quelle che usano le persone. E poi dice ancora, e qui c'è l'espressione che si pensa scardini tutto: /It is true that image/text models, for example, that can be used to map from linguistic strings to images or vice versa, can be argued to meet the definition of understanding in Bender & Koller 2020, albeit in an extremely thin way/. Ovvero: si può sostenere che un modello misto con testo e immagini, che mette in corrispondenza testi con immagini o viceversa, risponda alla nostra definizione di comprensione, anche se in un modo estremamente sottile. E poi continua: /When we look at the text in an image/text model, we make sense of it in a way that is rich and socially situated and we must not project that onto the model if we want to keep a clear-eyed view of how such models actually function (and in what circumstances we should be willing to use them)/. Ovvero: quando noi guardiamo il testo di un modello misto con testo e immagini, lo comprendiamo in modo ricco e socialmente situato, che non deve essere proiettato sul modello, se vogliamo mantenere una visione chiara su come il modello funziona effettivamente E infine: /Even if there is some thin kind of technical “understanding” in e.g. a text/image model, the fact that it’s using our language at all will send misleading signals about what is actually going on, so long as we relate to language as we always do (and I don’t see how we can avoid doing so)/. Ovvero: anche se c'è una esile forma di "comprensione" in senso tecnico in un modello misto con testo e immagini, il semplice fatto che usi il nostro linguaggio ci manda segnali fuorvianti su ciò che sta accadendo, finché noi ci relazioniamo al linguaggio come sempre facciamo (e non vedo come potremmo fare diversamente) Ecco, leggendo questi passi tutti insieme e non estraendo solo la frase "risponde alla nostra definizione di comprensione", si capisce che l'accoppiamento fra testo e immagine rientra da un punto di vista sintattico (/in an estremely thin way/ - direi per un capello) nella definizione tecnica di comprensione della Bender, ma non è la comprensione umana. Notate che dice che siamo NOI che lo comprendiamo (/we make a sense of it/) sulla base della nostra esperienza. Infatti, questo "qualcosa fuori il linguaggio" della definizione è l'intento comunicativo del parlante, che è basato sul mondo reale che parlante e ascoltatore condividono (/the communicative intent is grounded in the real world the speaker and listener inhabit together/). Se si legge con attenzione l'articolo di Bender & Koller del 2020 citato nel post della Bender (https://www.aclweb.org/anthology/2020.acl-main.463/ - cosa che vi invito a fare, è abbastanza accessibile) tutto questo è molto chiaro, così come la tesi principale di quell'articolo, che rimane interamente salda e non scalfita. /We argue that the language modeling task, because it only uses form as training data, cannot in principle lead to learning of meaning. ... We take (linguistic) meaning to be the relation between a linguistic form and communicative intent/. Certo, uno può leggere nel recente post della Bender quello che vuole, ma argomentare trionfanti che "è una retromarcia bella grossa" mi sembra esagerato. Questo non vuol ovviamente dire che progressi nella ricerca e nelle architetture dei sistemi di IA non potranno darci in futuro una qualche forma di comprensione, che con le attuali architetture non c'è. Ciao, Enrico Il 14/05/2026 00:43, Fabio Alemagna via nexa ha scritto: > Riporto qui un post di Alberto Puliafito, pubblicato su Facebook:: > https://www.facebook.com/share/p/18kiudNQqK/ > > _______________ > > 🦜🤖 Ci sono molte cose interessanti nelle precisazioni di Emily > Bender sui pappagalli stocastici. Queste precisazioni, finalmente, > potrebbero aiutarci a depurare il dibattito e a concentrarci sulla > parte del lavoro di Bender che è davvero importante: lo studio e la > critica dei rapporti di potere dentro l'industria delle intelligenze > artificiali. > > Ma andiamo con ordine. > > La prima cosa interessante è il fatto stesso che ci sia stato il > bisogno, cinque anni dopo la pubblicazione di "On the Dangers of > Stochastic Parrots", di fare delle precisazioni. > > La seconda è il chiarimento sul fatto che "pappagalli stocastici" è > solo una metafora e non un'ipotesi empirica. > > La terza è il fatto che secondo Bender "pappagalli stocastici" non > dovrebbe essere usato come "insulto" nei confronti della tecnologia. > Suo malgrado, però, è quel che è stato fatto. > > La quarta e più importante, per me, è questo passaggio qui sulla > comprensione: "It is true that image/text models, for example, that > can be used to map from linguistic strings to images or vice versa, > can be argued to meet the definition of understanding in Bender & > Koller 2020 — albeit in an extremely thin way". > > Si può provare a sostenere che questa non sia una retromarcia. Ma è > una retromarcia bella grossa, per quanto manovrata con delicatezza e > ottima arte retorica. Nel 2020, nel 2021 e fino al 2024 almeno, Bender > affermava che non si potesse parlare di "understanding" da parte dei > modelli secondo la sua stessa definizione. Adesso, invece, c'è uno > spiraglio. E uno spiraglio è diverso da "non c'è understanding". Molto > diverso. > > Da qui in avanti mi aspetto una serie di lente ma inesorabili > operazioni di riposizionamento da parte di molte persone che hanno > usato – impropriamente, come dice oggi Bender stessa, finalmente – la > metafora dei pappagalli stocastici per sminuire i large language model. > > Ovviamente gli errori e i danni fatti dai detrattori e dai > minimizzatori non verrano mai riconosciuti come tali, ma questo è > comunque un punto di non ritorno sia per i critici a priori di queste > tecnologie sia per chi ha usato i pappagalli per costruirsi un > posizionamento personale. > > La metafora – non ipotesi empirica – dei pappagalli stocastici, per > quanto affascinante, era già riduttiva quando è stata proposta. In > questi cinque anni lo è diventata sempre di più ma nel frattempo è > diventata addirittura identitaria, ingombrando il dibattito e > portandolo completamente fuori fuoco. > > Adesso che quella metafora perde i pezzi, resta, appunto, la parte del > lavoro di Bender che era la più utile fin dall’inizio: la critica al > potere. > > Link: > > 1) Climbing towards NLU: On Meaning, Form, and Understanding in the > Age of Data (Emily M. Bender, Alexander Koller, 2020) > https://aclanthology.org/2020.acl-main.463/ > > 2) On the Dangers of Stochastic Parrots: Can Language Models Be Too > Big? 🦜 (Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, > Shmargaret Shmitchell, 2021 > https://dl.acm.org/doi/10.1145/3442188.3445922 ) > > 3) Stochastic Parrots 🦜: Frequently Unasked Questions (Emily M. > Bender, > https://medium.com/@emilymenonbender/stochastic-parrots-frequently-unasked-… > ) > > 4) Video, Chatbot Critics: Chatbots as Stochastic Parrots, Emily M. > Bender https://www.youtube.com/watch?v=f4OZ7B2iP_E -- -- EN https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html ====================================================== Prof. Enrico Nardelli Presidente di "Informatics Europe" Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI Dipartimento di Matematica - Università di Roma "Tor Vergata" Via della Ricerca Scientifica snc - 00133 Roma home page: https://www . mat . uniroma2 . it/~nardelli blog: https://link-and-think.blogspot.it/ tel: +39 06 7259.4204 fax: +39 06 7259.4699 mobile: +39 335 590.2331 e-mail: nardelli@mat . uniroma2 . it online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont ====================================================================================================== --

May 15, 2026

Re: Una visione realistica dell’Intelligenza Artificiale - Lettera aperta alla società

by Giacomo Tesio

Ciao Stefano, On Fri, 15 May 2026 05:55:02 +0000 Stefano Borroni Barale wrote: > > Pur concordando con ciò che scrivi descrivendo il "pilastro > > ontologico", non lo ritengo affatto un pilastro della critica alla > > favola della "intelligenza artificiale". > [...] > > Lo considero al più un puntello malfermo che, in assenza di > > fondamenta più solide (quali ad esempio la definizione di > > informazione come esperienza soggettiva di pensiero comunicabile, > > la sua distinzione dal dato quale rappresentazione interpretabile > > impressa su ub supporto trasferibile, etc), viene proposta da > > intellettuali ben intenzionati nella speranza di sostenere > > l'umanità dall'attacco che sta subendo. > > Perdonami, avrei dovuto essere più chiaro sul fatto che condivido > totalmente la definizione di informazione come esperienza soggettiva. > Ma ti faccio osservare che è un altro modo di dire che l'informazione > (come la conoscenza) è situata. Lo è per certo, perché ogni essere umano esiste in uno spaziotempo limitato e definito (non pre-definito, ma su questo sorvolo perché andremmo off-topic e dopo avermi tacciato privatamente di materialismo, mi accuseresti di essere un idealista platonico :-D). Potrei persino concordare che in tal senso, l'essere situata spazialmente e storicamente è condizione fondamentale o comunque imprescindibile di ogni informazione e della mente di cui è parte. Non è questo il punto del nostro disaccordo, bensì la frase successiva: > Non basta avere una mente, ci va un corpo. Immagina per un momento di essere chiuso in una stanza completamente buia e silenziosa, che ti impedisce di ricevere i fenomeni esterni. Continueresti ad avere una mente? Come ti spiegherebbero alla Lega del Filo d'Oro, la risposta è "sì". Per altro, il cervello umano ha diverse aree evolutivamente deputate al linguaggio [1], per cui anche un bimbo sordocieco dalla nascita all'età appropriata ne svilupperebbe comunque uno (ancorché diverso da qualsiasi altro) in cui formulare nella propria mente l'informazione "sono" di cartesiana memoria. Poi è chiaro (e siamo d'accordo) che la funzione evolutiva del linguaggio come di tutto il resto dell'informatica, è la condivisione di informazioni tramite la sincronizzazione delle menti veicolate da esperienze corporee (che chiamiamo "messaggi"). Senza un corpo non avremmo modo di comunicare né molto da comunicare. Il nostro corpo (e la nostra storia in esso) caratterizza la stragrande maggioranza delle informazioni nella nostra mente. Ma non necessariamente tutte: possiamo descrivere sistemi multidimensionali senza averne mai percepito uno. E non ho mai conosciuto nessuno che sia passato dentro un trasformatore di monadi, pur conoscendo diversi programmatori Haskell. Dunque non tutte le informazioni sono legate al corpo. > Anche solo perché il "punto di vista" cognitivo-emotivo di un > essere umano emerge dall'interezza del corpo fisico e non solo dal > cervello. Sfido chiunque a ragionar di unicorni kantiani con un > bell'ascesso in atto, per dire. Al contrario, è esperienza comune fra i programmatori che la profonda concentrazione necessaria durante il debug può attenuare notevolmente la percezione del dolore (fisico e non solo). Concentrarsi su altro non è antidolorifico, ovviamente, né ansiolitico. Non svolge la funzione evolutiva del dolore, che ci spinge ad affrontarne le cause. E talvolta non è facile raggiungere "la zona". Ma è possibile. > > Per la semplice ragione che un sistema complesso non è computabile, > > mentre l'output di quell'ipotetico mega data center lo è (tanto da > > essere computato). Per argomentare che quel software esibisce > > intelligenza, bisognerebbe sostenere che la realtà stessa non è un > > sistema complesso ed è dunque essa stessa computabile. Perché è la > > realtà ad aver esibito i comportamenti emergenti che noi umani > > classifichiamo come vita ed intelligenza. > > > > Ipotesi che al momento la meccanica quantistica esclude. > > Ti confesso che su questo punto mi son perso. L'ipotesi che la meccanica quantistica esclude è la possibilità di calcolare precisamente l'evoluzione della realtà. Affermazione banale in effetti. Mi scuso per non essere stato chiaro. Il punto comunque era che definire un LLM, di cui possiamo conoscere e calcolare esattamente l'evoluzione, come "sistema complesso" è funzionale a giustificare (senza spiegare) il suo output come "comportamento emergente" invece di riconoscerlo quale decompressione approssimativa dei testi sorgente. Giacomo

May 15, 2026

Re: Una visione realistica dell’Intelligenza Artificiale - Lettera aperta alla società

by Stefano Borroni Barale

Ciao Giacomo, mi sa che ho scritto troppo di fretta, finendo per esser poco chiaro. Il punto stava proprio in quello che ho, forse un po' troppo ottimisticamente, chiamato pilastro ontologico. Si tratta ovviamente di un argomento, per di più, che consideravo in aggiunta a quelli che hai portato nel tuo messaggio. Quindi: Il 11/05/26 10:24, Giacomo Tesio ha scritto: > Ti chiederei quindi di indicarmi quale passaggio abbia prodotto nella > tua mente un'informazione in contrasto con il "pilastro epistemologico" che hai > descritto in modo che io possa chiarirlo ulteriormente (se ancora necessario). La risposta, come spero sia ora chiaro, è "nessuno". Il problema stava nell'altro argomento. >>> Non rileva molto, in realtà, che tali informazioni siano o meno >>> derivate da esperienze sensibili (non concordo particolarmente con >>> Enrico sulla rilevanza dell'esperienza corporea nel contesto delle >>> "intelligenze artificiali", anche perché non è difficile collegare a >>> questi software sensori e attuatori). > > Pur concordando con ciò che scrivi descrivendo il "pilastro ontologico", > non lo ritengo affatto un pilastro della critica alla favola della "intelligenza artificiale". La mia sopravvalutazione è probabilmente dovuta al fatto che ciò che mi tiene sveglio la notte, in questi giorni: l'idea delle "macchine per insegnare" (cfr. Audrey Watters, 2021) che si apprestano a sbarcare tipo truppe cammellate nella scuola italiana grazie all'instancabile lavoro dei mille dipartimenti marketing di Big Tech: dal M.I.M. a INDIRE e INVALSI (vedi come le emozioni possono deviare il fiume tranquillo della mente: sono vivo e, quindi, situato). Credo che la risposta più interessante per un educatore è che le macchine per insegnare (a sostituzione o pure in affiancamento) al docente sono incompatibili con l'idea che il sapere sia una costruzione collettiva, in quanto figlie dell'addestramento via condizionamento operante (uno dei tanti sogni bislacchi di Skinner). Sono figlie di un comportamentismo radicale. Per questo, secondo me, la "linea di difesa" migliore, dentro la scuola, è costruire una barricata attorno alle pedagogie attive e situate, di cui mi occupo. > Lo considero al più un puntello malfermo che, in assenza di fondamenta più > solide (quali ad esempio la definizione di informazione come esperienza > soggettiva di pensiero comunicabile, la sua distinzione dal dato quale > rappresentazione interpretabile impressa su ub supporto trasferibile, etc), > viene proposta da intellettuali ben intenzionati nella speranza di sostenere > l'umanità dall'attacco che sta subendo. Perdonami, avrei dovuto essere più chiaro sul fatto che condivido totalmente la definizione di informazione come esperienza soggettiva. Ma ti faccio osservare che è un altro modo di dire che l'informazione (come la conoscenza) è situata. Non basta avere una mente, ci va un corpo. Anche solo perché il "punto di vista" cognitivo-emotivo di un essere umano emerge dall'interezza del corpo fisico e non solo dal cervello. Sfido chiunque a ragionar di unicorni kantiani con un bell'ascesso in atto, per dire. > Per la semplice ragione che un sistema complesso non è computabile, mentre > l'output di quell'ipotetico mega data center lo è (tanto da essere computato). > Per argomentare che quel software esibisce intelligenza, bisognerebbe > sostenere che la realtà stessa non è un sistema complesso ed è dunque essa stessa computabile. > Perché è la realtà ad aver esibito i comportamenti emergenti che noi > umani classifichiamo come vita ed intelligenza. > > Ipotesi che al momento la meccanica quantistica esclude. Ti confesso che su questo punto mi son perso. Non capisco il nesso tra MQ (e temo che qui c'entri l'interpretazione di Copenaghen poi ti dirò perché scrivo 'temo') e l'ipotesi di computabilità del mondo. Forse perché la computabilità poggia su un principio di realismo forte? Se il nostro problema è quello non è necessario rivolgersi a Copenaghen, basta anche l'ipotesi di Accardi [1]: se le particelle si comportassero come camaleonti non sarebbe necessario rinunciare a un principio di realtà forte per accordarsi con le osservazioni sperimentali, basterebbe concedere che la dicotomia soggetto osservante - oggetto osservato cade nell'infinitamente piccolo, rendendo così l'eventuale "realtà forte" inaccessibile, ma non necessariamente inesistente. Stefano [1] Accardi, Urne e Camaleonti, Il Saggiatore, 1997

May 15, 2026

← Newer
1
2
3
4
5
6
7
8
...
18
Older →

Jump to page: