Ritengo doveroso articolare una riflessione.

Il post della Bender 
    https://medium.com/@emilymenonbender/stochastic-parrots-frequently-unasked-questions-49c2e7d22d11
dice:
    in Bender and Koller 2020 ... we provide a definition of understanding as mapping from language to something outside of language, and show that systems built only with linguistic form have no purchase with which to encode (“learn”) such a mapping.

Ovvero: Definiamo comprensione come una corrispondenza tra linguaggio e qualcosa fuori il linguaggio. Un sistema addestrato solo sulle forme linguistiche non ha modo di codificare questa corrispondenza.

Dopo di che dice:
    Stochastic parrots was coined to refer to language models, i.e. systems trained only on linguistic form used to mimic the kinds of sequences of linguistic form that people use.

Ovvero: Il termine "pappagalli stocastici" si riferiva ai sistemi addestrati sulle forme linguistiche che imitano quelle che usano le persone.

E poi dice ancora, e qui c'è l'espressione che si pensa scardini tutto:
    It is true that image/text models, for example, that can be used to map from linguistic strings to images or vice versa, can be argued to meet the definition of understanding in Bender & Koller 2020, albeit in an extremely thin way.

Ovvero: si può sostenere che un modello misto con testo e immagini, che mette in corrispondenza testi con immagini o viceversa, risponda alla nostra definizione di comprensione, anche se in un modo estremamente sottile.

E poi continua:
    When we look at the text in an image/text model, we make sense of it in a way that is rich and socially situated and we must not project that onto the model if we want to keep a clear-eyed view of how such models actually function (and in what circumstances we should be willing to use them).

Ovvero: quando noi guardiamo il testo di un modello misto con testo e immagini, lo comprendiamo in modo ricco e socialmente situato, che non deve essere proiettato sul modello, se vogliamo mantenere una visione chiara su come il modello funziona effettivamente

E infine:
    Even if there is some thin kind of technical “understanding” in e.g. a text/image model, the fact that it’s using our language at all will send misleading signals about what is actually going on, so long as we relate to language as we always do (and I don’t see how we can avoid doing so).

Ovvero: anche se c'è una esile forma di "comprensione" in senso tecnico in un modello misto con testo e immagini, il semplice fatto che usi il nostro linguaggio ci manda segnali fuorvianti  su ciò che sta accadendo, finché noi ci relazioniamo al linguaggio come sempre facciamo (e non vedo come potremmo fare diversamente)

Ecco, leggendo questi passi tutti insieme e non estraendo solo la frase "risponde alla nostra definizione di comprensione", si capisce che l'accoppiamento fra testo e immagine rientra da un punto di vista sintattico (in an estremely thin way - direi per un capello) nella definizione tecnica di comprensione della Bender, ma non è la comprensione umana. Notate che dice che siamo NOI che lo comprendiamo (we make a sense of it) sulla base della nostra esperienza. Infatti, questo "qualcosa fuori il linguaggio" della definizione è l'intento comunicativo del parlante, che è basato sul mondo reale che parlante e ascoltatore condividono (the communicative intent is grounded in the real world the speaker and listener inhabit together). 

Se si legge con attenzione l'articolo di Bender & Koller del 2020 citato nel post della Bender (https://www.aclweb.org/anthology/2020.acl-main.463/ - cosa che vi invito a fare, è abbastanza accessibile) tutto questo è molto chiaro, così come la tesi principale di quell'articolo, che rimane interamente salda e non scalfita.
    We argue that the language modeling task, because it only uses form as training data, cannot in principle lead to learning of meaning. ... We take (linguistic) meaning to be the relation between a linguistic form and communicative intent.

Certo, uno può leggere nel recente post della Bender quello che vuole, ma argomentare trionfanti che "è una retromarcia bella grossa" mi sembra esagerato.

Questo non vuol ovviamente dire che progressi nella ricerca e nelle architetture dei sistemi di IA non potranno darci in futuro una qualche forma di comprensione, che con le attuali architetture non c'è.

Ciao, Enrico

Riporto qui un post di Alberto Puliafito, pubblicato su Facebook::

https://www.facebook.com/share/p/18kiudNQqK/

_______________

🦜🤖 Ci sono molte cose interessanti nelle precisazioni di Emily Bender sui pappagalli stocastici. Queste precisazioni, finalmente, potrebbero aiutarci a depurare il dibattito e a concentrarci sulla parte del lavoro di Bender che è davvero importante: lo studio e la critica dei rapporti di potere dentro l'industria delle intelligenze artificiali.

Ma andiamo con ordine. 

La prima cosa interessante è il fatto stesso che ci sia stato il bisogno, cinque anni dopo la pubblicazione di "On the Dangers of Stochastic Parrots", di fare delle precisazioni. 

La seconda è il chiarimento sul fatto che "pappagalli stocastici" è solo una metafora e non un'ipotesi empirica. 

La terza è il fatto che secondo Bender "pappagalli stocastici" non dovrebbe essere usato come "insulto" nei confronti della tecnologia. Suo malgrado, però, è quel che è stato fatto.

La quarta e più importante, per me, è questo passaggio qui sulla comprensione: "It is true that image/text models, for example, that can be used to map from linguistic strings to images or vice versa, can be argued to meet the definition of understanding in Bender & Koller 2020 — albeit in an extremely thin way".

Si può provare a sostenere che questa non sia una retromarcia. Ma è una retromarcia bella grossa, per quanto manovrata con delicatezza e ottima arte retorica. Nel 2020, nel 2021 e fino al 2024 almeno, Bender affermava  che non si potesse parlare di "understanding" da parte dei modelli secondo la sua stessa definizione. Adesso, invece, c'è uno spiraglio. E uno spiraglio è diverso da "non c'è understanding". Molto diverso.

Da qui in avanti mi aspetto una serie di lente ma inesorabili operazioni di riposizionamento da parte di molte persone che hanno usato – impropriamente, come dice oggi Bender stessa, finalmente – la metafora dei pappagalli stocastici per sminuire i large language model. 

Ovviamente gli errori e i danni fatti dai detrattori e dai minimizzatori non verrano mai riconosciuti come tali, ma questo è comunque un punto di non ritorno sia per i critici a priori di queste tecnologie sia per chi ha usato i pappagalli per costruirsi un posizionamento personale. 

La metafora – non ipotesi empirica – dei pappagalli stocastici, per quanto affascinante, era già riduttiva quando è stata proposta. In questi cinque anni lo è diventata sempre di più ma nel frattempo è diventata addirittura identitaria, ingombrando il dibattito e portandolo completamente fuori fuoco.

Adesso che quella metafora perde i pezzi, resta, appunto, la parte del lavoro di Bender che era la più utile fin dall’inizio: la critica al potere.

Link: 

1) Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data (Emily M. Bender, Alexander Koller, 2020) https://aclanthology.org/2020.acl-main.463/

2) On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜 (Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell, 2021 https://dl.acm.org/doi/10.1145/3442188.3445922 )

3) Stochastic Parrots 🦜: Frequently Unasked Questions (Emily M. Bender, https://medium.com/@emilymenonbender/stochastic-parrots-frequently-unasked-questions-49c2e7d22d11 )

4) Video, Chatbot Critics: Chatbots as Stochastic Parrots, Emily M. Bender  https://www.youtube.com/watch?v=f4OZ7B2iP_E

--

-- EN

https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html
======================================================
Prof. Enrico Nardelli
Presidente di "Informatics Europe"
Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI
Dipartimento di Matematica - Università di Roma "Tor Vergata"
Via della Ricerca Scientifica snc - 00133 Roma
home page: https://www . mat . uniroma2 . it/~nardelli
blog: https://link-and-think.blogspot.it/
tel: +39 06 7259.4204 fax: +39 06 7259.4699
mobile: +39 335 590.2331 e-mail: nardelli@mat . uniroma2 . it
online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont
======================================================================================================
--