On 12 Oct 2023, at 12:00, <nexa-request@server-nexa.polito.it> <nexa-request@server-nexa.polito.it> wrote:

From: "M. Fioretti" <mfioretti@nexaima.net>
To: nexa@server-nexa.polito.it
Subject: Re: [nexa] IA, lavoro, immaginari
Message-ID: <ZSe3bmA66wUNz5Zr@nexaima.net>
Content-Type: text/plain; charset=utf-8

On Thu, Oct 12, 2023 10:26:32 AM +0200, Giuseppe Attardi wrote:

il termine spregiativo di “stochastic parrot” che è stato affibbiato
ai LLM da Timnit Gebru e colleghi. L’articolo è molto controverso ed
è costato a Gebru il posto a Google. Nell’articolo si sostiene che:

An LM is a system for haphazardly stitching together sequences of linguistic
forms it has observed in its vast training data, according to probabilistic
information about how they combine, but without any reference to meaning: a
stochastic parrot.

Questa affermazione è superficiale e inesatta, perché non tiene conto di alcune
cose:

1. Alla base dei LLMs ci sono i word embedding, un modo per assegnare un
significato alle parole, un problema che ha eluso la filosofia e la linguistica
per due millenni e che il Deep Learning ha risolto. Questo è quanto afferma
Hinton in proposito:
“Many people who think it’s just statistics are thinking in terms of program
models or counting the co-occurrence frequencies of words. We think this
process of creating features of the embeddings and then interactions between
features is actually understanding. Once you’ve taken the raw data of symbol
strings and you can now predict the next symbol not by things like trigrams,
but the huge number of features interacting in very complicated way to predict
the features of the next word and from that make a prediction about the
probability of the next word, the point is that is understanding, at least I
believe that is understanding. I believe that is what our brains are doing. But
that’s an issue to be discussed by the research community and it would be great
if we could convince people that they are not just stochastic parrots.”

questa cosa mi confonde un po': a chi/a chi sta parlando Hinton?

È tratto da una conversazione con Andrew Ng, che si dichiara d’accordo.

Perche' le critiche a certi discorsi vengono da quelli che non hanno
alcun bisogno di essere convinti di non essere semplici pappagalli, ma
sono LORO a dire di essere molto di piu'. A dire che il cervello umano
e' solo un'altra macchina sono altri. E dimostrare che gli esseri
umani non sono pappagalli stocastici mica esclude che lo siano gli
LLM.

Ambiguità della lingua: “they” in “they are not just stochastic parrots” non si riferisce a “people”, ma ai LLM.