On 12 Oct 2023, at 12:00, <nexa-request@server-nexa.polito.it> <nexa-request@server-nexa.polito.it> wrote:

From: "M. Fioretti" <mfioretti@nexaima.net <mailto:mfioretti@nexaima.net>> To: nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> Subject: Re: [nexa] IA, lavoro, immaginari Message-ID: <ZSe3bmA66wUNz5Zr@nexaima.net <mailto:ZSe3bmA66wUNz5Zr@nexaima.net>> Content-Type: text/plain; charset=utf-8

On Thu, Oct 12, 2023 10:26:32 AM +0200, Giuseppe Attardi wrote:

...

il termine spregiativo di “stochastic parrot” che è stato affibbiato ai LLM da Timnit Gebru e colleghi. L’articolo è molto controverso ed è costato a Gebru il posto a Google. Nell’articolo si sostiene che:

An LM is a system for haphazardly stitching together sequences of linguistic forms it has observed in its vast training data, according to probabilistic information about how they combine, but without any reference to meaning: a stochastic parrot.

Questa affermazione è superficiale e inesatta, perché non tiene conto di alcune cose:

1. Alla base dei LLMs ci sono i word embedding, un modo per assegnare un significato alle parole, un problema che ha eluso la filosofia e la linguistica per due millenni e che il Deep Learning ha risolto. Questo è quanto afferma Hinton in proposito: “Many people who think it’s just statistics are thinking in terms of program models or counting the co-occurrence frequencies of words. We think this process of creating features of the embeddings and then interactions between features is actually understanding. Once you’ve taken the raw data of symbol strings and you can now predict the next symbol not by things like trigrams, but the huge number of features interacting in very complicated way to predict the features of the next word and from that make a prediction about the probability of the next word, the point is that is understanding, at least I believe that is understanding. I believe that is what our brains are doing. But that’s an issue to be discussed by the research community and it would be great if we could convince people that they are not just stochastic parrots.”

questa cosa mi confonde un po': a chi/a chi sta parlando Hinton? È tratto da una conversazione con Andrew Ng, che si dichiara d’accordo.

Perche' le critiche a certi discorsi vengono da quelli che non hanno alcun bisogno di essere convinti di non essere semplici pappagalli, ma sono LORO a dire di essere molto di piu'. A dire che il cervello umano e' solo un'altra macchina sono altri. E dimostrare che gli esseri umani non sono pappagalli stocastici mica esclude che lo siano gli LLM.

Ambiguità della lingua: “they” in “they are not just stochastic parrots” non si riferisce a “people”, ma ai LLM. — Beppe

Sicuramente questo sara' piu' chiaro nel dibattito. Ne sara' disponibile una trascrizione?

Grazie, Marco -- https://mfioretti.substack.com <https://mfioretti.substack.com/>