On 11 Apr 2023, at 20:34, Antonio Casilli <antonio.casilli@telecom-paris.fr> wrote:
PS. I LLM sono tutt’altro che Stochastic Parrots: ripetere a pappagallo i testi da cui sono stati allenati è proprio ciò che non sanno fare.
Beppe, "stochastic parrot" non è questo. Timnit Gebru et al. ne parlano nel senso di un dispositivo che "haphazardly stitch[es] together sequences of linguistic forms (...), according to probabilistic information about how they combine, but without any reference to meaning". L'accento è sullo "stochastic".
Ma non è questo quello che fanno i LLM della serie GPT: non attaccano affatto insieme “sequenze di forme linguistiche”. Questo riprodurrebbe appunto pezzi di frasi a pappagallo. Invece il loro meccanismo di base è quello del calcolo della distribuzione di probabilità della prossima parola a seguire in una sequenza. Come spiega Giorgio Parisi nel suo libro In un volo di storni, il funzionamento di un sistema complesso è il risultato dell’applicazione su larga scala di semplici leggi probabilistiche. I Large Language Models come GPT-3 fanno appunto questo: sono stati allenati a stimare una distribuzione di probabilità. Da questa capacità usata su larga scala (miliardi di parametri a rappresentare connessioni tra neuroni) emergono, altre capacità, apparentemente scollegate, come quella di rispondere a domande, riassumere testi, tradurre, scrivere codice, generare immagini, compiere semplici ragionamenti, ecc. Il risultato più che altro esula dalla nostra capacità di “comprensione" e tendiamo a concludere che non hanno capacità di “comprensione”, anche se sono in grado di superare molti dei test che sono stati sviluppati proprio per valutare la capacità di “comprensione" umana. Se dicessero sempre sciocchezze, dovremmo solo farci una risata: in realtà le risposte sono quasi sempre plausibili, e quindi coerenti col “meaning”, anche se a volte inesatte. — Beppe
C'è anche un altro senso sviluppato nell'articolo: gli LLMs sono dei pappagalli stocastici perché reiterano visioni del mondo egemoniche.
From: Enrico Nardelli <nardelli@mat.uniroma2.it>
To: Nexa <nexa@server-nexa.polito.it> Subject: [nexa] Statement from the listed authors of Stochastic Parrots on the “AI pause” letter Message-ID: <22c6ff05-a037-f3de-68c0-83548bc4a122@mat.uniroma2.it> Content-Type: text/plain; charset="utf-8"; Format="flowed"
(mi pare non sia passato in lista)
Statement from the listed authors of Stochastic Parrots on the “AI pause” letter
Timnit Gebru (DAIR), Emily M. Bender (University of Washington), Angelina McMillan-Major (University of Washington), Margaret Mitchell (Hugging Face)
March 31, 2023
/Tl;dr: The harms from so-called AI are real and present and follow from the acts of people and corporations deploying automated systems. Regulatory efforts should focus on transparency, accountability and preventing exploitative labor practices./
[ https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834240793464... | https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834240793464... ]
/
--
-- EN
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834240793464...