Grazie della lezione sul peso delle opinioni. 

Magari se riportavi anche il finale del tuo messaggio, si capiva quale era “il peso” delle tue:

Perché in questo caso invece che GPT-4 chiamiamolo HAL9000 e siamo a posto!

Perdonate la brutalità, è giusto per essere chiari.     Marco


— Beppe

On 13 Apr 2023, at 16:45, Marco A. Calamari <marcoc_maillist@marcoc.it> wrote:

On gio, 2023-04-13 at 16:26 +0200, Giuseppe Attardi wrote:
Se vuoi saperne di più sulle capacità emergenti, ne parla Giorgio Parisi, citando l’affermazione “More is Different” di Philip Warren Anderson (premio Nobel nel 1977), oppure, nel caso dei LLM, puoi leggere i lavori di Jason Wei: Emergent Abilities of Large Language Models https://openreview.net/pdf?id=yzkSU5zdwD

Poi se vuoi fare scadere una conversazione seria, che cita lavori di due premi nobel, in chiacchiere da bar, fai pure.

No, conoscendo bene il lavoro di Parisi, volevo solo essere sicuro di aver capito bene il tuo pensiero.

Non avevo mai preso in considerazione questo aspetto, anche se lo ritengo certamente impossibile.

Grazie dell'interessante  suggerimento e della conferma.  

Marco

P.S.:
Non era mia intenzione scendere al livello del bar, ma solo capire una frase abbastanza complessa che avevi scritto.
Se voglio sapere cosa pensa un premio Nobel, mi vado a leggere i testi. 
Citare i Nobel non conferisce automaticamente peso ad un'opinione.

— Beppe

On 12 Apr 2023, at 17:33, Marco A. Calamari <marcoc_maillist@marcoc.it> wrote:

On mer, 2023-04-12 at 14:15 +0200, Giuseppe Attardi wrote:

On 11 Apr 2023, at 20:34, Antonio Casilli <antonio.casilli@telecom-paris.fr> wrote:

PS. I LLM sono tutt’altro che Stochastic Parrots: ripetere a pappagallo i testi da cui sono stati allenati è proprio ciò che non sanno fare. 

Beppe, "stochastic parrot" non è questo.
Timnit Gebru et al. ne parlano nel senso di un dispositivo che "haphazardly stitch[es] together sequences of linguistic forms (...), according to probabilistic information about how they combine, but without any reference to meaning". L'accento è sullo "stochastic". 

Ma non è questo quello che fanno i LLM della serie GPT: non attaccano affatto insieme “sequenze di forme linguistiche”. Questo riprodurrebbe appunto pezzi di frasi a pappagallo.
Invece il loro meccanismo di base è quello del calcolo della distribuzione di probabilità della prossima parola a seguire in una sequenza.

Come spiega Giorgio Parisi nel suo libro In un volo di storni, il funzionamento di un sistema complesso è il risultato dell’applicazione su larga scala di semplici leggi probabilistiche.
I Large Language Models come GPT-3 fanno appunto questo: sono stati allenati a stimare una distribuzione di probabilità. Da questa capacità usata su larga scala (miliardi di parametri a rappresentare connessioni tra neuroni) emergono, altre capacità, apparentemente scollegate, come quella di rispondere a domande, riassumere testi, tradurre, scrivere codice, generare immagini, compiere semplici ragionamenti, ecc.

Il risultato più che altro esula dalla nostra capacità di “comprensione" e tendiamo a concludere che non hanno capacità di “comprensione”, anche se sono in grado di superare molti dei test che sono stati sviluppati proprio per valutare la capacità di “comprensione" umana.
Se dicessero sempre sciocchezze, dovremmo solo farci una risata: in realtà le risposte sono quasi sempre plausibili, e quindi coerenti col “meaning”, anche se a volte inesatte.

Scusa Giuseppe, ma hai usato la parola "emergono".

Mi sembra di aver capito che intendi dire che GPT è diventato abbastanza complesso da manifestare, una proprietà "emergente", non prevista dal suo progetto.
Dei comportamenti imprevisti che lo stanno portando ad essere, almeno statisticamente, in grado di "capire" la domanda e fornire la "risposta corretta", se la conosce?

Perché in questo caso invece che GPT-4 chiamiamolo HAL9000 e siamo a posto!

Perdonate la brutalità, è giusto per essere chiari.     Marco

— Beppe


C'è anche un altro senso sviluppato nell'articolo: gli LLMs sono dei pappagalli stocastici perché reiterano visioni del mondo egemoniche.




From: Enrico Nardelli <nardelli@mat.uniroma2.it> 



Subject: [nexa] Statement from the listed authors of Stochastic 
Parrots on the “AI pause” letter 
Content-Type: text/plain; charset="utf-8"; Format="flowed" 

(mi pare non sia passato in lista) 


Statement from the listed authors of Stochastic Parrots on the “AI pause” letter 

Timnit Gebru (DAIR), Emily M. Bender (University of Washington), Angelina McMillan-Major (University of Washington), Margaret Mitchell (Hugging Face) 

March 31, 2023 

/Tl;dr: The harms from so-called AI are real and present and follow from the acts of people and corporations deploying automated systems. Regulatory efforts should focus on transparency, accountability and preventing exploitative labor practices./