PS. I LLM sono tutt’altro che Stochastic Parrots: ripetere a pappagallo i testi da cui sono stati allenati è proprio ciò che non sanno fare.
Beppe, "stochastic parrot" non è questo.
Timnit Gebru et al. ne parlano nel senso di un dispositivo che "haphazardly stitch[es] together sequences of linguistic forms (...), according to probabilistic information about how they combine, but without any reference to meaning". L'accento è sullo "stochastic".
Ma non è questo quello che fanno i LLM della serie GPT: non attaccano affatto insieme “sequenze di forme linguistiche”. Questo riprodurrebbe appunto pezzi di frasi a pappagallo.
Invece il loro meccanismo di base è quello del calcolo della distribuzione di probabilità della prossima parola a seguire in una sequenza.
Come spiega Giorgio Parisi nel suo libro In un volo di storni, il funzionamento di un sistema complesso è il risultato dell’applicazione su larga scala di semplici leggi probabilistiche.
I Large Language Models come GPT-3 fanno appunto questo: sono stati allenati a stimare una distribuzione di probabilità. Da questa capacità usata su larga scala (miliardi di parametri a rappresentare connessioni tra neuroni) emergono, altre capacità, apparentemente scollegate, come quella di rispondere a domande, riassumere testi, tradurre, scrivere codice, generare immagini, compiere semplici ragionamenti, ecc.
Il risultato più che altro esula dalla nostra capacità di “comprensione" e tendiamo a concludere che non hanno capacità di “comprensione”, anche se sono in grado di superare molti dei test che sono stati sviluppati proprio per valutare la capacità di “comprensione" umana.
Se dicessero sempre sciocchezze, dovremmo solo farci una risata: in realtà le risposte sono quasi sempre plausibili, e quindi coerenti col “meaning”, anche se a volte inesatte.
Scusa Giuseppe, ma hai usato la parola "emergono".
Mi sembra di aver capito che intendi dire che GPT è diventato abbastanza complesso da manifestare, una proprietà "emergente", non prevista dal suo progetto.
Dei comportamenti imprevisti che lo stanno portando ad essere, almeno statisticamente, in grado di "capire" la domanda e fornire la "risposta corretta", se la conosce?
Perdonate la brutalità, è giusto per essere chiari. Marco