Re: [nexa] Statement from the listed authors of Stochastic Parrots on the “AI pause” letter
PS. I LLM sono tutt’altro che Stochastic Parrots: ripetere a pappagallo i testi da cui sono stati allenati è proprio ciò che non sanno fare.
Beppe, "stochastic parrot" non è questo. Timnit Gebru et al. ne parlano nel senso di un dispositivo che "haphazardly stitch[es] together sequences of linguistic forms (...), according to probabilistic information about how they combine, but without any reference to meaning". L'accento è sullo "stochastic". C'è anche un altro senso sviluppato nell'articolo: gli LLMs sono dei pappagalli stocastici perché reiterano visioni del mondo egemoniche. From: Enrico Nardelli <nardelli@mat.uniroma2.it> To: Nexa <nexa@server-nexa.polito.it> Subject: [nexa] Statement from the listed authors of Stochastic Parrots on the “AI pause” letter Message-ID: <22c6ff05-a037-f3de-68c0-83548bc4a122@mat.uniroma2.it> Content-Type: text/plain; charset="utf-8"; Format="flowed" (mi pare non sia passato in lista) Statement from the listed authors of Stochastic Parrots on the “AI pause” letter Timnit Gebru (DAIR), Emily M. Bender (University of Washington), Angelina McMillan-Major (University of Washington), Margaret Mitchell (Hugging Face) March 31, 2023 /Tl;dr: The harms from so-called AI are real and present and follow from the acts of people and corporations deploying automated systems. Regulatory efforts should focus on transparency, accountability and preventing exploitative labor practices./ [ https://www.dair-institute.org/blog/letter-statement-March2023/ | https://www.dair-institute.org/blog/letter-statement-March2023/ ] / -- -- EN _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Poco prima dell'articolo sui pappagalli stocastici, in un contributo su GPT-3, Regina Rini ha usato l'espressione "all-electronic statistical parrot", insieme ad altre che non hanno avuto un seguito ("prolix digital fluidities", "linguo-statistical firehose") e a qualche riflessione che resta attuale: "what does it mean that other people online can’t distinguish you from a linguo-statistical firehose?" (ho intravisto oggi notizie di applicazioni per riconoscere la "humanness") The Digital Zeitgeist Ponders Our Obsolescence by Regina Rini GPT-3’s output is still a mix of the unnervingly coherent and laughably mindless, but we are clearly another step closer to categorical trouble. Once some loquacious descendant of GPT-3 churns out reliably convincing prose, we will reprise a rusty dichotomy from the early days of computing: Is it an emergent digital selfhood or an overhyped answering machine? But that frame omits something important about how GPT-3 and other modern machine learners work. GPT-3 is not a mind, but it is also not entirely a machine. It’s something else: a statistically abstracted representation of the contents of millions of minds, as expressed in their writing. Its prose spurts from an inductive funnel that takes in vast quantities of human internet chatter: Reddit posts, Wikipedia articles, news stories. When GPT-3 speaks, it is only us speaking, a refracted parsing of the likeliest semantic paths trodden by human expression. When you send query text to GPT-3, you aren’t communing with a unique digital soul. But you are coming as close as anyone ever has to literally speaking to the zeitgeist. And that’s fun for now, even fleetingly sublime. But it will soon become mundane, and then perhaps threatening. Because we can’t be too far from the day when GPT-3’s commercialized offspring begin to swarm our digital discourse. Today’s Twitter bots and customer service autochats are primitive harbingers of conversational simulacra that will be useful, and then ubiquitous, precisely because they deploy their statistical magic to blend in among real online humans. It won’t really matter whether these prolix digital fluidities could pass an unrestricted Turing Test, because our daily interactions with them will be just like our daily interactions with most online humans: brief, task-specific, transactional. So long as we get what we came for—directions to the dispensary, an arousing flame war, some freshly dank memes—then we won’t bother testing whether our interlocutor is a fellow human or an all-electronic statistical parrot. That’s the shape of things to come. GPT-3 feasts on the corpus of online discourse and converts its carrion calories into birds of our feather. Some time from now—decades? years?—we’ll simply have come to accept that the tweets and chirps of our internet flock are an indistinguishable mélange of human originals and statistically confected echoes, just as we’ve come to accept that anyone can place a thin wedge of glass and cobalt to their ear and instantly speak across the planet. It’s marvelous. Then it’s mundane. And then it’s melancholy. Because eventually we will turn the interaction around and ask: what does it mean that other people online can’t distinguish you from a linguo-statistical firehose? What will it feel like—alienating? liberating? annihilating?—to realize that other minds are reading your words without knowing or caring whether there is any ‘you’ at all? Meanwhile the machine will go on learning, even as our inchoate techno-existential qualms fall within its training data, and even as the bots themselves begin echoing our worries back to us, and forward into the next deluge of training data. Of course, their influence won’t fall only on our technological ruminations. As synthesized opinions populate social media feeds, our own intuitive induction will draw them into our sense of public opinion. Eventually we will come to take this influence as given, just as we’ve come to self-adjust to opinion polls and Overton windows. Will expressing your views on public issues seem anything more than empty and cynical, once you’ve accepted it’s all just input to endlessly recursive semantic cannibalism? I have no idea. But if enough of us write thinkpieces about it, then GPT-4 will surely have some convincing answers. https://dailynous.com/2020/07/30/philosophers-gpt-3/#rini ________________________________ Da: nexa <nexa-bounces@server-nexa.polito.it> per conto di Antonio Casilli <antonio.casilli@telecom-paris.fr> Inviato: martedì 11 aprile 2023 20:34 A: Giuseppe Attardi Cc: nexa Oggetto: Re: [nexa] Statement from the listed authors of Stochastic Parrots on the “AI pause” letter
PS. I LLM sono tutt’altro che Stochastic Parrots: ripetere a pappagallo i testi da cui sono stati allenati è proprio ciò che non sanno fare.
Beppe, "stochastic parrot" non è questo. Timnit Gebru et al. ne parlano nel senso di un dispositivo che "haphazardly stitch[es] together sequences of linguistic forms (...), according to probabilistic information about how they combine, but without any reference to meaning". L'accento è sullo "stochastic". C'è anche un altro senso sviluppato nell'articolo: gli LLMs sono dei pappagalli stocastici perché reiterano visioni del mondo egemoniche. From: Enrico Nardelli <nardelli@mat.uniroma2.it> To: Nexa <nexa@server-nexa.polito.it> Subject: [nexa] Statement from the listed authors of Stochastic Parrots on the “AI pause” letter Message-ID: <22c6ff05-a037-f3de-68c0-83548bc4a122@mat.uniroma2.it> Content-Type: text/plain; charset="utf-8"; Format="flowed" (mi pare non sia passato in lista) Statement from the listed authors of Stochastic Parrots on the “AI pause” letter Timnit Gebru (DAIR), Emily M. Bender (University of Washington), Angelina McMillan-Major (University of Washington), Margaret Mitchell (Hugging Face) March 31, 2023 /Tl;dr: The harms from so-called AI are real and present and follow from the acts of people and corporations deploying automated systems. Regulatory efforts should focus on transparency, accountability and preventing exploitative labor practices./ [ https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834321002013... | https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834321002013... ] / -- -- EN _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834321002013... _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834321002013...
Grazie Daniela, molto interessante. Questo si contrappone all’affermazione di Emily Bender cf. questo suo tweet: https://twitter.com/emilymbender/status/1578829544303521797?s=46&t=S_Cb_qgOz... -----Original Message----- From: Daniela <daniela.tafani@unipi.it> To: Antonio <antonio.casilli@telecom-paris.fr>; Giuseppe <giuseppe.attardi@unipi.it> Cc: nexa <nexa@server-nexa.polito.it> Date: Tuesday, 11 April 2023 9:24 PM CEST Subject: Re: Statement from the listed authors of Stochastic Parrots on the “AI pause” letter Poco prima dell'articolo sui pappagalli stocastici, in un contributo su GPT-3, Regina Rini ha usato l'espressione "all-electronic statistical parrot", insieme ad altre che non hanno avuto un seguito ("prolix digital fluidities", "linguo-statistical firehose") e a qualche riflessione che resta attuale: "what does it mean that other people online can’t distinguish you from a linguo-statistical firehose?" (ho intravisto oggi notizie di applicazioni per riconoscere la "humanness") The Digital Zeitgeist Ponders Our Obsolescence by Regina Rini GPT-3’s output is still a mix of the unnervingly coherent and laughably mindless, but we are clearly another step closer to categorical trouble. Once some loquacious descendant of GPT-3 churns out reliably convincing prose, we will reprise a rusty dichotomy from the early days of computing: Is it an emergent digital selfhood or an overhyped answering machine? But that frame omits something important about how GPT-3 and other modern machine learners work. GPT-3 is not a mind, but it is also not entirely a machine. It’s something else: a statistically abstracted representation of the contents of millions of minds, as expressed in their writing. Its prose spurts from an inductive funnel that takes in vast quantities of human internet chatter: Reddit posts, Wikipedia articles, news stories. When GPT-3 speaks, it is only us speaking, a refracted parsing of the likeliest semantic paths trodden by human expression. When you send query text to GPT-3, you aren’t communing with a unique digital soul. But you are coming as close as anyone ever has to literally speaking to the zeitgeist. And that’s fun for now, even fleetingly sublime. But it will soon become mundane, and then perhaps threatening. Because we can’t be too far from the day when GPT-3’s commercialized offspring begin to swarm our digital discourse. Today’s Twitter bots and customer service autochats are primitive harbingers of conversational simulacra that will be useful, and then ubiquitous, precisely because they deploy their statistical magic to blend in among real online humans. It won’t really matter whether these prolix digital fluidities could pass an unrestricted Turing Test, because our daily interactions with them will be just like our daily interactions with most online humans: brief, task-specific, transactional. So long as we get what we came for—directions to the dispensary, an arousing flame war, some freshly dank memes—then we won’t bother testing whether our interlocutor is a fellow human or an all-electronic statistical parrot. That’s the shape of things to come. GPT-3 feasts on the corpus of online discourse and converts its carrion calories into birds of our feather. Some time from now—decades? years?—we’ll simply have come to accept that the tweets and chirps of our internet flock are an indistinguishable mélange of human originals and statistically confected echoes, just as we’ve come to accept that anyone can place a thin wedge of glass and cobalt to their ear and instantly speak across the planet. It’s marvelous. Then it’s mundane. And then it’s melancholy. Because eventually we will turn the interaction around and ask: what does it mean that other people online can’t distinguish you from a linguo-statistical firehose? What will it feel like—alienating? liberating? annihilating?—to realize that other minds are reading your words without knowing or caring whether there is any ‘you’ at all? Meanwhile the machine will go on learning, even as our inchoate techno-existential qualms fall within its training data, and even as the bots themselves begin echoing our worries back to us, and forward into the next deluge of training data. Of course, their influence won’t fall only on our technological ruminations. As synthesized opinions populate social media feeds, our own intuitive induction will draw them into our sense of public opinion. Eventually we will come to take this influence as given, just as we’ve come to self-adjust to opinion polls and Overton windows. Will expressing your views on public issues seem anything more than empty and cynical, once you’ve accepted it’s all just input to endlessly recursive semantic cannibalism? I have no idea. But if enough of us write thinkpieces about it, then GPT-4 will surely have some convincing answers. https://dailynous.com/2020/07/30/philosophers-gpt-3/#rini Da: nexa <nexa-bounces@server-nexa.polito.it> per conto di Antonio Casilli <antonio.casilli@telecom-paris.fr> Inviato: martedì 11 aprile 2023 20:34 A: Giuseppe Attardi Cc: nexa Oggetto: Re: [nexa] Statement from the listed authors of Stochastic Parrots on the “AI pause” letter
PS. I LLM sono tutt’altro che Stochastic Parrots: ripetere a pappagallo i testi da cui sono stati allenati è proprio ciò che non sanno fare.
Beppe, "stochastic parrot" non è questo. Timnit Gebru et al. ne parlano nel senso di un dispositivo che "haphazardly stitch[es] together sequences of linguistic forms (...), according to probabilistic information about how they combine, but without any reference to meaning". L'accento è sullo "stochastic". C'è anche un altro senso sviluppato nell'articolo: gli LLMs sono dei pappagalli stocastici perché reiterano visioni del mondo egemoniche. From: Enrico Nardelli <nardelli@mat.uniroma2.it> To: Nexa <nexa@server-nexa.polito.it> Subject: [nexa] Statement from the listed authors of Stochastic Parrots on the “AI pause” letter Message-ID: <22c6ff05-a037-f3de-68c0-83548bc4a122@mat.uniroma2.it> Content-Type: text/plain; charset="utf-8"; Format="flowed" (mi pare non sia passato in lista) Statement from the listed authors of Stochastic Parrots on the “AI pause” letter Timnit Gebru (DAIR), Emily M. Bender (University of Washington), Angelina McMillan-Major (University of Washington), Margaret Mitchell (Hugging Face) March 31, 2023 /Tl;dr: The harms from so-called AI are real and present and follow from the acts of people and corporations deploying automated systems. Regulatory efforts should focus on transparency, accountability and preventing exploitative labor practices./ [ https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834321002013... | https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834321002013... ] / -- -- EN _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834321002013... _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834321002013...
Non in senso stretto, visto che Emily Bender racconta di aver cercato eventuali occorrenze precedenti dei "pappagalli stocastici", non di quelli "statistici". Riconosce la differenza, amaramente, l'interessata: "'stochastic parrots' is a better phrase. One syllable fewer, better assonance. Also more mystique, since few people are sure what stochastic means" https://nitter.snopyta.org/rinireg/status/1622419446047584256 ________________________________ Da: Antonio Casilli <antonio.casilli@telecom-paris.fr> Inviato: martedì 11 aprile 2023 22:03 A: Daniela Tafani; Giuseppe Attardi Cc: nexa Oggetto: Re: Statement from the listed authors of Stochastic Parrots on the “AI pause” letter Grazie Daniela, molto interessante. Questo si contrappone all’affermazione di Emily Bender cf. questo suo tweet: https://twitter.com/emilymbender/status/1578829544303521797?s=46&t=S_Cb_qgOzdUrEyY6nUaQ7g<https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304112003520894233&URLID=12&ESV=10.0.19.7431&IV=A7F30FDBDA41FB347B80250B333CF418&TT=1681243433491&ESN=u0FmRHyRzZKq16NVhOULFb4%2BwW7vl3CnrHL3hxn8Bos%3D&KV=1536961729280&B64_ENCODED_URL=aHR0cHM6Ly90d2l0dGVyLmNvbS9lbWlseW1iZW5kZXIvc3RhdHVzLzE1Nzg4Mjk1NDQzMDM1MjE3OTc_cz00NiZhbXA7dD1TX0NiX3FnT3pkVXJFeVk2blVhUTdn&HK=12F949F718FB6AA847C9D54E7A574A0239F3A0C112EB1B0ACB26C9E74D1B81D6> ________________________________ From: Daniela <daniela.tafani@unipi.it> To: Antonio <antonio.casilli@telecom-paris.fr>; Giuseppe <giuseppe.attardi@unipi.it> Cc: nexa <nexa@server-nexa.polito.it> Date: Tuesday, 11 April 2023 9:24 PM CEST Subject: Re: Statement from the listed authors of Stochastic Parrots on the “AI pause” letter Poco prima dell'articolo sui pappagalli stocastici, in un contributo su GPT-3, Regina Rini ha usato l'espressione "all-electronic statistical parrot", insieme ad altre che non hanno avuto un seguito ("prolix digital fluidities", "linguo-statistical firehose") e a qualche riflessione che resta attuale: "what does it mean that other people online can’t distinguish you from a linguo-statistical firehose?" (ho intravisto oggi notizie di applicazioni per riconoscere la "humanness") The Digital Zeitgeist Ponders Our Obsolescence by Regina Rini GPT-3’s output is still a mix of the unnervingly coherent and laughably mindless, but we are clearly another step closer to categorical trouble. Once some loquacious descendant of GPT-3 churns out reliably convincing prose, we will reprise a rusty dichotomy from the early days of computing: Is it an emergent digital selfhood or an overhyped answering machine? But that frame omits something important about how GPT-3 and other modern machine learners work. GPT-3 is not a mind, but it is also not entirely a machine. It’s something else: a statistically abstracted representation of the contents of millions of minds, as expressed in their writing. Its prose spurts from an inductive funnel that takes in vast quantities of human internet chatter: Reddit posts, Wikipedia articles, news stories. When GPT-3 speaks, it is only us speaking, a refracted parsing of the likeliest semantic paths trodden by human expression. When you send query text to GPT-3, you aren’t communing with a unique digital soul. But you are coming as close as anyone ever has to literally speaking to the zeitgeist. And that’s fun for now, even fleetingly sublime. But it will soon become mundane, and then perhaps threatening. Because we can’t be too far from the day when GPT-3’s commercialized offspring begin to swarm our digital discourse. Today’s Twitter bots and customer service autochats are primitive harbingers of conversational simulacra that will be useful, and then ubiquitous, precisely because they deploy their statistical magic to blend in among real online humans. It won’t really matter whether these prolix digital fluidities could pass an unrestricted Turing Test, because our daily interactions with them will be just like our daily interactions with most online humans: brief, task-specific, transactional. So long as we get what we came for—directions to the dispensary, an arousing flame war, some freshly dank memes—then we won’t bother testing whether our interlocutor is a fellow human or an all-electronic statistical parrot. That’s the shape of things to come. GPT-3 feasts on the corpus of online discourse and converts its carrion calories into birds of our feather. Some time from now—decades? years?—we’ll simply have come to accept that the tweets and chirps of our internet flock are an indistinguishable mélange of human originals and statistically confected echoes, just as we’ve come to accept that anyone can place a thin wedge of glass and cobalt to their ear and instantly speak across the planet. It’s marvelous. Then it’s mundane. And then it’s melancholy. Because eventually we will turn the interaction around and ask: what does it mean that other people online can’t distinguish you from a linguo-statistical firehose? What will it feel like—alienating? liberating? annihilating?—to realize that other minds are reading your words without knowing or caring whether there is any ‘you’ at all? Meanwhile the machine will go on learning, even as our inchoate techno-existential qualms fall within its training data, and even as the bots themselves begin echoing our worries back to us, and forward into the next deluge of training data. Of course, their influence won’t fall only on our technological ruminations. As synthesized opinions populate social media feeds, our own intuitive induction will draw them into our sense of public opinion. Eventually we will come to take this influence as given, just as we’ve come to self-adjust to opinion polls and Overton windows. Will expressing your views on public issues seem anything more than empty and cynical, once you’ve accepted it’s all just input to endlessly recursive semantic cannibalism? I have no idea. But if enough of us write thinkpieces about it, then GPT-4 will surely have some convincing answers. https://dailynous.com/2020/07/30/philosophers-gpt-3/#rini<https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304112003520894233&URLID=10&ESV=10.0.19.7431&IV=44E0A9772841D9DA26C9CB6ADFC8FD94&TT=1681243433491&ESN=%2FZKpijrqBMn2yOkMPJ4Af6KZQE6gK3ogKwnaaKGoNFc%3D&KV=1536961729280&B64_ENCODED_URL=aHR0cHM6Ly9kYWlseW5vdXMuY29tLzIwMjAvMDcvMzAvcGhpbG9zb3BoZXJzLWdwdC0zLyNyaW5p&HK=BF82B0700953A798AB498EBD828E45B682FA58DCE021A418CB9387F63079E7BE> ________________________________ Da: nexa <nexa-bounces@server-nexa.polito.it> per conto di Antonio Casilli <antonio.casilli@telecom-paris.fr> Inviato: martedì 11 aprile 2023 20:34 A: Giuseppe Attardi Cc: nexa Oggetto: Re: [nexa] Statement from the listed authors of Stochastic Parrots on the “AI pause” letter
PS. I LLM sono tutt’altro che Stochastic Parrots: ripetere a pappagallo i testi da cui sono stati allenati è proprio ciò che non sanno fare.
Beppe, "stochastic parrot" non è questo. Timnit Gebru et al. ne parlano nel senso di un dispositivo che "haphazardly stitch[es] together sequences of linguistic forms (...), according to probabilistic information about how they combine, but without any reference to meaning". L'accento è sullo "stochastic". C'è anche un altro senso sviluppato nell'articolo: gli LLMs sono dei pappagalli stocastici perché reiterano visioni del mondo egemoniche. From: Enrico Nardelli <nardelli@mat.uniroma2.it> To: Nexa <nexa@server-nexa.polito.it> Subject: [nexa] Statement from the listed authors of Stochastic Parrots on the “AI pause” letter Message-ID: <22c6ff05-a037-f3de-68c0-83548bc4a122@mat.uniroma2.it> Content-Type: text/plain; charset="utf-8"; Format="flowed" (mi pare non sia passato in lista) Statement from the listed authors of Stochastic Parrots on the “AI pause” letter Timnit Gebru (DAIR), Emily M. Bender (University of Washington), Angelina McMillan-Major (University of Washington), Margaret Mitchell (Hugging Face) March 31, 2023 /Tl;dr: The harms from so-called AI are real and present and follow from the acts of people and corporations deploying automated systems. Regulatory efforts should focus on transparency, accountability and preventing exploitative labor practices./ [ https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834321002013... | https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834321002013... ] / -- -- EN _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834321002013... _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834321002013...
On 11 Apr 2023, at 20:34, Antonio Casilli <antonio.casilli@telecom-paris.fr> wrote:
PS. I LLM sono tutt’altro che Stochastic Parrots: ripetere a pappagallo i testi da cui sono stati allenati è proprio ciò che non sanno fare.
Beppe, "stochastic parrot" non è questo. Timnit Gebru et al. ne parlano nel senso di un dispositivo che "haphazardly stitch[es] together sequences of linguistic forms (...), according to probabilistic information about how they combine, but without any reference to meaning". L'accento è sullo "stochastic".
Ma non è questo quello che fanno i LLM della serie GPT: non attaccano affatto insieme “sequenze di forme linguistiche”. Questo riprodurrebbe appunto pezzi di frasi a pappagallo. Invece il loro meccanismo di base è quello del calcolo della distribuzione di probabilità della prossima parola a seguire in una sequenza. Come spiega Giorgio Parisi nel suo libro In un volo di storni, il funzionamento di un sistema complesso è il risultato dell’applicazione su larga scala di semplici leggi probabilistiche. I Large Language Models come GPT-3 fanno appunto questo: sono stati allenati a stimare una distribuzione di probabilità. Da questa capacità usata su larga scala (miliardi di parametri a rappresentare connessioni tra neuroni) emergono, altre capacità, apparentemente scollegate, come quella di rispondere a domande, riassumere testi, tradurre, scrivere codice, generare immagini, compiere semplici ragionamenti, ecc. Il risultato più che altro esula dalla nostra capacità di “comprensione" e tendiamo a concludere che non hanno capacità di “comprensione”, anche se sono in grado di superare molti dei test che sono stati sviluppati proprio per valutare la capacità di “comprensione" umana. Se dicessero sempre sciocchezze, dovremmo solo farci una risata: in realtà le risposte sono quasi sempre plausibili, e quindi coerenti col “meaning”, anche se a volte inesatte. — Beppe
C'è anche un altro senso sviluppato nell'articolo: gli LLMs sono dei pappagalli stocastici perché reiterano visioni del mondo egemoniche.
From: Enrico Nardelli <nardelli@mat.uniroma2.it>
To: Nexa <nexa@server-nexa.polito.it> Subject: [nexa] Statement from the listed authors of Stochastic Parrots on the “AI pause” letter Message-ID: <22c6ff05-a037-f3de-68c0-83548bc4a122@mat.uniroma2.it> Content-Type: text/plain; charset="utf-8"; Format="flowed"
(mi pare non sia passato in lista)
Statement from the listed authors of Stochastic Parrots on the “AI pause” letter
Timnit Gebru (DAIR), Emily M. Bender (University of Washington), Angelina McMillan-Major (University of Washington), Margaret Mitchell (Hugging Face)
March 31, 2023
/Tl;dr: The harms from so-called AI are real and present and follow from the acts of people and corporations deploying automated systems. Regulatory efforts should focus on transparency, accountability and preventing exploitative labor practices./
[ https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834240793464... | https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834240793464... ]
/
--
-- EN
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834240793464...
On mer, 2023-04-12 at 14:15 +0200, Giuseppe Attardi wrote:
On 11 Apr 2023, at 20:34, Antonio Casilli <antonio.casilli@telecom-paris.fr> wrote:
PS. I LLM sono tutt’altro che Stochastic Parrots: ripetere a pappagallo i testi da cui sono stati allenati è proprio ciò che non sanno fare.
Beppe, "stochastic parrot" non è questo. Timnit Gebru et al. ne parlano nel senso di un dispositivo che "haphazardly stitch[es] together sequences of linguistic forms (...), according to probabilistic information about how they combine, but without any reference to meaning". L'accento è sullo "stochastic".
Ma non è questo quello che fanno i LLM della serie GPT: non attaccano affatto insieme “sequenze di forme linguistiche”. Questo riprodurrebbe appunto pezzi di frasi a pappagallo. Invece il loro meccanismo di base è quello del calcolo della distribuzione di probabilità della prossima parola a seguire in una sequenza.
Come spiega Giorgio Parisi nel suo libro In un volo di storni, il funzionamento di un sistema complesso è il risultato dell’applicazione su larga scala di semplici leggi probabilistiche. I Large Language Models come GPT-3 fanno appunto questo: sono stati allenati a stimare una distribuzione di probabilità. Da questa capacità usata su larga scala (miliardi di parametri a rappresentare connessioni tra neuroni) emergono, altre capacità, apparentemente scollegate, come quella di rispondere a domande, riassumere testi, tradurre, scrivere codice, generare immagini, compiere semplici ragionamenti, ecc.
Il risultato più che altro esula dalla nostra capacità di “comprensione" e tendiamo a concludere che non hanno capacità di “comprensione”, anche se sono in grado di superare molti dei test che sono stati sviluppati proprio per valutare la capacità di “comprensione" umana. Se dicessero sempre sciocchezze, dovremmo solo farci una risata: in realtà le risposte sono quasi sempre plausibili, e quindi coerenti col “meaning”, anche se a volte inesatte.
Scusa Giuseppe, ma hai usato la parola "emergono". Mi sembra di aver capito che intendi dire che GPT è diventato abbastanza complesso da manifestare, una proprietà "emergente", non prevista dal suo progetto. Dei comportamenti imprevisti che lo stanno portando ad essere, almeno statisticamente, in grado di "capire" la domanda e fornire la "risposta corretta", se la conosce? Perché in questo caso invece che GPT-4 chiamiamolo HAL9000 e siamo a posto! Perdonate la brutalità, è giusto per essere chiari. Marco
— Beppe
C'è anche un altro senso sviluppato nell'articolo: gli LLMs sono dei pappagalli stocastici perché reiterano visioni del mondo egemoniche.
From: Enrico Nardelli <nardelli@mat.uniroma2.it>
To: Nexa <nexa@server-nexa.polito.it> Subject: [nexa] Statement from the listed authors of Stochastic Parrots on the “AI pause” letter Message-ID: <22c6ff05-a037-f3de-68c0-83548bc4a122@mat.uniroma2.it> Content-Type: text/plain; charset="utf-8"; Format="flowed"
(mi pare non sia passato in lista)
Statement from the listed authors of Stochastic Parrots on the “AI pause” letter
Timnit Gebru (DAIR), Emily M. Bender (University of Washington), Angelina McMillan-Major (University of Washington), Margaret Mitchell (Hugging Face)
March 31, 2023
/Tl;dr: The harms from so-called AI are real and present and follow from the acts of people and corporations deploying automated systems. Regulatory efforts should focus on transparency, accountability and preventing exploitative labor practices./
[ https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834240793464... | https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834240793464... ]
Se vuoi saperne di più sulle capacità emergenti, ne parla Giorgio Parisi, citando l’affermazione “More is Different” di Philip Warren Anderson (premio Nobel nel 1977), oppure, nel caso dei LLM, puoi leggere i lavori di Jason Wei: Emergent Abilities of Large Language Models https://openreview.net/pdf?id=yzkSU5zdwD Poi se vuoi fare scadere una conversazione seria, che cita lavori di due premi nobel, in chiacchiere da bar, fai pure. — Beppe
On 12 Apr 2023, at 17:33, Marco A. Calamari <marcoc_maillist@marcoc.it> wrote:
On mer, 2023-04-12 at 14:15 +0200, Giuseppe Attardi wrote:
On 11 Apr 2023, at 20:34, Antonio Casilli <antonio.casilli@telecom-paris.fr <mailto:antonio.casilli@telecom-paris.fr>> wrote:
PS. I LLM sono tutt’altro che Stochastic Parrots: ripetere a pappagallo i testi da cui sono stati allenati è proprio ciò che non sanno fare.
Beppe, "stochastic parrot" non è questo. Timnit Gebru et al. ne parlano nel senso di un dispositivo che "haphazardly stitch[es] together sequences of linguistic forms (...), according to probabilistic information about how they combine, but without any reference to meaning". L'accento è sullo "stochastic".
Ma non è questo quello che fanno i LLM della serie GPT: non attaccano affatto insieme “sequenze di forme linguistiche”. Questo riprodurrebbe appunto pezzi di frasi a pappagallo. Invece il loro meccanismo di base è quello del calcolo della distribuzione di probabilità della prossima parola a seguire in una sequenza.
Come spiega Giorgio Parisi nel suo libro In un volo di storni, il funzionamento di un sistema complesso è il risultato dell’applicazione su larga scala di semplici leggi probabilistiche. I Large Language Models come GPT-3 fanno appunto questo: sono stati allenati a stimare una distribuzione di probabilità. Da questa capacità usata su larga scala (miliardi di parametri a rappresentare connessioni tra neuroni) emergono, altre capacità, apparentemente scollegate, come quella di rispondere a domande, riassumere testi, tradurre, scrivere codice, generare immagini, compiere semplici ragionamenti, ecc.
Il risultato più che altro esula dalla nostra capacità di “comprensione" e tendiamo a concludere che non hanno capacità di “comprensione”, anche se sono in grado di superare molti dei test che sono stati sviluppati proprio per valutare la capacità di “comprensione" umana. Se dicessero sempre sciocchezze, dovremmo solo farci una risata: in realtà le risposte sono quasi sempre plausibili, e quindi coerenti col “meaning”, anche se a volte inesatte.
Scusa Giuseppe, ma hai usato la parola "emergono".
Mi sembra di aver capito che intendi dire che GPT è diventato abbastanza complesso da manifestare, una proprietà "emergente", non prevista dal suo progetto. Dei comportamenti imprevisti che lo stanno portando ad essere, almeno statisticamente, in grado di "capire" la domanda e fornire la "risposta corretta", se la conosce?
Perché in questo caso invece che GPT-4 chiamiamolo HAL9000 e siamo a posto!
Perdonate la brutalità, è giusto per essere chiari. Marco
— Beppe
C'è anche un altro senso sviluppato nell'articolo: gli LLMs sono dei pappagalli stocastici perché reiterano visioni del mondo egemoniche.
From: Enrico Nardelli <nardelli@mat.uniroma2.it <mailto:nardelli@mat.uniroma2.it>>
To: Nexa <nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it>> Subject: [nexa] Statement from the listed authors of Stochastic Parrots on the “AI pause” letter Message-ID: <22c6ff05-a037-f3de-68c0-83548bc4a122@mat.uniroma2.it <mailto:22c6ff05-a037-f3de-68c0-83548bc4a122@mat.uniroma2.it>> Content-Type: text/plain; charset="utf-8"; Format="flowed"
(mi pare non sia passato in lista)
Statement from the listed authors of Stochastic Parrots on the “AI pause” letter
Timnit Gebru (DAIR), Emily M. Bender (University of Washington), Angelina McMillan-Major (University of Washington), Margaret Mitchell (Hugging Face)
March 31, 2023
/Tl;dr: The harms from so-called AI are real and present and follow from the acts of people and corporations deploying automated systems. Regulatory efforts should focus on transparency, accountability and preventing exploitative labor practices./
[ https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834240793464... | https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834240793464... ]
On gio, 2023-04-13 at 16:26 +0200, Giuseppe Attardi wrote:
Se vuoi saperne di più sulle capacità emergenti, ne parla Giorgio Parisi, citando l’affermazione “More is Different” di Philip Warren Anderson (premio Nobel nel 1977), oppure, nel caso dei LLM, puoi leggere i lavori di Jason Wei: Emergent Abilities of Large Language Models https://openreview.net/pdf?id=yzkSU5zdwD
Poi se vuoi fare scadere una conversazione seria, che cita lavori di due premi nobel, in chiacchiere da bar, fai pure.
No, conoscendo bene il lavoro di Parisi, volevo solo essere sicuro di aver capito bene il tuo pensiero. Non avevo mai preso in considerazione questo aspetto, anche se lo ritengo certamente impossibile. Grazie dell'interessante suggerimento e della conferma. Marco P.S.: Non era mia intenzione scendere al livello del bar, ma solo capire una frase abbastanza complessa che avevi scritto. Se voglio sapere cosa pensa un premio Nobel, mi vado a leggere i testi. Citare i Nobel non conferisce automaticamente peso ad un'opinione.
— Beppe
On 12 Apr 2023, at 17:33, Marco A. Calamari <marcoc_maillist@marcoc.it> wrote:
On mer, 2023-04-12 at 14:15 +0200, Giuseppe Attardi wrote:
On 11 Apr 2023, at 20:34, Antonio Casilli <antonio.casilli@telecom-paris.fr> wrote:
PS. I LLM sono tutt’altro che Stochastic Parrots: ripetere a pappagallo i testi da cui sono stati allenati è proprio ciò che non sanno fare.
Beppe, "stochastic parrot" non è questo. Timnit Gebru et al. ne parlano nel senso di un dispositivo che "haphazardly stitch[es] together sequences of linguistic forms (...), according to probabilistic information about how they combine, but without any reference to meaning". L'accento è sullo "stochastic".
Ma non è questo quello che fanno i LLM della serie GPT: non attaccano affatto insieme “sequenze di forme linguistiche”. Questo riprodurrebbe appunto pezzi di frasi a pappagallo. Invece il loro meccanismo di base è quello del calcolo della distribuzione di probabilità della prossima parola a seguire in una sequenza.
Come spiega Giorgio Parisi nel suo libro In un volo di storni, il funzionamento di un sistema complesso è il risultato dell’applicazione su larga scala di semplici leggi probabilistiche. I Large Language Models come GPT-3 fanno appunto questo: sono stati allenati a stimare una distribuzione di probabilità. Da questa capacità usata su larga scala (miliardi di parametri a rappresentare connessioni tra neuroni) emergono, altre capacità, apparentemente scollegate, come quella di rispondere a domande, riassumere testi, tradurre, scrivere codice, generare immagini, compiere semplici ragionamenti, ecc.
Il risultato più che altro esula dalla nostra capacità di “comprensione" e tendiamo a concludere che non hanno capacità di “comprensione”, anche se sono in grado di superare molti dei test che sono stati sviluppati proprio per valutare la capacità di “comprensione" umana. Se dicessero sempre sciocchezze, dovremmo solo farci una risata: in realtà le risposte sono quasi sempre plausibili, e quindi coerenti col “meaning”, anche se a volte inesatte.
Scusa Giuseppe, ma hai usato la parola "emergono".
Mi sembra di aver capito che intendi dire che GPT è diventato abbastanza complesso da manifestare, una proprietà "emergente", non prevista dal suo progetto. Dei comportamenti imprevisti che lo stanno portando ad essere, almeno statisticamente, in grado di "capire" la domanda e fornire la "risposta corretta", se la conosce?
Perché in questo caso invece che GPT-4 chiamiamolo HAL9000 e siamo a posto!
Perdonate la brutalità, è giusto per essere chiari. Marco
— Beppe
C'è anche un altro senso sviluppato nell'articolo: gli LLMs sono dei pappagalli stocastici perché reiterano visioni del mondo egemoniche.
From: Enrico Nardelli <nardelli@mat.uniroma2.it>
To: Nexa <nexa@server-nexa.polito.it> Subject: [nexa] Statement from the listed authors of Stochastic Parrots on the “AI pause” letter Message-ID: <22c6ff05-a037-f3de-68c0-83548bc4a122@mat.uniroma2.it> Content-Type: text/plain; charset="utf-8"; Format="flowed"
(mi pare non sia passato in lista)
Statement from the listed authors of Stochastic Parrots on the “AI pause” letter
Timnit Gebru (DAIR), Emily M. Bender (University of Washington), Angelina McMillan-Major (University of Washington), Margaret Mitchell (Hugging Face)
March 31, 2023
/Tl;dr: The harms from so-called AI are real and present and follow from the acts of people and corporations deploying automated systems. Regulatory efforts should focus on transparency, accountability and preventing exploitative labor practices./
[ https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834240793464...
| https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834240793464...
]
Grazie della lezione sul peso delle opinioni. Magari se riportavi anche il finale del tuo messaggio, si capiva quale era “il peso” delle tue:
Perché in questo caso invece che GPT-4 chiamiamolo HAL9000 e siamo a posto!
Perdonate la brutalità, è giusto per essere chiari. Marco
— Beppe
On 13 Apr 2023, at 16:45, Marco A. Calamari <marcoc_maillist@marcoc.it> wrote:
On gio, 2023-04-13 at 16:26 +0200, Giuseppe Attardi wrote:
Se vuoi saperne di più sulle capacità emergenti, ne parla Giorgio Parisi, citando l’affermazione “More is Different” di Philip Warren Anderson (premio Nobel nel 1977), oppure, nel caso dei LLM, puoi leggere i lavori di Jason Wei: Emergent Abilities of Large Language Models https://openreview.net/pdf?id=yzkSU5zdwD <https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304131445021060953...>
Poi se vuoi fare scadere una conversazione seria, che cita lavori di due premi nobel, in chiacchiere da bar, fai pure.
No, conoscendo bene il lavoro di Parisi, volevo solo essere sicuro di aver capito bene il tuo pensiero.
Non avevo mai preso in considerazione questo aspetto, anche se lo ritengo certamente impossibile.
Grazie dell'interessante suggerimento e della conferma.
Marco
P.S.: Non era mia intenzione scendere al livello del bar, ma solo capire una frase abbastanza complessa che avevi scritto. Se voglio sapere cosa pensa un premio Nobel, mi vado a leggere i testi. Citare i Nobel non conferisce automaticamente peso ad un'opinione.
— Beppe
On 12 Apr 2023, at 17:33, Marco A. Calamari <marcoc_maillist@marcoc.it> wrote:
On mer, 2023-04-12 at 14:15 +0200, Giuseppe Attardi wrote:
On 11 Apr 2023, at 20:34, Antonio Casilli <antonio.casilli@telecom-paris.fr <mailto:antonio.casilli@telecom-paris.fr>> wrote:
PS. I LLM sono tutt’altro che Stochastic Parrots: ripetere a pappagallo i testi da cui sono stati allenati è proprio ciò che non sanno fare.
Beppe, "stochastic parrot" non è questo. Timnit Gebru et al. ne parlano nel senso di un dispositivo che "haphazardly stitch[es] together sequences of linguistic forms (...), according to probabilistic information about how they combine, but without any reference to meaning". L'accento è sullo "stochastic".
Ma non è questo quello che fanno i LLM della serie GPT: non attaccano affatto insieme “sequenze di forme linguistiche”. Questo riprodurrebbe appunto pezzi di frasi a pappagallo. Invece il loro meccanismo di base è quello del calcolo della distribuzione di probabilità della prossima parola a seguire in una sequenza.
Come spiega Giorgio Parisi nel suo libro In un volo di storni, il funzionamento di un sistema complesso è il risultato dell’applicazione su larga scala di semplici leggi probabilistiche. I Large Language Models come GPT-3 fanno appunto questo: sono stati allenati a stimare una distribuzione di probabilità. Da questa capacità usata su larga scala (miliardi di parametri a rappresentare connessioni tra neuroni) emergono, altre capacità, apparentemente scollegate, come quella di rispondere a domande, riassumere testi, tradurre, scrivere codice, generare immagini, compiere semplici ragionamenti, ecc.
Il risultato più che altro esula dalla nostra capacità di “comprensione" e tendiamo a concludere che non hanno capacità di “comprensione”, anche se sono in grado di superare molti dei test che sono stati sviluppati proprio per valutare la capacità di “comprensione" umana. Se dicessero sempre sciocchezze, dovremmo solo farci una risata: in realtà le risposte sono quasi sempre plausibili, e quindi coerenti col “meaning”, anche se a volte inesatte.
Scusa Giuseppe, ma hai usato la parola "emergono".
Mi sembra di aver capito che intendi dire che GPT è diventato abbastanza complesso da manifestare, una proprietà "emergente", non prevista dal suo progetto. Dei comportamenti imprevisti che lo stanno portando ad essere, almeno statisticamente, in grado di "capire" la domanda e fornire la "risposta corretta", se la conosce?
Perché in questo caso invece che GPT-4 chiamiamolo HAL9000 e siamo a posto!
Perdonate la brutalità, è giusto per essere chiari. Marco
— Beppe
C'è anche un altro senso sviluppato nell'articolo: gli LLMs sono dei pappagalli stocastici perché reiterano visioni del mondo egemoniche.
From: Enrico Nardelli <nardelli@mat.uniroma2.it <mailto:nardelli@mat.uniroma2.it>>
To: Nexa <nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it>> Subject: [nexa] Statement from the listed authors of Stochastic Parrots on the “AI pause” letter Message-ID: <22c6ff05-a037-f3de-68c0-83548bc4a122@mat.uniroma2.it <mailto:22c6ff05-a037-f3de-68c0-83548bc4a122@mat.uniroma2.it>> Content-Type: text/plain; charset="utf-8"; Format="flowed"
(mi pare non sia passato in lista)
Statement from the listed authors of Stochastic Parrots on the “AI pause” letter
Timnit Gebru (DAIR), Emily M. Bender (University of Washington), Angelina McMillan-Major (University of Washington), Margaret Mitchell (Hugging Face)
March 31, 2023
/Tl;dr: The harms from so-called AI are real and present and follow from the acts of people and corporations deploying automated systems. Regulatory efforts should focus on transparency, accountability and preventing exploitative labor practices./
[ https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834240793464... | https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834240793464... ]
Ciao a tutti, la discussione su questi temi è interessante e importante, "spezzo una lancia" in favore di una discussione seria e pacata :-) Le capacità emergenti degli LLM sono un aspetto importante di queste nuove tecnologie del linguaggio. Alcune prestazioni linguistiche degli LLM sono stupefacenti non solo per i non addetti ai lavori (milioni di utenti). Sono una possibile causa di rischi (come scrivevano gli autori stessi degli LLM), oltre che di opportunità. Molti aspetti restano da studiare ed esplorare. Per limitare l'hype non uso "AI" ma "tecnologie del linguaggio", un termine vecchietto, meno sexi, più preciso. Liquidare gli LLM come "stochastic parrots" in senso sminuente mi sembra poco serio e poco utile. E' utile cercare di arrivare ad una conoscenza abbastanza chiara e condivisa su questo fenomeno importante. Le capacità o proprietà emergenti sono uno degli aspetti degli LLM. Andrea Il giorno gio 13 apr 2023 alle ore 17:21 Giuseppe Attardi < attardi@di.unipi.it> ha scritto:
Grazie della lezione sul peso delle opinioni.
Magari se riportavi anche il finale del tuo messaggio, si capiva quale era “il peso” delle tue:
Perché in questo caso invece che GPT-4 chiamiamolo HAL9000 e siamo a posto!
Perdonate la brutalità, è giusto per essere chiari. Marco
— Beppe
On 13 Apr 2023, at 16:45, Marco A. Calamari <marcoc_maillist@marcoc.it> wrote:
On gio, 2023-04-13 at 16:26 +0200, Giuseppe Attardi wrote:
Se vuoi saperne di più sulle capacità emergenti, ne parla Giorgio Parisi, citando l’affermazione “More is Different” di Philip Warren Anderson (premio Nobel nel 1977), oppure, nel caso dei LLM, puoi leggere i lavori di Jason Wei: Emergent Abilities of Large Language Models https://openreview.net/pdf?id=yzkSU5zdwD <https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304131445021060953...>
Poi se vuoi fare scadere una conversazione seria, che cita lavori di due premi nobel, in chiacchiere da bar, fai pure.
No, conoscendo bene il lavoro di Parisi, volevo solo essere sicuro di aver capito bene il tuo pensiero.
Non avevo mai preso in considerazione questo aspetto, anche se lo ritengo certamente impossibile.
Grazie dell'interessante suggerimento e della conferma.
Marco
P.S.: Non era mia intenzione scendere al livello del bar, ma solo capire una frase abbastanza complessa che avevi scritto. Se voglio sapere cosa pensa un premio Nobel, mi vado a leggere i testi. Citare i Nobel non conferisce automaticamente peso ad un'opinione.
— Beppe
On 12 Apr 2023, at 17:33, Marco A. Calamari <marcoc_maillist@marcoc.it> wrote:
On mer, 2023-04-12 at 14:15 +0200, Giuseppe Attardi wrote:
On 11 Apr 2023, at 20:34, Antonio Casilli < antonio.casilli@telecom-paris.fr> wrote:
PS. I LLM sono tutt’altro che Stochastic Parrots: ripetere a pappagallo i testi da cui sono stati allenati è proprio ciò che non sanno fare.
Beppe, "stochastic parrot" non è questo. Timnit Gebru et al. ne parlano nel senso di un dispositivo che "haphazardly stitch[es] together sequences of linguistic forms (...), according to probabilistic information about how they combine, but without any reference to meaning". L'accento è sullo "stochastic".
Ma non è questo quello che fanno i LLM della serie GPT: non attaccano affatto insieme “sequenze di forme linguistiche”. Questo riprodurrebbe appunto pezzi di frasi a pappagallo. Invece il loro meccanismo di base è quello del calcolo della distribuzione di probabilità della prossima parola a seguire in una sequenza.
Come spiega Giorgio Parisi nel suo libro In un volo di storni, il funzionamento di un sistema complesso è il risultato dell’applicazione su larga scala di semplici leggi probabilistiche. I Large Language Models come GPT-3 fanno appunto questo: sono stati allenati a stimare una distribuzione di probabilità. Da questa capacità usata su larga scala (miliardi di parametri a rappresentare connessioni tra neuroni) emergono, altre capacità, apparentemente scollegate, come quella di rispondere a domande, riassumere testi, tradurre, scrivere codice, generare immagini, compiere semplici ragionamenti, ecc.
Il risultato più che altro esula dalla nostra capacità di “comprensione" e tendiamo a concludere che non hanno capacità di “comprensione”, anche se sono in grado di superare molti dei test che sono stati sviluppati proprio per valutare la capacità di “comprensione" umana. Se dicessero sempre sciocchezze, dovremmo solo farci una risata: in realtà le risposte sono quasi sempre plausibili, e quindi coerenti col “meaning”, anche se a volte inesatte.
Scusa Giuseppe, ma hai usato la parola "emergono".
Mi sembra di aver capito che intendi dire che GPT è diventato abbastanza complesso da manifestare, una proprietà "emergente", non prevista dal suo progetto. Dei comportamenti imprevisti che lo stanno portando ad essere, almeno statisticamente, in grado di "capire" la domanda e fornire la "risposta corretta", se la conosce?
Perché in questo caso invece che GPT-4 chiamiamolo HAL9000 e siamo a posto!
Perdonate la brutalità, è giusto per essere chiari. Marco
— Beppe
C'è anche un altro senso sviluppato nell'articolo: gli LLMs sono dei pappagalli stocastici perché reiterano visioni del mondo egemoniche.
From: Enrico Nardelli <nardelli@mat.uniroma2.it>
To: Nexa <nexa@server-nexa.polito.it> Subject: [nexa] Statement from the listed authors of Stochastic Parrots on the “AI pause” letter Message-ID: <22c6ff05-a037-f3de-68c0-83548bc4a122@mat.uniroma2.it> Content-Type: text/plain; charset="utf-8"; Format="flowed"
(mi pare non sia passato in lista)
Statement from the listed authors of Stochastic Parrots on the “AI pause” letter
Timnit Gebru (DAIR), Emily M. Bender (University of Washington), Angelina McMillan-Major (University of Washington), Margaret Mitchell (Hugging Face)
March 31, 2023
/Tl;dr: The harms from so-called AI are real and present and follow from the acts of people and corporations deploying automated systems. Regulatory efforts should focus on transparency, accountability and preventing exploitative labor practices./
[ https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834240793464... | https://es.sonicurlprotection-fra.com/click?PV=2&MSGID=202304111834240793464... ]
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
participants (5)
-
Andrea Bolioli -
Antonio Casilli -
Daniela Tafani -
Giuseppe Attardi -
Marco A. Calamari