October 2023 - nexa - server-nexa.polito.it

Re: [nexa] IA, lavoro, immaginari

by Giuseppe Attardi

Appunto, quella di Bender è la visione dei linguisti, che non ha portato, finora, a grandi risultati pratici (cit. Nello Cristianini, La scorciatoia). I linguisti dibattono da secoli su “what is meaning”, senza venirne a capo, elencando requisiti impossibili da verificare. La svolta è iniziata negli anni 1980, quando Jelinek ha introdotto i metodi statistici. L’articolo di Norvig cerca di ribattere a certe posizioni preconcette: Without explicit symbols, according to these critics, a merely learned, “statistical” approach cannot produce true understanding. Relatedly, they claim that without symbolic concepts, no logical reasoning can occur, and that “real” intelligence requires such reasoning. Setting aside the question of whether intelligence is always reliant on symbols and logic, there are reasons to question this claim about the inadequacy of neural nets and machine learning, because neural nets are so powerful at doing anything a computer can do. Without explicit symbols, according to these critics, a merely learned, “statistical” approach cannot produce true understanding. Relatedly, they claim that without symbolic concepts, no logical reasoning can occur, and that “real” intelligence requires such reasoning. — Beppe > On 13 Oct 2023, at 08:40, Daniela Tafani <daniela.tafani(a)unipi.it> wrote: > > Buongiorno. > > Solo una notazione a margine: > l'espressione "pappagalli stocastici" è stata coniata da Emily Bender, linguista computazionale specializzata in natural language processing. > > La sua posizione, quanto al significato, è formulata distesamente, tra gli altri, qui: > > E.M. Bender, A. Lascarides, Linguistic fundamentals for natural language processing II. 100 essentials from semantics and pragmatics, 2020, > https://link.springer.com/book/10.1007/978-3-031-02172-5 > > Riporto di seguito i titoli dei paragrafi del secondo capitolo, dedicato a What is meaning: > > 2 What is Meaning? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 > #2 Meaning can be modeled in terms of validity and reference. . . . . . . . . . . . . . 5 > #3 Natural language understanding requires commonsense reasoning. . . . . . . . 8 > #4 Meaning derived from form is different from meaning in context of use. . 11 > #5 Many extant models of meaning distinguish locutionary, illocutionary > and perlocutionary acts. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 > #6 Philosophical concepts like indirect speech acts and common ground > are useful for dialogue processing, but they have a different status from > public commitments when resolving anaphora. . . . . . . . . . . . . . . . . . . . . . . . . . 15 > #7 Some speech acts are relations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 > #8 Linguistic meaning includes emotional content. . . . . . . . . . . . . . . . . . . . . . 18 > #9 Linguistic meaning includes social meaning. . . . . . . . . . . . . . . . . . . . . . . . . 20 > #10 There is ambiguity at many levels. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 > #11 What’s done as a pipeline in many approaches to NLP is done in > human processing via incremental interpretation/incremental building of > the discourse model. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 > #12 In face-to-face conversation, people use both verbal and non-verbal > actions to convey meaning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 > #13 Linguistic meaning and non-linguistic perception interact in complex > ways. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 > #14 (Disambiguated) linguistic form produces an abstract meaning > representation, while coherence and cognitive states yield more specific > contents. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 > > La linguistica non è il mio ambito di ricerca, ma posso comunque constatare che, dal punto di vista filosofico, > per respingere la tesi dei pappagalli stocastici occorre confutare alcune delle tesi formulate nei titoli sopra. > > Un saluto, > Daniela > > ________________________________________ > Da: nexa <nexa-bounces(a)server-nexa.polito.it> per conto di Giuseppe Attardi <attardi(a)di.unipi.it> > Inviato: giovedì 12 ottobre 2023 10:26 > A: nexa(a)server-nexa.polito.it > Oggetto: Re: [nexa] IA, lavoro, immaginari > > Scusate se riprendo questo tema dall’inizio, in quanto finora sono stato impegnato ad organizzare questo dibattito, che affronta alcuni delle questioni di fondo sulle capacità dell’AI di avere impatti sulla società: > > https://sites.google.com/view/ellisfms2023/program/debate-ai-societal-impact > > e a cui parteciperanno alcuni tra i principali esperti al mondo, tra cui Yoshua Bengio, Moshe Vardi, Ricardo Baeza-Yates, Gary Marcus, Geoff Hinton. > > Gli ultimi due si confronteranno proprio sulla questione se i LLM siano in grado di comprendere. > > Daniele Gambetta riporta il termine spregiativo di “stochastic parrot” che è stato affibbiato ai LLM da Timnit Gebru e colleghi. L’articolo è molto controverso ed è costato a Gebru il posto a Google. > Nell’articolo si sostiene che: > > An LM is a system for haphazardly stitching together sequences of linguistic forms it has observed in its vast training data, according to probabilistic information about how they combine, but without any reference to meaning: a stochastic parrot. > > Questa affermazione è superficiale e inesatta, perché non tiene conto di alcune cose: > > 1. Alla base dei LLMs ci sono i word embedding, un modo per assegnare un significato alle parole, un problema che ha eluso la filosofia e la linguistica per due millenni e che il Deep Learning ha risolto. Questo è quanto afferma Hinton in proposito: > “Many people who think it’s just statistics are thinking in terms of program models or counting the co-occurrence frequencies of words. We think this process of creating features of the embeddings and then interactions between features is actually understanding. Once you’ve taken the raw data of symbol strings and you can now predict the next symbol not by things like trigrams, but the huge number of features interacting in very complicated way to predict the features of the next word and from that make a prediction about the probability of the next word, the point is that is understanding, at least I believe that is understanding. I believe that is what our brains are doing. But that’s an issue to be discussed by the research community and it would be great if we could convince people that they are not just stochastic parrots.” > > 2. I LLM sono evoluti dai tempi dell’articolo, in particolare, ChatGPT e successivi sono stati allenati a interagire in conversazioni con il fine-tuning e quindi a tenere conto del contesto della discussione > > 3. La capacità di “comprendere” è difficile da definire, almeno in termini umani. L’unico modo che abbiamo per stabilire se uno studente ha “capito” una certa materia, è di sottoporlo a domande di verifica di comprensione. Ma in gran parte di tali test, GPT-4 supera il livello medio umano. Quindi, a tutti gli effetti pratici, capisce non solo una, ma molte materie. Lo “capisce” in una qualche forma diversa dalla nostra, ma pur sempre verificabile. > > 4. Le sorprendenti abilità dei LLM (perché hanno sorpreso tutti, compresi i loro sviluppatori), derivano dal fenomeno denominato “emergent abilities”, che appiano solo quando i modelli superano una certa scala. Per ora si tratta di un'osservazione empirica, iniziata con gli esperimenti di Jason Wei sul Chain-of-Thought, ma che si sta cercando di approfondire con una serie di spunti. > Uno di questi si lega alla teoria dei sistemi complessi di Giorgio Parisi, che spiega il loro comportamento come dovuto all’applicazione su larga scala di semplici leggi probabilistiche. > Ho suggerito a Parisi che sia proprio questo ciò che avviene nei LLM, che applicano su larga scala, in modelli di centinaia di miliardi di parametri, la semplice probabilità stimata della prossima parola. Parisi mi ha confermato di persona che l’ipotesi è alquanto plausibile. Questa stessa ipotesi spiega perché molti si rifiutano di riconoscere queste capacità: la mente umana è abituata a comprendere i fenomeni, scomponendoli in poche parti funzionali, che si combinano in modo deterministico. Nei fenomeni complessi questo non è possibile farlo. > Nel frattempo stanno uscendo diversi lavori scientifici, che cercano di dare una base scientifica al fenomeno: > 1. Ekin Akyürek, Dale Schuurmans, Jacob Andreas, Tengyu Ma, and Denny Zhou. What learning algorithm is in-context learning? Investigations with linear models<https://openreview.net/forum?id=0g0X4H8yN4I>. ICLR 2023 (Oral) > 2. Guhao Feng, Bohang Zhang, Yuntian Gu, Haotian Ye, Di He, Liwei Wang. Towards Revealing the Mystery behind Chain of Thought: A Theoretical Perspective<https://arxiv.org/abs/2305.15408>. NeurIPS 2023 (Oral). > 3. Angeliki Giannou, Shashank Rajput, Jy-yong Sohn, Kangwook Lee, Jason D Lee, Dimitris Papailiopoulos. Looped Transformers as Programmable Computers<https://arxiv.org/abs/2301.13196>. ICML 2023. > 4. Ruiqi Zhang, Spencer Frei, Peter L Bartlett. Trained Transformers Learn Linear Models In-Context<https://scholar.google.com/citations?view_op=view_citation&hl=en&user=uErE2…>. arXiv preprint arXiv:2306.09927, 2023. > Segnalo anche questo video di una presentazione di Sanjeev Arora su A Theory of Emergence of Complex Skills in Language Models (https://www.youtube.com/live/0D23NeBjCeQ?si=Trtt160lkXCgFEa6) > > In sostanza, siamo di fronte a questioni scientifiche articolate e complesse, e suggerisco che vengano affrontate basandosi su studi scientifici, di cui c’è molto bisogno. > Per uno studente del Dottorato Nazionale in Intelligenza Artificiale (che ho contribuito a far nascere) dovrebbe essere una grande opportunità. > > — Beppe > > On 6 Oct 2023, at 23:30, <nexa-request(a)server-nexa.polito.it> <nexa-request(a)server-nexa.polito.it> wrote: > > From: Daniele Gambetta <daniele.gambetta7(a)gmail.com<mailto:daniele.gambetta7@gmail.com>> > To: nexa(a)server-nexa.polito.it<mailto:nexa@server-nexa.polito.it> > Subject: [nexa] IA, lavoro, immaginari > Message-ID: > <CAJTd2eikFissqhKHR7dhmZwfn9B5ijpLtLERz7VH8H4YrWEsUA(a)mail.gmail.com<mailto:CAJTd2eikFissqhKHR7dhmZwfn9B5ijpLtLERz7VH8H4YrWEsUA@mail.gmail.com>> > Content-Type: text/plain; charset="utf-8" > > Ciao a tutte/i, > seguo da tempo questa mailing list con interesse anche se scrivo poco. > Volevo segnalarvi un articolo che ho scritto di recente su temi legati > all'IA, pubblicato in due parti su DinamoPress. > Mi farebbe piacere avere feedback e pareri o avviare una discussione. > > 1) > https://www.dinamopress.it/news/al-di-la-del-faust-e-dellhype-appunti-su-in… > 2) > https://www.dinamopress.it/news/technic-and-magic-animismo-di-piattaforma-e… > > Saluti e buon we. > Daniele >

Oct. 13, 2023

Re: [nexa] Can Large Language Models reason?

by Giuseppe Attardi

Oct. 13, 2023

Re: [nexa] IA, lavoro, immaginari

by Daniela Tafani

Buongiorno. Solo una notazione a margine: l'espressione "pappagalli stocastici" è stata coniata da Emily Bender, linguista computazionale specializzata in natural language processing. La sua posizione, quanto al significato, è formulata distesamente, tra gli altri, qui: E.M. Bender, A. Lascarides, Linguistic fundamentals for natural language processing II. 100 essentials from semantics and pragmatics, 2020, https://link.springer.com/book/10.1007/978-3-031-02172-5 Riporto di seguito i titoli dei paragrafi del secondo capitolo, dedicato a What is meaning: 2 What is Meaning? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 #2 Meaning can be modeled in terms of validity and reference. . . . . . . . . . . . . . 5 #3 Natural language understanding requires commonsense reasoning. . . . . . . . 8 #4 Meaning derived from form is different from meaning in context of use. . 11 #5 Many extant models of meaning distinguish locutionary, illocutionary and perlocutionary acts. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 #6 Philosophical concepts like indirect speech acts and common ground are useful for dialogue processing, but they have a different status from public commitments when resolving anaphora. . . . . . . . . . . . . . . . . . . . . . . . . . 15 #7 Some speech acts are relations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 #8 Linguistic meaning includes emotional content. . . . . . . . . . . . . . . . . . . . . . 18 #9 Linguistic meaning includes social meaning. . . . . . . . . . . . . . . . . . . . . . . . . 20 #10 There is ambiguity at many levels. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 #11 What’s done as a pipeline in many approaches to NLP is done in human processing via incremental interpretation/incremental building of the discourse model. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 #12 In face-to-face conversation, people use both verbal and non-verbal actions to convey meaning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 #13 Linguistic meaning and non-linguistic perception interact in complex ways. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 #14 (Disambiguated) linguistic form produces an abstract meaning representation, while coherence and cognitive states yield more specific contents. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 La linguistica non è il mio ambito di ricerca, ma posso comunque constatare che, dal punto di vista filosofico, per respingere la tesi dei pappagalli stocastici occorre confutare alcune delle tesi formulate nei titoli sopra. Un saluto, Daniela ________________________________________ Da: nexa <nexa-bounces(a)server-nexa.polito.it> per conto di Giuseppe Attardi <attardi(a)di.unipi.it> Inviato: giovedì 12 ottobre 2023 10:26 A: nexa(a)server-nexa.polito.it Oggetto: Re: [nexa] IA, lavoro, immaginari Scusate se riprendo questo tema dall’inizio, in quanto finora sono stato impegnato ad organizzare questo dibattito, che affronta alcuni delle questioni di fondo sulle capacità dell’AI di avere impatti sulla società: https://sites.google.com/view/ellisfms2023/program/debate-ai-societal-impact e a cui parteciperanno alcuni tra i principali esperti al mondo, tra cui Yoshua Bengio, Moshe Vardi, Ricardo Baeza-Yates, Gary Marcus, Geoff Hinton. Gli ultimi due si confronteranno proprio sulla questione se i LLM siano in grado di comprendere. Daniele Gambetta riporta il termine spregiativo di “stochastic parrot” che è stato affibbiato ai LLM da Timnit Gebru e colleghi. L’articolo è molto controverso ed è costato a Gebru il posto a Google. Nell’articolo si sostiene che: An LM is a system for haphazardly stitching together sequences of linguistic forms it has observed in its vast training data, according to probabilistic information about how they combine, but without any reference to meaning: a stochastic parrot. Questa affermazione è superficiale e inesatta, perché non tiene conto di alcune cose: 1. Alla base dei LLMs ci sono i word embedding, un modo per assegnare un significato alle parole, un problema che ha eluso la filosofia e la linguistica per due millenni e che il Deep Learning ha risolto. Questo è quanto afferma Hinton in proposito: “Many people who think it’s just statistics are thinking in terms of program models or counting the co-occurrence frequencies of words. We think this process of creating features of the embeddings and then interactions between features is actually understanding. Once you’ve taken the raw data of symbol strings and you can now predict the next symbol not by things like trigrams, but the huge number of features interacting in very complicated way to predict the features of the next word and from that make a prediction about the probability of the next word, the point is that is understanding, at least I believe that is understanding. I believe that is what our brains are doing. But that’s an issue to be discussed by the research community and it would be great if we could convince people that they are not just stochastic parrots.” 2. I LLM sono evoluti dai tempi dell’articolo, in particolare, ChatGPT e successivi sono stati allenati a interagire in conversazioni con il fine-tuning e quindi a tenere conto del contesto della discussione 3. La capacità di “comprendere” è difficile da definire, almeno in termini umani. L’unico modo che abbiamo per stabilire se uno studente ha “capito” una certa materia, è di sottoporlo a domande di verifica di comprensione. Ma in gran parte di tali test, GPT-4 supera il livello medio umano. Quindi, a tutti gli effetti pratici, capisce non solo una, ma molte materie. Lo “capisce” in una qualche forma diversa dalla nostra, ma pur sempre verificabile. 4. Le sorprendenti abilità dei LLM (perché hanno sorpreso tutti, compresi i loro sviluppatori), derivano dal fenomeno denominato “emergent abilities”, che appiano solo quando i modelli superano una certa scala. Per ora si tratta di un'osservazione empirica, iniziata con gli esperimenti di Jason Wei sul Chain-of-Thought, ma che si sta cercando di approfondire con una serie di spunti. Uno di questi si lega alla teoria dei sistemi complessi di Giorgio Parisi, che spiega il loro comportamento come dovuto all’applicazione su larga scala di semplici leggi probabilistiche. Ho suggerito a Parisi che sia proprio questo ciò che avviene nei LLM, che applicano su larga scala, in modelli di centinaia di miliardi di parametri, la semplice probabilità stimata della prossima parola. Parisi mi ha confermato di persona che l’ipotesi è alquanto plausibile. Questa stessa ipotesi spiega perché molti si rifiutano di riconoscere queste capacità: la mente umana è abituata a comprendere i fenomeni, scomponendoli in poche parti funzionali, che si combinano in modo deterministico. Nei fenomeni complessi questo non è possibile farlo. Nel frattempo stanno uscendo diversi lavori scientifici, che cercano di dare una base scientifica al fenomeno: 1. Ekin Akyürek, Dale Schuurmans, Jacob Andreas, Tengyu Ma, and Denny Zhou. What learning algorithm is in-context learning? Investigations with linear models<https://openreview.net/forum?id=0g0X4H8yN4I>. ICLR 2023 (Oral) 2. Guhao Feng, Bohang Zhang, Yuntian Gu, Haotian Ye, Di He, Liwei Wang. Towards Revealing the Mystery behind Chain of Thought: A Theoretical Perspective<https://arxiv.org/abs/2305.15408>. NeurIPS 2023 (Oral). 3. Angeliki Giannou, Shashank Rajput, Jy-yong Sohn, Kangwook Lee, Jason D Lee, Dimitris Papailiopoulos. Looped Transformers as Programmable Computers<https://arxiv.org/abs/2301.13196>. ICML 2023. 4. Ruiqi Zhang, Spencer Frei, Peter L Bartlett. Trained Transformers Learn Linear Models In-Context<https://scholar.google.com/citations?view_op=view_citation&hl=en&user=uErE2…>. arXiv preprint arXiv:2306.09927, 2023. Segnalo anche questo video di una presentazione di Sanjeev Arora su A Theory of Emergence of Complex Skills in Language Models (https://www.youtube.com/live/0D23NeBjCeQ?si=Trtt160lkXCgFEa6) In sostanza, siamo di fronte a questioni scientifiche articolate e complesse, e suggerisco che vengano affrontate basandosi su studi scientifici, di cui c’è molto bisogno. Per uno studente del Dottorato Nazionale in Intelligenza Artificiale (che ho contribuito a far nascere) dovrebbe essere una grande opportunità. — Beppe On 6 Oct 2023, at 23:30, <nexa-request(a)server-nexa.polito.it> <nexa-request(a)server-nexa.polito.it> wrote: From: Daniele Gambetta <daniele.gambetta7(a)gmail.com<mailto:daniele.gambetta7@gmail.com>> To: nexa(a)server-nexa.polito.it<mailto:nexa@server-nexa.polito.it> Subject: [nexa] IA, lavoro, immaginari Message-ID: <CAJTd2eikFissqhKHR7dhmZwfn9B5ijpLtLERz7VH8H4YrWEsUA(a)mail.gmail.com<mailto:CAJTd2eikFissqhKHR7dhmZwfn9B5ijpLtLERz7VH8H4YrWEsUA@mail.gmail.com>> Content-Type: text/plain; charset="utf-8" Ciao a tutte/i, seguo da tempo questa mailing list con interesse anche se scrivo poco. Volevo segnalarvi un articolo che ho scritto di recente su temi legati all'IA, pubblicato in due parti su DinamoPress. Mi farebbe piacere avere feedback e pareri o avviare una discussione. 1) https://www.dinamopress.it/news/al-di-la-del-faust-e-dellhype-appunti-su-in… 2) https://www.dinamopress.it/news/technic-and-magic-animismo-di-piattaforma-e… Saluti e buon we. Daniele

Oct. 13, 2023

Re: [nexa] Can Large Language Models reason?

by 380°

Daniela Tafani <daniela.tafani(a)unipi.it> writes: > Melanie Mitchell, Can Large Language Models reason? > > https://aiguide.substack.com/p/can-large-language-models-reason disponibili anche qui: https://web.archive.org/web/20230911043145/https://aiguide.substack.com/p/c… e qui: https://archive.ph/TVsNy > (non lo copio di seguito perchè immagini e formattazione servono) si ma potrebbe essere utile un po' di testo sia a fini archivistici che per aiutare gli iscritti a capire se vale la pena approfondire o meno --8<---------------cut here---------------start------------->8--- [...] Reasoning is a central aspect of human intelligence, and robust domain-independent reasoning abilities have long been a key goal for AI systems. While large language models (LLMs) are not explicitly trained to reason, they have exhibited “emergent” behaviors that sometimes look like reasoning. But are these behaviors actually driven by true abstract reasoning abilities, or by some other less robust and generalizable mechanism—for example, by memorizing their training data and later matching patterns in a given problem to those found in training data? Why does this matter? If robust general-purpose reasoning abilities have emerged in LLMs, this bolsters the claim that such systems are an important step on the way to trustworthy general intelligence. On the other hand, if LLMs rely primarily on memorization and pattern-matching rather than true reasoning, then they will not be generalizable—we can’t trust them to perform well on “out of distribution” tasks, those that are not sufficiently similar to tasks they’ve seen in the training data. * What Is “Reasoning”? The word “reasoning” is an umbrella term that includes abilities for deduction, induction, abduction, analogy, common sense, and other “rational” or systematic methods for solving problems. Reasoning is often a process that involves composing multiple steps of inference. Reasoning is typically thought to require abstraction—that is, the capacity to reason is not limited to a particular example, but is more general. If I can reason about addition, I can not only solve 23+37, but any addition problem that comes my way. If I learn to add in base 10 and also learn about other number bases, my reasoning abilities allow me to quickly learn to add in any other base. * “Chain of Thought” Reasoning in LLMs In the last few years, there has been a deluge of papers making claims for reasoning abilities in LLMs (Huang & Chang give one recent survey). One of the most influential such papers (by Wei et al. from Google Research) proposed that so-called “Chain of Thought” (CoT) prompting elicits sophisticated reasoning abilities in these models. A CoT prompt gives one or more examples of a problem and the reasoning steps needed to solve it, and then poses a new problem. [...] * Are the Reasoning Steps Generated Under CoT Prompting Faithful to the Actual Reasoning Process? [...] * If LLMs Are Not Reasoning, What Are They Doing? [...] * The Trickiness of Evaluating LLMs for General Abilities [...] [...] One might argue that humans also rely on memorization and pattern-matching when performing reasoning tasks. Many psychological studies have shown that people are better at reasoning about familiar than unfamiliar situations; one group of AI researchers argued that the same patterns of “content effects” affect both humans and LLMs. However, it is also known that humans are (at least in some cases) capable of abstract, content-independent reasoning, if given the time and incentive to do so, and moreover we are able to adapt our understanding of what we have learned to wholly new situations. Whether LLMs have such general abstract-reasoning capacities, elicited through prompting tricks, scratchpads, or other external enhancements, still needs to be systematically demonstrated. --8<---------------cut here---------------end--------------->8--- Cordiali saluti, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Oct. 13, 2023

Re: [nexa] Can Large Language Models reason?

by Daniela Tafani

L'ho trovato sconcertante: sappiamo tutti, qui, credo, che errori o allucinazioni o bias non sono errori, sono solo i momenti in cui ci accorgiamo di cosa il sistema ordinariamente faccia ________________________________________ Da: nexa <nexa-bounces(a)server-nexa.polito.it> per conto di Giuseppe Attardi <attardi(a)di.unipi.it> Inviato: giovedì 12 ottobre 2023 21:50 A: nexa Oggetto: [nexa] Can Large Language Models reason? Secondo Peter Norvig stanno addirittura raggiungendo la AGI: https://www.noemamag.com/artificial-general-intelligence-is-already-here/ — Beppe On 12 Oct 2023, at 15:00, nexa-request(a)server-nexa.polito.it wrote: From: Daniela Tafani <daniela.tafani(a)unipi.it<mailto:daniela.tafani@unipi.it>> To: "nexa(a)server-nexa.polito.it<mailto:nexa@server-nexa.polito.it>" <nexa(a)server-nexa.polito.it<mailto:nexa@server-nexa.polito.it>> Subject: [nexa] Can Large Language Models reason? Message-ID: <c57ae4ebaa76494ea2f7ec1ef19b3646(a)unipi.it<mailto:c57ae4ebaa76494ea2f7ec1ef19b3646@unipi.it>> Content-Type: text/plain; charset="iso-8859-1" Melanie Mitchell, Can Large Language Models reason? https://aiguide.substack.com/p/can-large-language-models-reason (non lo copio di seguito perchè immagini e formattazione servono)

Oct. 12, 2023

Re: [nexa] IA, lavoro, immaginari

by Giuseppe Attardi

I word embedding sono molto diversi dai co-occurrence counts, simili a quelle dei tuoi esempi. I co-occuurrence count non funzionano affatto come rappresentazione del significato delle parole. I word embedding vengono ottenuti come effetto secondario dell’allenamento di un Language Model, come i vettori nascosti che consentono al modello di stimare la probabilità di una parola in un contesto. La dimensione dei word embeddings è un valore costante prefissato, indipendente dalla lunghezza del vocabolario, com nella tua versione. Ci vorrebbero diverse lezioni per spiegare come si calcolano i word embedding e perché funzionino in modo talmente efficace, come quelle che trovi qui: https://elearning.di.unipi.it/course/view.php?id=438 I word embedding sono composi di centinaia di dimensioni e non è ricostruibile cosa rappresenti ciascuna: sono le centinaia di sfumature/sfaccettature che tratteggiano le caratteristiche di una parola, sia semantiche che sintattiche o chissà che altro. Con l’attention dei transformer, gli embeddings vengono calcolati in modo contestuale frase per frase, per tenere conto della polisemia delle parole in contesti diversi. > Ora il significato del termine "leggere" è leggere: l'azione che stai Questa è l’accezione di “significato” denotazionale che filosofi hanno proposto dai tempi di Platone, ma appunto non risolve il problema perché poi dovresti definire cosa sia questa denotazione e riapriremmo una discussione che in 2000 anni non sono stati in grado di risolvere. Cos’è un tavolo? Cos’è la tavolinità che distingue un tavolo da altri oggetti: avere 4 gambe, o tre, o una? E cos'è una gamba? Avere un piano: cos'è un piano? E così a ritroso. — Beppe > On 12 Oct 2023, at 18:43, Giacomo Tesio <giacomo(a)tesio.it> wrote: > > Salve Giuseppe, > > Il giorno Thu, 12 Oct 2023 10:26:32 +0200 Giuseppe Attardi ha scritto: > >> alla base dei LLMs ci sono i word embedding, un modo per assegnare un >> significato alle parole > > non mi è chiaro come i word embedding possano catturare il significato. > > > Per chi non lo sapesse, un word embeeding è un vettore N-dimensionale > (una sequenza di N numeri) che approssima la posizione di un termine > in uno spazio euclideo progettato per massimizzare la vicinanza con > i termini usati in modo simile in contesti simili. > > Un modo per calcolarlo, consiste nell'associare ad ogni elemento del > vettore una misura (tipicamente la frequenza) di una relazione con > cui quel termime appare associato agli altri termini nel "corpus" > sorgente. > > Immagina un dataset sorgente composto da tre frasi: > > - Giuseppe scrive. > - Giuseppe legge. > - Giuseppe legge o scrive. > > Abbiamo 4 parole: "Giuseppe" alla prima posizione, "scrive" alla > seconda e "legge" alla terza, "o" alla quarta. > > I rispettivi word embedding potrebbero essere > > - Giuseppe [0, 0.5, 0.5, 0] > - scrive [1, 0, 0, 0.5] > - legge [1, 0, 0, 0.5] > - o [0, 0.5, 0.5, 0] > > All'aumentare della dimensione del dataset sorgente (il "corpus") e del > vocabolario, aumenta il numero di dimensioni dello spazio euclideo in > questione (ovvero la lunghezza di ciascun vettore) e con tecniche più > avanzate può variare la semantica degli elementi del vettore... ma la > sostanza è questa: il vettore cattura la relazione di un termine con > gli altri presenti nel vocabolario estraendola da misure estratte dal > dataset sorgente. > > > Ora il significato del termine "leggere" è leggere: l'azione che stai > compiendo (spero) mentre guardi su uno schermo la rappresentazione di > questo mio messaggio. > > Quel significato è una esperienza soggettiva complessa ed unica della > tua mente, legata alle diverse altre esperienze e riflessioni della tua > vita. > > > Analogamente le parole "amare" o "morte" non derivano il proprio > significato dalla relazione che hanno con altre parole, ma dalle > esperienze umane che convenzionalmente esprimono. > > Anche parole come "zero" o "spin" (quantistico), pur non derivando > direttamente da esperienze fisiche, derivano il proprio significato da > esperienze soggettive di pensiero comunicabile (aka le "informazioni" > che cerchiamo di esprimere attraverso di esse). > > > In nessun caso la relazione fra le parole ne costituisce il senso. > > Infatti possiamo facilmente definire nuove parole per riferirci ad una > qualsiasi esperienza condivisa, senza nemmeno condividere una > definizione e ci capiremo benissimo. > > Se andiamo a prenderci un caffé e ci diciamo "da adesso in poi questa > azione la chiamiamo 'fefare'", potremo fefare periodicamente o > discutere dove fefare meglio senza alcun bisogno di analizzare la > frequenza del termine in relazione agli altri termini del nostro > vocabolario per dedurre il significato della parola stessa. > > > Dunque i word embedding non rappresentano alcun significato, ma > al massimo relazioni statistiche fra significanti. > > > Il "significato" può esistere solo nelle menti di noi esseri umani, come > esperienza soggettiva di pensiero comunicabile (l'informazione, appunto) > > >> ...the huge number of features interacting in very complicated way to >> predict the features of the next word and from that make a prediction >> about the probability of the next word, the point is that is >> understanding, at least I believe that is understanding. >> I believe that is what our brains are doing. > > "I believe". > > Mulder con più onestà intellettuale avrebbe detto "I WANT to believe". > > >> È tratto da una conversazione con Andrew Ng, che si dichiara >> d’accordo. > > Ma dai? il gatto e la volpe... :-) > > Potremmo considerarlo un corollario della nota osservazione di Upton > Sinclair [1] > > "It's straightforward to get a man to believe something when his salary > and status depend on spreading such belief." > > > Giacomo > > [1] "It is difficult to get a man to understand something, when his > salary depends on his not understanding it."

Oct. 12, 2023

Can Large Language Models reason?

by Giuseppe Attardi

Secondo Peter Norvig stanno addirittura raggiungendo la AGI: https://www.noemamag.com/artificial-general-intelligence-is-already-here/ — Beppe > On 12 Oct 2023, at 15:00, nexa-request(a)server-nexa.polito.it wrote: > > From: Daniela Tafani <daniela.tafani(a)unipi.it <mailto:daniela.tafani@unipi.it>> > To: "nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it>" <nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it>> > Subject: [nexa] Can Large Language Models reason? > Message-ID: <c57ae4ebaa76494ea2f7ec1ef19b3646(a)unipi.it <mailto:c57ae4ebaa76494ea2f7ec1ef19b3646@unipi.it>> > Content-Type: text/plain; charset="iso-8859-1" > > Melanie Mitchell, Can Large Language Models reason? > > https://aiguide.substack.com/p/can-large-language-models-reason > > (non lo copio di seguito perchè immagini e formattazione servono) >

Oct. 12, 2023

Even Google Insiders Are Questioning Bard AI Chatbot’s Usefulness (una soluzione in cerca di un problema)

by Daniela Tafani

https://www.bloomberg.com/news/articles/2023-10-11/google-insiders-question… Domanda: qual è la sfida più grande per la vostra azienda, riguardo a questo prodotto? Risposta: capire a cosa serva "can you tell us whats one of the biggest challenges the team is trying to tackle? perhaps a feature that you want to roll out some" CathyfromGoogle: “I think form the biggest challenge I’m still thinking of: what are LLMs truly useful for, in terms of helpfulness? Like really making a difference. TBD!” J. Weizenbaum, 1985: "the computer has almost since its beginning been basically a solution looking for a problem".

Oct. 12, 2023

Re: [nexa] IA, lavoro, immaginari

by Giacomo Tesio

Salve Giuseppe, Il giorno Thu, 12 Oct 2023 10:26:32 +0200 Giuseppe Attardi ha scritto: > alla base dei LLMs ci sono i word embedding, un modo per assegnare un > significato alle parole non mi è chiaro come i word embedding possano catturare il significato. Per chi non lo sapesse, un word embeeding è un vettore N-dimensionale (una sequenza di N numeri) che approssima la posizione di un termine in uno spazio euclideo progettato per massimizzare la vicinanza con i termini usati in modo simile in contesti simili. Un modo per calcolarlo, consiste nell'associare ad ogni elemento del vettore una misura (tipicamente la frequenza) di una relazione con cui quel termime appare associato agli altri termini nel "corpus" sorgente. Immagina un dataset sorgente composto da tre frasi: - Giuseppe scrive. - Giuseppe legge. - Giuseppe legge o scrive. Abbiamo 4 parole: "Giuseppe" alla prima posizione, "scrive" alla seconda e "legge" alla terza, "o" alla quarta. I rispettivi word embedding potrebbero essere - Giuseppe [0, 0.5, 0.5, 0] - scrive [1, 0, 0, 0.5] - legge [1, 0, 0, 0.5] - o [0, 0.5, 0.5, 0] All'aumentare della dimensione del dataset sorgente (il "corpus") e del vocabolario, aumenta il numero di dimensioni dello spazio euclideo in questione (ovvero la lunghezza di ciascun vettore) e con tecniche più avanzate può variare la semantica degli elementi del vettore... ma la sostanza è questa: il vettore cattura la relazione di un termine con gli altri presenti nel vocabolario estraendola da misure estratte dal dataset sorgente. Ora il significato del termine "leggere" è leggere: l'azione che stai compiendo (spero) mentre guardi su uno schermo la rappresentazione di questo mio messaggio. Quel significato è una esperienza soggettiva complessa ed unica della tua mente, legata alle diverse altre esperienze e riflessioni della tua vita. Analogamente le parole "amare" o "morte" non derivano il proprio significato dalla relazione che hanno con altre parole, ma dalle esperienze umane che convenzionalmente esprimono. Anche parole come "zero" o "spin" (quantistico), pur non derivando direttamente da esperienze fisiche, derivano il proprio significato da esperienze soggettive di pensiero comunicabile (aka le "informazioni" che cerchiamo di esprimere attraverso di esse). In nessun caso la relazione fra le parole ne costituisce il senso. Infatti possiamo facilmente definire nuove parole per riferirci ad una qualsiasi esperienza condivisa, senza nemmeno condividere una definizione e ci capiremo benissimo. Se andiamo a prenderci un caffé e ci diciamo "da adesso in poi questa azione la chiamiamo 'fefare'", potremo fefare periodicamente o discutere dove fefare meglio senza alcun bisogno di analizzare la frequenza del termine in relazione agli altri termini del nostro vocabolario per dedurre il significato della parola stessa. Dunque i word embedding non rappresentano alcun significato, ma al massimo relazioni statistiche fra significanti. Il "significato" può esistere solo nelle menti di noi esseri umani, come esperienza soggettiva di pensiero comunicabile (l'informazione, appunto) > ...the huge number of features interacting in very complicated way to > predict the features of the next word and from that make a prediction > about the probability of the next word, the point is that is > understanding, at least I believe that is understanding. > I believe that is what our brains are doing. "I believe". Mulder con più onestà intellettuale avrebbe detto "I WANT to believe". > È tratto da una conversazione con Andrew Ng, che si dichiara > d’accordo. Ma dai? il gatto e la volpe... :-) Potremmo considerarlo un corollario della nota osservazione di Upton Sinclair [1] "It's straightforward to get a man to believe something when his salary and status depend on spreading such belief." Giacomo [1] "It is difficult to get a man to understand something, when his salary depends on his not understanding it."

Oct. 12, 2023

Can Large Language Models reason?

by Daniela Tafani

Melanie Mitchell, Can Large Language Models reason? https://aiguide.substack.com/p/can-large-language-models-reason (non lo copio di seguito perchè immagini e formattazione servono)

Oct. 12, 2023