- nexa - server-nexa.polito.it

Re: [nexa] IA, lavoro, immaginari [CDT:L3] [CDT:L5] [CDT:L-1]

by 380°

Buongiorno Daniela, Daniela Tafani <daniela.tafani(a)unipi.it> writes: > Per il taglio e la sede, varrebbe forse la pena di soffermarsi (nella > terza puntata?) su due o tre questioni di fondo: Grazie, trovo sempre estremamente interessanti le questioni che poni, credo che non sia un caso (che tu ponga questioni interessanti) essendo ricercatrice in filosofia, anche se poi alcune etichette che vengono assegnate ai dipartimenti universitari (/scienze/ politiche?) aiutano solo a fare confuZione :-) [...] > - l'IA è "un derivato della sorveglianza"? (2) (3) No, è un derivato del «capture model»; mi autocito: https://server-nexa.polito.it/pipermail/nexa/2021-August/022090.html «[nexa] Surveillance and capture: Two models of privacy (Philip E. Agre)» del 18 Agosto 2021 (rif: id:87r1erdn8u.fsf@xelera.eu) --8<---------------cut here---------------start------------->8--- «Surveillance and capture: Two models of privacy», 1994 by Philip E. Agre disponibile sia su Sci-Hub: https://sci-hub.st/10.1080/01972243.1994.9960162 che qui, ripubblicato in The New Media Reader nel 2003: https://blogs.commons.georgetown.edu/cctp-506-spring2018/files/2015/12/51-a… Venti anni prima che Vincent Mosco descrivesse la vendita delle informazioni ai pubblicitari come "surveillance capitalism" e 25 anni prima di Shoshana Zuboff col suo famosissimo libro, Agre descrive le questione della privacy come dialettica tra metafore visuali e (surveillance) metafore linguistiche (capture): Abstract: Two models of privacy issues are contrasted. The surveillance model employs visual metaphors (e.g., "Big Brother is watching") and derives from historical experiences of secret police surveillance. The less familiar capture model employs linguistic metaphors and has deep roots in the practices of applied computing through which human activities are systematically reorganized to allow computers to track them in real time. The capture model is discussed with reference to systems in numerous domains. --8<---------------cut here---------------end--------------->8--- ATTENZIONE: non è un caso che l'analisi di Agre adotti metafore _linguistiche_, che si adattano *splendidamente* anche alle pratiche di "applied computing" implementate attraverso i LLM. ATTENZIONE 2: Agre presenta il suo lavoro come analisi delle questioni relative alla privacy MA in realtà, studiandolo con attenzione, non è difficile comprendere quanto egli si riferisca in generale alla *agency* delle persone quando si _interfaciano_ a sistemi informatici. ATTENZIONE 3: che si tratti di intrattenimento, vita privata, vita pubblica, occupazione (posto di lavoro), spiritualità o _scienza_ il meccanismo di /capture/ funziona *esattamente* allo stesso modo; quindi ho un modesto suggerimento non richiesto: attaccare il meccanismo del "capture" è il modo più efficace di /smontare/ il dominio dei pochi sui molti. [...] > Quanto alla famiglia di ideologie TESCREAL, Per chi ignorava come me, (https://en.wikipedia.org/wiki/TESCREAL) è l'acronimo di: "transhumanism, extropianism, singularitarianism, cosmism, rationalism, Effective Altruism, and longtermism." cioè: 1. https://en.wikipedia.org/wiki/Transhumanism 2. https://en.wikipedia.org/wiki/Extropianism 3. https://en.wikipedia.org/wiki/Singularitarianism 4. cosmism: A religious philosophical position from the writings of Hugo de Garis [1] https://en.wikipedia.org/wiki/Hugo_de_Garis#The_Artilect_War (da non confondere con il movimento filosofico russo) 5. https://en.wikipedia.org/wiki/Rationalism 6. https://en.wikipedia.org/wiki/Effective_altruism 7. https://en.wikipedia.org/wiki/Effective_altruism una versione politically-correct e ethic-washing del filantropismo deciso da pochissimi per il bene non solo dell'intera umanità ma dell'intero *universo* 8. https://en.wikipedia.org/wiki/Longtermism una versione laica del «adesso soffrite in silenzio, in un lontanissimo futuro andrà tutto benissimo» Non vale la pena di commentare sulla validità filosofica (e quindi sul loro apporto decisamente negativo alla ricerca della verità) di tutti i punti... ...tranne uno: aver inserito la R come quinta lettera dell'acronimo, il razionalismo, mi da un colpo al cuore e scatena in me un moto di vibrata protesta! No, non incolpate Kant per tutto questo, ve ne prego!!! Perché Kant è tardo-razionalista, vero?!? O è già post-razionalista e rivoluziona la filosofia col suo idealismo trascendentale? Comunque sia, ovunque volessimo "inquadrare" Kant per inserirlo in un "movimento", io suggerirei di rivolgere il proprio sguardo critico non tanto al (superato?) razionalismo quanto al suo nipotino estremamente più insolente, _violento_ e /attuale/ [2]: il positivismo --8<---------------cut here---------------start------------->8--- Positivism is a philosophical school that holds that all genuine knowledge is either true by definition or positive—meaning a posteriori facts derived by reason and logic from sensory experience.[1][2] Other ways of knowing, such as intuition, introspection, or religious faith, are rejected or considered meaningless. --8<---------------cut here---------------end--------------->8--- Denigrare intuizione e introspezione come genuini modi di conoscenza è da analfabeti funzionali (con assoluta mancanza di capacità introspettive, tra l'altro). Non parliamo poi della totale ignoranza del ruolo del "Giudizio". Sostenere che la conoscenza, ottenuta attraverso il solo uso della ragione e della logica applicata all'esperienza sensoriale, è vera per definizione *equivale* (quasi) direttamente a dire che la verità può essere ottenuta attraverso una macchina che applichi ragione e logica alle tonnellate di dati (esperienza sensoriale?) che riceve in input, cioè _postulare_ la possibilità dell'esistenza della Intelligenza Artificiale Generale, il "Giudizio" è superfluo. L'acronimo corretto, quindi, sarebbe: TESC_P_EAL. :-D > a me paiono centrali gli elementi eugenetici e quelli religiosi. Mumble... trovare gli elementi TESCPEAL che sono più determinanti è davvero arduo, però non è questa a mio avviso la ricerca più interessante: trovo molto più interessante cercare di risalire all'origine del "misunderstanding". Il principale sospettato (come si potrà intuire) è _esattamente_ il positivismo perché omette di dire una cosa *fondamentale*, ovvero che, secondo la sua ancestrale concezione, la verità è *posta* dalla ragione, logica ed esperienza sensibile di POCHI (analfabeti funzionali) _contro_ il resto dell'umanità. Non ci sono modi simpatici per dirlo. Quindi transumanisti, eugenetisti tecnologici, singolaristi, cosmisti, filantropi altruisti e lungotermisti sono _sicuri_ di aver compreso la verità delle cose e vogliono, semplicemente, (im)porcela. Se non fosse tragica, la cosa sarebbe anche divertente perché tutto questo deriva da una cosa sola e soltanto: la loro fottutissima paura della morte, lo spiega bene Weizenbaum alla fine di «Plug & Pray» (2010) http://www.plugandpray-film.de/en/index.html ...solo che essendo positivisti incalliti non riescono proprio ad accettarlo che la loro è una forma di spiritualità alienata: sperano di guadagnarsi la vita eterna con l'acquisto 4.0 (neo-protestante) dell'indulgenza [3]; probabilmente Freud et al aiuterebbero. > Donde, tra gli altri, l'IA fisiognomica e il messianesimo d'accatto. > Se ne occupa Emile Torres (5). Grazie per i riferimenti! [...] > (2) M. Whittaker, A Message from Signal's New President, September 6, 2022, https://signal.org/blog/announcing-signal-president/ > (3) S. Zuboff, Surveillance Capitalism or Democracy? The Death Match of Institutional Orders and the Politics of Knowledge in Our Information Civilization, “Organization Theory”, 3 (2022), pp. 1-79, https://doi.org/10.1177/26317877221129290 [...] > (5) https://www.truthdig.com/articles/longtermism-and-eugenics-a-primer/ Saluti, 380° [1] sostanzialmente i "Cosmists" _sperano_ che un giorno non meglio precisato del 21mo secolo una versione molto più evoluta dei Borg (vedi Star Trek) colonizzi l'intero universo, ovviamente «resistance is futile». [2] https://en.wikipedia.org/wiki/Positivism#Positivism_today : il positivismo è talmente perverso da riuscire a nascondersi benissimo e apparire qualsiasi altra cosa, tipo "evidence based <qualcosa>" :-O «To complicate the issues further, few practising scholars explicitly state their epistemological commitments, and their epistemological position thus has to be guessed from other sources such as choice of methodology or theory.» [3] https://it.wikipedia.org/wiki/Indulgenza#Lo_scandalo_della_vendita_delle_in… ...solo che col protestantesimo "semplicemente" il "virtue signalling" religioso ha assunto altre forme. -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Oct. 13, 2023

Re: [nexa] IA, lavoro, immaginari

by Daniela Tafani

Sì, certo. Mi riferivo al fatto che le autrici, pubblicamente interrogate da Quote Investigator, lo hanno attribuito a Bender, che ha confermato: https://twitter.com/QuoteResearch/status/1578770263696871425 https://twitter.com/emilymbender/status/1578829544303521797 Quote Investigator lo ha perciò riportato nella pagina https://quoteinvestigator.com/2022/10/07/word-parrot/ Solo per completezza, ricordo che Regina Rini aveva utilizzato, in precedenza, un'espressione simile, che ha avuto meno fortuna: "all-electronic statistical parrot" https://dailynous.com/2020/07/30/philosophers-gpt-3/#rini ________________________________________ Da: Giuseppe Attardi Inviato: venerdì 13 ottobre 2023 10:15 A: Daniela Tafani Cc: nexa Oggetto: Re: [nexa] IA, lavoro, immaginari Secondo Wikipedia, il termine “stochastic parrot” è stato coniato nell’articolo citato da Gambetta e da me, di cui sono coautrici Bender e Gebru, nel paragrafo che ho riportato. <https://en.wikipedia.org/wiki/Stochastic_parrot> Stochastic parrot<https://en.wikipedia.org/wiki/Stochastic_parrot> en.wikipedia.org<https://en.wikipedia.org/wiki/Stochastic_parrot> [wikipedia.png] <https://en.wikipedia.org/wiki/Stochastic_parrot> — Beppe On 13 Oct 2023, at 08:40, Daniela Tafani <daniela.tafani(a)unipi.it> wrote: Buongiorno. Solo una notazione a margine: l'espressione "pappagalli stocastici" è stata coniata da Emily Bender, linguista computazionale specializzata in natural language processing. La sua posizione, quanto al significato, è formulata distesamente, tra gli altri, qui: E.M. Bender, A. Lascarides, Linguistic fundamentals for natural language processing II. 100 essentials from semantics and pragmatics, 2020, https://link.springer.com/book/10.1007/978-3-031-02172-5

Oct. 13, 2023

Re: [nexa] IA, lavoro, immaginari

by Giuseppe Attardi

Secondo Wikipedia, il termine “stochastic parrot” è stato coniato nell’articolo citato da Gambetta e da me, di cui sono coautrici Bender e Gebru, nel paragrafo che ho riportato. https://en.wikipedia.org/wiki/Stochastic_parrot — Beppe > On 13 Oct 2023, at 08:40, Daniela Tafani <daniela.tafani(a)unipi.it> wrote: > > Buongiorno. > > Solo una notazione a margine: > l'espressione "pappagalli stocastici" è stata coniata da Emily Bender, linguista computazionale specializzata in natural language processing. > > La sua posizione, quanto al significato, è formulata distesamente, tra gli altri, qui: > > E.M. Bender, A. Lascarides, Linguistic fundamentals for natural language processing II. 100 essentials from semantics and pragmatics, 2020, > https://link.springer.com/book/10.1007/978-3-031-02172-5 >

Oct. 13, 2023

Re: [nexa] Can Large Language Models reason?

by Daniela Tafani

Norvig scrive: "Decades from now, they will be recognized as the first true examples of AGI" Mi pare una variante della fallacia del primo passo (forse con un contributo della fallacia degli esempi tratti dal futuro): se quello che siete in grado di realizzare oggi sarà interpretato, tra qualche decennio, per usare l'esempio di Dreyfus, come l'azione di una scimmia che si arrampica su un albero ed è convinta, con ciò, di essere in cammino verso la luna, oppure come un passo verso l'AGI, ossia su un sentiero che si trova in un continuum rispetto alla meta - che non richiede perciò che si cambi rotta o strategia o che si abbandoni il progetto e si ricominci dall'inizio - lo sapremo tra qualche decennio. Un saluto, Daniela ________________________________________ Da: nexa <nexa-bounces(a)server-nexa.polito.it> per conto di Giuseppe Attardi <attardi(a)di.unipi.it> Inviato: giovedì 12 ottobre 2023 21:50 A: nexa Oggetto: [nexa] Can Large Language Models reason? Secondo Peter Norvig stanno addirittura raggiungendo la AGI: https://www.noemamag.com/artificial-general-intelligence-is-already-here/ — Beppe On 12 Oct 2023, at 15:00, nexa-request(a)server-nexa.polito.it wrote: From: Daniela Tafani <daniela.tafani(a)unipi.it<mailto:daniela.tafani@unipi.it>> To: "nexa(a)server-nexa.polito.it<mailto:nexa@server-nexa.polito.it>" <nexa(a)server-nexa.polito.it<mailto:nexa@server-nexa.polito.it>> Subject: [nexa] Can Large Language Models reason? Message-ID: <c57ae4ebaa76494ea2f7ec1ef19b3646(a)unipi.it<mailto:c57ae4ebaa76494ea2f7ec1ef19b3646@unipi.it>> Content-Type: text/plain; charset="iso-8859-1" Melanie Mitchell, Can Large Language Models reason? https://aiguide.substack.com/p/can-large-language-models-reason (non lo copio di seguito perchè immagini e formattazione servono)

Oct. 13, 2023

Re: [nexa] Can Large Language Models reason?

by Daniela Tafani

Grazie della precisazione. Temo di non aver formulato la frase in modo chiaro, visto che l'hai intesa come la tesi sciocca che correttamente confuti. Mi riferivo solo e specificamente a ciò che ho elencato. Quello che ho scritto è attestato dagli stessi produttori: "allucinazioni", ad esempio, è un'antropomorfizzazione ed è pericolosamente fuorviante, perchè sappiamo (questo, intendevo) che il sistema non ha alcuna allucinazione, nel senso proprio del termine. Lo rileva esplicitamente OpenAI in GPT-4 technical report, https://arxiv.org/abs/2303.08774: "We use the term 'hallucinations,' though we recognize ways this framing may suggest anthropomorphization, which in turn can lead to harms or incorrect mental models of how the model learns"(1) Sul resto, sarei interessata a conoscere il tuo parere sulla tesi formulata in I. van Rooij, O. Guest, F.G. Adolfi, R. de Haan, A. Kolokolova, P. Rich, Reclaiming AI as a theoretical tool for cognitive science, August 1, 2023, https://doi.org/10.31234/osf.io/4cbuv: The contemporary field of AI, however, has taken the theoretical possibility of explaining human cognition as a form of computation to imply the practical feasibility of realising human(-like or -level) cognition in factual computational systems; and, the field frames this realisation as a short-term inevitability. Yet, as we formally prove herein, creating systems with human(-like or -level) cognition is intrinsically computationally intractable. This means that any factual AI systems created in the short-run are at best decoys. When we think these systems capture something deep about ourselves and our thinking, we induce distorted and impoverished images of ourselves and our cognition. In other words, AI in current practice is deteriorating our theoretical understanding of cognition rather than advancing and enhancing it. Grazie, buona giornata, Daniela ________________________________________ Da: Giuseppe Attardi <attardi(a)di.unipi.it> Inviato: venerdì 13 ottobre 2023 09:21 A: Daniela Tafani Cc: nexa Oggetto: Re: [nexa] Can Large Language Models reason? Non so quello che “sanno tutti”, e quanto a me sono più le cose che non so di quelle che so. Alcune cose le so perché ho evidenza diretta della loro verità (so che adesso è venerdì), altre perché qualcuno di cui mi fido, ha prodotto tale evidenza e altri non sono stati in grado di confutarla (conoscenza scientifica), altre non le so perché tale evidenza non l’ho ancora trovata, altre infine non le so perché non sono in grado di capirle. Quest’ultimo potrebbe essere il caso in questione. L’articolo di Norvig ha sollevato un dibattito tra gli esperti, cercando di interpretare questa affermazione dell’articolo: "Given example inputs and outputs of any function that can be computed by any computer, a neural net can learn to approximate that function. " L’affermazione fa riferimento a quest’altro articolo: <https://arxiv.org/pdf/2309.06979.pdf> arxiv.org<https://arxiv.org/pdf/2309.06979.pdf> [X] <https://arxiv.org/pdf/2309.06979.pdf> Che conclude: given suitable data, simple next-token predictors can be trained to effectively learn virtually any function of interest. Consequently, if there exists some computer program capable of realizing AGI, then it is theoretically plausible to attain AGI through training simple next token predictors, given the appropriate data. L’articolo non è facile da capire, ma questa è la mia interpretazione, approvata da altri partecipanti alla discussione. In the paper by Malach, he fine-tunes the LLM to produce the CoT prompt, which is then used to drive the model to perform an unlearnable task. In the example of multiplication, the task is split into several subtasks, which involve the learnable tasks of addition and subtraction. The number of examples to fine-tune the CoT generator is a limitation of the approach, which is acknowledged in the paper. In tutta onestà, non credo di sapere “cosa il sistema faccia ordinariamente” né tantomeno di cosa sia in grado di fare. Spero che gli altri, qui, lo sappiano. — Beppe On 12 Oct 2023, at 22:38, Daniela Tafani <daniela.tafani(a)unipi.it> wrote: L'ho trovato sconcertante: sappiamo tutti, qui, credo, che errori o allucinazioni o bias non sono errori, sono solo i momenti in cui ci accorgiamo di cosa il sistema ordinariamente faccia ________________________________________ Da: nexa <nexa-bounces(a)server-nexa.polito.it> per conto di Giuseppe Attardi <attardi(a)di.unipi.it> Inviato: giovedì 12 ottobre 2023 21:50 A: nexa Oggetto: [nexa] Can Large Language Models reason? Secondo Peter Norvig stanno addirittura raggiungendo la AGI: https://www.noemamag.com/artificial-general-intelligence-is-already-here/ — Beppe On 12 Oct 2023, at 15:00, nexa-request(a)server-nexa.polito.it wrote: From: Daniela Tafani <daniela.tafani(a)unipi.it<mailto:daniela.tafani@unipi.it>> To: "nexa(a)server-nexa.polito.it<mailto:nexa@server-nexa.polito.it>" <nexa(a)server-nexa.polito.it<mailto:nexa@server-nexa.polito.it>> Subject: [nexa] Can Large Language Models reason? Message-ID: <c57ae4ebaa76494ea2f7ec1ef19b3646(a)unipi.it<mailto:c57ae4ebaa76494ea2f7ec1ef19b3646@unipi.it>> Content-Type: text/plain; charset="iso-8859-1" Melanie Mitchell, Can Large Language Models reason? https://aiguide.substack.com/p/can-large-language-models-reason (non lo copio di seguito perchè immagini e formattazione servono)

Oct. 13, 2023

Re: [nexa] IA, lavoro, immaginari

by Giuseppe Attardi

Appunto, quella di Bender è la visione dei linguisti, che non ha portato, finora, a grandi risultati pratici (cit. Nello Cristianini, La scorciatoia). I linguisti dibattono da secoli su “what is meaning”, senza venirne a capo, elencando requisiti impossibili da verificare. La svolta è iniziata negli anni 1980, quando Jelinek ha introdotto i metodi statistici. L’articolo di Norvig cerca di ribattere a certe posizioni preconcette: Without explicit symbols, according to these critics, a merely learned, “statistical” approach cannot produce true understanding. Relatedly, they claim that without symbolic concepts, no logical reasoning can occur, and that “real” intelligence requires such reasoning. Setting aside the question of whether intelligence is always reliant on symbols and logic, there are reasons to question this claim about the inadequacy of neural nets and machine learning, because neural nets are so powerful at doing anything a computer can do. Without explicit symbols, according to these critics, a merely learned, “statistical” approach cannot produce true understanding. Relatedly, they claim that without symbolic concepts, no logical reasoning can occur, and that “real” intelligence requires such reasoning. — Beppe > On 13 Oct 2023, at 08:40, Daniela Tafani <daniela.tafani(a)unipi.it> wrote: > > Buongiorno. > > Solo una notazione a margine: > l'espressione "pappagalli stocastici" è stata coniata da Emily Bender, linguista computazionale specializzata in natural language processing. > > La sua posizione, quanto al significato, è formulata distesamente, tra gli altri, qui: > > E.M. Bender, A. Lascarides, Linguistic fundamentals for natural language processing II. 100 essentials from semantics and pragmatics, 2020, > https://link.springer.com/book/10.1007/978-3-031-02172-5 > > Riporto di seguito i titoli dei paragrafi del secondo capitolo, dedicato a What is meaning: > > 2 What is Meaning? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 > #2 Meaning can be modeled in terms of validity and reference. . . . . . . . . . . . . . 5 > #3 Natural language understanding requires commonsense reasoning. . . . . . . . 8 > #4 Meaning derived from form is different from meaning in context of use. . 11 > #5 Many extant models of meaning distinguish locutionary, illocutionary > and perlocutionary acts. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 > #6 Philosophical concepts like indirect speech acts and common ground > are useful for dialogue processing, but they have a different status from > public commitments when resolving anaphora. . . . . . . . . . . . . . . . . . . . . . . . . . 15 > #7 Some speech acts are relations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 > #8 Linguistic meaning includes emotional content. . . . . . . . . . . . . . . . . . . . . . 18 > #9 Linguistic meaning includes social meaning. . . . . . . . . . . . . . . . . . . . . . . . . 20 > #10 There is ambiguity at many levels. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 > #11 What’s done as a pipeline in many approaches to NLP is done in > human processing via incremental interpretation/incremental building of > the discourse model. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 > #12 In face-to-face conversation, people use both verbal and non-verbal > actions to convey meaning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 > #13 Linguistic meaning and non-linguistic perception interact in complex > ways. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 > #14 (Disambiguated) linguistic form produces an abstract meaning > representation, while coherence and cognitive states yield more specific > contents. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 > > La linguistica non è il mio ambito di ricerca, ma posso comunque constatare che, dal punto di vista filosofico, > per respingere la tesi dei pappagalli stocastici occorre confutare alcune delle tesi formulate nei titoli sopra. > > Un saluto, > Daniela > > ________________________________________ > Da: nexa <nexa-bounces(a)server-nexa.polito.it> per conto di Giuseppe Attardi <attardi(a)di.unipi.it> > Inviato: giovedì 12 ottobre 2023 10:26 > A: nexa(a)server-nexa.polito.it > Oggetto: Re: [nexa] IA, lavoro, immaginari > > Scusate se riprendo questo tema dall’inizio, in quanto finora sono stato impegnato ad organizzare questo dibattito, che affronta alcuni delle questioni di fondo sulle capacità dell’AI di avere impatti sulla società: > > https://sites.google.com/view/ellisfms2023/program/debate-ai-societal-impact > > e a cui parteciperanno alcuni tra i principali esperti al mondo, tra cui Yoshua Bengio, Moshe Vardi, Ricardo Baeza-Yates, Gary Marcus, Geoff Hinton. > > Gli ultimi due si confronteranno proprio sulla questione se i LLM siano in grado di comprendere. > > Daniele Gambetta riporta il termine spregiativo di “stochastic parrot” che è stato affibbiato ai LLM da Timnit Gebru e colleghi. L’articolo è molto controverso ed è costato a Gebru il posto a Google. > Nell’articolo si sostiene che: > > An LM is a system for haphazardly stitching together sequences of linguistic forms it has observed in its vast training data, according to probabilistic information about how they combine, but without any reference to meaning: a stochastic parrot. > > Questa affermazione è superficiale e inesatta, perché non tiene conto di alcune cose: > > 1. Alla base dei LLMs ci sono i word embedding, un modo per assegnare un significato alle parole, un problema che ha eluso la filosofia e la linguistica per due millenni e che il Deep Learning ha risolto. Questo è quanto afferma Hinton in proposito: > “Many people who think it’s just statistics are thinking in terms of program models or counting the co-occurrence frequencies of words. We think this process of creating features of the embeddings and then interactions between features is actually understanding. Once you’ve taken the raw data of symbol strings and you can now predict the next symbol not by things like trigrams, but the huge number of features interacting in very complicated way to predict the features of the next word and from that make a prediction about the probability of the next word, the point is that is understanding, at least I believe that is understanding. I believe that is what our brains are doing. But that’s an issue to be discussed by the research community and it would be great if we could convince people that they are not just stochastic parrots.” > > 2. I LLM sono evoluti dai tempi dell’articolo, in particolare, ChatGPT e successivi sono stati allenati a interagire in conversazioni con il fine-tuning e quindi a tenere conto del contesto della discussione > > 3. La capacità di “comprendere” è difficile da definire, almeno in termini umani. L’unico modo che abbiamo per stabilire se uno studente ha “capito” una certa materia, è di sottoporlo a domande di verifica di comprensione. Ma in gran parte di tali test, GPT-4 supera il livello medio umano. Quindi, a tutti gli effetti pratici, capisce non solo una, ma molte materie. Lo “capisce” in una qualche forma diversa dalla nostra, ma pur sempre verificabile. > > 4. Le sorprendenti abilità dei LLM (perché hanno sorpreso tutti, compresi i loro sviluppatori), derivano dal fenomeno denominato “emergent abilities”, che appiano solo quando i modelli superano una certa scala. Per ora si tratta di un'osservazione empirica, iniziata con gli esperimenti di Jason Wei sul Chain-of-Thought, ma che si sta cercando di approfondire con una serie di spunti. > Uno di questi si lega alla teoria dei sistemi complessi di Giorgio Parisi, che spiega il loro comportamento come dovuto all’applicazione su larga scala di semplici leggi probabilistiche. > Ho suggerito a Parisi che sia proprio questo ciò che avviene nei LLM, che applicano su larga scala, in modelli di centinaia di miliardi di parametri, la semplice probabilità stimata della prossima parola. Parisi mi ha confermato di persona che l’ipotesi è alquanto plausibile. Questa stessa ipotesi spiega perché molti si rifiutano di riconoscere queste capacità: la mente umana è abituata a comprendere i fenomeni, scomponendoli in poche parti funzionali, che si combinano in modo deterministico. Nei fenomeni complessi questo non è possibile farlo. > Nel frattempo stanno uscendo diversi lavori scientifici, che cercano di dare una base scientifica al fenomeno: > 1. Ekin Akyürek, Dale Schuurmans, Jacob Andreas, Tengyu Ma, and Denny Zhou. What learning algorithm is in-context learning? Investigations with linear models<https://openreview.net/forum?id=0g0X4H8yN4I>. ICLR 2023 (Oral) > 2. Guhao Feng, Bohang Zhang, Yuntian Gu, Haotian Ye, Di He, Liwei Wang. Towards Revealing the Mystery behind Chain of Thought: A Theoretical Perspective<https://arxiv.org/abs/2305.15408>. NeurIPS 2023 (Oral). > 3. Angeliki Giannou, Shashank Rajput, Jy-yong Sohn, Kangwook Lee, Jason D Lee, Dimitris Papailiopoulos. Looped Transformers as Programmable Computers<https://arxiv.org/abs/2301.13196>. ICML 2023. > 4. Ruiqi Zhang, Spencer Frei, Peter L Bartlett. Trained Transformers Learn Linear Models In-Context<https://scholar.google.com/citations?view_op=view_citation&hl=en&user=uErE2…>. arXiv preprint arXiv:2306.09927, 2023. > Segnalo anche questo video di una presentazione di Sanjeev Arora su A Theory of Emergence of Complex Skills in Language Models (https://www.youtube.com/live/0D23NeBjCeQ?si=Trtt160lkXCgFEa6) > > In sostanza, siamo di fronte a questioni scientifiche articolate e complesse, e suggerisco che vengano affrontate basandosi su studi scientifici, di cui c’è molto bisogno. > Per uno studente del Dottorato Nazionale in Intelligenza Artificiale (che ho contribuito a far nascere) dovrebbe essere una grande opportunità. > > — Beppe > > On 6 Oct 2023, at 23:30, <nexa-request(a)server-nexa.polito.it> <nexa-request(a)server-nexa.polito.it> wrote: > > From: Daniele Gambetta <daniele.gambetta7(a)gmail.com<mailto:daniele.gambetta7@gmail.com>> > To: nexa(a)server-nexa.polito.it<mailto:nexa@server-nexa.polito.it> > Subject: [nexa] IA, lavoro, immaginari > Message-ID: > <CAJTd2eikFissqhKHR7dhmZwfn9B5ijpLtLERz7VH8H4YrWEsUA(a)mail.gmail.com<mailto:CAJTd2eikFissqhKHR7dhmZwfn9B5ijpLtLERz7VH8H4YrWEsUA@mail.gmail.com>> > Content-Type: text/plain; charset="utf-8" > > Ciao a tutte/i, > seguo da tempo questa mailing list con interesse anche se scrivo poco. > Volevo segnalarvi un articolo che ho scritto di recente su temi legati > all'IA, pubblicato in due parti su DinamoPress. > Mi farebbe piacere avere feedback e pareri o avviare una discussione. > > 1) > https://www.dinamopress.it/news/al-di-la-del-faust-e-dellhype-appunti-su-in… > 2) > https://www.dinamopress.it/news/technic-and-magic-animismo-di-piattaforma-e… > > Saluti e buon we. > Daniele >

Oct. 13, 2023

Re: [nexa] Can Large Language Models reason?

by Giuseppe Attardi

Oct. 13, 2023

Re: [nexa] IA, lavoro, immaginari

by Daniela Tafani

Buongiorno. Solo una notazione a margine: l'espressione "pappagalli stocastici" è stata coniata da Emily Bender, linguista computazionale specializzata in natural language processing. La sua posizione, quanto al significato, è formulata distesamente, tra gli altri, qui: E.M. Bender, A. Lascarides, Linguistic fundamentals for natural language processing II. 100 essentials from semantics and pragmatics, 2020, https://link.springer.com/book/10.1007/978-3-031-02172-5 Riporto di seguito i titoli dei paragrafi del secondo capitolo, dedicato a What is meaning: 2 What is Meaning? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 #2 Meaning can be modeled in terms of validity and reference. . . . . . . . . . . . . . 5 #3 Natural language understanding requires commonsense reasoning. . . . . . . . 8 #4 Meaning derived from form is different from meaning in context of use. . 11 #5 Many extant models of meaning distinguish locutionary, illocutionary and perlocutionary acts. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 #6 Philosophical concepts like indirect speech acts and common ground are useful for dialogue processing, but they have a different status from public commitments when resolving anaphora. . . . . . . . . . . . . . . . . . . . . . . . . . 15 #7 Some speech acts are relations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 #8 Linguistic meaning includes emotional content. . . . . . . . . . . . . . . . . . . . . . 18 #9 Linguistic meaning includes social meaning. . . . . . . . . . . . . . . . . . . . . . . . . 20 #10 There is ambiguity at many levels. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 #11 What’s done as a pipeline in many approaches to NLP is done in human processing via incremental interpretation/incremental building of the discourse model. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 #12 In face-to-face conversation, people use both verbal and non-verbal actions to convey meaning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 #13 Linguistic meaning and non-linguistic perception interact in complex ways. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 #14 (Disambiguated) linguistic form produces an abstract meaning representation, while coherence and cognitive states yield more specific contents. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 La linguistica non è il mio ambito di ricerca, ma posso comunque constatare che, dal punto di vista filosofico, per respingere la tesi dei pappagalli stocastici occorre confutare alcune delle tesi formulate nei titoli sopra. Un saluto, Daniela ________________________________________ Da: nexa <nexa-bounces(a)server-nexa.polito.it> per conto di Giuseppe Attardi <attardi(a)di.unipi.it> Inviato: giovedì 12 ottobre 2023 10:26 A: nexa(a)server-nexa.polito.it Oggetto: Re: [nexa] IA, lavoro, immaginari Scusate se riprendo questo tema dall’inizio, in quanto finora sono stato impegnato ad organizzare questo dibattito, che affronta alcuni delle questioni di fondo sulle capacità dell’AI di avere impatti sulla società: https://sites.google.com/view/ellisfms2023/program/debate-ai-societal-impact e a cui parteciperanno alcuni tra i principali esperti al mondo, tra cui Yoshua Bengio, Moshe Vardi, Ricardo Baeza-Yates, Gary Marcus, Geoff Hinton. Gli ultimi due si confronteranno proprio sulla questione se i LLM siano in grado di comprendere. Daniele Gambetta riporta il termine spregiativo di “stochastic parrot” che è stato affibbiato ai LLM da Timnit Gebru e colleghi. L’articolo è molto controverso ed è costato a Gebru il posto a Google. Nell’articolo si sostiene che: An LM is a system for haphazardly stitching together sequences of linguistic forms it has observed in its vast training data, according to probabilistic information about how they combine, but without any reference to meaning: a stochastic parrot. Questa affermazione è superficiale e inesatta, perché non tiene conto di alcune cose: 1. Alla base dei LLMs ci sono i word embedding, un modo per assegnare un significato alle parole, un problema che ha eluso la filosofia e la linguistica per due millenni e che il Deep Learning ha risolto. Questo è quanto afferma Hinton in proposito: “Many people who think it’s just statistics are thinking in terms of program models or counting the co-occurrence frequencies of words. We think this process of creating features of the embeddings and then interactions between features is actually understanding. Once you’ve taken the raw data of symbol strings and you can now predict the next symbol not by things like trigrams, but the huge number of features interacting in very complicated way to predict the features of the next word and from that make a prediction about the probability of the next word, the point is that is understanding, at least I believe that is understanding. I believe that is what our brains are doing. But that’s an issue to be discussed by the research community and it would be great if we could convince people that they are not just stochastic parrots.” 2. I LLM sono evoluti dai tempi dell’articolo, in particolare, ChatGPT e successivi sono stati allenati a interagire in conversazioni con il fine-tuning e quindi a tenere conto del contesto della discussione 3. La capacità di “comprendere” è difficile da definire, almeno in termini umani. L’unico modo che abbiamo per stabilire se uno studente ha “capito” una certa materia, è di sottoporlo a domande di verifica di comprensione. Ma in gran parte di tali test, GPT-4 supera il livello medio umano. Quindi, a tutti gli effetti pratici, capisce non solo una, ma molte materie. Lo “capisce” in una qualche forma diversa dalla nostra, ma pur sempre verificabile. 4. Le sorprendenti abilità dei LLM (perché hanno sorpreso tutti, compresi i loro sviluppatori), derivano dal fenomeno denominato “emergent abilities”, che appiano solo quando i modelli superano una certa scala. Per ora si tratta di un'osservazione empirica, iniziata con gli esperimenti di Jason Wei sul Chain-of-Thought, ma che si sta cercando di approfondire con una serie di spunti. Uno di questi si lega alla teoria dei sistemi complessi di Giorgio Parisi, che spiega il loro comportamento come dovuto all’applicazione su larga scala di semplici leggi probabilistiche. Ho suggerito a Parisi che sia proprio questo ciò che avviene nei LLM, che applicano su larga scala, in modelli di centinaia di miliardi di parametri, la semplice probabilità stimata della prossima parola. Parisi mi ha confermato di persona che l’ipotesi è alquanto plausibile. Questa stessa ipotesi spiega perché molti si rifiutano di riconoscere queste capacità: la mente umana è abituata a comprendere i fenomeni, scomponendoli in poche parti funzionali, che si combinano in modo deterministico. Nei fenomeni complessi questo non è possibile farlo. Nel frattempo stanno uscendo diversi lavori scientifici, che cercano di dare una base scientifica al fenomeno: 1. Ekin Akyürek, Dale Schuurmans, Jacob Andreas, Tengyu Ma, and Denny Zhou. What learning algorithm is in-context learning? Investigations with linear models<https://openreview.net/forum?id=0g0X4H8yN4I>. ICLR 2023 (Oral) 2. Guhao Feng, Bohang Zhang, Yuntian Gu, Haotian Ye, Di He, Liwei Wang. Towards Revealing the Mystery behind Chain of Thought: A Theoretical Perspective<https://arxiv.org/abs/2305.15408>. NeurIPS 2023 (Oral). 3. Angeliki Giannou, Shashank Rajput, Jy-yong Sohn, Kangwook Lee, Jason D Lee, Dimitris Papailiopoulos. Looped Transformers as Programmable Computers<https://arxiv.org/abs/2301.13196>. ICML 2023. 4. Ruiqi Zhang, Spencer Frei, Peter L Bartlett. Trained Transformers Learn Linear Models In-Context<https://scholar.google.com/citations?view_op=view_citation&hl=en&user=uErE2…>. arXiv preprint arXiv:2306.09927, 2023. Segnalo anche questo video di una presentazione di Sanjeev Arora su A Theory of Emergence of Complex Skills in Language Models (https://www.youtube.com/live/0D23NeBjCeQ?si=Trtt160lkXCgFEa6) In sostanza, siamo di fronte a questioni scientifiche articolate e complesse, e suggerisco che vengano affrontate basandosi su studi scientifici, di cui c’è molto bisogno. Per uno studente del Dottorato Nazionale in Intelligenza Artificiale (che ho contribuito a far nascere) dovrebbe essere una grande opportunità. — Beppe On 6 Oct 2023, at 23:30, <nexa-request(a)server-nexa.polito.it> <nexa-request(a)server-nexa.polito.it> wrote: From: Daniele Gambetta <daniele.gambetta7(a)gmail.com<mailto:daniele.gambetta7@gmail.com>> To: nexa(a)server-nexa.polito.it<mailto:nexa@server-nexa.polito.it> Subject: [nexa] IA, lavoro, immaginari Message-ID: <CAJTd2eikFissqhKHR7dhmZwfn9B5ijpLtLERz7VH8H4YrWEsUA(a)mail.gmail.com<mailto:CAJTd2eikFissqhKHR7dhmZwfn9B5ijpLtLERz7VH8H4YrWEsUA@mail.gmail.com>> Content-Type: text/plain; charset="utf-8" Ciao a tutte/i, seguo da tempo questa mailing list con interesse anche se scrivo poco. Volevo segnalarvi un articolo che ho scritto di recente su temi legati all'IA, pubblicato in due parti su DinamoPress. Mi farebbe piacere avere feedback e pareri o avviare una discussione. 1) https://www.dinamopress.it/news/al-di-la-del-faust-e-dellhype-appunti-su-in… 2) https://www.dinamopress.it/news/technic-and-magic-animismo-di-piattaforma-e… Saluti e buon we. Daniele

Oct. 13, 2023

Re: [nexa] Can Large Language Models reason?

by 380°

Daniela Tafani <daniela.tafani(a)unipi.it> writes: > Melanie Mitchell, Can Large Language Models reason? > > https://aiguide.substack.com/p/can-large-language-models-reason disponibili anche qui: https://web.archive.org/web/20230911043145/https://aiguide.substack.com/p/c… e qui: https://archive.ph/TVsNy > (non lo copio di seguito perchè immagini e formattazione servono) si ma potrebbe essere utile un po' di testo sia a fini archivistici che per aiutare gli iscritti a capire se vale la pena approfondire o meno --8<---------------cut here---------------start------------->8--- [...] Reasoning is a central aspect of human intelligence, and robust domain-independent reasoning abilities have long been a key goal for AI systems. While large language models (LLMs) are not explicitly trained to reason, they have exhibited “emergent” behaviors that sometimes look like reasoning. But are these behaviors actually driven by true abstract reasoning abilities, or by some other less robust and generalizable mechanism—for example, by memorizing their training data and later matching patterns in a given problem to those found in training data? Why does this matter? If robust general-purpose reasoning abilities have emerged in LLMs, this bolsters the claim that such systems are an important step on the way to trustworthy general intelligence. On the other hand, if LLMs rely primarily on memorization and pattern-matching rather than true reasoning, then they will not be generalizable—we can’t trust them to perform well on “out of distribution” tasks, those that are not sufficiently similar to tasks they’ve seen in the training data. * What Is “Reasoning”? The word “reasoning” is an umbrella term that includes abilities for deduction, induction, abduction, analogy, common sense, and other “rational” or systematic methods for solving problems. Reasoning is often a process that involves composing multiple steps of inference. Reasoning is typically thought to require abstraction—that is, the capacity to reason is not limited to a particular example, but is more general. If I can reason about addition, I can not only solve 23+37, but any addition problem that comes my way. If I learn to add in base 10 and also learn about other number bases, my reasoning abilities allow me to quickly learn to add in any other base. * “Chain of Thought” Reasoning in LLMs In the last few years, there has been a deluge of papers making claims for reasoning abilities in LLMs (Huang & Chang give one recent survey). One of the most influential such papers (by Wei et al. from Google Research) proposed that so-called “Chain of Thought” (CoT) prompting elicits sophisticated reasoning abilities in these models. A CoT prompt gives one or more examples of a problem and the reasoning steps needed to solve it, and then poses a new problem. [...] * Are the Reasoning Steps Generated Under CoT Prompting Faithful to the Actual Reasoning Process? [...] * If LLMs Are Not Reasoning, What Are They Doing? [...] * The Trickiness of Evaluating LLMs for General Abilities [...] [...] One might argue that humans also rely on memorization and pattern-matching when performing reasoning tasks. Many psychological studies have shown that people are better at reasoning about familiar than unfamiliar situations; one group of AI researchers argued that the same patterns of “content effects” affect both humans and LLMs. However, it is also known that humans are (at least in some cases) capable of abstract, content-independent reasoning, if given the time and incentive to do so, and moreover we are able to adapt our understanding of what we have learned to wholly new situations. Whether LLMs have such general abstract-reasoning capacities, elicited through prompting tricks, scratchpads, or other external enhancements, still needs to be systematically demonstrated. --8<---------------cut here---------------end--------------->8--- Cordiali saluti, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Oct. 13, 2023

Re: [nexa] Can Large Language Models reason?

by Daniela Tafani

L'ho trovato sconcertante: sappiamo tutti, qui, credo, che errori o allucinazioni o bias non sono errori, sono solo i momenti in cui ci accorgiamo di cosa il sistema ordinariamente faccia ________________________________________ Da: nexa <nexa-bounces(a)server-nexa.polito.it> per conto di Giuseppe Attardi <attardi(a)di.unipi.it> Inviato: giovedì 12 ottobre 2023 21:50 A: nexa Oggetto: [nexa] Can Large Language Models reason? Secondo Peter Norvig stanno addirittura raggiungendo la AGI: https://www.noemamag.com/artificial-general-intelligence-is-already-here/ — Beppe On 12 Oct 2023, at 15:00, nexa-request(a)server-nexa.polito.it wrote: From: Daniela Tafani <daniela.tafani(a)unipi.it<mailto:daniela.tafani@unipi.it>> To: "nexa(a)server-nexa.polito.it<mailto:nexa@server-nexa.polito.it>" <nexa(a)server-nexa.polito.it<mailto:nexa@server-nexa.polito.it>> Subject: [nexa] Can Large Language Models reason? Message-ID: <c57ae4ebaa76494ea2f7ec1ef19b3646(a)unipi.it<mailto:c57ae4ebaa76494ea2f7ec1ef19b3646@unipi.it>> Content-Type: text/plain; charset="iso-8859-1" Melanie Mitchell, Can Large Language Models reason? https://aiguide.substack.com/p/can-large-language-models-reason (non lo copio di seguito perchè immagini e formattazione servono)

Oct. 12, 2023