October 2023 - nexa - server-nexa.polito.it

Re: [nexa] wholeheartedly agree - (era Re: IA, lavoro, immaginari), (maurizio lana)

by karlessi

> Message: 5 > Date: Fri, 13 Oct 2023 18:13:53 +0200 > From: maurizio lana <maurizio.lana(a)uniupo.it> > To: nexa(a)server-nexa.polito.it > Subject: [nexa] wholeheartedly agree - (era Re: IA, lavoro, > immaginari) > Message-ID: <7179350b-6c4d-4800-beff-7e0eb06dcc37(a)uniupo.it> > Content-Type: text/plain; charset="utf-8"; Format="flowed" [TAGLIO] >> concludo come sempre fa un mio amico in un'altra mailing list di area >> umanistica: >> comments? Buonasera, concordo, e aggiungo che la questione delle discipline (e delle culture: umanistica, scientifica..) maschera appena la questione a mio parere sottostante, cioè l'attitudine, esistono infatti persone esperte di filosofia che si pongono in maniera autoritaria e saccente. non sempre, ma a me senz'altro capita di pormi in modo saccente, anche se cerco di evitarlo. ciò è probabilmente accertabile in qualsiasi altra disciplina, passata, presente e ancora da inventare, dal momento che un ambito di ricerca e una competenza creano un sapere, il cui esercizio implica un poter parlare situato. A furia di ripetere concetti a noi noti, sotto forma di concatenazioni logiche o di espressioni poetiche poco importa, è facile diventare (o anche solo esser percepiti) bruschi, scostanti, ecc. Parlando/scrivendo gli umani inevitabilmente costruiscono la propria identità, percepita da altri parlanti/scriventi in maniera conforme alla loro percezione, oppure no. Certo, l'identità è ineliminabile, proprio come il potere, ed è una fortuna che sia così: è la condizione per la comunicazione, per l'evoluzione, per il cambiamento. L'identità va gestita, diffusa, moltiplicata, ricreata proprio come il potere. Comunicare è parlare-scrivere da un luogo, cioè assumere un'identità, ovvero costruire un potere-sapere. La scrittura è basata sul linguaggio, il linguaggio sull'identità, l'identità sul potere, e dunque in qualsiasi modo cerchiamo di comunicare siamo già coinvolti nella costruzione di identità, individuali e collettive. la sto buttando in... filosofia? discussione ovvia? incomprensibile? sciocchezze che qualsiasi pappagallo stocastico può scriver di gran lunga meglio e cmq più in fretta? Comunque sia, mi pare assodato che io posso percepire le mie parole come molto semplici anzi banali, altr* come astruse elucubrazioni di un esaltato... ho l'abitudine a vestire i panni del filosofo con gli scienziati, quelli del tecnico con i filosofi, e via dicendo; non per fare il bastian contrario, ma perché di fronte a posture identitarie trovo adeguato mettermi in una situazione non completamente agevole e non del tutto allineata, nemmeno con me stesso. Siccome in questa lista c'è una certa varietà (viva! grazie), tendo a portare l'attenzione su meta-questioni mi colpisce, nell'oggetto della discussione, l'IA, che ritorna. Alcun* ritengono che sia una truffa. Altr* che sia un'occasione (già persa?), insomma c'è da discutere. facendo un passo indietro, non posso evitare di notare che si tratta di un argomento inesistente o quasi fino a pochi anni fa. Prima tutto quello spazio da cos'era occupato? C'erano forse le criptovalute, la blockchain al posto dell'IA. e prima ancora, cosa? i social media? non ricordo, ma vi chiedo: non avete mai l'impressione che si giri in tondo a parlar di argomenti che in fondo NON sono poi così interessanti, ovvero di argomenti in qualche modo di moda e di cui non ci si può esimere di parlare? (au passage: ora si tende a finanziare i progetti con la parola "IA" come qualche tempo fa si finanziava qualsiasi progetto con la parola "blockchain") io sì, e me ne dispiaccio, mi sento in qualche modo eterodiretto (no gomplotto eh!) buona serata k. -- "tecnologie conviviali - https://tc.eleuthera.it" "tecnologie appropriate - https://alekos.net" "pedagogia hacker - https://circex.org"

Oct. 13, 2023

Re: [nexa] IA, lavoro, immaginari [CDT:L3] [CDT:L5] [CDT:L-1]

by Maria Chiara Pievatolo

On 13/10/23 17:59, 380° wrote: > > Tuttavia, la mia protesta con relativa domanda era un'altra: > > [...] > >>> ...tranne uno: aver inserito la R come quinta lettera dell'acronimo, il >>> razionalismo, mi da un colpo al cuore e scatena in me un moto di vibrata >>> protesta! No, non incolpate Kant per tutto questo, ve ne prego!!! >>> Perché Kant è tardo-razionalista, vero?!? O è già post-razionalista e >>> rivoluziona la filosofia col suo idealismo trascendentale? > Le tassonomie dei manuali sono talvolta letali per il pensiero filosofico. Molti classificano Kant come idealista critico, ma si potrebbe ugualmente affermare che è un razionalista critico, e perfino un empirista critico. Qui mi pare decisivo non il sostantivo, bensì l'aggettivo: *critico*. Kant dice che la sua filosofia compie una rivoluzione copernicana (qui lo spiego brevemente, ma parlando d'altro: https://btfp.sp.unipi.it/dida/kant_7/ar01s15.xhtml#esseriliberi) perché anziché dare per scontato che il reale sia così come lo vediamo, alla maniera di Tolomeo, pone il problema (auto)-critico della prospettiva dell'osservatore come a un tempo decisiva e limitante per la sua stessa conoscenza. Per esempio, l'informatico che crede di aver compreso una porzione del reale solo perché crede di essere riuscito a scrivere un programma che ne imita, in modo più o meno allucinato, una funzione, sarebbe stato trattato da Kant come un metafisico tolemaico, o pre-critico. Infatti questa straordinaria affermazione ha senso solo col presupposto implicito che la rappresentazione dell'universo come un grande computer non sia un modello fra i tanti possibili elaborato dal suo punto di vista per aiutare se stesso e altri a darne un senso parziale e prospettico, ma che l'universo stesso *sia* un grande computer perché lui lo vede così. Per il resto rimando al IV capitolo di Computer Power and Human Reason di Joseph Weizenbaum. Copernicanamente, MCP

Oct. 13, 2023

wholeheartedly agree - (era Re: IA, lavoro, immaginari)

by maurizio lana

riprendo una frase verso il fondo del messaggio di Giovanni (Biscuolo) e sviluppo un tema laterale: > Ed è per questo che gli umanisti, tra cui linguisti, filosofi, > semiologi, epistemologi (la specializzazione nel settore è letteralmente > esplosa) ci stanno lavorando da millenni, mi auguro che nessuno > scienziato pensi davvero di buttare letteralmente nel cesso il loro > lavoro. > Nel mentre sull'argomento se ne sentono davvero di cotte e di crude. :-D io faccio parte del gruppo descritto sinteticamente come "gli umanisti, tra cui linguisti, filosofi, semiologi, epistemologi" e mi ritrovo molto in quello che scrive Giovanni (B). nelle discussioni sui sistemi di IA, emergono una quantità di questioni che sono /oltre/ le conoscenze e competenze professionali e disciplinari di molti di coloro che ne scrivono qui. ma sembra che essendo questioni 'umanistiche' (linguistiche, filosofiche, ecc.) chiunque ne possa parlare come padrone del campo e come maestro di quei saperi - e non come uno straniero che con affetto ammirazione rispetto e voglia di sapere si affaccia ad una cultura diversa da quella in cui si è formato. saperi che come giustamente Giovanni (B) ricorda sono in elaborazione da millenni e non perché gli umanisti sono dei fessi, o dei perditempo o dei burloni che stanno ingannando tutto il resto del mondo, ma perché i problemi con cui si confrontano hanno delle caratteristiche di difficoltà e complessità del tutto specifiche. la sicumera (scusate la franchezza) con cui talora i temi umanistici sono qui delineati, cucinati e serviti da chi li conosce per averne letto, non per averci studiato per decine d'anni, scoraggia chi appartiene al campo umanistico dall'intervenire anche quando avrebbe qualcosa da dire. perché lì si è abituati ad un procedimento dialettico un po' più sottile anche se non meno tagliente, in cui si parla nei limiti dei saperi che si possiedono ed è più evidente che la costruzione del sapere è dialettica e non intellettualmente forzuta. il mondo funziona bene anche se qui un non informatico pensa 3 volte se parlare, e poi 2,7 volte decide di no, ma 1) questo tema del "come si discute" in questa mailing list è già emerso; e 2) può esservi utile avere un insight su come la scrittura dei messaggi di questa lista mostra una ben definita concezione del rapporto tra le due culture (o una concezione che le due sono in realtà una, perché una delle due pensa l'altra come a sua disposizione) concludo come sempre fa un mio amico in un'altra mailing list di area umanistica: comments? Maurizio Il 13/10/23 16:49, 380° <g380(a)biscuolo.net> ha scritto: > Date: Fri, 13 Oct 2023 16:32:15 +0200 > From: 380°<g380(a)biscuolo.net> > To: Giuseppe Attardi<attardi(a)di.unipi.it>,nexa(a)server-nexa.polito.it > Subject: Re: [nexa] IA, lavoro, immaginari [CDT:L-1] [CDT:L3] > Message-ID:<87r0lya900.fsf(a)xelera.eu> > Content-Type: text/plain; charset="utf-8" > > Buongiorno Giuseppe, > > [un appello generale: per favore quando si fanno citazioni a delle fonti > è possibile avere il riferimento?] > > Un modesto consiglio non richiesto: prego chiunque di non prendere mai > sul personale le critiche al proprio lavoro o alle proprie convinzioni > scientifiche, non mi riferisco a nessuno in particolare. > > Giuseppe Attardi<attardi(a)di.unipi.it> writes: > > [...] > >> Daniele Gambetta riporta il termine spregiativo di “stochastic parrot” > Capisco bene che quel termine faccia incazzare un numero incalcolabile > di persone ma bisogna ammettere che è una _genialata_ (che mai e poi mai > avrebbe potuto essere generata da un LLM, tra l'altro) > > A un brianzolo per descrivere in poche parole quello che producono gli > LLM è «fà e disfà l'è tücc un lavurà» > >> che è stato affibbiato ai LLM da Timnit Gebru e colleghi. > Daniela Tafani ha già spiegato chi ha "affibiato" il termine e perché. > > Nota a margine: credo che non pochi etologi avrebbero da ridire sul > fatto che gli LLM siano anche solo vagamente accostati ai pappagalli (o > qualsiasi altro animale), la cui intelligenza probabilmente è di diversi > ordini di grandezza superiore a qualsiasi AI: «Parrots have evolved a > primate-like telencephalic-midbrain-cerebellar circuit» > https://www.nature.com/articles/s41598-018-28301-4 > > Però è una nota a margine, spero non parta un sub-thread su questo. > >> L’articolo è molto controverso ed è costato a Gebru il posto a Google. > Perché in Google non c'è posto per la ricerca scientifica. Punto. > >> Nell’articolo si sostiene che: > Sì ma quale articolo, di grazia?!? > >> An LM is a system for haphazardly stitching together sequences of >> linguistic forms it has observed in its vast training data, according >> to probabilistic information about how they combine, but without any >> reference to meaning: a stochastic parrot. >> >> Questa affermazione è superficiale e inesatta, > Com'è che i superficiali ed inesatti sono sempre gli altri? > > Quella frase, decontestualizzata, può benissimo /apparire/ superficiale > e inesatta, ma magari nel giusto contesto anche no. > > «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?» > > https://dl.acm.org/doi/epdf/10.1145/3442188.3445922 > https://archive.org/details/stochastic-parrots-3442188.3445922 > https://web.archive.org/web/20210311003046/https://dl.acm.org/doi/pdf/10.11… > https://archive.is/z4LY8 > > Purtroppo, come tanti, TROPPI articoli pubblicati, lo studio è > disponibile solo in formato PDF quindi non posso produrre un link > diretto al capitolo dal quale è stata estratta la citazione, che è: «6.1 > Coherence in the Eye of the Beholder» > > Chiunque abbia intenzione di comprendere il senso della frase estratta > sopra, _deve_ prendersi almeno 10 minuti per leggere il capitolo 6.1 del > paper, che contiene diversi riferimenti bibliografici a supporto di > delle affermazioni che vengono fatte, sono la base (scientifica?!?) per > la _sintesi_ /polemica/ che viene fatta al termine del capitolo, quella > estratta sopra. > > Io cito solo questo (che però si può comprendere solo /contestualizzando/): > > --8<---------------cut here---------------start------------->8--- > > This can seem counter-intuitive given the increasingly fluent qualities > of automatically generated text, but we have to account for the fact > that our perception of natural language text, regardless of how it was > generated, is mediated by our own linguistic competence and our > predisposition to interpret communicative acts as conveying coherent > meaning and intent, whether or not they do [89, 140]. > > --8<---------------cut here---------------end--------------->8--- > > Questo, tra l'altro, la dice _molto_ lunga in merito all'efficacia del > c.d. "Touring Test", perché è ovvio che un ignorante in materia (già, ma > /quale/ materia?) può essere banalmente ingannato, perfino da un > programma. > >> perché non tiene conto di alcune cose: >> >> 1. Alla base dei LLMs ci sono i word embedding, > trattasi sempre di NLP, sempre più sofisticato ma quello è, > informaticamente parlando > >> un modo per assegnare un significato alle parole, > «Così come l'amore non esiste ed è per quello che lo /facciamo/, le > parole non hanno significato ed è per quello che noi glielo /diamo/.» > (elucubrazione mia) > > Il significato alle parole lo danno gli umani, punto. > > Tratto sempre dal paragrafo «6.1 Coherence in the Eye of the Beholder»: > > --8<---------------cut here---------------start------------->8--- > > human communication relies on the interpretation of implicit meaning > conveyed between individuals. The fact that human-human communication is > a jointly constructed activity [29, 128] is most clearly true in > co-situated spoken or signed communication, > > --8<---------------cut here---------------end--------------->8--- > > Riferimenti: > [29] Herbert H. Clark. 1996. Using Language. Cambridge University Press, Cambridge > > [128] Greg J. Stephens, Lauren J. Silbert, and Uri Hasson. 2010. Speaker–listener > neural coupling underlies successful communication. Proceedings of the National > Academy of Sciences 107, 32 (2010), 14425–14430.https://doi.org/10.1073/pnas. > 1008662107 arXiv:https://www.pnas.org/content/107/32/14425.full.pdf > https://web.archive.org/web/20220930172709/https://www.pnas.org/doi/pdf/10.… > https://archive.ph/6D2Gy > >> un problema che ha eluso la filosofia e la linguistica per due >> millenni > No dai, questa è davvero troppo grossa! > >> e che il Deep Learning ha risolto. > Anche questa è un filino esagerata... ma io chi sono per dirlo?!? > >> Questo è quanto afferma Hinton in proposito: "Many people who think >> it’s just statistics are thinking in terms of program models or >> counting the co-occurrence frequencies of words. We think this process >> of creating features of the embeddings and then interactions between >> features is actually understanding. > Sì credo che ormai il qui pro quo su cosa significhi "understanding" sia > chiarissimo > >> Once you’ve taken the raw data of symbol strings > Già solo far riferimento a "raw data" in un contesto scientifico > dovrebbe far scattare l'allarme rosso, no? > > --8<---------------cut here---------------start------------->8--- > > data is self-contained and context-independent, and that with sufficient > data, concerns about causation, bias, selection, and incompleteness can > be disregarded. It is a seductive vision: Raw data, uncorrupted by > theory or ideology, will lead us to the truth; complex problems will be > solved simply by throwing enough data at them. No experts will be > required, apart from those needed to produce the data and herald their > findings; no theory, values, or preferences will be relevant; nor will > it be necessary to scrutinize any assumptions. > > --8<---------------cut here---------------end--------------->8--- > (tratto da:https://www.thenewatlantis.com/publications/why-data-is-never-raw) > > [...] > >> I believe that is understanding. I believe that is what our brains are >> doing. But that’s an issue to be discussed by the research community >> and it would be great if we could convince people that they are not >> just stochastic parrots.” > Interessantissimo questo sillogismo: siccome il cervello delle persone > comprende come fa una macchina (LLM, deep learning, ecc.) sarebbe bello > che convincessimo le persone che non non sono solo pappagalli > stocastici. > > Ho letto bene? > > Siccome il cervello funziona così?!?!? > > Quindi grazie agli LLM non solo abbiamo risolto questioni filosofiche > aperte da millenni ma abbiamo pure capito come funziona il cervello > umano. > > Non è un po' esagerata come linea di dissertazione accademica? > >> 2. I LLM sono evoluti dai tempi dell’articolo, in particolare, ChatGPT >> e successivi sono stati allenati a interagire in conversazioni con il >> fine-tuning e quindi a tenere conto del contesto della discussione > La cosa non sposta di una virgola la questione, infatti: > > «With GPT-4, dangers of ‘Stochastic Parrots’ remain, say researchers. No > wonder OpenAI CEO is a ‘bit scared’ | The AI Beat», March 20, 2023 > > https://venturebeat.com/ai/with-gpt-4-dangers-of-stochastic-parrots-remain-… > > --8<---------------cut here---------------start------------->8--- > > Fast forward to now: There was no research paper attached to the GPT-4 > launch that shares details about its architecture (including model > size), hardware, training compute, dataset construction or training > method. > > --8<---------------cut here---------------end--------------->8--- > > In altre parole: non c'è proprio nessun consenso scientifico che > giustifichi l'affermazione che gli (extra)LLM siano in grado di > comprendere il linguaggio. > >> 3. La capacità di “comprendere” è difficile da definire, almeno in >> termini umani. > Ed è per questo che gli umanisti, tra cui linguisti, filosofi, > semiologi, epistemologi (la specializzazione nel settore è letteralmente > esplosa) ci stanno lavorando da millenni, mi auguro che nessuno > scienziato pensi davvero di buttare letteralmente nel cesso il loro > lavoro. > > Nel mentre sull'argomento se ne sentono davvero di cotte e di crude. :-D > > [...] > >> Ma in gran parte di tali test, GPT-4 supera il livello medio umano. > Questo la dice lunga sul valore dei test di valutazione. > > Sulla valutazione della comprensione umana ci sarebbe da fare un > convegno intero, no? > > https://journals.sagepub.com/doi/full/10.1177/1098214020920710 > «What Is Evaluation?: Perspectives of How Evaluation Differs (or Not) > From Research» > > https://link.springer.com/article/10.1007/s11251-020-09522-5 > «Promoting students’ use of epistemic understanding in the evaluation of > socioscientific issues through a practice-based approach» > > Ha tutto molto a che fare col "giudizio" kantiano. > >> Quindi, a tutti gli effetti pratici, capisce non solo una, ma molte >> materie. Lo “capisce” in una qualche forma diversa dalla nostra, ma >> pur sempre verificabile. > Ecco appunto: verificabile da chi?!? Da uno di noi, un umano. > > Tra l'altro, se è persino verificabile (da un umano) che lo "capisce" in > una qualche forma diversa significa che NON lo capisce come lo capiscono > gli umani... che è solo un giro di parole per dire che non lo capisce. > > [...] > >> Uno di questi si lega alla teoria dei sistemi complessi di Giorgio >> Parisi, che spiega il loro comportamento come dovuto all’applicazione >> su larga scala di semplici leggi probabilistiche. > E se lo dice Giorgio Parisi /allora/ è dimostrato: l'intero universo è > un _meccanismo_ che si spiega attraverso l'applicazione su larga scala > di leggi probabilistiche... più che la teoria del Big Bang siamo alla > teoria del Big Bingo. > > [...] > >> In sostanza, siamo di fronte a questioni scientifiche articolate e >> complesse, e suggerisco che vengano affrontate basandosi su studi >> scientifici, di cui c’è molto bisogno. > Studi scientifici multi-disciplinari che non scartino a priori lavori di > altri scienziati solo perché non si adattano bene al modello > dell'universo prescelto _e_ non ignorino un sano lavoro meta-scientifico > che non può non coinvolgere il lato /umanistico/ della scienza. > > In altre parole non dimenticarsi mai che la scienza fa parte della > filosofia e non viceversa. > > [...] > > Cordiali saluti, 380° > ------------------------------------------------------------------------ the knowledge gap between rich and poor is widening witten & bainbridge, how to build a digital library ------------------------------------------------------------------------ Maurizio Lana Università del Piemonte Orientale Dipartimento di Studi Umanistici Piazza Roma 36 - 13100 Vercelli

Oct. 13, 2023

Re: [nexa] IA, lavoro, immaginari [CDT:L3] [CDT:L5] [CDT:L-1]

by 380°

Ciao Daniela, Daniela Tafani <daniela.tafani(a)unipi.it> writes: > Una prima risposta, ora, solo su Kant: quando Kant prende in > considerazione le macchine, è in genere per contrapporne l’ambito a > quello morale: là dove ci sia una macchina, non si danno moralità e > libertà e, viceversa, là dove si trovino libertà e moralità non si è > presenza di una macchina: per Kant l’uomo non è un «automaton > spirituale» e la sua libertà non è «la libertà di un girarrosto» (1). Non conosco il tedesco ma credo che questo passo sia molto kantiano: «La libertà non è star sopra un albero non è neanche avere un'opinione la libertà non è uno spazio libero libertà è partecipazione.» (Giorgio Gaber - La Libertà) Grazie mille per i riferimenti e l'occasione che mi hai dato di ripassare cosa rappresenti "la macchina" per Kant: ricordavo qualcosa e sono felice di constatare che Kant... la pensasse come me :-D La questione di cosa sia "la macchina" NON è "tangenziale" all'informatica, anche se molti addetti ai lavori credo trovino questa indagine del tutto superflua: io credo invece sia *determinante* e _siccome_ implica una /precisa/ concezione di cosa sia la libertà, direi che è determinante anche per comprendere la filosofia del software libero. Tuttavia, la mia protesta con relativa domanda era un'altra: [...] >> ...tranne uno: aver inserito la R come quinta lettera dell'acronimo, il >> razionalismo, mi da un colpo al cuore e scatena in me un moto di vibrata >> protesta! No, non incolpate Kant per tutto questo, ve ne prego!!! >> Perché Kant è tardo-razionalista, vero?!? O è già post-razionalista e >> rivoluziona la filosofia col suo idealismo trascendentale? Daniela tu dove "metteresti" Kant: è un (tardo) razionalista come lo colloca Wikipedia [1] o non lo è già più e va "spostato" nell'idealismo? É solo per capire se la R dell'acronimo è azzeccata o no :-) [1] https://en.wikipedia.org/wiki/Rationalism#Immanuel_Kant_(1724%E2%80%931804) [...] Grazie, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Oct. 13, 2023

Re: [nexa] Can Large Language Models reason?

by 380°

Buongiorno Maurizio, maurizio lana <maurizio.lana(a)uniupo.it> writes: > solo a me i msg di Giuseppe Attardi compaiono /talvolta/ così? > con il corpo del messaggio messo in attachment htm linkato > Maurizio > > Il 13/10/23 09:21, nexa-request(a)server-nexa.polito.it ha scritto: >> Message: 4 Date: Fri, 13 Oct 2023 09:21:12 +0200 >> From: Giuseppe Attardi <attardi(a)di.unipi.it> >> To: Daniela Tafani <daniela.tafani(a)unipi.it> >> Cc: nexa <nexa(a)server-nexa.polito.it> >> Subject: Re: [nexa] Can Large Language Models reason? >> Message-ID: <F38BCF6D-716C-423D-8A9D-5AB64995EFE8(a)di.unipi.it> >> Content-Type: text/plain; charset="utf-8" >> An HTML attachment was scrubbed... >> URL: >> <http://server-nexa.polito.it/pipermail/nexa/attachments/20231013/26c59651/a…> >> >> ------------------------------ >> >> Subject: Digest Footer tu li vedi così perché sei iscritto in modalità "Digest" _e_ quel messaggio di Giuseppe Attardi è stato inviato solo in formato text/html, perché l'archiviatore di mailman (che è anche quello che invia i messaggi "Digest") fa (giustamente) lo "scrub" di tutti gli HTML, lo vedi anche da come il messaggio è archiviato: https://server-nexa.polito.it/pipermail/nexa/2023-October/051790.html Io qualche giorno fa ho proposto ai gestori della lista [1] di suggerire agli iscritti di applicare una forma di netiquette ma la mia proposta non ha avuto molto successo: https://server-nexa.polito.it/pipermail/nexa/2023-October/051741.html (Message-id: 87ttr5cbon.fsf(a)xelera.eu) Anche io ho discrete difficoltà a seguire il dibattito con i messaggi in HTML _e_ con il top-posting (che equivale a "parlarsi sopra") a manetta. [...] Ciao, 380° [1] nexa-owner(a)server-nexa.polito.it -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Oct. 13, 2023

Re: [nexa] se lo dice lui..

by Fabio Alemagna

Il giorno ven 13 ott 2023 alle ore 16:48 Stefano Quintarelli <stefano(a)quintarelli.it> ha scritto: > [...] > User > do you understand ? > > ChatGPT > I can process and analyze information based on the text input you provide, but I don't > have emotions or consciousness like humans do. So, while I can provide information and > explanations, I don't have the capacity for personal understanding or comprehension in the > way humans do. My responses are generated based on patterns in the data I was trained on > and the text input I receive. If you have a specific question or need information on a > topic, please feel free to ask, and I'll do my best to provide a helpful response. User: Ok, but it doesn't have to be exactly like humans to still be understanding, doesn't it? It's not black or white ChatGPT: You're absolutely correct; understanding isn't a black-and-white concept, and it doesn't necessarily have to be human-like to be considered "understanding" in some sense. Different systems, whether biological like animals or artificial like machine learning models, can have varying degrees and types of understanding based on their capabilities. In the case of animals, their understanding may be limited to instinctual responses, learned behaviors, and basic problem-solving, but it is still a form of understanding adapted to their environmental needs. Similarly, machine learning models like me have a specific type of "understanding" tailored to the tasks we are designed to perform. For instance, I can analyze text and generate responses based on the data I've been trained on, which could be considered a form of specialized, task-specific understanding. So, while I don't possess the breadth and depth of understanding that a human does, in the scope of my designed tasks, I do have a form of "understanding," albeit limited and without the elements of consciousness, emotion, or subjective experience. The term "understanding" can thus be seen as existing on a spectrum, with different beings and systems exhibiting varying degrees and types of understanding based on their individual capabilities.

Oct. 13, 2023

Re: [nexa] IA, lavoro, immaginari

by Giacomo Tesio

Ciao Giuseppe, Il 12 Ottobre 2023 20:18:23 UTC, Giuseppe Attardi ha scritto: > I word embedding sono molto diversi dai co-occurrence counts, simili > a quelle dei tuoi esempi. Si trattava ovviamente di una semplificazione ad uso di chi non conosce (o non comprende) la programmazione statistica. > La dimensione dei word embeddings è un valore costante prefissato, > indipendente dalla lunghezza del vocabolario, come nella tua versione. Certo, per ovvi motivi: la gestione di vettori con una dimensionalità pari alla dimensione de vocabolario richiederebbe capacità di calcolo nettamente maggiori di quelle disponibili. D'altro canto, tale dimensione è "prefissato" solo all'interno di una particolare architettura del LLM, ma nulla impedisce di provare a programmare statisticamente LLM diversi (con dimensioni diverse nei word embeddings) sullo stesso dataset sorgente e confrontarne i risultati per selezionare quello ottimale durante la cross validation. Inoltre il mio esempio riproduceva una matrice basata su una singola relazione, peraltro definita in modo piuttosto approssimativo. Le relazioni che potremmo misurare sono innumerevoli, dalla distanza media nelle frasi, alle relazioni grammaticali etc... > I word embedding vengono ottenuti come effetto secondario > dell’allenamento di un Language Model, come i vettori nascosti che > consentono al modello di stimare la probabilità di una parola in un > contesto. In altri termini, il processo di programmazione statistica che hai in mente combina il computo delle co-occorrenze ed una riduzione dimensionale che facilita l'approssimazione della funzione di mappatura obiettivo. > Ci vorrebbero diverse lezioni per spiegare come si calcolano i word > embedding e perché funzionino in modo talmente efficace Beh, ma il loro principio di funzionamento è semplice da spiegare. È _COME SE_, a valle di un'analisi simile a quella che ho descritto nella mail precedente, si applicasse una riduzione dimensionale oculata (ma approssimativa). Per chi non lo sapesse una riduzione dimensionale consiste semplicemente nella proiezione di uno spazio euclideo a N dimensioni su un altro spazio euclideo a M dimensioni con N maggiore di M. Ad esempio, immaginando 4 o più punti in uno spazio tridimensionale (N=3), si tratta semplicemente di proiettare i punti su un piano (M=2) libero di traslare e ruotare in modo tale da minimizzare la distanza quadratica media delle proiezioni dai punti originali entro un limite accettabile (aka, "minimizzare l'errore entro un epsilon"). Non dovrebbe essere difficile da immaginare: 4 o 5 punti nello spazio a caso ma non appartenenti ad un piano ed un piano selezionato in modo da passare il più vicino possibile a ciascuno di essi. > I word embedding sono composi di centinaia di dimensioni e non è > ricostruibile cosa rappresenti ciascuna Naturalmente, come in ogni riduzione dimensionale in cui lo spazio di destinazione non è scelto sulla base di una semantica nota, ma sulla base della distanza delle proiezioni sui punti noti. Tornando al nostro esempio, le coordinate originali dei punti nello spazio tridimensionale hanno una semantica precisa per l'essere umano: dato il punto zero in cui potremmo collocare l'osservatore, l'asse x potrebbe distinguere destra (x positive) e sinistra (x negative), l'asse y potrebbe distinguere sopra (y positive) e sotto (y negative) e l'asse z potrebbe distinguere davanti (z positive) e dietro (z negative). Insomma, le coordinate originali hanno un significato comprensibile. Ma nel momento che cerchiamo un piano che semplicemente minimizzi la distanza quadratica media delle proiezioni dei punti su di esso dai punti stessi, accettiamo di ruotare e traslare questo piano come serve. A quel punto il sistema di coordinate delle proiezioni sul piano perdono di significato: lo zero si trova da qualche parte che non sappiamo rispetto all'osservatore, x e y sono orientate in modo del tutto diverso rispetto alle x e y e z dello spazio tridimensionale di origine, per cui non abbiamo più modo di attribuirgli un significato. TUTTAVIA, poiché i punti hanno comunque perso una dimensione, le nostre proiezioni non corrispondono esattamente ai punti originali. O magari corrispondono in alcuni fortunati casi, ma in altri sono molto lontani. E per contro, vi sono punti lontani sulla dimensione persa che si trovano ad essere sovrapposti. Naturalmente dichiarare che i word embeddings rappresentano in modo imperscrutabile il significato delle parole fa molto più figo! Ma rimangono mere proiezioni di statistiche. > sono le centinaia di sfumature/sfaccettature che tratteggiano le > caratteristiche di una parola, sia semantiche che sintattiche o > chissà che altro. Un interpretazione molto romantica... ma priva di fondamento. Per poter affermare che si tratti di "sfumature/sfaccettature che tratteggiano le caratteristiche di una parola, sia semantiche che sintattiche" devi essere in grado di spiegare a QUALE sfumatura/sfaccettatura semantica/grammaticale ciascun numero di ciascun vettore (word embedding) corrisponde. Insomma... dei far sparire quel "chissà che altro" ;-) > > Ora il significato del termine "leggere" è leggere: l'azione che > > stai > > > Questa è l’accezione di “significato” denotazionale che filosofi > hanno proposto dai tempi di Platone, ma appunto non risolve il > problema perché poi dovresti definire cosa sia questa denotazione e > riapriremmo una discussione che in 2000 anni non sono stati in grado > di risolvere. Cos’è un tavolo? Cos’è la tavolinità che distingue un > tavolo da altri oggetti: avere 4 gambe, o tre, o una? E cos'è una > gamba? Avere un piano: cos'è un piano? E così a ritroso. Giuseppe, ridefinire le parole per poterle applicare alle macchine è un trucco vecchio come Turing! ;-) Il fatto che significato di "significato" sia noto dai tempi di Platone, non significa che sia desueto. Il fatto che, come qualsiasi altra informazione, sia impossibile da ridurre in qualcosa di computabile, non lo rende "inutile". Miliardi di bambini hanno compreso facilmente cosa significhi "tavolo", in innumerevoli lingue. Miliardi di esseri umani, sin almeno dai tempi di Platone, hanno capito cosa significhi "significato". E grazie a questa comprensione condivisa, siamo arrivati fin qui. Perché diamine dovremmo rinunciare a noi stessi ed al nostro linguaggio per antropomorfizzare dei software programmati statisticamente? Per illuderci di aver creato intelligenze? Per illuderci di essere Dio? Rassegnati, quello che ottieni dalla programmazione statistica sono word embeddings, vettori di probabilità proiettate su dimensioni ignote (e non necessariamente ortogonali o continue), non significati. Chiamali "word embeddings", "fiffole" o con qualsiasi altra combinazione di lettere, ma non utilizzare termini che hanno tutt'altro significato! Giacomo PS: > https://elearning.di.unipi.it/course/view.php?id=438 Grazie davvero: me le guardo appena possibile! Certo è un vero peccato dover informare Google di ogni slide che decido di visualizzare... ma so bene che questa decisione sciagurata non dipende da te, che anzi ne sei vittima come noi.

Oct. 13, 2023

Re: [nexa] IA, lavoro, immaginari [CDT:L-1] [CDT:L3]

by Fabio Alemagna

Il giorno ven 13 ott 2023 alle ore 16:32 380° <g380(a)biscuolo.net> ha scritto: > Capisco bene che quel termine faccia incazzare un numero incalcolabile > di persone ma bisogna ammettere che è una _genialata_ (che mai e poi mai > avrebbe potuto essere generata da un LLM, tra l'altro) Me: In the realm of LLMs, if you were to believe that they are just a dumb tool that juxtaposes one word after the other using a statistical model with some randomness added to it, in such a way that it mimics human way of thinking without actually thinking, how would you describe this tool with just two words, in a tongue-in-cheek and kinda derogatory way? Remember, just two words ChatGPT: Word Vomit. Me: Not that derogatory ChatGPT: "Pattern Parrot." Me: That sounds good, but it's missing the bit about randomness. ChatGPT: "Random Repeater." Me: I prefer the version with the animal ChatGPT: "Stochastic Parrot." ___ Fabio

Oct. 13, 2023

se lo dice lui..

by Stefano Quintarelli

User what is understanding ? ChatGPT Understanding is the ability to comprehend or grasp the meaning of something, typically through cognitive processes like reasoning, analysis, and the assimilation of information. It involves making sense of information, concepts, or situations, often by connecting new information to existing knowledge or experiences. Understanding can manifest in various forms, including: Conceptual understanding: This is the ability to grasp the underlying principles or ideas related to a subject or topic. Contextual understanding: Understanding how something fits into a broader context or how it relates to other concepts or elements. Practical understanding: The ability to apply knowledge and concepts effectively in real-world situations. Emotional understanding: This involves empathizing with the feelings and perspectives of others, which is often important for interpersonal relationships and communication. Understanding is a fundamental aspect of human cognition, and it plays a crucial role in learning, problem-solving, decision-making, and effective communication. It involves more than just memorizing facts; it's about making sense of information and being able to use that understanding to navigate the world. User do you understand ? ChatGPT I can process and analyze information based on the text input you provide, but I don't have emotions or consciousness like humans do. So, while I can provide information and explanations, I don't have the capacity for personal understanding or comprehension in the way humans do. My responses are generated based on patterns in the data I was trained on and the text input I receive. If you have a specific question or need information on a topic, please feel free to ask, and I'll do my best to provide a helpful response.

Oct. 13, 2023

Re: [nexa] IA, lavoro, immaginari [CDT:L-1] [CDT:L3]

by 380°

Buongiorno Giuseppe, [un appello generale: per favore quando si fanno citazioni a delle fonti è possibile avere il riferimento?] Un modesto consiglio non richiesto: prego chiunque di non prendere mai sul personale le critiche al proprio lavoro o alle proprie convinzioni scientifiche, non mi riferisco a nessuno in particolare. Giuseppe Attardi <attardi(a)di.unipi.it> writes: [...] > Daniele Gambetta riporta il termine spregiativo di “stochastic parrot” Capisco bene che quel termine faccia incazzare un numero incalcolabile di persone ma bisogna ammettere che è una _genialata_ (che mai e poi mai avrebbe potuto essere generata da un LLM, tra l'altro) A un brianzolo per descrivere in poche parole quello che producono gli LLM è «fà e disfà l'è tücc un lavurà» > che è stato affibbiato ai LLM da Timnit Gebru e colleghi. Daniela Tafani ha già spiegato chi ha "affibiato" il termine e perché. Nota a margine: credo che non pochi etologi avrebbero da ridire sul fatto che gli LLM siano anche solo vagamente accostati ai pappagalli (o qualsiasi altro animale), la cui intelligenza probabilmente è di diversi ordini di grandezza superiore a qualsiasi AI: «Parrots have evolved a primate-like telencephalic-midbrain-cerebellar circuit» https://www.nature.com/articles/s41598-018-28301-4 Però è una nota a margine, spero non parta un sub-thread su questo. > L’articolo è molto controverso ed è costato a Gebru il posto a Google. Perché in Google non c'è posto per la ricerca scientifica. Punto. > Nell’articolo si sostiene che: Sì ma quale articolo, di grazia?!? > An LM is a system for haphazardly stitching together sequences of > linguistic forms it has observed in its vast training data, according > to probabilistic information about how they combine, but without any > reference to meaning: a stochastic parrot. > > Questa affermazione è superficiale e inesatta, Com'è che i superficiali ed inesatti sono sempre gli altri? Quella frase, decontestualizzata, può benissimo /apparire/ superficiale e inesatta, ma magari nel giusto contesto anche no. «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?» https://dl.acm.org/doi/epdf/10.1145/3442188.3445922 https://archive.org/details/stochastic-parrots-3442188.3445922 https://web.archive.org/web/20210311003046/https://dl.acm.org/doi/pdf/10.11… https://archive.is/z4LY8 Purtroppo, come tanti, TROPPI articoli pubblicati, lo studio è disponibile solo in formato PDF quindi non posso produrre un link diretto al capitolo dal quale è stata estratta la citazione, che è: «6.1 Coherence in the Eye of the Beholder» Chiunque abbia intenzione di comprendere il senso della frase estratta sopra, _deve_ prendersi almeno 10 minuti per leggere il capitolo 6.1 del paper, che contiene diversi riferimenti bibliografici a supporto di delle affermazioni che vengono fatte, sono la base (scientifica?!?) per la _sintesi_ /polemica/ che viene fatta al termine del capitolo, quella estratta sopra. Io cito solo questo (che però si può comprendere solo /contestualizzando/): --8<---------------cut here---------------start------------->8--- This can seem counter-intuitive given the increasingly fluent qualities of automatically generated text, but we have to account for the fact that our perception of natural language text, regardless of how it was generated, is mediated by our own linguistic competence and our predisposition to interpret communicative acts as conveying coherent meaning and intent, whether or not they do [89, 140]. --8<---------------cut here---------------end--------------->8--- Questo, tra l'altro, la dice _molto_ lunga in merito all'efficacia del c.d. "Touring Test", perché è ovvio che un ignorante in materia (già, ma /quale/ materia?) può essere banalmente ingannato, perfino da un programma. > perché non tiene conto di alcune cose: > > 1. Alla base dei LLMs ci sono i word embedding, trattasi sempre di NLP, sempre più sofisticato ma quello è, informaticamente parlando > un modo per assegnare un significato alle parole, «Così come l'amore non esiste ed è per quello che lo /facciamo/, le parole non hanno significato ed è per quello che noi glielo /diamo/.» (elucubrazione mia) Il significato alle parole lo danno gli umani, punto. Tratto sempre dal paragrafo «6.1 Coherence in the Eye of the Beholder»: --8<---------------cut here---------------start------------->8--- human communication relies on the interpretation of implicit meaning conveyed between individuals. The fact that human-human communication is a jointly constructed activity [29, 128] is most clearly true in co-situated spoken or signed communication, --8<---------------cut here---------------end--------------->8--- Riferimenti: [29] Herbert H. Clark. 1996. Using Language. Cambridge University Press, Cambridge [128] Greg J. Stephens, Lauren J. Silbert, and Uri Hasson. 2010. Speaker–listener neural coupling underlies successful communication. Proceedings of the National Academy of Sciences 107, 32 (2010), 14425–14430. https://doi.org/10.1073/pnas. 1008662107 arXiv:https://www.pnas.org/content/107/32/14425.full.pdf https://web.archive.org/web/20220930172709/https://www.pnas.org/doi/pdf/10.… https://archive.ph/6D2Gy > un problema che ha eluso la filosofia e la linguistica per due > millenni No dai, questa è davvero troppo grossa! > e che il Deep Learning ha risolto. Anche questa è un filino esagerata... ma io chi sono per dirlo?!? > Questo è quanto afferma Hinton in proposito: "Many people who think > it’s just statistics are thinking in terms of program models or > counting the co-occurrence frequencies of words. We think this process > of creating features of the embeddings and then interactions between > features is actually understanding. Sì credo che ormai il qui pro quo su cosa significhi "understanding" sia chiarissimo > Once you’ve taken the raw data of symbol strings Già solo far riferimento a "raw data" in un contesto scientifico dovrebbe far scattare l'allarme rosso, no? --8<---------------cut here---------------start------------->8--- data is self-contained and context-independent, and that with sufficient data, concerns about causation, bias, selection, and incompleteness can be disregarded. It is a seductive vision: Raw data, uncorrupted by theory or ideology, will lead us to the truth; complex problems will be solved simply by throwing enough data at them. No experts will be required, apart from those needed to produce the data and herald their findings; no theory, values, or preferences will be relevant; nor will it be necessary to scrutinize any assumptions. --8<---------------cut here---------------end--------------->8--- (tratto da: https://www.thenewatlantis.com/publications/why-data-is-never-raw) [...] > I believe that is understanding. I believe that is what our brains are > doing. But that’s an issue to be discussed by the research community > and it would be great if we could convince people that they are not > just stochastic parrots.” Interessantissimo questo sillogismo: siccome il cervello delle persone comprende come fa una macchina (LLM, deep learning, ecc.) sarebbe bello che convincessimo le persone che non non sono solo pappagalli stocastici. Ho letto bene? Siccome il cervello funziona così?!?!? Quindi grazie agli LLM non solo abbiamo risolto questioni filosofiche aperte da millenni ma abbiamo pure capito come funziona il cervello umano. Non è un po' esagerata come linea di dissertazione accademica? > 2. I LLM sono evoluti dai tempi dell’articolo, in particolare, ChatGPT > e successivi sono stati allenati a interagire in conversazioni con il > fine-tuning e quindi a tenere conto del contesto della discussione La cosa non sposta di una virgola la questione, infatti: «With GPT-4, dangers of ‘Stochastic Parrots’ remain, say researchers. No wonder OpenAI CEO is a ‘bit scared’ | The AI Beat», March 20, 2023 https://venturebeat.com/ai/with-gpt-4-dangers-of-stochastic-parrots-remain-… --8<---------------cut here---------------start------------->8--- Fast forward to now: There was no research paper attached to the GPT-4 launch that shares details about its architecture (including model size), hardware, training compute, dataset construction or training method. --8<---------------cut here---------------end--------------->8--- In altre parole: non c'è proprio nessun consenso scientifico che giustifichi l'affermazione che gli (extra)LLM siano in grado di comprendere il linguaggio. > 3. La capacità di “comprendere” è difficile da definire, almeno in > termini umani. Ed è per questo che gli umanisti, tra cui linguisti, filosofi, semiologi, epistemologi (la specializzazione nel settore è letteralmente esplosa) ci stanno lavorando da millenni, mi auguro che nessuno scienziato pensi davvero di buttare letteralmente nel cesso il loro lavoro. Nel mentre sull'argomento se ne sentono davvero di cotte e di crude. :-D [...] > Ma in gran parte di tali test, GPT-4 supera il livello medio umano. Questo la dice lunga sul valore dei test di valutazione. Sulla valutazione della comprensione umana ci sarebbe da fare un convegno intero, no? https://journals.sagepub.com/doi/full/10.1177/1098214020920710 «What Is Evaluation?: Perspectives of How Evaluation Differs (or Not) From Research» https://link.springer.com/article/10.1007/s11251-020-09522-5 «Promoting students’ use of epistemic understanding in the evaluation of socioscientific issues through a practice-based approach» Ha tutto molto a che fare col "giudizio" kantiano. > Quindi, a tutti gli effetti pratici, capisce non solo una, ma molte > materie. Lo “capisce” in una qualche forma diversa dalla nostra, ma > pur sempre verificabile. Ecco appunto: verificabile da chi?!? Da uno di noi, un umano. Tra l'altro, se è persino verificabile (da un umano) che lo "capisce" in una qualche forma diversa significa che NON lo capisce come lo capiscono gli umani... che è solo un giro di parole per dire che non lo capisce. [...] > Uno di questi si lega alla teoria dei sistemi complessi di Giorgio > Parisi, che spiega il loro comportamento come dovuto all’applicazione > su larga scala di semplici leggi probabilistiche. E se lo dice Giorgio Parisi /allora/ è dimostrato: l'intero universo è un _meccanismo_ che si spiega attraverso l'applicazione su larga scala di leggi probabilistiche... più che la teoria del Big Bang siamo alla teoria del Big Bingo. [...] > In sostanza, siamo di fronte a questioni scientifiche articolate e > complesse, e suggerisco che vengano affrontate basandosi su studi > scientifici, di cui c’è molto bisogno. Studi scientifici multi-disciplinari che non scartino a priori lavori di altri scienziati solo perché non si adattano bene al modello dell'universo prescelto _e_ non ignorino un sano lavoro meta-scientifico che non può non coinvolgere il lato /umanistico/ della scienza. In altre parole non dimenticarsi mai che la scienza fa parte della filosofia e non viceversa. [...] Cordiali saluti, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Oct. 13, 2023