- nexa - server-nexa.polito.it

Re: [nexa] IA, lavoro, immaginari

by Giuseppe Attardi

C’è tutta un’area di ricerca, che passa sotto il nome di BERTology, che analizza la questione e si dimostra ad esempio che dalle relazioni presenti nella matrici di attention delle frasi, si può ricavare l’intero albero sintattico della frase: https://aclanthology.org/N19-1419.pdf Le relazioni sintattiche sono anche più semplici, basta guardare nell’intorno dello spazio di termini che hanno solo funzioni sintattiche, come preposizioni o avverbi. Anche di questo parlo nel mio corso, — Beppe > On 13 Oct 2023, at 17:04, Giacomo Tesio <giacomo(a)tesio.it> wrote: > >> >> sono le centinaia di sfumature/sfaccettature che tratteggiano le >> caratteristiche di una parola, sia semantiche che sintattiche o >> chissà che altro. > > Un interpretazione molto romantica... ma priva di fondamento. > > Per poter affermare che si tratti di "sfumature/sfaccettature che > tratteggiano le caratteristiche di una parola, sia semantiche che > sintattiche" devi essere in grado di spiegare a QUALE > sfumatura/sfaccettatura semantica/grammaticale ciascun > numero di ciascun vettore (word embedding) corrisponde. > > Insomma... dei far sparire quel "chissà che altro" ;-) >

Oct. 15, 2023

Re: [nexa] IA, lavoro, immaginari [CDT:L-1] [CDT:L3]

by Fabio Alemagna

Il dom 15 ott 2023, 18:58 Giuseppe Attardi <attardi(a)di.unipi.it> ha scritto: > Divertente. > Comunque, da una premessa falsa si può dedurre qualunque cosa. > Ho solo dimostrato che un LLM può generare il termine, a differenza di com'era stato detto. Fabio

Oct. 15, 2023

Re: [nexa] IA, lavoro, immaginari [CDT:L-1] [CDT:L3]

by Giuseppe Attardi

Divertente. Comunque, da una premessa falsa si può dedurre qualunque cosa. — Beppe > On 13 Oct 2023, at 16:49, Fabio Alemagna <falemagn(a)gmail.com> wrote: > > Il giorno ven 13 ott 2023 alle ore 16:32 380° <g380(a)biscuolo.net> ha scritto: >> Capisco bene che quel termine faccia incazzare un numero incalcolabile >> di persone ma bisogna ammettere che è una _genialata_ (che mai e poi mai >> avrebbe potuto essere generata da un LLM, tra l'altro) > > Me: In the realm of LLMs, if you were to believe that they are just a > dumb tool that juxtaposes one word after the other using a statistical > model with some randomness added to it, in such a way that it mimics > human way of thinking without actually thinking, how would you > describe this tool with just two words, in a tongue-in-cheek and kinda > derogatory way? Remember, just two words > > ChatGPT: Word Vomit. > > Me: Not that derogatory > ChatGPT: "Pattern Parrot." > > Me: That sounds good, but it's missing the bit about randomness. > ChatGPT: "Random Repeater." > > Me: I prefer the version with the animal > ChatGPT: "Stochastic Parrot." > > ___ > > Fabio > <image.png>

Oct. 15, 2023

Re: [nexa] IA, lavoro, immaginari

by 380°

Antonio <antonio(a)piumarossa.it> writes: [...] > (en passant, mi sono permesso di "ridurre" ancora di più il codice, se avete voglia, è qui: [3]) [...] > [3] https://github.com/opensignature/stories Ti prego, aggiungici una licenza (libera? :-P ): lo voglio in Software Heritage! Ciao, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Oct. 15, 2023

Re: [nexa] [CAUTION: SUSPECT SENDER] Why the Internet Isn’t Fun Anymore

by Roberto Dolci

Personalmente, su X, TikTok ed altri sm mi diverto, imparo, e non ho nessun problema a ricevere feed dei diversi campi che mi interessano. Sicuramente se uno si prende troppo sul serio, ed e’ portato quindi ad offendere ed offendersi, farebbe meglio a prendere i social media a piccole dosi. Tuttavia, dare la colpa al cattivissimo Musk, o a qualunque terza parte che ci giustifichi dalle ns responsabilità nell’uso dello strumento, varia dall’inutile all’infantile. My 2 cents Rob From: nexa <nexa-bounces(a)server-nexa.polito.it> On Behalf Of don Luca Peyron Sent: Saturday, October 14, 2023 3:15 PM To: Nexa <nexa(a)server-nexa.polito.it> Subject: [CAUTION: SUSPECT SENDER] [nexa] Why the Internet Isn’t Fun Anymore The social-media Web as we knew it, a place where we consumed the posts of our fellow-humans and posted in return, appears to be over. Buona lettura dl https://www.newyorker.com/culture/infinite-scroll/why-the-internet-isnt-fun…<https://eu-west-1.protection.sophos.com?d=newyorker.com&u=aHR0cHM6Ly93d3cub…> _________________________ don Luca Peyron Pastorale Universitaria - Apostolato Digitale Arcidiocesi di Torino www.universitari.to.it<https://eu-west-1.protection.sophos.com?d=universitari.to.it&u=aHR0cDovL3d3…> via XX settembre 83, Torino tel. 011 5156239

Oct. 15, 2023

Re: [nexa] IA, lavoro, immaginari

by Antonio

> I word embedding sono composi di centinaia di dimensioni e non è ricostruibile cosa rappresenti ciascuna: sono le centinaia di sfumature/sfaccettature che tratteggiano le caratteristiche di una parola, sia semantiche che sintattiche o chissà che altro. Diamo un po' di numeri ;) GPT3: a: QKV columns = 128 b: Heads = 96 c: Layers = 96 d: Vocab-size = 50257 e: Sequence len = 2048 In tutto fanno ... (a*b)^2*12*c+d*a*b+e*a*b = 175181291520 (i famosi 175B) fonte: [1] Andrej Karpathy, co-fondatore di OpenAI, e autore di buona parte del software inizialmente sviluppato da OpenAI, ha messo a disposizione su github parecchio codice. Tra i tanti repository (50), uno mi ha colpito, forse perché preferisco C a Python ;) ed è questo [2]. In breve, un LLM lillipuziano ma perfettamente funzionante, pur ovviamente nei limiti delle sue dimensioni. a: QKV columns = 8 b: Heads = 8 c: Layers = 5 d: Vocab-size = 512 e: Sequence len = 512 (a*b)^2*12*c+d*a*b+e*a*b = 311296 (in realtà sono un po' meno, 264132, perché i key/value heads (4) minori dei query heads(8) ) (en passant, mi sono permesso di "ridurre" ancora di più il codice, se avete voglia, è qui: [3]) Tutto questo per dirvi cosa? Che alla fine, per un informatico, il "chissà che altro" che rimanda a qualcosa di "magico", di segreto industriale, ecc. è inammissibile. E' vero, ad oggi è così, ma, come giustamente ha scritto Guido Vetere "fare un LLM di qualche decina di miliardi di parametri magari solo per l'italiano è alla portata perfino del più sgangherato dei carrozzoni pubblici italiani". Buona domenica, Antonio [1] https://digital-garden.jonghoon.blog/gpt3%20architecture [2] https://github.com/karpathy/llama2.c [3] https://github.com/opensignature/stories

Oct. 15, 2023

Why the Internet Isn’t Fun Anymore

by don Luca Peyron

The social-media Web as we knew it, a place where we consumed the posts of our fellow-humans and posted in return, appears to be over. Buona lettura dl https://www.newyorker.com/culture/infinite-scroll/why-the-internet-isnt-fun… _________________________ don Luca Peyron Pastorale Universitaria - Apostolato Digitale Arcidiocesi di Torino www.universitari.to.it via XX settembre 83, Torino tel. 011 5156239

Oct. 14, 2023

Unlocking Value from Digital Heritage Collections: International Perspectives

by enrico bertacchini

Buongiorno, vi segnalo questo evento che si terrà Venerdì 20 Ottobre presso il Campus Luigi Einaudi dell'Università di Torino, dove cercheremo con prospettive internazionali e evedence-based di riaccendere un po' il dibattito su un tema (quello delle riproduzioni sui beni culturali) ancora non completamente risolto nel contesto italiano. La sessione è organizzata grazie e al'interno del progetto Empowering Italian GLAMs <https://meta.wikimedia.org/wiki/Empowering_Italian_GLAMs>, promosso da Wikimedia Italia, ICOM Italia e Creative Commons Italia. L'evento può essere seguito su https://media.unito.it/ grazie molte Enrico <https://media.unito.it/>

Oct. 14, 2023

Re: [nexa] wholeheartedly agree - (era Re: IA, lavoro, immaginari), (maurizio lana)

by 380°

Ciao karlessi karlessi <karlessi(a)alekos.net> writes: [...] > un ambito di ricerca e una competenza creano un sapere, il cui > esercizio implica un poter parlare situato. sì ed è opportuno che sia così, con il caveat che la competenza, il sapere, sono "cose" a cui tutti debbono poter /partecipare/, come dice Maurizio Lana... almeno qui --8<---------------cut here---------------start------------->8--- come uno straniero che con affetto ammirazione rispetto e voglia di sapere si affaccia ad una cultura diversa da quella in cui si è formato. --8<---------------cut here---------------end--------------->8--- (https://server-nexa.polito.it/pipermail/nexa/2023-October/051809.html Message-id: 7179350b-6c4d-4800-beff-7e0eb06dcc37(a)uniupo.it) > A furia di ripetere concetti a noi noti, sotto forma di concatenazioni > logiche o di espressioni poetiche poco importa, è facile diventare (o > anche solo esser percepiti) bruschi, scostanti, ecc. sì ed è per quello che ancora prima di iniziare a partecipare alla discussione dialettica dobbiamo essere disposti a perdonarci a vicenda per la "bruscaggine" e tentare di NON percepire cose che non sono percepibili da una comunicazione scritta (ne parla "GNU Kind Communication Guidelines", ma non solo ovviamente) [...] > mettermi in una situazione non completamente agevole e non del tutto > allineata, nemmeno con me stesso. questa non solo è divertente ma è una gran bella attitudine, dovrei imparare anche io [...] > facendo un passo indietro, non posso evitare di notare che si tratta di > un argomento inesistente o quasi fino a pochi anni fa. non se ne parlava più perché eravamo verso la fine della seconda era glaciale dell'IA, che ricordo "nacque" nel 1956: --8<---------------cut here---------------start------------->8--- There were two major winters approximately 1974–1980 and 1987–2000 and several smaller episodes. --8<---------------cut here---------------end--------------->8--- (https://en.wikipedia.org/wiki/AI_winter) Fonti differenti danno date differenti ma il senso è quello: nel 2012 con AlexNet è iniziato lo scongelamento e negli anni '20 il calore ha superato la temperatura di ebollizione; adesso siamo in pieno "riscaldamento globale dell'IA", sappiamo già come andrà a finire. > Prima tutto quello spazio da cos'era occupato? C'erano forse le > criptovalute, la blockchain al posto dell'IA. e prima ancora, cosa? i > social media? non ricordo, ma vi chiedo: non avete mai l'impressione > che si giri in tondo a parlar di argomenti che in fondo NON sono poi > così interessanti, ovvero di argomenti in qualche modo di moda e di > cui non ci si può esimere di parlare? No: i fenomeni sono certo di moda, parliamo di quelli perché in questo periodo storico di nuovi fenomeni alla moda ne sparano fuori a raffica con una velocità impressionante (siamo in pieno neo-futurismo) e /sembra/ che stiamo parlando di cose diverse tra loro... ma in realtà basta grattare un filo la superficie per vedere che l'argomento è sempre quello: l'agency delle persone di fronte a "the machine". E, di sponda, l'antica superstizione umana di non aver di fronte "the machine" ma qualcosa che ci assomiglia e che, autonomamente, quasi fosse una inevitabile forza della natura, ci spoglierà, o semplicemente ci sta già togliendo parte, (del)la nostra agency umana. (A latere: mica che questa sottrazione di agency è una cosa "introdotta" con queste recenti tecnologie: è molto, ma molto più antica.) > (au passage: ora si tende a finanziare i progetti con la parola "IA" > come qualche tempo fa si finanziava qualsiasi progetto con la parola > "blockchain") sì perché le mode passano ma i finanziamenti alle cose di moda non finiscono mai :-D > io sì, e me ne dispiaccio, mi sento in qualche modo eterodiretto (no > gomplotto eh!) se questo può in qualche modo consolarti, anche io; rendersene conto e sentirsi a disagio per questo è già qualcosa. Ciao, 380° [...] -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Oct. 14, 2023

Re: [nexa] wholeheartedly agree - (era Re: IA, lavoro, immaginari), (maurizio lana)

by M. Fioretti

On Fri, Oct 13, 2023 20:10:03 PM +0200, karlessi wrote: > non posso evitare di notare che si tratta di un argomento > inesistente o quasi fino a pochi anni fa. Prima tutto quello spazio > da cos'era occupato? C'erano forse le criptovalute, la blockchain al > posto dell'IA. e prima ancora, cosa? i social media? non ricordo, ma > vi chiedo: non avete mai l'impressione che si giri in tondo a parlar > di argomenti che in fondo NON sono poi così interessanti, ovvero di > argomenti in qualche modo di moda e di cui non ci si può esimere di > parlare? in campo AI ci SONO stati progressi recenti non solo innegabili ma anche inaspettati, non ricordo dove ho letto che la qualita' del chatGPT uscito un anno fa RISPETTO alle versioni precedenti ha sorpreso i suoi stessi sviluppatori. In generale, a me pare plausibilissimo che il parlarne come se ne sta parlando sia dovuto a disperazione: https://softwarecrisis.dev/letters/ai-is-a-hail-mary-pass/ > (au passage: ora si tende a finanziare i progetti con la parola "IA" > come qualche tempo fa si finanziava qualsiasi progetto con la parola > "blockchain") appunto... Marco -- https://mfioretti.substack.com

Oct. 14, 2023