- nexa - server-nexa.polito.it

Re: [nexa] 4M€: pochi? Tanti? dettagli, please....
by Giuseppe Attardi Oct. 16, 2023

Oct. 16, 2023

L’ho detto perché sono pochi: l’obiettivo del progetto è di produrre sostanzialmente due cose: 1. Una raccolta di testi per l’apprendimento di LLM 2. Centinaia (100s) di modelli allenati (anche se il GANTT ne indica solo uno da completare in 18 mesi, anche se il dataset sarà disponibile dopo 12!) Il costo di allenare un LLM come GPT è stimato intorno ai $100 milioni. Fai il conto tu di quanti se ne possono allenare con 4 milioni (costo totale, non contributo UE). 4 milioni su tre anni per 8 partner fa 166.000€ a testa, sufficienti a pagare circa 3 ricercatori a partner. La lista dei contributori a GPT-4 ha oltre 300 firme: https://openai.com/contributions/gpt-4 La scala è quella dei progetti del CERN. — Beppe > On 16 Oct 2023, at 09:02, <nexa-request(a)server-nexa.polito.it> <nexa-request(a)server-nexa.polito.it> wrote: > > From: Damiano Verzulli <damiano(a)verzulli.it <mailto:damiano@verzulli.it>> > To: nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> > Subject: [nexa] 4M€: pochi? Tanti? dettagli, please.... [Was: <IA, > lavoro, immaginar>] > Message-ID: <d98273cd-ccf1-4943-9831-bb162d15b30a(a)verzulli.it <mailto:d98273cd-ccf1-4943-9831-bb162d15b30a@verzulli.it>> > Content-Type: text/plain; charset="utf-8"; Format="flowed" > > Il 16/10/23 04:59, Giuseppe Attardi ha scritto: >> [...] >> Peccato che il finanziamento totale sia di 4 milioni €, con cui ci si >> fa poco. >> [...] > > 4 milioni di €, *PUBBLICI*, sono una quantita' *ENORME* di denaro. > > Mi sanguina il cuore ad osservare la "leggerezza" con la quale tale > somma di denaro viene sminuita. > > Perché sono pochi? Cosa cambierebbe, rispetto al progetto HPLT, se > fossero di piu'? Ma, soprattutto, cosa "torna indietro", precisamente, > HPLT, a fronte di quei 4M€.... soprattutto in considerazione del fatto > che mi aspetto che i 4M€ sia una percentuale alta di quello che loro > stessi hanno chiesto? > Detto in altri termini: non solo i 4M€ a HPLT sono tantissimi... ma io, > terzo, voglio pure capire BENISSIMO cosa ci hanno fatto / stanno > facendo... (il sito [1], fortunatamente, aiuta)

2 1

OT: Il CfP di e-privacy chiude il 20 ottobre
by Marco A. Calamari Oct. 16, 2023

Oct. 16, 2023

Un urlo echeggia nella mail list ... TUTTI POSSONO PRESENTARE UN INTERVENTO A E-PRIVACY! PURCHE' LO FACCIANO ENTRO IL 20 OTTOBRE!! ASPETTIAMO ANCHE IL TUO!!! Segui le istruzioni su questa pagina: https://e-privacy.winstonsmith.org/

1 0

The End of Hermeneutics [cont. IA, lavoro, immaginari]
by Guido Vetere Oct. 16, 2023

Oct. 16, 2023

Vi ricordate Chris Anderson che parlava di 'End of Theory'? ( https://www.wired.com/2008/06/pb-theory/) Diceva che i 'big data' avrebbero reso obsoleto il metodo scientifico. Quindici anni dopo la scienza usa più e meglio i dati, ma ancora negli stessi paradigmi ipotetico-deduttivi Oggi però lo stesso genere di profezie tecno-empiristiche prendono di mira il linguaggio, e con ben altri mezzi, con ben altre voci. Il linguaggio - dicono - non è quella cosa su cui, da Socrate a Searle passando per Saussure e Wittgenstein, si sono interrogati linguisti e filosofi:è solo il "campo di forze" indotto dalla produzione di testi. L'interpretazione della parola non è quella abduzione soggettiva di cui parlava Peirce, è semplicemente la generazione di una distribuzione di probabilità sulle parole successive. A che serve allora l'ermeneutica? Essa sta già tutta nei miliardi di parametri di un LLM, basta tirarla fuori con qualche prompt Finirà la critica letteraria? O finirà la letteratura tout-court? Ne riparliamo tra quindici anni (spero) Buona serata, G.

2 1

108° Nexa Lunch Seminar | 25 ottobre 2023, ore 13.00
by Valeria Bergantino Oct. 16, 2023

Oct. 16, 2023

Gentilissime, gentilissimi, Vi invitiamo a partecipare al *108° Nexa Lunch Seminar *che si terrà *mercoledì 25 ottobre*, dalle ore 13.00 alle ore 14.00, con un incontro dal titolo: /*"Analisi e report di trasferimenti di dati personali verso domini extra-EEA"*/. Ospite dell'incontro: *Lorenzo Laudadio* (Politecnico di Torino). _L'incontro si terrà IN PRESENZA e ONLINE._ _SEDE FISICA_ dell'incontro: Centro Nexa su Internet e Società, Politecnico di Torino, Via Boggio 65/a, Torino (1° piano). Per accedere alla sala si raccomanda di suonare al citofono *Portineria* e di seguire le indicazioni segnalate dai cartelli lungo il percorso. QUI <https://nexa.polito.it/contatti> maggiori informazioni su come raggiungerci. _STANZA VIRTUALE _dell'incontro: https://didattica.polito.it/VClass/NexaEvent Di seguito maggiori dettagli: Se non visualizzi correttamente questo messaggio clicca qui <https://nexa.polito.it/lunch-107> NEXA 108° Nexa Lunch Seminar Mercoledì 25 ottobre 2023, ore 13.00 - 14.00 https://nexa.polito.it/lunch-108 Analisi e report di trasferimenti di dati personali verso domini extra-EEA Speaker: *LORENZO LAUDADIO* (Politecnico di Torino) *L'INCONTRO SI TERRÀ IN PRESENZA E ONLINE* *SEDE FISICA*: Centro Nexa su Internet e Società, Politecnico di Torino, Via Boggio 65/a, Torino (1° piano) Suonare al citofono *Portineria* - Seguire le indicazioni segnalate dai cartelli apposti lungo il percorso (Per maggiori informazioni su come raggiungerci clicca QUI <https://nexa.polito.it/contatti>) *STANZA VIRTUALE*: https://didattica.polito.it/VClass/NexaEvent A tre anni dalla sentenza della Corte di Giustizia dell'Unione Europea che aveva invalidato la decisione di adeguatezza sul Privacy Shield (la cosiddetta sentenza "Schrems II"), e alla luce della nuova decisione di adeguatezza sul Data Privacy Framework, *la situazione legale a proposito dei trasferimenti di dati personali verso paesi al di fuori dell'Unione Europea resta oggetto di dibattito*. In un mondo sempre più connesso e digitale, *i dati personali dei cittadini meritano la giusta attenzione*. A garantire questa attenzione dovrebbero esserci le norme del *GDPR*, le quali vengono però spesso dimenticate o ignorate. Questo incontro mira a presentare un nuovo strumento software in grado di rilevare i trasferimenti di dati personali verso domini di Paesi extra-EU ed extra-EEA, e i risultati di un'analisi di massa effettuata sui trasferimenti di dati personali da parte della pubblica amministrazione italiana verso tali Paesi, con un approfondimento sullo scenario legale attuale. BIOGRAFIA - e informazioni supplementari: [Lunch108] *Lorenzo LAUDADIO* è uno studente del corso di laurea magistrale in Ingegneria Informatica, con indirizzo Cybersecurity, presso il Politecnico di Torino. Durante il suo lavoro di tesi, dal titolo "Development of a tool for the automated analysis and reporting of personal data transfers to non-EEA domains" ha avuto modo di realizzare un'analisi di massa sui trasferimenti di dati dai siti web della pubblica amministrazione italiana a domini di Paesi terzi, studiando nel dettaglio le regole del GDPR che stanno alla base dei trasferimenti di dati personali. *Letture consigliate e link utili:* * Schrems, M. (10 luglio 2023). /European Commission gives EU-US data transfers third round at CJEU"/, noyb | LINK <https://noyb.eu/en/european-commission-gives-eu-us-data-transfers-third-rou…> * European Commission. /Adequacy Decisions - How the EU determines if a non-EU country has an adequate level of data protection/ | LINK <https://commission.europa.eu/law/law-topic/data-protection/international-di…> * Monella, P. (2021). /Education and GAFAM: from awareness to responsibility/. Umanistica Digitale, 5(11), 27–45 | LINK <http://doi.org/10.6092/issn.2532-8816/13685> * Guamán, D.S., Rodriguez, D., Del Alamo, J.M. and Such, J. (2023). /Automated GDPR compliance assessment for cross-border personal data transfers in Android applications/. Computers & Security, volume 130 | LINK <https://doi.org/10.1016/j.cose.2023.103262> Che cosa sono il Centro Nexa e i cicli di incontri “Mercoledì di Nexa” e “Nexa Lunch Seminar” <https://www.facebook.com/nexa.center/> <https://twitter.com/nexacenter> <https://www.youtube.com/user/NexaCenter> <https://www.instagram.com/nexa_center/> <https://www.linkedin.com/company/3054864/admin/> #nexalunchseminar <https://twitter.com/search?q=%23nexalunchseminar&src=typd> #PoliTO <https://twitter.com/PoliTOnews> Il Centro Nexa su Internet & Società del Politecnico di Torino (Dipartimento di Automatica e Informatica), fondato nel 2006, è un centro di ricerca interdisciplinare che, in collaborazione con l’Università di Torino (in particolare il Dipartimento di Giurisprudenza), studia le tecnologie digitali e il loro rapporto con la società. Maggiori informazioni all'indirizzo: http://nexa.polito.it/about. Durante i “Mercoledì di Nexa”, che si tengono *ogni 2° mercoledì del mese alle ore 17 in punto*, il Centro Nexa su Internet e Società apre le sue porte non solo agli esperti e a tutti coloro i quali lavorano con Internet, ma anche a semplici appassionati e cittadini. Il ciclo di incontri intende approfondire, con un linguaggio preciso ma accessibile, i temi legati alla Rete: “intelligenza artificiale”, reti sociali, software libero, capitalismo della sorveglianza, neutralità della rete, libertà di espressione, privacy, condivisione di file, "big data" e "open data", “smart cities”, e molto altro. Al centro della maggior parte degli incontri un ospite pronto a dialogare con i direttori del Centro Nexa, il Prof. Juan Carlos De Martin del Politecnico di Torino, i Proff. Marco Ricolfi e Maurizio Borghi dell'Università di Torino, lo staff, i Fellows del Centro Nexa e tutti i presenti. Maggiori informazioni sui Mercoledì di Nexa, incluso un elenco di tutti i “Mercoledì” passati, sono disponibili all'indirizzo: http://nexa.polito.it/mercoledi. Le registrazioni degli incontri sono disponibili qui: https://nexa.polito.it/audio-video. Si segnala inoltre che dal maggio 2012 *ogni 4° mercoledì* del mese *dalle ore 13 alle ore 14* il Centro Nexa organizza anche i "*Nexa Lunch Seminar*". Una lista di tutti i “Lunch Seminar” passati è disponibile all'indirizzo: http://nexa.polito.it/lunch-seminars. See our events calendar <http://nexa.polito.it/events> if you're curious about future luncheons, discussions, lectures, and conferences not listed in this email. Our events are free and open to the public, unless otherwise noted. Responsabile Comunicazione Centro Nexa su Internet & Società: *Valeria Bergantino*, tel: +39 011 090 7219, valeria.bergantino(a)polito.it <mailto:anita.botta@polito.it>. Maggiori informazioni sui Mercoledì di Nexa e i Nexa Lunch Seminar, sono disponibili all'indirizzo: http://nexa.polito.it/events. Weekly Events Newsletter. Sign up <http://nexa.polito.it/mailing-lists> to receive this newsletter if this email was forwarded to you. To manage your subscription preferences, please click here <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa>. Connect & get involved: Jobs, internships, and more <http://nexa.polito.it/get-involved>. Cordiali saluti, -- Valeria Bergantino Communication Officer Nexa Center for Internet & Society Politecnico di Torino - DAUIN Via Pier Carlo Boggio, 65/A - 10138 Torino web: https://nexa.polito.it/ <https://nexa.polito.it/> mail: valeria.bergantino(a)polito.it <mailto:valeria.bergantino@polito.it> tel: 3473443585

1 0

Re: [nexa] IA, lavoro, immaginari
by Giuseppe Attardi Oct. 16, 2023

Oct. 16, 2023

> On 13 Oct 2023, at 18:13, nexa-request(a)server-nexa.polito.it wrote: > > From: Giacomo Tesio <giacomo(a)tesio.it <mailto:giacomo@tesio.it>> > To: Giuseppe Attardi <attardi(a)di.unipi.it <mailto:attardi@di.unipi.it>> > Cc: nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> > Subject: Re: [nexa] IA, lavoro, immaginari > Message-ID: <17CF1CA0-AA25-438E-9BAC-323D44ABB64A(a)tesio.it <mailto:17CF1CA0-AA25-438E-9BAC-323D44ABB64A@tesio.it>> > Content-Type: text/plain; charset=UTF-8 > > Ciao Giuseppe, > > Il 12 Ottobre 2023 20:18:23 UTC, Giuseppe Attardi ha scritto: >> I word embedding sono molto diversi dai co-occurrence counts, simili >> a quelle dei tuoi esempi. > > Si trattava ovviamente di una semplificazione ad uso di chi non conosce > (o non comprende) la programmazione statistica. > Ah, beh. > >> La dimensione dei word embeddings è un valore costante prefissato, >> indipendente dalla lunghezza del vocabolario, come nella tua versione. > > Certo, per ovvi motivi: la gestione di vettori con una dimensionalità > pari alla dimensione de vocabolario richiederebbe capacità di calcolo > nettamente maggiori di quelle disponibili. No. La dimensione del vocabolario sarebbe perfettamente trattabile. Si chiama vector space model ed è quello utilizzato nei motori di ricerca. > > D'altro canto, tale dimensione è "prefissato" solo all'interno di una > particolare architettura del LLM, ma nulla impedisce di provare a > programmare statisticamente LLM diversi (con dimensioni diverse nei > word embeddings) sullo stesso dataset sorgente e confrontarne i > risultati per selezionare quello ottimale durante la cross validation. > Non è questione di scegliere la dimensione ottimale: la differenza è tra un modello sparso e uno denso. Per ottenere quello denso, occorre fare di più di una semplice riduzione dimensionale, come dici sotto. > > Inoltre il mio esempio riproduceva una matrice basata su una singola > relazione, peraltro definita in modo piuttosto approssimativo. > > Le relazioni che potremmo misurare sono innumerevoli, dalla distanza > media nelle frasi, alle relazioni grammaticali etc… Lodevole, allora sviluppa la tua teoria e pubblicala. > > >> I word embedding vengono ottenuti come effetto secondario >> dell’allenamento di un Language Model, come i vettori nascosti che >> consentono al modello di stimare la probabilità di una parola in un >> contesto. > > In altri termini, il processo di programmazione statistica che hai > in mente combina il computo delle co-occorrenze ed una riduzione > dimensionale che facilita l'approssimazione della funzione di > mappatura obiettivo. No, una riduzione dimensionale fa perdere informazioni producendo un’approssimazione. Le rappresentazioni basate su co-occurrence counts non hanno dato i risultati che i linguisti speravano. Farne una riduzione dimensionale peggiorerebbe le loro capacità. Puoi vederlo in questo articolo, negli esempi in Tab. 6 e 7, che mostra come i word embedding invece funzionano: https://www.jmlr.org/papers/volume12/collobert11a/collobert11a.pdf Oppure sperimentarlo tu stesso qui: https://projector.tensorflow.org/ Funzionano vuole dire che utilizzati in applicazioni di NLP, consentono di ottenere risultati efficaci più di ogni altra tecnica usata in precedenza. È quello che Nello Cristianini chiama “La scorciatoia” (https://www.mulino.it/isbn/9788815299833) > > >> Ci vorrebbero diverse lezioni per spiegare come si calcolano i word >> embedding e perché funzionino in modo talmente efficace > > Beh, ma il loro principio di funzionamento è semplice da spiegare. Vieni tu a insegnarli allora. Potresti anche andare a Stanford, dove ci dedicano 6 ore di lezione in un corso di PhD: https://web.stanford.edu/class/cs224n/index.html <https://web.stanford.edu/class/cs224n/index.html> > > È _COME SE_, a valle di un'analisi simile a quella che ho descritto > nella mail precedente, si applicasse una riduzione dimensionale oculata > (ma approssimativa). > > Per chi non lo sapesse una riduzione dimensionale consiste > semplicemente nella proiezione di uno spazio euclideo a N dimensioni su > un altro spazio euclideo a M dimensioni con N maggiore di M. > > Ad esempio, immaginando 4 o più punti in uno spazio tridimensionale > (N=3), si tratta semplicemente di proiettare i punti su un piano (M=2) > libero di traslare e ruotare in modo tale da minimizzare la distanza > quadratica media delle proiezioni dai punti originali entro un limite > accettabile (aka, "minimizzare l'errore entro un epsilon"). > > Non dovrebbe essere difficile da immaginare: 4 o 5 punti nello spazio > a caso ma non appartenenti ad un piano ed un piano selezionato in modo > da passare il più vicino possibile a ciascuno di essi. > > >> I word embedding sono composi di centinaia di dimensioni e non è >> ricostruibile cosa rappresenti ciascuna > > Naturalmente, come in ogni riduzione dimensionale in cui lo spazio di > destinazione non è scelto sulla base di una semantica nota, ma sulla > base della distanza delle proiezioni sui punti noti. Non sono una semplice riduzione di dimensione. > > Tornando al nostro esempio, le coordinate originali dei punti > nello spazio tridimensionale hanno una semantica precisa per l'essere > umano: dato il punto zero in cui potremmo collocare l'osservatore, > l'asse x potrebbe distinguere destra (x positive) e sinistra (x > negative), l'asse y potrebbe distinguere sopra (y positive) e sotto (y > negative) e l'asse z potrebbe distinguere davanti (z positive) e dietro > (z negative). > > Insomma, le coordinate originali hanno un significato comprensibile. > Non esistono coordinate originali per i word embeddings, perché non provengono da una riduzione dimensionale. > > Ma nel momento che cerchiamo un piano che semplicemente minimizzi la > distanza quadratica media delle proiezioni dei punti su di esso dai > punti stessi, accettiamo di ruotare e traslare questo piano come serve. > > A quel punto il sistema di coordinate delle proiezioni sul piano > perdono di significato: lo zero si trova da qualche parte che non > sappiamo rispetto all'osservatore, x e y sono orientate in modo del > tutto diverso rispetto alle x e y e z dello spazio tridimensionale di > origine, per cui non abbiamo più modo di attribuirgli un significato. > > TUTTAVIA, poiché i punti hanno comunque perso una dimensione, le nostre > proiezioni non corrispondono esattamente ai punti originali. O magari > corrispondono in alcuni fortunati casi, ma in altri sono molto lontani. > E per contro, vi sono punti lontani sulla dimensione persa che si > trovano ad essere sovrapposti. > > > Naturalmente dichiarare che i word embeddings rappresentano in modo > imperscrutabile il significato delle parole fa molto più figo! > > Ma rimangono mere proiezioni di statistiche. No. Nel calcolarli si usano metodi di ottimizzazione, non di statistica. In termini grossolani: L’ottimizzazione studia tecniche per trovare modelli che rappresentano al meglio un fenomeno, e di conseguenza hanno capacità predittive. La statistica studia la raccolta, analisi e interpretazione dei dati: non ha capacità predittive se non assumendo la stabilità dei fenomeni. Il Machine Learning utilizza metodi statistici per definire i modelli che ottimizza rispetto ai dati. Per approfondire le differenze: https://towardsdatascience.com/the-actual-difference-between-statistics-and… — Beppe

1 0

Why the Internet Isn’t Fun Anymore
by don Luca Peyron Oct. 15, 2023

Oct. 15, 2023

The social-media Web as we knew it, a place where we consumed the posts of our fellow-humans and posted in return, appears to be over. Buona lettura dl https://www.newyorker.com/culture/infinite-scroll/why-the-internet-isnt-fun… _________________________ don Luca Peyron Pastorale Universitaria - Apostolato Digitale Arcidiocesi di Torino www.universitari.to.it via XX settembre 83, Torino tel. 011 5156239

3 2

Unlocking Value from Digital Heritage Collections: International Perspectives
by enrico bertacchini Oct. 14, 2023

Oct. 14, 2023

Buongiorno, vi segnalo questo evento che si terrà Venerdì 20 Ottobre presso il Campus Luigi Einaudi dell'Università di Torino, dove cercheremo con prospettive internazionali e evedence-based di riaccendere un po' il dibattito su un tema (quello delle riproduzioni sui beni culturali) ancora non completamente risolto nel contesto italiano. La sessione è organizzata grazie e al'interno del progetto Empowering Italian GLAMs <https://meta.wikimedia.org/wiki/Empowering_Italian_GLAMs>, promosso da Wikimedia Italia, ICOM Italia e Creative Commons Italia. L'evento può essere seguito su https://media.unito.it/ grazie molte Enrico <https://media.unito.it/>

1 0

Re: [nexa] wholeheartedly agree - (era Re: IA, lavoro, immaginari), (maurizio lana)
by karlessi Oct. 14, 2023

Oct. 14, 2023

> Message: 5 > Date: Fri, 13 Oct 2023 18:13:53 +0200 > From: maurizio lana <maurizio.lana(a)uniupo.it> > To: nexa(a)server-nexa.polito.it > Subject: [nexa] wholeheartedly agree - (era Re: IA, lavoro, > immaginari) > Message-ID: <7179350b-6c4d-4800-beff-7e0eb06dcc37(a)uniupo.it> > Content-Type: text/plain; charset="utf-8"; Format="flowed" [TAGLIO] >> concludo come sempre fa un mio amico in un'altra mailing list di area >> umanistica: >> comments? Buonasera, concordo, e aggiungo che la questione delle discipline (e delle culture: umanistica, scientifica..) maschera appena la questione a mio parere sottostante, cioè l'attitudine, esistono infatti persone esperte di filosofia che si pongono in maniera autoritaria e saccente. non sempre, ma a me senz'altro capita di pormi in modo saccente, anche se cerco di evitarlo. ciò è probabilmente accertabile in qualsiasi altra disciplina, passata, presente e ancora da inventare, dal momento che un ambito di ricerca e una competenza creano un sapere, il cui esercizio implica un poter parlare situato. A furia di ripetere concetti a noi noti, sotto forma di concatenazioni logiche o di espressioni poetiche poco importa, è facile diventare (o anche solo esser percepiti) bruschi, scostanti, ecc. Parlando/scrivendo gli umani inevitabilmente costruiscono la propria identità, percepita da altri parlanti/scriventi in maniera conforme alla loro percezione, oppure no. Certo, l'identità è ineliminabile, proprio come il potere, ed è una fortuna che sia così: è la condizione per la comunicazione, per l'evoluzione, per il cambiamento. L'identità va gestita, diffusa, moltiplicata, ricreata proprio come il potere. Comunicare è parlare-scrivere da un luogo, cioè assumere un'identità, ovvero costruire un potere-sapere. La scrittura è basata sul linguaggio, il linguaggio sull'identità, l'identità sul potere, e dunque in qualsiasi modo cerchiamo di comunicare siamo già coinvolti nella costruzione di identità, individuali e collettive. la sto buttando in... filosofia? discussione ovvia? incomprensibile? sciocchezze che qualsiasi pappagallo stocastico può scriver di gran lunga meglio e cmq più in fretta? Comunque sia, mi pare assodato che io posso percepire le mie parole come molto semplici anzi banali, altr* come astruse elucubrazioni di un esaltato... ho l'abitudine a vestire i panni del filosofo con gli scienziati, quelli del tecnico con i filosofi, e via dicendo; non per fare il bastian contrario, ma perché di fronte a posture identitarie trovo adeguato mettermi in una situazione non completamente agevole e non del tutto allineata, nemmeno con me stesso. Siccome in questa lista c'è una certa varietà (viva! grazie), tendo a portare l'attenzione su meta-questioni mi colpisce, nell'oggetto della discussione, l'IA, che ritorna. Alcun* ritengono che sia una truffa. Altr* che sia un'occasione (già persa?), insomma c'è da discutere. facendo un passo indietro, non posso evitare di notare che si tratta di un argomento inesistente o quasi fino a pochi anni fa. Prima tutto quello spazio da cos'era occupato? C'erano forse le criptovalute, la blockchain al posto dell'IA. e prima ancora, cosa? i social media? non ricordo, ma vi chiedo: non avete mai l'impressione che si giri in tondo a parlar di argomenti che in fondo NON sono poi così interessanti, ovvero di argomenti in qualche modo di moda e di cui non ci si può esimere di parlare? (au passage: ora si tende a finanziare i progetti con la parola "IA" come qualche tempo fa si finanziava qualsiasi progetto con la parola "blockchain") io sì, e me ne dispiaccio, mi sento in qualche modo eterodiretto (no gomplotto eh!) buona serata k. -- "tecnologie conviviali - https://tc.eleuthera.it" "tecnologie appropriate - https://alekos.net" "pedagogia hacker - https://circex.org"

3 2

wholeheartedly agree - (era Re: IA, lavoro, immaginari)
by maurizio lana Oct. 13, 2023

Oct. 13, 2023

riprendo una frase verso il fondo del messaggio di Giovanni (Biscuolo) e sviluppo un tema laterale: > Ed è per questo che gli umanisti, tra cui linguisti, filosofi, > semiologi, epistemologi (la specializzazione nel settore è letteralmente > esplosa) ci stanno lavorando da millenni, mi auguro che nessuno > scienziato pensi davvero di buttare letteralmente nel cesso il loro > lavoro. > Nel mentre sull'argomento se ne sentono davvero di cotte e di crude. :-D io faccio parte del gruppo descritto sinteticamente come "gli umanisti, tra cui linguisti, filosofi, semiologi, epistemologi" e mi ritrovo molto in quello che scrive Giovanni (B). nelle discussioni sui sistemi di IA, emergono una quantità di questioni che sono /oltre/ le conoscenze e competenze professionali e disciplinari di molti di coloro che ne scrivono qui. ma sembra che essendo questioni 'umanistiche' (linguistiche, filosofiche, ecc.) chiunque ne possa parlare come padrone del campo e come maestro di quei saperi - e non come uno straniero che con affetto ammirazione rispetto e voglia di sapere si affaccia ad una cultura diversa da quella in cui si è formato. saperi che come giustamente Giovanni (B) ricorda sono in elaborazione da millenni e non perché gli umanisti sono dei fessi, o dei perditempo o dei burloni che stanno ingannando tutto il resto del mondo, ma perché i problemi con cui si confrontano hanno delle caratteristiche di difficoltà e complessità del tutto specifiche. la sicumera (scusate la franchezza) con cui talora i temi umanistici sono qui delineati, cucinati e serviti da chi li conosce per averne letto, non per averci studiato per decine d'anni, scoraggia chi appartiene al campo umanistico dall'intervenire anche quando avrebbe qualcosa da dire. perché lì si è abituati ad un procedimento dialettico un po' più sottile anche se non meno tagliente, in cui si parla nei limiti dei saperi che si possiedono ed è più evidente che la costruzione del sapere è dialettica e non intellettualmente forzuta. il mondo funziona bene anche se qui un non informatico pensa 3 volte se parlare, e poi 2,7 volte decide di no, ma 1) questo tema del "come si discute" in questa mailing list è già emerso; e 2) può esservi utile avere un insight su come la scrittura dei messaggi di questa lista mostra una ben definita concezione del rapporto tra le due culture (o una concezione che le due sono in realtà una, perché una delle due pensa l'altra come a sua disposizione) concludo come sempre fa un mio amico in un'altra mailing list di area umanistica: comments? Maurizio Il 13/10/23 16:49, 380° <g380(a)biscuolo.net> ha scritto: > Date: Fri, 13 Oct 2023 16:32:15 +0200 > From: 380°<g380(a)biscuolo.net> > To: Giuseppe Attardi<attardi(a)di.unipi.it>,nexa(a)server-nexa.polito.it > Subject: Re: [nexa] IA, lavoro, immaginari [CDT:L-1] [CDT:L3] > Message-ID:<87r0lya900.fsf(a)xelera.eu> > Content-Type: text/plain; charset="utf-8" > > Buongiorno Giuseppe, > > [un appello generale: per favore quando si fanno citazioni a delle fonti > è possibile avere il riferimento?] > > Un modesto consiglio non richiesto: prego chiunque di non prendere mai > sul personale le critiche al proprio lavoro o alle proprie convinzioni > scientifiche, non mi riferisco a nessuno in particolare. > > Giuseppe Attardi<attardi(a)di.unipi.it> writes: > > [...] > >> Daniele Gambetta riporta il termine spregiativo di “stochastic parrot” > Capisco bene che quel termine faccia incazzare un numero incalcolabile > di persone ma bisogna ammettere che è una _genialata_ (che mai e poi mai > avrebbe potuto essere generata da un LLM, tra l'altro) > > A un brianzolo per descrivere in poche parole quello che producono gli > LLM è «fà e disfà l'è tücc un lavurà» > >> che è stato affibbiato ai LLM da Timnit Gebru e colleghi. > Daniela Tafani ha già spiegato chi ha "affibiato" il termine e perché. > > Nota a margine: credo che non pochi etologi avrebbero da ridire sul > fatto che gli LLM siano anche solo vagamente accostati ai pappagalli (o > qualsiasi altro animale), la cui intelligenza probabilmente è di diversi > ordini di grandezza superiore a qualsiasi AI: «Parrots have evolved a > primate-like telencephalic-midbrain-cerebellar circuit» > https://www.nature.com/articles/s41598-018-28301-4 > > Però è una nota a margine, spero non parta un sub-thread su questo. > >> L’articolo è molto controverso ed è costato a Gebru il posto a Google. > Perché in Google non c'è posto per la ricerca scientifica. Punto. > >> Nell’articolo si sostiene che: > Sì ma quale articolo, di grazia?!? > >> An LM is a system for haphazardly stitching together sequences of >> linguistic forms it has observed in its vast training data, according >> to probabilistic information about how they combine, but without any >> reference to meaning: a stochastic parrot. >> >> Questa affermazione è superficiale e inesatta, > Com'è che i superficiali ed inesatti sono sempre gli altri? > > Quella frase, decontestualizzata, può benissimo /apparire/ superficiale > e inesatta, ma magari nel giusto contesto anche no. > > «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?» > > https://dl.acm.org/doi/epdf/10.1145/3442188.3445922 > https://archive.org/details/stochastic-parrots-3442188.3445922 > https://web.archive.org/web/20210311003046/https://dl.acm.org/doi/pdf/10.11… > https://archive.is/z4LY8 > > Purtroppo, come tanti, TROPPI articoli pubblicati, lo studio è > disponibile solo in formato PDF quindi non posso produrre un link > diretto al capitolo dal quale è stata estratta la citazione, che è: «6.1 > Coherence in the Eye of the Beholder» > > Chiunque abbia intenzione di comprendere il senso della frase estratta > sopra, _deve_ prendersi almeno 10 minuti per leggere il capitolo 6.1 del > paper, che contiene diversi riferimenti bibliografici a supporto di > delle affermazioni che vengono fatte, sono la base (scientifica?!?) per > la _sintesi_ /polemica/ che viene fatta al termine del capitolo, quella > estratta sopra. > > Io cito solo questo (che però si può comprendere solo /contestualizzando/): > > --8<---------------cut here---------------start------------->8--- > > This can seem counter-intuitive given the increasingly fluent qualities > of automatically generated text, but we have to account for the fact > that our perception of natural language text, regardless of how it was > generated, is mediated by our own linguistic competence and our > predisposition to interpret communicative acts as conveying coherent > meaning and intent, whether or not they do [89, 140]. > > --8<---------------cut here---------------end--------------->8--- > > Questo, tra l'altro, la dice _molto_ lunga in merito all'efficacia del > c.d. "Touring Test", perché è ovvio che un ignorante in materia (già, ma > /quale/ materia?) può essere banalmente ingannato, perfino da un > programma. > >> perché non tiene conto di alcune cose: >> >> 1. Alla base dei LLMs ci sono i word embedding, > trattasi sempre di NLP, sempre più sofisticato ma quello è, > informaticamente parlando > >> un modo per assegnare un significato alle parole, > «Così come l'amore non esiste ed è per quello che lo /facciamo/, le > parole non hanno significato ed è per quello che noi glielo /diamo/.» > (elucubrazione mia) > > Il significato alle parole lo danno gli umani, punto. > > Tratto sempre dal paragrafo «6.1 Coherence in the Eye of the Beholder»: > > --8<---------------cut here---------------start------------->8--- > > human communication relies on the interpretation of implicit meaning > conveyed between individuals. The fact that human-human communication is > a jointly constructed activity [29, 128] is most clearly true in > co-situated spoken or signed communication, > > --8<---------------cut here---------------end--------------->8--- > > Riferimenti: > [29] Herbert H. Clark. 1996. Using Language. Cambridge University Press, Cambridge > > [128] Greg J. Stephens, Lauren J. Silbert, and Uri Hasson. 2010. Speaker–listener > neural coupling underlies successful communication. Proceedings of the National > Academy of Sciences 107, 32 (2010), 14425–14430.https://doi.org/10.1073/pnas. > 1008662107 arXiv:https://www.pnas.org/content/107/32/14425.full.pdf > https://web.archive.org/web/20220930172709/https://www.pnas.org/doi/pdf/10.… > https://archive.ph/6D2Gy > >> un problema che ha eluso la filosofia e la linguistica per due >> millenni > No dai, questa è davvero troppo grossa! > >> e che il Deep Learning ha risolto. > Anche questa è un filino esagerata... ma io chi sono per dirlo?!? > >> Questo è quanto afferma Hinton in proposito: "Many people who think >> it’s just statistics are thinking in terms of program models or >> counting the co-occurrence frequencies of words. We think this process >> of creating features of the embeddings and then interactions between >> features is actually understanding. > Sì credo che ormai il qui pro quo su cosa significhi "understanding" sia > chiarissimo > >> Once you’ve taken the raw data of symbol strings > Già solo far riferimento a "raw data" in un contesto scientifico > dovrebbe far scattare l'allarme rosso, no? > > --8<---------------cut here---------------start------------->8--- > > data is self-contained and context-independent, and that with sufficient > data, concerns about causation, bias, selection, and incompleteness can > be disregarded. It is a seductive vision: Raw data, uncorrupted by > theory or ideology, will lead us to the truth; complex problems will be > solved simply by throwing enough data at them. No experts will be > required, apart from those needed to produce the data and herald their > findings; no theory, values, or preferences will be relevant; nor will > it be necessary to scrutinize any assumptions. > > --8<---------------cut here---------------end--------------->8--- > (tratto da:https://www.thenewatlantis.com/publications/why-data-is-never-raw) > > [...] > >> I believe that is understanding. I believe that is what our brains are >> doing. But that’s an issue to be discussed by the research community >> and it would be great if we could convince people that they are not >> just stochastic parrots.” > Interessantissimo questo sillogismo: siccome il cervello delle persone > comprende come fa una macchina (LLM, deep learning, ecc.) sarebbe bello > che convincessimo le persone che non non sono solo pappagalli > stocastici. > > Ho letto bene? > > Siccome il cervello funziona così?!?!? > > Quindi grazie agli LLM non solo abbiamo risolto questioni filosofiche > aperte da millenni ma abbiamo pure capito come funziona il cervello > umano. > > Non è un po' esagerata come linea di dissertazione accademica? > >> 2. I LLM sono evoluti dai tempi dell’articolo, in particolare, ChatGPT >> e successivi sono stati allenati a interagire in conversazioni con il >> fine-tuning e quindi a tenere conto del contesto della discussione > La cosa non sposta di una virgola la questione, infatti: > > «With GPT-4, dangers of ‘Stochastic Parrots’ remain, say researchers. No > wonder OpenAI CEO is a ‘bit scared’ | The AI Beat», March 20, 2023 > > https://venturebeat.com/ai/with-gpt-4-dangers-of-stochastic-parrots-remain-… > > --8<---------------cut here---------------start------------->8--- > > Fast forward to now: There was no research paper attached to the GPT-4 > launch that shares details about its architecture (including model > size), hardware, training compute, dataset construction or training > method. > > --8<---------------cut here---------------end--------------->8--- > > In altre parole: non c'è proprio nessun consenso scientifico che > giustifichi l'affermazione che gli (extra)LLM siano in grado di > comprendere il linguaggio. > >> 3. La capacità di “comprendere” è difficile da definire, almeno in >> termini umani. > Ed è per questo che gli umanisti, tra cui linguisti, filosofi, > semiologi, epistemologi (la specializzazione nel settore è letteralmente > esplosa) ci stanno lavorando da millenni, mi auguro che nessuno > scienziato pensi davvero di buttare letteralmente nel cesso il loro > lavoro. > > Nel mentre sull'argomento se ne sentono davvero di cotte e di crude. :-D > > [...] > >> Ma in gran parte di tali test, GPT-4 supera il livello medio umano. > Questo la dice lunga sul valore dei test di valutazione. > > Sulla valutazione della comprensione umana ci sarebbe da fare un > convegno intero, no? > > https://journals.sagepub.com/doi/full/10.1177/1098214020920710 > «What Is Evaluation?: Perspectives of How Evaluation Differs (or Not) > From Research» > > https://link.springer.com/article/10.1007/s11251-020-09522-5 > «Promoting students’ use of epistemic understanding in the evaluation of > socioscientific issues through a practice-based approach» > > Ha tutto molto a che fare col "giudizio" kantiano. > >> Quindi, a tutti gli effetti pratici, capisce non solo una, ma molte >> materie. Lo “capisce” in una qualche forma diversa dalla nostra, ma >> pur sempre verificabile. > Ecco appunto: verificabile da chi?!? Da uno di noi, un umano. > > Tra l'altro, se è persino verificabile (da un umano) che lo "capisce" in > una qualche forma diversa significa che NON lo capisce come lo capiscono > gli umani... che è solo un giro di parole per dire che non lo capisce. > > [...] > >> Uno di questi si lega alla teoria dei sistemi complessi di Giorgio >> Parisi, che spiega il loro comportamento come dovuto all’applicazione >> su larga scala di semplici leggi probabilistiche. > E se lo dice Giorgio Parisi /allora/ è dimostrato: l'intero universo è > un _meccanismo_ che si spiega attraverso l'applicazione su larga scala > di leggi probabilistiche... più che la teoria del Big Bang siamo alla > teoria del Big Bingo. > > [...] > >> In sostanza, siamo di fronte a questioni scientifiche articolate e >> complesse, e suggerisco che vengano affrontate basandosi su studi >> scientifici, di cui c’è molto bisogno. > Studi scientifici multi-disciplinari che non scartino a priori lavori di > altri scienziati solo perché non si adattano bene al modello > dell'universo prescelto _e_ non ignorino un sano lavoro meta-scientifico > che non può non coinvolgere il lato /umanistico/ della scienza. > > In altre parole non dimenticarsi mai che la scienza fa parte della > filosofia e non viceversa. > > [...] > > Cordiali saluti, 380° > ------------------------------------------------------------------------ the knowledge gap between rich and poor is widening witten & bainbridge, how to build a digital library ------------------------------------------------------------------------ Maurizio Lana Università del Piemonte Orientale Dipartimento di Studi Umanistici Piazza Roma 36 - 13100 Vercelli

1 0

Re: [nexa] Can Large Language Models reason?
by maurizio lana Oct. 13, 2023

Oct. 13, 2023

solo a me i msg di Giuseppe Attardi compaiono /talvolta/ così? con il corpo del messaggio messo in attachment htm linkato Maurizio Il 13/10/23 09:21, nexa-request(a)server-nexa.polito.it ha scritto: > Message: 4 Date: Fri, 13 Oct 2023 09:21:12 +0200 > From: Giuseppe Attardi <attardi(a)di.unipi.it> > To: Daniela Tafani <daniela.tafani(a)unipi.it> > Cc: nexa <nexa(a)server-nexa.polito.it> > Subject: Re: [nexa] Can Large Language Models reason? > Message-ID: <F38BCF6D-716C-423D-8A9D-5AB64995EFE8(a)di.unipi.it> > Content-Type: text/plain; charset="utf-8" > An HTML attachment was scrubbed... > URL: > <http://server-nexa.polito.it/pipermail/nexa/attachments/20231013/26c59651/a…> > > ------------------------------ > > Subject: Digest Footer > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > ------------------------------ ------------------------------------------------------------------------ roughneck and rudeness we should be using, on the ones who practice wicked charms for the sword and the stone, bad to the bone battle's not over even when it's won youssou n'dour & nene cherry, 7 seconds ------------------------------------------------------------------------ Maurizio Lana Università del Piemonte Orientale Dipartimento di Studi Umanistici Piazza Roma 36 - 13100 Vercelli

2 1