- nexa - server-nexa.polito.it

Re: [nexa] IA, lavoro, immaginari

by Guido Vetere

i LLM sono meravigliosi o insufficienti a seconda del task a cui li applichi basta essere d'accordo sul fatto che la loro è una "intelligenza aliena" che ha ben poco a che fare con la cognitività umana, ad es la loro 'semantica' non c'entra nulla con quella umana d'altra parte possono essere apprezzati proprio per la loro diversità G. On Mon, 16 Oct 2023 at 11:06, Giuseppe Attardi <attardi(a)di.unipi.it> wrote: > > On 16 Oct 2023, at 10:09, Guido Vetere <vetere.guido(a)gmail.com> wrote: > > > A parte la questione delle 'emergent abilities' che è alquanto controversa > e a me fa venire la pelle d'oca (cosa potrebbe emergere? come facciamo a > saperlo?) credo che la (vera) 'democratizzazione' (so to say) dei LLM sia > un processo già in atto, e che per trarne benefici non serva tanto denaro, > ma tanta volontà politica. > > Ad esempio: sono convinto (su basi empiriche) che un Llama2 70B, ben > fine-tunato (perdonatemi!), sia già adatto a tante cose come summarization, > ner, topic analysis, ecc, (NB: compiti analitici, non 'stricto sensu' > generativi), i quali potrebbero essere utilissimi per gestire meglio i > sistemi informativi ad es. della PA. > > Per fare queste cose semplici, bastano i word embeddings (vedi l’articolo > di Collobert che ho citato). > È per fare tutto il resto che servono i LLM (dove Large sta, per > definizione, oltre i 10^10 parametri). > > > Per mettere in esercizio e adattare un modello del genere 4M bastano e > avanzano, senza neanche scomodare Leonardo e Cineca. Si potrà fare? Cioè: > gli executive di MS, Google e Meta che finanziano le fondazioni dei > politici che nominano i vertici della PA saranno d'accordo? > > Per fare il fine tuning di Llama 2 70B, servono almeno 4 GPU Nvidia, solo > per caricare il modello in memoria: poi si può usare LoRA per le modifiche. > Occorrono 4 giorni di elaborazione. > E un server con 4 GPU Nvidia costa intorno ai 40.000 €. > > Del resto, delle due l’una: o i LLM sono insufficienti e criticati per i > loro limiti, o persino quelli più piccoli sono meravigliosi. > > > — Beppe > > Scusate lo sfogo aggressivo-passivo :-) > > G. > > > > > > > > On Mon, 16 Oct 2023 at 05:00, Giuseppe Attardi <attardi(a)di.unipi.it> > wrote: > >> >> >> On 15 Oct 2023, at 12:00, nexa-request(a)server-nexa.polito.it wrote: >> >> Tutto questo per dirvi cosa? >> Che alla fine, per un informatico, il "chissà che altro" che rimanda a >> qualcosa di "magico", di segreto industriale, ecc. è inammissibile. E' >> vero, ad oggi è così, ma, come giustamente ha scritto Guido Vetere "fare un >> LLM di qualche decina di miliardi di parametri magari solo per l'italiano è >> alla portata perfino del più sgangherato dei carrozzoni pubblici italiani”. >> >> >> Ben venga lo sviluppo di LLM alternativi. >> Secondo me ciascuno dovrebbe avere il suo personale, calibrato sui suoi >> interessi e le conoscenze sui suoi campi di interesse: un po’ come ci sono >> tanti giornali che rappresentano diversi punti di vista. >> >> C’è persino un progetto finanziato dalla CE che intende fare centinaia di >> LLM: >> https://hplt-project.org/ >> >> Peccato che il finanziamento totale sia di 4 milioni €, con cui ci si fa >> poco. >> Mistral.AI, una startup francese, ha ottenuto 100 milioni di investimento >> e utilizza Leonardo di Cineca per sviluppare LLM: >> https://mistral.ai/news/announcing-mistral-7b/ >> >> Che sono sempre pochi rispetto a quanto spendono OpenAI, Google e Meta in >> risorse di calcolo. >> >> Perché la questione di fondo, è quella delle “emergent abilities” che i >> LLM cominciano ad esibire quando superano una certa dimensione: >> https://www.jasonwei.net/blog/emergence >> Ossia un modello diventa in grado di svolgere compiti per i quali non era >> stato allenato, come nei sistemi complessi. >> >> — Beppe >> >> >> _______________________________________________ >> nexa mailing list >> nexa(a)server-nexa.polito.it >> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >> > >

Oct. 16, 2023

Re: [nexa] IA, lavoro, immaginari

by Giacomo Tesio

Ciao Giuseppe Il 16 Ottobre 2023 03:13:31 UTC, Giuseppe Attardi ha scritto: > Bell’esempio che illustra perché l’Explainable AI non funziona, > almeno non come vorrebbero i suoi sostenitori. Finalmente siamo d'accordo! È stata la prima cosa che ho pensato. La seconda è stata: "ma perché chiedere ad un software un riassunto pasticciato dei propri testi sorgente?" > La spiegazione che viene fornita è una ricostruzione razionale della > risposta, No: è un riassunto approssimativo (e ottimizzato per apparire credibile) di ciò che era presente nei testi usati per la programmazione statistica. > che è simile a quanto fanno gli esperti umani quando devono spiegare > le loro risposte. Uhm per la verità io non lavoro così. L'esperienza mi permettono di individuare rapidamente le dimensioni rilevanti del problema che ho davanti, ma le mie risposte includono sempre lunghe (qualcuno osa dire "troppo" lunghe :-D) descrizioni dei ragionamenti che conducono a tali conclusioni. Spesso includono anche lunghe descrizioni dei percorsi analizzati ma scartati. Nella mia testa è come ripercorrere a ritroso il grafo di conoscenze ed esperienze che ho percorso in andata per giungere alla conclusione. Tant'è che, contrariamente ad un LLM, io posso identificare le mie lacune lungo il percorso, documentarmi in merito fino a poter fornire una conclusione solida e responsabile. Questa è la ragione per cui l'approccio attuale alle "explainable AI" è irrimediabilmente fallato: come con tutto il resto deve ridefinire la "spiegazione" con "giustificazione". Io spiego i ragionamenti che mi portano ad una conclusione, non invento giustificazioni. I LLM non spiegano il significato dei calcoli che determinano il proprio output, ma cercano di giustificazioni coerenti all'interno di ciò che rimane al proprio interno dei testi sorgente. > Infatti nessuno di noi applicherebbe pedissequamente le regole > grammaticali per rispondere alla domanda: risponderebbe d’acchito. Dipende da quanto ti ricordi quelle regole. :-) Se non sei certo di conoscerle (e fornire la risposta giusta è sufficientemente importante per te) allora andrai a ripassarle e le applicherai pedissequamente. Ma soprattutto, se le hai comprese le applicherai in modo coerente. Facendo calcolare l'output di un input come questo > La frase "Marco si interrogava dall'inizio" è attiva o passiva? E > perché? Stando al proxy (sorvegliato... usate le dovute cautele) https://talkai.info/it/chat/ otteniamo sistematicamente un output interpretabile come "la frase è passiva perché..." Tuttavia chiedendo sostituendo la parola "attiva" con "riflessiva" otteniamo sistematicamente un output interpretabile come "la frase è riflessiva perché..." Insomma scopriamo l'acqua calda: GPT4 non comprende la grammatica, né sa di non comprenderla semplicemente perché non è intelligente. > Anche se chiedi a un medico di giustificare la sua diagnosi, ci mette > molte più parole e tempo di quanto ci ha messo per produrla, perché > non è in quel modo che l’ha ottenuta. Mia moglie è medico e ti posso assicurare che non spara la prima diagnosi che gli viene in mente. Alcune volte, pur non pressata in alcun modo, condivide con me i propri ragionamenti perché le mie domande l'aiutano proprio ad evitare errori di valutazione. Di tali ragionamenti io comprendo una frazione appena sufficiente a fare le domande giuste, ma ai pazienti riporta poi una spiegazione enormemente semplificata rispetto a quella condivisa con me. > Il Deep Learning opera a livello di System 1, secondo la terminologia > di Daniel Kahneman, ossia di conoscenza “compilata" per una fruizione > diretta. Ti rendi conto che stai applicato categorie pensate per la mente umana ad una serie di moltiplicazioni fra matrici? :-D Peraltro rifletti su questo: il modello stesso di Kahneman è basato su ipotesi non verificate o verificabili, come lui stesso ammise dopo le critiche sulla replicabilità degli studi da lui citati. [1] Il fatto che l'interpretazione di LLM e altre tecniche di programmazione statistica si basi su questa fuffa para-scientifica [2] è indicativo di quanto sia ancora primitiva l'informatica. Giacomo [1] https://retractionwatch.com/2017/02/20/placed-much-faith-underpowered-studi… [2] https://replicationindex.com/2020/12/30/a-meta-scientific-perspective-on-th…

Oct. 16, 2023

Re: [nexa] The End of Hermeneutics [cont. IA, lavoro, immaginari]

by 380°

Buongiorno, Guido Vetere <vetere.guido(a)gmail.com> writes: > Vi ricordate Chris Anderson che parlava di 'End of Theory'? ( > https://www.wired.com/2008/06/pb-theory/) > Diceva che i 'big data' avrebbero reso obsoleto il metodo scientifico. Sì ma quella tecnicamente si chiama "Data Pornography", con tentenze sia feticistiche che sadiche. > Quindici anni dopo la scienza usa più e meglio i dati, ma ancora negli > stessi paradigmi ipotetico-deduttivi Sì ma i dati, _soprattutto_ i programmi (software), potrebbe usarli decisamente meglio. [...] > Finirà la critica letteraria? O finirà la letteratura tout-court? Finisce la scienza, la letteratura, le generazioni... Siamo vicinissimi alla fine del mondo, a quanto pare. [...] Saluti, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Oct. 16, 2023

Re: [nexa] 4M€: pochi? Tanti? dettagli, please.... [Was: <IA, lavoro, immaginar>]

by Maria Chiara Pievatolo

Il 16/10/23 09:02, Damiano Verzulli ha scritto: > Il 16/10/23 04:59, Giuseppe Attardi ha scritto: >> [...] >> Peccato che il finanziamento totale sia di 4 milioni €, con cui ci si >> fa poco. >> [...] > > 4 milioni di €, *PUBBLICI*, sono una quantita' *ENORME* di denaro. > Come informazione di contesto aggiungiamo che, come ha più volte giustamente lamentato lo stesso professor Attardi, la medesima università che fa questa destinazione di spesa ha dismesso il proprio Owncloud per spostarci su cloud Google e Microsoft, fa gestire la posta degli studenti - per ora solo quella - direttamente da Microsoft e fa usare Microsoft Teams per la teledidattica - quando potremmo disporre dell'ottimo Big Blue Button del Garr.. Lo stesso professor Attardi aveva rilevato, in una bellissima teleconferenza pisana, che tutte queste funzioni che ora sono state delegate a G---M una volta erano oggetto di sviluppo e sperimentazione nelle università. E che dovrebbero rimanere tali, perché l'insegnamento - e la ricerca sulle sue modalità - non è una funzione accidentale dell'università, che possa essere data in appalto a terzi, ma una delle sue funzioni specifiche. Delegarla è pericoloso, perché espone l'università stessa al rischio di apparire - e di diventare effettivamente - superflua. Fra queste due scelte c'è un nesso? A presto, MCP

Oct. 16, 2023

Re: [nexa] IA, lavoro, immaginari

by M. Fioretti

On Mon, Oct 16, 2023 11:08:14 AM +0200, 380° wrote: > Ho già accennato altre volte a cosa potrebbe essere il corpora > legislativo, dal livello Costituzione fino alle ordinanze dei sindaci, > se le informazioni fossero descritte in una forma sintattica comoda di > RDF, immagazzinate in uno store adeguato e interrogate via > SPARQL... ovviamente un "summarizer" o on "topic analist" automatici > farebbero comodo ma il contesto sarebbe un'altro mondo. Stai parlando anche tu di quello che recentemente ho chiamato: "I want AI to do to law and tax codes what..." https://mfioretti.substack.com/p/how-to-tell-good-ai-from-bad-or-pointless o di altro? > Per non parlare di cosa si potrebbe fare se i codici fossero davvero > trattati come... programmi (SORGENTI) B-) verissimo, a partire dal sapere sempre chi e' che inserisce o cambia paragrafi per motivi piu' o meno discutibili: https://stop.zona-m.net/it/2015/09/e-ora-di-scrivere-le-leggi-come-il-softw… Marco -- https://mfioretti.substack.com

Oct. 16, 2023

Re: [nexa] IA, lavoro, immaginari

by 380°

Buongiorno Guido, Guido Vetere <vetere.guido(a)gmail.com> writes: [...] > Ad esempio: sono convinto (su basi empiriche) che un Llama2 70B, ben > fine-tunato (perdonatemi!), sia già adatto a tante cose come summarization, > ner, topic analysis, ecc, (NB: compiti analitici, non 'stricto sensu' > generativi) Sì è ampiamente ragionevole aspettarsi che quando sarà passato il terzo "AI Winter" le applicazioni che rimarranno da tutto questo ribollire saranno _verticalizzate_ per i compiti che citi (diciamo piuttosto: computer aided summarization, ecc.); tra l'altro non è detto che non si riesa a trovare trumenti semplici e minimalisti /separati/ per ciascun compito, usando corpora testuali specifici. > i quali potrebbero essere utilissimi per gestire meglio i sistemi > informativi ad es. della PA. Uh, ci sono così tante cose che potrebbero essere utilissime mer gestire meglio i sistemi informativi della PA, che /empiricamente/ direi che possiamo anche iniziare _ieri_ senza aspettare che siano disponibili quegli strumenti... che a regime potrebbero pure rivelarsi inutili. Ho già accennato altre volte a cosa potrebbe essere il corpora legislativo, dal livello Costituzione fino alle ordinanze dei sindaci, se le informazioni fossero descritte in una forma sintattica comoda di RDF, immagazzinate in uno store adeguato e interrogate via SPARQL... ovviamente un "summarizer" o on "topic analist" automatici farebbero comodo ma il contesto sarebbe un'altro mondo. Per non parlare di cosa si potrebbe fare se i codici fossero davvero trattati come... programmi (SORGENTI) B-) > Per mettere in esercizio e adattare un modello del genere 4M bastano e > avanzano, senza neanche scomodare Leonardo e Cineca. Si potrà fare? Cioè: > gli executive di MS, Google e Meta che finanziano le fondazioni dei > politici che nominano i vertici della PA saranno d'accordo? Mumble... [...] saluti, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Oct. 16, 2023

Re: [nexa] IA, lavoro, immaginari

by Giuseppe Attardi

> On 16 Oct 2023, at 10:09, Guido Vetere <vetere.guido(a)gmail.com> wrote: > > > A parte la questione delle 'emergent abilities' che è alquanto controversa e a me fa venire la pelle d'oca (cosa potrebbe emergere? come facciamo a saperlo?) credo che la (vera) 'democratizzazione' (so to say) dei LLM sia un processo già in atto, e che per trarne benefici non serva tanto denaro, ma tanta volontà politica. > > Ad esempio: sono convinto (su basi empiriche) che un Llama2 70B, ben fine-tunato (perdonatemi!), sia già adatto a tante cose come summarization, ner, topic analysis, ecc, (NB: compiti analitici, non 'stricto sensu' generativi), i quali potrebbero essere utilissimi per gestire meglio i sistemi informativi ad es. della PA. Per fare queste cose semplici, bastano i word embeddings (vedi l’articolo di Collobert che ho citato). È per fare tutto il resto che servono i LLM (dove Large sta, per definizione, oltre i 10^10 parametri). > > Per mettere in esercizio e adattare un modello del genere 4M bastano e avanzano, senza neanche scomodare Leonardo e Cineca. Si potrà fare? Cioè: gli executive di MS, Google e Meta che finanziano le fondazioni dei politici che nominano i vertici della PA saranno d'accordo? > Per fare il fine tuning di Llama 2 70B, servono almeno 4 GPU Nvidia, solo per caricare il modello in memoria: poi si può usare LoRA per le modifiche. Occorrono 4 giorni di elaborazione. E un server con 4 GPU Nvidia costa intorno ai 40.000 €. Del resto, delle due l’una: o i LLM sono insufficienti e criticati per i loro limiti, o persino quelli più piccoli sono meravigliosi. — Beppe > Scusate lo sfogo aggressivo-passivo :-) > > G. > > > > > > > > On Mon, 16 Oct 2023 at 05:00, Giuseppe Attardi <attardi(a)di.unipi.it <mailto:attardi@di.unipi.it>> wrote: >> >> >>> On 15 Oct 2023, at 12:00, nexa-request(a)server-nexa.polito.it <mailto:nexa-request@server-nexa.polito.it> wrote: >>> >>> Tutto questo per dirvi cosa? >>> Che alla fine, per un informatico, il "chissà che altro" che rimanda a qualcosa di "magico", di segreto industriale, ecc. è inammissibile. E' vero, ad oggi è così, ma, come giustamente ha scritto Guido Vetere "fare un LLM di qualche decina di miliardi di parametri magari solo per l'italiano è alla portata perfino del più sgangherato dei carrozzoni pubblici italiani”. >> >> Ben venga lo sviluppo di LLM alternativi. >> Secondo me ciascuno dovrebbe avere il suo personale, calibrato sui suoi interessi e le conoscenze sui suoi campi di interesse: un po’ come ci sono tanti giornali che rappresentano diversi punti di vista. >> >> C’è persino un progetto finanziato dalla CE che intende fare centinaia di LLM: >> https://hplt-project.org/ >> >> Peccato che il finanziamento totale sia di 4 milioni €, con cui ci si fa poco. >> Mistral.AI, una startup francese, ha ottenuto 100 milioni di investimento e utilizza Leonardo di Cineca per sviluppare LLM: >> https://mistral.ai/news/announcing-mistral-7b/ >> >> Che sono sempre pochi rispetto a quanto spendono OpenAI, Google e Meta in risorse di calcolo. >> >> Perché la questione di fondo, è quella delle “emergent abilities” che i LLM cominciano ad esibire quando superano una certa dimensione: >> https://www.jasonwei.net/blog/emergence >> Ossia un modello diventa in grado di svolgere compiti per i quali non era stato allenato, come nei sistemi complessi. >> >> — Beppe >> >> >> _______________________________________________ >> nexa mailing list >> nexa(a)server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> >> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa

Oct. 16, 2023

108° Nexa Lunch Seminar | 25 ottobre 2023, ore 13.00

by Valeria Bergantino

Gentilissime, gentilissimi, Vi invitiamo a partecipare al *108° Nexa Lunch Seminar *che si terrà *mercoledì 25 ottobre*, dalle ore 13.00 alle ore 14.00, con un incontro dal titolo: /*"Analisi e report di trasferimenti di dati personali verso domini extra-EEA"*/. Ospite dell'incontro: *Lorenzo Laudadio* (Politecnico di Torino). _L'incontro si terrà IN PRESENZA e ONLINE._ _SEDE FISICA_ dell'incontro: Centro Nexa su Internet e Società, Politecnico di Torino, Via Boggio 65/a, Torino (1° piano). Per accedere alla sala si raccomanda di suonare al citofono *Portineria* e di seguire le indicazioni segnalate dai cartelli lungo il percorso. QUI <https://nexa.polito.it/contatti> maggiori informazioni su come raggiungerci. _STANZA VIRTUALE _dell'incontro: https://didattica.polito.it/VClass/NexaEvent Di seguito maggiori dettagli: Se non visualizzi correttamente questo messaggio clicca qui <https://nexa.polito.it/lunch-107> NEXA 108° Nexa Lunch Seminar Mercoledì 25 ottobre 2023, ore 13.00 - 14.00 https://nexa.polito.it/lunch-108 Analisi e report di trasferimenti di dati personali verso domini extra-EEA Speaker: *LORENZO LAUDADIO* (Politecnico di Torino) *L'INCONTRO SI TERRÀ IN PRESENZA E ONLINE* *SEDE FISICA*: Centro Nexa su Internet e Società, Politecnico di Torino, Via Boggio 65/a, Torino (1° piano) Suonare al citofono *Portineria* - Seguire le indicazioni segnalate dai cartelli apposti lungo il percorso (Per maggiori informazioni su come raggiungerci clicca QUI <https://nexa.polito.it/contatti>) *STANZA VIRTUALE*: https://didattica.polito.it/VClass/NexaEvent A tre anni dalla sentenza della Corte di Giustizia dell'Unione Europea che aveva invalidato la decisione di adeguatezza sul Privacy Shield (la cosiddetta sentenza "Schrems II"), e alla luce della nuova decisione di adeguatezza sul Data Privacy Framework, *la situazione legale a proposito dei trasferimenti di dati personali verso paesi al di fuori dell'Unione Europea resta oggetto di dibattito*. In un mondo sempre più connesso e digitale, *i dati personali dei cittadini meritano la giusta attenzione*. A garantire questa attenzione dovrebbero esserci le norme del *GDPR*, le quali vengono però spesso dimenticate o ignorate. Questo incontro mira a presentare un nuovo strumento software in grado di rilevare i trasferimenti di dati personali verso domini di Paesi extra-EU ed extra-EEA, e i risultati di un'analisi di massa effettuata sui trasferimenti di dati personali da parte della pubblica amministrazione italiana verso tali Paesi, con un approfondimento sullo scenario legale attuale. BIOGRAFIA - e informazioni supplementari: [Lunch108] *Lorenzo LAUDADIO* è uno studente del corso di laurea magistrale in Ingegneria Informatica, con indirizzo Cybersecurity, presso il Politecnico di Torino. Durante il suo lavoro di tesi, dal titolo "Development of a tool for the automated analysis and reporting of personal data transfers to non-EEA domains" ha avuto modo di realizzare un'analisi di massa sui trasferimenti di dati dai siti web della pubblica amministrazione italiana a domini di Paesi terzi, studiando nel dettaglio le regole del GDPR che stanno alla base dei trasferimenti di dati personali. *Letture consigliate e link utili:* * Schrems, M. (10 luglio 2023). /European Commission gives EU-US data transfers third round at CJEU"/, noyb | LINK <https://noyb.eu/en/european-commission-gives-eu-us-data-transfers-third-rou…> * European Commission. /Adequacy Decisions - How the EU determines if a non-EU country has an adequate level of data protection/ | LINK <https://commission.europa.eu/law/law-topic/data-protection/international-di…> * Monella, P. (2021). /Education and GAFAM: from awareness to responsibility/. Umanistica Digitale, 5(11), 27–45 | LINK <http://doi.org/10.6092/issn.2532-8816/13685> * Guamán, D.S., Rodriguez, D., Del Alamo, J.M. and Such, J. (2023). /Automated GDPR compliance assessment for cross-border personal data transfers in Android applications/. Computers & Security, volume 130 | LINK <https://doi.org/10.1016/j.cose.2023.103262> Che cosa sono il Centro Nexa e i cicli di incontri “Mercoledì di Nexa” e “Nexa Lunch Seminar” <https://www.facebook.com/nexa.center/> <https://twitter.com/nexacenter> <https://www.youtube.com/user/NexaCenter> <https://www.instagram.com/nexa_center/> <https://www.linkedin.com/company/3054864/admin/> #nexalunchseminar <https://twitter.com/search?q=%23nexalunchseminar&src=typd> #PoliTO <https://twitter.com/PoliTOnews> Il Centro Nexa su Internet & Società del Politecnico di Torino (Dipartimento di Automatica e Informatica), fondato nel 2006, è un centro di ricerca interdisciplinare che, in collaborazione con l’Università di Torino (in particolare il Dipartimento di Giurisprudenza), studia le tecnologie digitali e il loro rapporto con la società. Maggiori informazioni all'indirizzo: http://nexa.polito.it/about. Durante i “Mercoledì di Nexa”, che si tengono *ogni 2° mercoledì del mese alle ore 17 in punto*, il Centro Nexa su Internet e Società apre le sue porte non solo agli esperti e a tutti coloro i quali lavorano con Internet, ma anche a semplici appassionati e cittadini. Il ciclo di incontri intende approfondire, con un linguaggio preciso ma accessibile, i temi legati alla Rete: “intelligenza artificiale”, reti sociali, software libero, capitalismo della sorveglianza, neutralità della rete, libertà di espressione, privacy, condivisione di file, "big data" e "open data", “smart cities”, e molto altro. Al centro della maggior parte degli incontri un ospite pronto a dialogare con i direttori del Centro Nexa, il Prof. Juan Carlos De Martin del Politecnico di Torino, i Proff. Marco Ricolfi e Maurizio Borghi dell'Università di Torino, lo staff, i Fellows del Centro Nexa e tutti i presenti. Maggiori informazioni sui Mercoledì di Nexa, incluso un elenco di tutti i “Mercoledì” passati, sono disponibili all'indirizzo: http://nexa.polito.it/mercoledi. Le registrazioni degli incontri sono disponibili qui: https://nexa.polito.it/audio-video. Si segnala inoltre che dal maggio 2012 *ogni 4° mercoledì* del mese *dalle ore 13 alle ore 14* il Centro Nexa organizza anche i "*Nexa Lunch Seminar*". Una lista di tutti i “Lunch Seminar” passati è disponibile all'indirizzo: http://nexa.polito.it/lunch-seminars. See our events calendar <http://nexa.polito.it/events> if you're curious about future luncheons, discussions, lectures, and conferences not listed in this email. Our events are free and open to the public, unless otherwise noted. Responsabile Comunicazione Centro Nexa su Internet & Società: *Valeria Bergantino*, tel: +39 011 090 7219, valeria.bergantino(a)polito.it <mailto:anita.botta@polito.it>. Maggiori informazioni sui Mercoledì di Nexa e i Nexa Lunch Seminar, sono disponibili all'indirizzo: http://nexa.polito.it/events. Weekly Events Newsletter. Sign up <http://nexa.polito.it/mailing-lists> to receive this newsletter if this email was forwarded to you. To manage your subscription preferences, please click here <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa>. Connect & get involved: Jobs, internships, and more <http://nexa.polito.it/get-involved>. Cordiali saluti, -- Valeria Bergantino Communication Officer Nexa Center for Internet & Society Politecnico di Torino - DAUIN Via Pier Carlo Boggio, 65/A - 10138 Torino web: https://nexa.polito.it/ <https://nexa.polito.it/> mail: valeria.bergantino(a)polito.it <mailto:valeria.bergantino@polito.it> tel: 3473443585

Oct. 16, 2023

Re: [nexa] IA, lavoro, immaginari

by Guido Vetere

A parte la questione delle 'emergent abilities' che è alquanto controversa e a me fa venire la pelle d'oca (cosa potrebbe emergere? come facciamo a saperlo?) credo che la (vera) 'democratizzazione' (so to say) dei LLM sia un processo già in atto, e che per trarne benefici non serva tanto denaro, ma tanta volontà politica. Ad esempio: sono convinto (su basi empiriche) che un Llama2 70B, ben fine-tunato (perdonatemi!), sia già adatto a tante cose come summarization, ner, topic analysis, ecc, (NB: compiti analitici, non 'stricto sensu' generativi), i quali potrebbero essere utilissimi per gestire meglio i sistemi informativi ad es. della PA. Per mettere in esercizio e adattare un modello del genere 4M bastano e avanzano, senza neanche scomodare Leonardo e Cineca. Si potrà fare? Cioè: gli executive di MS, Google e Meta che finanziano le fondazioni dei politici che nominano i vertici della PA saranno d'accordo? Scusate lo sfogo aggressivo-passivo :-) G. On Mon, 16 Oct 2023 at 05:00, Giuseppe Attardi <attardi(a)di.unipi.it> wrote: > > > On 15 Oct 2023, at 12:00, nexa-request(a)server-nexa.polito.it wrote: > > Tutto questo per dirvi cosa? > Che alla fine, per un informatico, il "chissà che altro" che rimanda a > qualcosa di "magico", di segreto industriale, ecc. è inammissibile. E' > vero, ad oggi è così, ma, come giustamente ha scritto Guido Vetere "fare un > LLM di qualche decina di miliardi di parametri magari solo per l'italiano è > alla portata perfino del più sgangherato dei carrozzoni pubblici italiani”. > > > Ben venga lo sviluppo di LLM alternativi. > Secondo me ciascuno dovrebbe avere il suo personale, calibrato sui suoi > interessi e le conoscenze sui suoi campi di interesse: un po’ come ci sono > tanti giornali che rappresentano diversi punti di vista. > > C’è persino un progetto finanziato dalla CE che intende fare centinaia di > LLM: > https://hplt-project.org/ > > Peccato che il finanziamento totale sia di 4 milioni €, con cui ci si fa > poco. > Mistral.AI, una startup francese, ha ottenuto 100 milioni di investimento > e utilizza Leonardo di Cineca per sviluppare LLM: > https://mistral.ai/news/announcing-mistral-7b/ > > Che sono sempre pochi rispetto a quanto spendono OpenAI, Google e Meta in > risorse di calcolo. > > Perché la questione di fondo, è quella delle “emergent abilities” che i > LLM cominciano ad esibire quando superano una certa dimensione: > https://www.jasonwei.net/blog/emergence > Ossia un modello diventa in grado di svolgere compiti per i quali non era > stato allenato, come nei sistemi complessi. > > — Beppe > > > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >

Oct. 16, 2023

Re: [nexa] IA, lavoro, immaginari

by 380°

Buongiorno, più leggo, più divento cyber-luddista [1] :-D Giuseppe Attardi <attardi(a)di.unipi.it> writes: > Bell’esempio che illustra perché l’Explainable AI non funziona, almeno > non come vorrebbero i suoi sostenitori. e invece FUNZIONICCHIA discretamente bene l'Unexplainable AI, tranne quando non funziona, a volte drammaticamente male. Quindi, quando l'output dell'Unexplainable AI viene "eseguito" direttamente, senza /giudizio/, le conseguenze a volte sono drammatiche. > La spiegazione che viene fornita è una ricostruzione razionale della > risposta, che è simile a quanto fanno gli esperti umani quando devono > spiegare le loro risposte. Che è l'unico modo per dimostrare _perché_ viene fornita quella risposta, che a sua volta è l'unico modo per correggere progressivamente gli errori nelle "ricostruzioni razionali" impiegate; si chiama scienza, no? (E sì, anche la grammatica evolve, lentamente ma inesorabilmente.) Da qualche secolo ormai più che "cosa" è importante "perché", si chiama "discorso sul metodo". [...] > Poi, se pressato a spiegare il perché, cercherebbe nelle sue > reminiscenze di grammatica della scuola media per una giustificazione. No: qui stiamo parlando di un esperto umano in grammatica, non di qualsiasi altro esperto che ha solo reminescenze della grammatica delle scuole medie. > Anche se chiedi a un medico di giustificare la sua diagnosi, Ah, OK: quindi adesso non parliamo più di grammatica, cioè di "sintassi" e _al massimo_ analisi logica di una frase. > ci mette molte più parole e tempo di quanto ci ha messo per produrla, > perché non è in quel modo che l’ha ottenuta. Se un medico ha intenzione di agire sulla salute delle persone senza dover produrre una giustificazione razionale delle proprie diagnosi e soprattutto di giustificare anche le proprie prognosi, allora abbiamo un serio problema /sistemico/. In particolare, qualsiasi medico venisse a dirmi che la diagnosi è quella perché glielo dice il suo sistema AI ma che tale diagnosi è /ingiustificabile/ perché è così e non si può spiagere, lo inviterei senza troppi complimenti quel medico a stare a guardare l'ospedale, da fuori. La stessa cosa vale per qualsiasi altra questione sia necessario /giustificare/ (iustus facĕre) nei confronti delle persone. Io e una quantità innumerevole di esseri umani ora et in sæcula sæculorum non accetteremo MAI di essere "gestiti" attraverso automatismi ingiustificabili. Punto. > Il Deep Learning opera a livello di System 1, secondo la terminologia > di Daniel Kahneman, ossia di conoscenza “compilata" per una fruizione > diretta. Innanzi tutto NON è "conoscenza" ma "reificazione", catturata (sampled), filtata e compressa attraverso procedimenti assai spannometrici e molto "lossy". In secondo luogo, è da "Reflections on Trusting Trust" che tutti gli informatici sanno che «You can't trust code that you did not totally create yourself.» Questo vale per _tutti_ i software binari (compilati): è per questo che serve il sorgente, e il sorgente del compilatore, e il sorgente di tutte le librerie, e un environment non inquinato... Last but NON least: "fruizione diretta" un corno, sono le persone le responsabili dell'applicazione dell'output dei c.d. sistemi IA In altre parole: che gli umani stacchino il cervello per attaccare i propri organi a una "IA" è /ingiustificabile/. «La resistenza NON è futile» :-) [...] Saluti, 380° [1] la vulgata vuole che i luddisti siano contro le macchine in generale, propugnatori una specie di ritorno alla natura selvaggia a incontaminata: balle! «They protested against manufacturers who used machines in "a fraudulent and deceitful manner" to replace the skilled labour of workers and drive down wages by producing inferior goods» https://en.wikipedia.org/wiki/Luddite -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Oct. 16, 2023