October 2023 - nexa - server-nexa.polito.it

OT: Il CfP di e-privacy chiude il 20 ottobre

by Marco A. Calamari

Un urlo echeggia nella mail list ... TUTTI POSSONO PRESENTARE UN INTERVENTO A E-PRIVACY! PURCHE' LO FACCIANO ENTRO IL 20 OTTOBRE!! ASPETTIAMO ANCHE IL TUO!!! Segui le istruzioni su questa pagina: https://e-privacy.winstonsmith.org/

Oct. 16, 2023

Re: [nexa] IA, lavoro, immaginari

by Giacomo Tesio

Il giorno Mon, 16 Oct 2023 11:48:19 +0200 Guido Vetere ha scritto: > noi ora qui possiamo metterci d'accordo su cosa intendiamo per > 'intelligenza', e cosa in particolare per 'intelligenza aliena' Certo che potremmo! :-) E in fondo, se definissimo come "rotazione aliena" quella che il sole ed il resto dell'universo compiono intorno alla terra, potremmo ben dire che il sole e l'universo tutto ruotano intorno alla terra! Questa "rotazione aliena" continuerebbe testardamente a non esistere... ma che importa? E perché non ridefinire "libertà"? Perché non ridefinire "conoscenza"? Perché non ridefinire "verità"? In fondo, i transumanisti stanno cercando letteralmente di ridefinire "vita", sperando di spingere un numero sufficiente di persone al suicidio assistito attraverso allucinazioni come queste... Giacomo

Oct. 16, 2023

Re: [nexa] IA, lavoro, immaginari

by Guido Vetere

evvedi la meraviglia della semantica umana? noi ora qui possiamo metterci d'accordo su cosa intendiamo per 'intelligenza', e cosa in particolare per 'intelligenza aliena' la semantica umana è uno strumento critico, ecco perché gli embedding non c'entrano un cavolo :-) G. On Mon, 16 Oct 2023 at 11:42, Giacomo Tesio <giacomo(a)tesio.it> wrote: > E però c'è un problema Guido, > > Il giorno Mon, 16 Oct 2023 11:33:05 +0200 Guido Vetere ha scritto: > > > i LLM sono meravigliosi o insufficienti a seconda del task a cui li > > applichi > > > > basta essere d'accordo sul fatto che la loro è una "intelligenza > > aliena" > > possiamo anche metterci d'accordo che i LLM sono una "intelligenza > aliena", ma rimangono software programmati statisticamente senza > ALCUNA intelligenza. > > > Davvero: possiamo! > Esattamente come in passato ci siamo messi d'accorto che il sole e > tutto il resto dell'universo ruotassero intorno alla terra! > > L'importante è non confondere l'allucinazione condivisa con la Scienza. > > > Giacomo >

Oct. 16, 2023

Re: [nexa] IA, lavoro, immaginari

by Giuseppe Attardi

Per "Explainable AI” (XAI) si intende un insieme di tecniche che cercano di ricavare una spiegazione comprensibile delle risposte di un’applicazione di AI, trattata come black box. > On 16 Oct 2023, at 10:00, 380° <g380(a)biscuolo.net> wrote: > > Buongiorno, > > più leggo, più divento cyber-luddista [1] :-D > > Giuseppe Attardi <attardi(a)di.unipi.it <mailto:attardi@di.unipi.it>> writes: > >> Bell’esempio che illustra perché l’Explainable AI non funziona, almeno >> non come vorrebbero i suoi sostenitori. > > e invece FUNZIONICCHIA discretamente bene l'Unexplainable AI, tranne > quando non funziona, a volte drammaticamente male. > Anche gli esperti umani sbagliano, con una percentuale a volte maggiore. A te scegliere tra una risposta sbagliata, ma ben spiegata e una corretta, ma difficile da spiegare. Comunque, non sto proponendo di dare agli algoritmi la capacità di agire al posto degli umani, ma di dare loro dei suggerimenti. Una madre a cui 17 medici specialisti non erano stati in grado di diagnosticare una malattia rara, non si è accontentata delle loro spiegazioni e ha avuto la risposta da ChatGPT: https://www.hcltech.com/trends-and-insights/chatgpt-correctly-diagnoses-chi…. — Beppe

Oct. 16, 2023

Re: [nexa] IA, lavoro, immaginari

by Giacomo Tesio

E però c'è un problema Guido, Il giorno Mon, 16 Oct 2023 11:33:05 +0200 Guido Vetere ha scritto: > i LLM sono meravigliosi o insufficienti a seconda del task a cui li > applichi > > basta essere d'accordo sul fatto che la loro è una "intelligenza > aliena" possiamo anche metterci d'accordo che i LLM sono una "intelligenza aliena", ma rimangono software programmati statisticamente senza ALCUNA intelligenza. Davvero: possiamo! Esattamente come in passato ci siamo messi d'accorto che il sole e tutto il resto dell'universo ruotassero intorno alla terra! L'importante è non confondere l'allucinazione condivisa con la Scienza. Giacomo

Oct. 16, 2023

Re: [nexa] IA, lavoro, immaginari

by Guido Vetere

i LLM sono meravigliosi o insufficienti a seconda del task a cui li applichi basta essere d'accordo sul fatto che la loro è una "intelligenza aliena" che ha ben poco a che fare con la cognitività umana, ad es la loro 'semantica' non c'entra nulla con quella umana d'altra parte possono essere apprezzati proprio per la loro diversità G. On Mon, 16 Oct 2023 at 11:06, Giuseppe Attardi <attardi(a)di.unipi.it> wrote: > > On 16 Oct 2023, at 10:09, Guido Vetere <vetere.guido(a)gmail.com> wrote: > > > A parte la questione delle 'emergent abilities' che è alquanto controversa > e a me fa venire la pelle d'oca (cosa potrebbe emergere? come facciamo a > saperlo?) credo che la (vera) 'democratizzazione' (so to say) dei LLM sia > un processo già in atto, e che per trarne benefici non serva tanto denaro, > ma tanta volontà politica. > > Ad esempio: sono convinto (su basi empiriche) che un Llama2 70B, ben > fine-tunato (perdonatemi!), sia già adatto a tante cose come summarization, > ner, topic analysis, ecc, (NB: compiti analitici, non 'stricto sensu' > generativi), i quali potrebbero essere utilissimi per gestire meglio i > sistemi informativi ad es. della PA. > > Per fare queste cose semplici, bastano i word embeddings (vedi l’articolo > di Collobert che ho citato). > È per fare tutto il resto che servono i LLM (dove Large sta, per > definizione, oltre i 10^10 parametri). > > > Per mettere in esercizio e adattare un modello del genere 4M bastano e > avanzano, senza neanche scomodare Leonardo e Cineca. Si potrà fare? Cioè: > gli executive di MS, Google e Meta che finanziano le fondazioni dei > politici che nominano i vertici della PA saranno d'accordo? > > Per fare il fine tuning di Llama 2 70B, servono almeno 4 GPU Nvidia, solo > per caricare il modello in memoria: poi si può usare LoRA per le modifiche. > Occorrono 4 giorni di elaborazione. > E un server con 4 GPU Nvidia costa intorno ai 40.000 €. > > Del resto, delle due l’una: o i LLM sono insufficienti e criticati per i > loro limiti, o persino quelli più piccoli sono meravigliosi. > > > — Beppe > > Scusate lo sfogo aggressivo-passivo :-) > > G. > > > > > > > > On Mon, 16 Oct 2023 at 05:00, Giuseppe Attardi <attardi(a)di.unipi.it> > wrote: > >> >> >> On 15 Oct 2023, at 12:00, nexa-request(a)server-nexa.polito.it wrote: >> >> Tutto questo per dirvi cosa? >> Che alla fine, per un informatico, il "chissà che altro" che rimanda a >> qualcosa di "magico", di segreto industriale, ecc. è inammissibile. E' >> vero, ad oggi è così, ma, come giustamente ha scritto Guido Vetere "fare un >> LLM di qualche decina di miliardi di parametri magari solo per l'italiano è >> alla portata perfino del più sgangherato dei carrozzoni pubblici italiani”. >> >> >> Ben venga lo sviluppo di LLM alternativi. >> Secondo me ciascuno dovrebbe avere il suo personale, calibrato sui suoi >> interessi e le conoscenze sui suoi campi di interesse: un po’ come ci sono >> tanti giornali che rappresentano diversi punti di vista. >> >> C’è persino un progetto finanziato dalla CE che intende fare centinaia di >> LLM: >> https://hplt-project.org/ >> >> Peccato che il finanziamento totale sia di 4 milioni €, con cui ci si fa >> poco. >> Mistral.AI, una startup francese, ha ottenuto 100 milioni di investimento >> e utilizza Leonardo di Cineca per sviluppare LLM: >> https://mistral.ai/news/announcing-mistral-7b/ >> >> Che sono sempre pochi rispetto a quanto spendono OpenAI, Google e Meta in >> risorse di calcolo. >> >> Perché la questione di fondo, è quella delle “emergent abilities” che i >> LLM cominciano ad esibire quando superano una certa dimensione: >> https://www.jasonwei.net/blog/emergence >> Ossia un modello diventa in grado di svolgere compiti per i quali non era >> stato allenato, come nei sistemi complessi. >> >> — Beppe >> >> >> _______________________________________________ >> nexa mailing list >> nexa(a)server-nexa.polito.it >> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >> > >

Oct. 16, 2023

Re: [nexa] IA, lavoro, immaginari

by Giacomo Tesio

Ciao Giuseppe Il 16 Ottobre 2023 03:13:31 UTC, Giuseppe Attardi ha scritto: > Bell’esempio che illustra perché l’Explainable AI non funziona, > almeno non come vorrebbero i suoi sostenitori. Finalmente siamo d'accordo! È stata la prima cosa che ho pensato. La seconda è stata: "ma perché chiedere ad un software un riassunto pasticciato dei propri testi sorgente?" > La spiegazione che viene fornita è una ricostruzione razionale della > risposta, No: è un riassunto approssimativo (e ottimizzato per apparire credibile) di ciò che era presente nei testi usati per la programmazione statistica. > che è simile a quanto fanno gli esperti umani quando devono spiegare > le loro risposte. Uhm per la verità io non lavoro così. L'esperienza mi permettono di individuare rapidamente le dimensioni rilevanti del problema che ho davanti, ma le mie risposte includono sempre lunghe (qualcuno osa dire "troppo" lunghe :-D) descrizioni dei ragionamenti che conducono a tali conclusioni. Spesso includono anche lunghe descrizioni dei percorsi analizzati ma scartati. Nella mia testa è come ripercorrere a ritroso il grafo di conoscenze ed esperienze che ho percorso in andata per giungere alla conclusione. Tant'è che, contrariamente ad un LLM, io posso identificare le mie lacune lungo il percorso, documentarmi in merito fino a poter fornire una conclusione solida e responsabile. Questa è la ragione per cui l'approccio attuale alle "explainable AI" è irrimediabilmente fallato: come con tutto il resto deve ridefinire la "spiegazione" con "giustificazione". Io spiego i ragionamenti che mi portano ad una conclusione, non invento giustificazioni. I LLM non spiegano il significato dei calcoli che determinano il proprio output, ma cercano di giustificazioni coerenti all'interno di ciò che rimane al proprio interno dei testi sorgente. > Infatti nessuno di noi applicherebbe pedissequamente le regole > grammaticali per rispondere alla domanda: risponderebbe d’acchito. Dipende da quanto ti ricordi quelle regole. :-) Se non sei certo di conoscerle (e fornire la risposta giusta è sufficientemente importante per te) allora andrai a ripassarle e le applicherai pedissequamente. Ma soprattutto, se le hai comprese le applicherai in modo coerente. Facendo calcolare l'output di un input come questo > La frase "Marco si interrogava dall'inizio" è attiva o passiva? E > perché? Stando al proxy (sorvegliato... usate le dovute cautele) https://talkai.info/it/chat/ otteniamo sistematicamente un output interpretabile come "la frase è passiva perché..." Tuttavia chiedendo sostituendo la parola "attiva" con "riflessiva" otteniamo sistematicamente un output interpretabile come "la frase è riflessiva perché..." Insomma scopriamo l'acqua calda: GPT4 non comprende la grammatica, né sa di non comprenderla semplicemente perché non è intelligente. > Anche se chiedi a un medico di giustificare la sua diagnosi, ci mette > molte più parole e tempo di quanto ci ha messo per produrla, perché > non è in quel modo che l’ha ottenuta. Mia moglie è medico e ti posso assicurare che non spara la prima diagnosi che gli viene in mente. Alcune volte, pur non pressata in alcun modo, condivide con me i propri ragionamenti perché le mie domande l'aiutano proprio ad evitare errori di valutazione. Di tali ragionamenti io comprendo una frazione appena sufficiente a fare le domande giuste, ma ai pazienti riporta poi una spiegazione enormemente semplificata rispetto a quella condivisa con me. > Il Deep Learning opera a livello di System 1, secondo la terminologia > di Daniel Kahneman, ossia di conoscenza “compilata" per una fruizione > diretta. Ti rendi conto che stai applicato categorie pensate per la mente umana ad una serie di moltiplicazioni fra matrici? :-D Peraltro rifletti su questo: il modello stesso di Kahneman è basato su ipotesi non verificate o verificabili, come lui stesso ammise dopo le critiche sulla replicabilità degli studi da lui citati. [1] Il fatto che l'interpretazione di LLM e altre tecniche di programmazione statistica si basi su questa fuffa para-scientifica [2] è indicativo di quanto sia ancora primitiva l'informatica. Giacomo [1] https://retractionwatch.com/2017/02/20/placed-much-faith-underpowered-studi… [2] https://replicationindex.com/2020/12/30/a-meta-scientific-perspective-on-th…

Oct. 16, 2023

Re: [nexa] The End of Hermeneutics [cont. IA, lavoro, immaginari]

by 380°

Buongiorno, Guido Vetere <vetere.guido(a)gmail.com> writes: > Vi ricordate Chris Anderson che parlava di 'End of Theory'? ( > https://www.wired.com/2008/06/pb-theory/) > Diceva che i 'big data' avrebbero reso obsoleto il metodo scientifico. Sì ma quella tecnicamente si chiama "Data Pornography", con tentenze sia feticistiche che sadiche. > Quindici anni dopo la scienza usa più e meglio i dati, ma ancora negli > stessi paradigmi ipotetico-deduttivi Sì ma i dati, _soprattutto_ i programmi (software), potrebbe usarli decisamente meglio. [...] > Finirà la critica letteraria? O finirà la letteratura tout-court? Finisce la scienza, la letteratura, le generazioni... Siamo vicinissimi alla fine del mondo, a quanto pare. [...] Saluti, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Oct. 16, 2023

Re: [nexa] 4M€: pochi? Tanti? dettagli, please.... [Was: <IA, lavoro, immaginar>]

by Maria Chiara Pievatolo

Il 16/10/23 09:02, Damiano Verzulli ha scritto: > Il 16/10/23 04:59, Giuseppe Attardi ha scritto: >> [...] >> Peccato che il finanziamento totale sia di 4 milioni €, con cui ci si >> fa poco. >> [...] > > 4 milioni di €, *PUBBLICI*, sono una quantita' *ENORME* di denaro. > Come informazione di contesto aggiungiamo che, come ha più volte giustamente lamentato lo stesso professor Attardi, la medesima università che fa questa destinazione di spesa ha dismesso il proprio Owncloud per spostarci su cloud Google e Microsoft, fa gestire la posta degli studenti - per ora solo quella - direttamente da Microsoft e fa usare Microsoft Teams per la teledidattica - quando potremmo disporre dell'ottimo Big Blue Button del Garr.. Lo stesso professor Attardi aveva rilevato, in una bellissima teleconferenza pisana, che tutte queste funzioni che ora sono state delegate a G---M una volta erano oggetto di sviluppo e sperimentazione nelle università. E che dovrebbero rimanere tali, perché l'insegnamento - e la ricerca sulle sue modalità - non è una funzione accidentale dell'università, che possa essere data in appalto a terzi, ma una delle sue funzioni specifiche. Delegarla è pericoloso, perché espone l'università stessa al rischio di apparire - e di diventare effettivamente - superflua. Fra queste due scelte c'è un nesso? A presto, MCP

Oct. 16, 2023

Re: [nexa] IA, lavoro, immaginari

by M. Fioretti

On Mon, Oct 16, 2023 11:08:14 AM +0200, 380° wrote: > Ho già accennato altre volte a cosa potrebbe essere il corpora > legislativo, dal livello Costituzione fino alle ordinanze dei sindaci, > se le informazioni fossero descritte in una forma sintattica comoda di > RDF, immagazzinate in uno store adeguato e interrogate via > SPARQL... ovviamente un "summarizer" o on "topic analist" automatici > farebbero comodo ma il contesto sarebbe un'altro mondo. Stai parlando anche tu di quello che recentemente ho chiamato: "I want AI to do to law and tax codes what..." https://mfioretti.substack.com/p/how-to-tell-good-ai-from-bad-or-pointless o di altro? > Per non parlare di cosa si potrebbe fare se i codici fossero davvero > trattati come... programmi (SORGENTI) B-) verissimo, a partire dal sapere sempre chi e' che inserisce o cambia paragrafi per motivi piu' o meno discutibili: https://stop.zona-m.net/it/2015/09/e-ora-di-scrivere-le-leggi-come-il-softw… Marco -- https://mfioretti.substack.com

Oct. 16, 2023