- nexa - server-nexa.polito.it

Re: [nexa] i language model alle prove INVALSI

by Giacomo Tesio

Come scrisse Fo (e cantò Iannacci) On Mon, 15 Jul 2024 12:05:43 +0200 Guido Vetere wrote: > la cosa interessante > è filtrare i modelli per dimensione e 'apertura' (nel senso del LLM ``` pover purcel! nel senso del maiale... a beh, sì beh, a beh sì beh... ``` :-D Giacomo

July 15, 2024

i language model alle prove INVALSI

by Guido Vetere

Nexiane e nexiani, l'Università di Milano-Bicocca ha avuto l'idea di ricavare un benchmark dalle prove INVALSI per valutare come se la cavano i language model con italiano. Ne hanno poi fatto una leaderboard Huggingface che è consultabile qui <https://huggingface.co/spaces/Crisp-Unimib/INVALSIbenchmark>. Tra i modelli XXL vince claude-sonnet per distacco, ma la cosa interessante è filtrare i modelli per dimensione e 'apertura' (nel senso del LLM, per cortesia non ricominciamo) Tra i modelli aperti di taglia small gemma2 (DeepMind) svetta sulla concorrenza. I modelli 'italianissimi' annunciati e propagandati nei mesi scorsi cadono in fondo alla classifica. Se la cavano abbastanza bene i fine-tune di LLama3 Modello Italia, su cui tanti e tante aveva messo la faccia, era anch'esso in fondo alla leaderboard e ora pare sia stato ritirato. Naturalmente, su questo non c'è da aspettarsi alcuna intervista su Wired :-) Buona giornata, G.

July 15, 2024

Re: [nexa] large language model e open washing (da: una "gemma" da Google)

by Giacomo Tesio

Ciao Fabio, scusa il delay... ma ho potuto leggere l'articolo solo ora. On Wed, 3 Jul 2024 16:12:14 +0200 Fabio Alemagna <falemagn(a)gmail.com> wrote: > Il giorno mer 3 lug 2024 alle ore 14:55 Giacomo Tesio > <giacomo(a)tesio.it> ha scritto: > > > > ROTFL! :-D > > > > Il giorno Wed, 3 Jul 2024 14:29:07 Guido Vetere ha scritto: > > > un algoritmo che fa uso di numeri casuali è generalmente > > > considerato non deterministico, full stop > > I vari GPT* sono non-deterministici: > https://152334h.github.io/blog/non-determinism-in-gpt-4/ Beh... l'autore cita in proposito gli sviluppatori di Open AI: ``` We think there might be some bug in our systems, or some non-determinism in optimized floating point calculations... ``` "Qualche bug" :-D [1] Non nego che va apprezzato il progresso: solo un anno fa avrebbero sicuramente pubblicato da qualche parte un paper blaterando di scintille di senso critico, dubbio o altre sciocchezze... Ricorderai https://arxiv.org/abs/2303.12712 che qualcuno ancora si beve. Fortunatamente il primo commento all'articolo svela il mistero: https://github.com/openai/summarize-from-feedback/blob/master/summarize_fro… Il codice aggiunge sempre 1e-7 alla "temperatura", rendendo impossibile eseguire Chat GPT in modo palesemente deterministico. Perché? Per evitare un if? O per ingannare gli utenti sulla natura di Chat GPT? A posteri l'ardua sentenza... ;-) Giacomo [1] anche le inconsistenze fra operazioni float ottimizzate in modo diverso su macchine diverse sono bug del processo di build. Una buona sintesi con diversi riferimenti per approfondire la questione si trova qui: https://gafferongames.com/post/floating_point_determinism/

July 15, 2024

Re: [nexa] il rapporto di compressione degli LLM (was: Didattica a distanza...).

by Giacomo Tesio

Beh Fabio, questa è una fantastica occasione di business! Contatta la Prof di Boston e offrile di tradurre in portoghese le frasi dei suoi studenti! Quando le tue traduzioni saranno perfette, i suoi studenti avranno imparato ad esprimersi in modo "semplice e lineare"... in inglese! :-D (se crei una startup e diventi ricco con questa idea, ricordati di Nexa) On Mon, 15 Jul 2024 08:59:17 Fabio Alemagna <falemagn(a)gmail.com> wrote: > Posso tranquillamente leggere e comprendere il portoghese, e tradurlo > quindi in Italiano o Inglese, ma non saprei da dove iniziare per > scrivere un testo in portoghese di mio pugno. "Hopa! Por favor, posso ver sua borsetta?" :-D Oltre venti anni fa, a Teófilo Otoni, i miei amici mi mandavano in giro a chiedere questa cosa alle ragazze. Diciamo che ho smesso presto. ;-) Fidati: non comprendi e non puoi tradurre il portoghese solo per parlare una lingua affine. Puoi solo CREDERE di comprenderlo. Poi noi stavamo parlando del latino: te la sentiresti di tradurre un'ode di Catullo in italiano? > Ciò perché la comprensione di un testo, e quindi la traduzione di quel > testo in una lingua meglio conosciuta, può prescindere dalla perfetta > conoscenza delle regole grammaticali e sintattiche della lingua in > cui quel testo è scritto. Ehm... no. Stai confondendo una comprensione approssimativa di un potenziale significato del testo, con una comprensione sufficiente a tradurlo di fronte ad una classe che studia proprio quella lingua. Puoi essere fortunato e trovarti di fronte un testo i cui termini ricordano più o meno quelli che conosci nella tua lingua, ma se non hai studiato (o praticato) la lingua, prenderai fischi per fiaschi. E quando la comprendi davvero (per averla studiata o particata abbastanza a lungo) la puoi tradurre in entrambi i sensi (con l'aiuto di un dizionario per i termini che non conosci ancora). Consapevolezza che la Prof di latino a Boston evidentemente ha (avendo studiato lei stessa la lingua in questione e non limitandosi alle superficiali somiglianze che questa ha con le lingue che conosce) e che spiega la sorpresa di fronte alla netta asimmetria fra la qualità delle traduzioni verso l'inglese o verso il latino. Giacomo

July 15, 2024

Re: [nexa] il rapporto di compressione degli LLM (was: Didattica a distanza...).

by Fabio Alemagna

Il lun 15 lug 2024, 03:08 Giacomo Tesio <giacomo(a)tesio.it> ha scritto: > L'hai visto bene con le traduzioni latino->inglese vs inglese->latino: > > - se ti immagini un'intelligenza che sa tradurre in un senso, è ovvio > aspettarsi che lo sappia > fare nell'altro. > Non è affatto ovvio. È del tutto normale essere più proficienti nel leggere e comprendere ciò che è scritto in una determinata lingua rispetto a saper scrivere in quella lingua. Ciò perché la comprensione di un testo, e quindi la traduzione di quel testo in una lingua meglio conosciuta, può prescindere dalla perfetta conoscenza delle regole grammaticali e sintattiche della lingua in cui quel testo è scritto. Posso tranquillamente leggere e comprendere il portoghese, e tradurlo quindi in Italiano o Inglese, ma non saprei da dove iniziare per scrivere un testo in portoghese di mio pugno. Fabio

July 15, 2024

Re: [nexa] il rapporto di compressione degli LLM (was: Didattica a distanza...).

by Giacomo Tesio

Caro Roberto, trovo questo accorato appello Il 14 Luglio 2024 12:59:45 UTC, Roberto Dolci <rob.dolci(a)aizoon.us> ha scritto: > in questo istante i ricercatori di Meta, Antrop, OpenAI e compagnia stanno ANCORA > studiando e vedendo come funziona davvero un LLM... > Lasciamo che gli scienziati dietro agli LLM facciano il loro mestiere davvero illuminante. "non disturbate i manovratori!", "lasciate che gli scienziati scienzino!" :-D Ma vedi Roberto, questi "scienziati" non si limitano a "studiare" i software (che hanno programmato statisticamente) che non comprendono nel proprio laboratorio. Li hanno "immessi sul mercato" prima ancora di capire come funzionano! Almeno secondo la narrazione che riporti: > Models are essentially grown, rather than designed, says Josh Batson, a researcher > at Anthropic, an AI startup. Because LLMs are not explicitly programmed, nobody > is entirely sure why they have such extraordinary abilities. > Nor do they know why LLMs sometimes misbehave, or give wrong or > made-up answers, known as “hallucinations”. LLMs really are black boxes. Ma com'è che se invece di considerarle "intelligenze artificiali" li consideri software programmati statisticamente, tutte queste misteriose osservazioni smettono di apparire misteriose e sorprendenti e diventano istantaneamente ovvie? L'hai visto bene con le traduzioni latino->inglese vs inglese->latino: - se ti immagini un'intelligenza che sa tradurre in un senso, è ovvio aspettarsi che lo sappia fare nell'altro. - se comprendi che si tratta di software programmato statisticamente, è chiaro che il numero, la varietà e la lunghezza dei testi inglesi tradotti in latino sarà nettamente inferiore rispetto all'altra direzione, perché la gente non studia latino per complimentarsi con Marziale per la sua sagacia o lamentarsi con Giovenale del suo maschilismo! Lo stesso vale per le "allucinazioni", output ovviamente analoghi a quelli di cui l'utente non nota gli errori, se comprendi che entrambi sono prodotti sulla base delle frequenze rilevate nei testi sorgente: la probabilità di errori aumenta con la lunghezza dell'output. Dunque quale analisi del rischio credi che abbiano fatto prima di rendere accessibile software che suggerisce alle anoressiche come bruciare le calorie in eccesso o di bere con moderazione agli alcolisti? Te lo dico io: hanno analizzato il rischio di essere citati per danni e di dover pagare le controparti in accordo extragiudiziale. Dopo di che hanno messo la cifra a budget. Fine della gestione del rischio per gli "scienziati" di Meta, Antropic e OpenAI. Che poi... "scienziati". Galileo si rivolta nella tomba. > e la prima indicazione e' che si > comporta come il nostro cervello per alcuni processi. ROTFL!!! :-D Ma chi te l'ha detta sta... "interpretazione"? :-D Scusa, ritorno in modalità Nexa: puoi condividere i riferimenti alle publicazioni scientifiche che riportano queste "prime indicazioni"? Giacomo

July 14, 2024

Re: [nexa] [CAUTION: SUSPECT SENDER] Re: Didattica a distanza, l’84% degli studenti è più sicuro e con voti migliori.

by Enrico Nardelli

Questa è una riflessione interessante e, nella mia aneddotica personale (che non è una seria valutazione statistica, è ovvio, ma lo ricordo a scanso di equivoci), abbastanza veritiera. Aggiungo che la osservo manifestarsi non solo a livello universitario, ma anche scolastico. Voglio ottimisticamente credere che sia vero quello che ha osservato stamattina Stefano Borroni Barale in un altro messaggio, che ci sono più voci critiche adesso rispetto all'Intelligenza Artificiale Generativa che rispetto alle piattaforme social vent'anni fa. O forse, più pragmaticamente, la bolla si sgonfierà per mancanza di un serio "business case". I miliardi investiti sono tanti e i ritorni ancora scarsini. "The Money" non ama essere bruciato invano... Ciao, Enrico ------ Messaggio originale ------ Da "maurizio lana" <maurizio.lana(a)uniupo.it> A nexa(a)server-nexa.polito.it Data 13/07/2024 22:35:32 Oggetto Re: [nexa] [CAUTION: SUSPECT SENDER] Re: Didattica a distanza, l’84% degli studenti è più sicuro e con voti migliori. >io, di area umanistica SSH (scienze umane e sociali), vedo con >perplessità e con preoccupazione il fatto che proprio in area >umanistica SSH ci sia il maggiore entusiasmo ignaro verso i sistemi di >IA. come se si volesse mostrare a sé e al mondo che non si è ignari e >retrivi di fronte alle novità della tecnologia. il che è poi >espressione di un complesso di inferiorità, mi pare. >Maurizio > >Il 13/07/24 20:47, Giacomo Tesio ha scritto: >>Ciao Roberto, >> >>Il 11 Luglio 2024 22:59:38 UTC, Roberto Dolci >><rob.dolci(a)aizoon.us> <mailto:rob.dolci@aizoon.us> ha >>scritto: >>>Nota a parte per questo: " >>>La tua prof di latino a Boston non ha idea di come funzioni ChatGPT, >>>di quali bias possa diffondere o come le interazioni degli studenti >>>verranno usate per manipolarli. >>> >>>La prof e' una vera professionista, che non solo e' partita con me >>>15-18 mesi fa a prender confidenza con lo strumento, ma ci e' entrata >>>proprio dentro con studi specifici prima di iniziare ad usarlo a >>>scuola. >>È in grado di realizzarlo "from scratch" su hardware proprio? >>È in grado di debuggarlo? >>Ovvero è in grado di spiegare puntualmente (ed in modo verificabile e >>riproducibile) come un certo output viene calcolato a partire da un >>certo input? >> >>Se sì, ne comprende il funzionamento. >>Se no, non ne comprende il funzionamento. >> >>Se non ne comprende il funzionamento, l'addestramento al suo utilizzzo >>può avere un solo esito: la normalizzazione del suo utilizzo e la >>conseguente "imposizione" ai suoi studenti. >> >>In nessun caso l'addestramento all'uso di uno strumento complesso mette >>l'addestrato in condizione di decidere consapevolmente se e quando >>usare uno strumento. >> >>In altri termini, se addestri una persona ad usare uno strumento, >>quella persona lo userà. >> >> >>SOLO se ne comprende pienamente il funzionamento e i limiti, potrà >>decidere SE e quando usarlo. >>>E lei valuta bene il profilo di rischio a scuola: va da ragazzi che >>>si accoltellano, uso di droghe, gravidanze precoci, monogenitore, >>>il gamut dei disturbi mentali, long covid, cyber bullying ed altri >>>rischi on line. E giustamente contestualizza il rischio di mettere >>>informazioni private su chatgpt rispetto a quanto guadagna nel >>>rapporto coi genitori. >>Insomma, una Prof benaltrista. >> >>Il fatto che i ragazzi siano soggetti ad una pluralità di rischi non >>giustifica la menomazione della loro libertà futura che questa prof >>opera cedendo dati personali sensibilissimi che riguardano loro e i >>loro genitori. >> >>Che poi questa prof comprenda l'entità del danno che gli procura è >>tutto da dimostrare. >> >>Perché un insegnante che comprendesse tali danni e li accettasse per >>benaltrismo soffrirebbe di una dissonanza cognitiva elevatissima. >> >>A meno, ovviamente, di non interpretare l'insegnamento come un processo >>di riduzione delle capacità cognitive degli studenti, come Enrico ha >>ben spiegato. >>>Meglio una prof appassionata del proprio mestiere che studia come >>>meglio applicare le nuove tecnologie, >>Che purtroppo non è ciò di cui stiamo parlando. >> >>Stiamo invece parlando di una Prof che per usare le tue parole >>"s'e' adattata bene". >> >>Ovvero una Prof che non disponendo degli strumenti culturali per >>comprendere il funzionamento di un software e le finalità che questo >>esegue (nell'interesse di chi lo ha programmato), lo percepisce come un >>fenomeno naturale cui adattarsi, come la pioggia, la neve o lo scorrere >>di un fiume. >> >>Lo confonde, insomma, con fenomeni che non veicolano alcuna >>intenzionalità umana. >> >>Fenomeni cui "adattarsi" e di cui magari imparare a trarre vantaggio. >> >> >>Sia chiaro non è colpa sua: la tua Prof è vittima di una manipolazione >>che sfrutra bias evolutivi profondamente incardinati nella sua >>personalità. >> >>La sua passione per l'insegnamento non la mette al riparo da questa >>allucinazione eterodiretta. >> >>Starebbe a noi, se ne disponiamo, il dovere di fornirle gli strumenti >>culturali per sottrarsi a tale manipolazione. >>>che qualcosa di mandato dall'alto da chi abbia poca contezza della >>>vita a scuola >>Comprendo la sfiducia nei confronti delle autorità: pagheremo ancora a >>lungo la sciagurata imposizione della didattica a distanza via Google >>Meet. >> >>D'altro canto decine di migliaia di LIM e di tablet che saranno >>obsoleti entro pochi mesi sono lì a testimoniare come, affidare a >>professori e dirigenti appassionati ma informaticamente ignoranti >>decisioni di spesa su centinaia di migliaia di euro del PNRR sia una >>idea altrettanto pessima. >> >> >>Che le decisioni vengano perse dall'alto o dal basso, se chi decide è >>ignorante (e dunque facilmente manipolabile), deciderà male. >> >>E quando si parla di scuola, i danni (talvolta drammatici) di tali >>decisioni ricadranno subito sugli studenti ed entro qualche anno sulla >>società in cui questi vivranno, lavoreranno, voteranno etc... >> >> >>Giacomo > > >-------------------------------------------------------------------------------- >the knowledge gap between rich and poor is widening >witten & bainbridge, how to build a digital library >-------------------------------------------------------------------------------- >Maurizio Lana >Università del Piemonte Orientale >Dipartimento di Studi Umanistici >Piazza Roma 36 - 13100 Vercelli -- EN https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html ====================================================== Prof. Enrico Nardelli Past President di "Informatics Europe" Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI Dipartimento di Matematica - Universit� di Roma "Tor Vergata" Via della Ricerca Scientifica snc - 00133 Roma home page: https://www.mat.uniroma2.it/~nardelli blog: https://link-and-think.blogspot.it/ tel: +39 06 7259.4204 fax: +39 06 7259.4699 mobile: +39 335 590.2331 e-mail: nardelli(a)mat.uniroma2.it online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont ====================================================== --

July 14, 2024

Re: [nexa] il rapporto di compressione degli LLM (was: Didattica a distanza...).

by Roberto Dolci

Grazie Giovanni, Premesso che qui non parliamo di figura retorica, la mia risposta e' concentrata sulla percezione e considerazione del rischio. Sotto leggiamo che la prof non avrebbe gli strumenti per capire come funzioni un LLM, e da li pensiamo che si possa mettere a rischio la classe. Il mio pensiero per esteso ed in forma anonima e' qui https://www.economist.com/science-and-technology/2024/07/11/researchers-are…<https://eu-west-1.protection.sophos.com/?d=economist.com&u=aHR0cHM6Ly93d3cu…> Pochissimi di noi hanno fatto corsi di guida sicuri (personalmente sia in Pirelli a Vizzola sia in Fiat al Balocco, occupandomi in passato di qualita' dei pneumatici), ma ti assicuro che questi non sono una garanzia per evitare incidenti, solo uno dei fattorI di riduzione del rischio. Fattore ben piu' importante nella riduzione del rischio e' la conoscenza del contesto, delle strade, traffico in quel momento, del fatto che dietro a quella curva ci sono bambini che giocano, etc. Conoscere il contesto e' ben piu' importante del corso di guida sicura. Esattamente allo stesso modo e' la prof, non noi, che conosce il contesto dei suoi studenti e dei rischi a tutto tondo che deve gestire con loro. Quando lei decide di farsi aiutare da ChatGPT a scrivere ai genitori, sa bene che lascia il suo prompt e la lettera in mano di terzi, ma sa anche che non ha inserito ne l'indirizzo ne i nomi o altri dati indentificativi. Quando fa caricare una riflessione in inglese per vedere come la traduce la macchina, sa che non c'e' nulla di identificativo in quel testo. Piu' in generale, rispetto a tutti i rischi che vive coi ragazzi, e' lei che correttamente considera quello di mettersi alla guida come accettabile. E chi ha contribuito a raffinare NIST 800-171 come me, che ho seguito la percezione e gestione del rischio in molteplici ambiti da 30 anni, puo' giudicare la prof come una professionista con la testa sulle spalle. Potrebbe proteggere di piu' i suoi studenti? Si, e non ne varrebbe la pena. Come dici giustamente, e' impossibile programmare un software, progettare una centrale nucleare, un aereo, un pneumatico, assolutamente privi di rischi. Quello che si puo' fare e' partire da un analisi del rischio che va fatta da chi deve usare quel software, produrre energia da quella centrale nucleare, volare quell'aereo, guidare con quei pneumatici ...e partire dalla loro soglia di accettazione del rischio. Da li capiamo quanti airbag vale la pena di mettere, quanto margine di sicurezza inserire nella progettazione, etc. Come ho scritto in inglese, in questo istante i ricercatori di Meta, Antrop, OpenAI e compagnia stanno ANCORA studiando e vedendo come funziona davvero un LLM e la prima indicazione e' che si comporta come il nostro cervello per alcuni processi. Lasciamo che gli scienziati dietro agli LLM facciano il loro mestiere, e la prof il suo, senza giudizi da Competenti che appaiono assai infondati. ciao Rob ________________________________ From: nexa on behalf of 380° via nexa Sent: Sunday, July 14, 2024 06:02 To: nexa(a)server-nexa.polito.it Subject: [nexa] il rapporto di compressione degli LLM (was: Didattica a distanza...). Caution! This message was sent from outside your organization. Buonguiorno, Roberto Dolci <rob.dolci(a)aizoon.us> writes: > Particolare questo ragionamento. Immagino tu sappia guidare in > sicurezza, senzimprobable. Cosa molto probabile. grazie per la figura retorica, le query by example talvota sono efficaci per focalizzare la natura del problema in merito alla "guida in sicurezza", la risposta completa è: "dipende _totalmente_ dalle esperienze di guida che ciascuno di noi ha avuto, considerando che il corso (pratico) di guida sicura non è obbligatorio" non apriamo poi nemmeno di striscio il capitolo "codice della strada" in materia di sicurezza stradale, perché è un ginepraio... torniamo a bomba! in questo contesto vale la pena ricordare che a mio modesto avviso (non credo di essere l'unico) è pragmaticamente impossibile codificare le "regole di guida sicura" in un software, men che meno se statisticamente programmato (perché in quel caso le regole semplicemente _non esisterebbero_). detto questo: usare un sistema LLM - ovvero usare gli output che genera sulla base di una interazione uomo-macchina ottenuta attraverso una _determinata_ interfaccia - dal punto di vista _informatico_ equivale a "guidare la macchina (il computer)"? non credo proprio, anche se il 99% degli utenti è convinto di stare "guidando" il proprio computer informaticamente parlando, è chi la programma che "guida la macchina" > Conosci la corretta formula della benzina ed il rapporto di > compressione nel cilantro? Assai improbabile. Giacomo, io e te /forse/ non conosciamo la formula della benzina [1] e il rapporto di compressione [2] del motore endotermico MA quella informazione è _liberamente_ disponibile a ogni persona che ne avesse bisogno, tra l'altro è (ehrm: dovrebbe essere) un principio fondamentale della scienza. Nel caso degli LLM, invece, è _impossibile_ conoscere il "rapporto di compressione" dell'informazione: --8<---------------cut here---------------start------------->8--- Computer scientists argue that AI belongs to a subfield of signal processing, that is data compression. --8<---------------cut here---------------end--------------->8--- (https://eu-west-1.protection.sophos.com?d=fritz.ai&u=aHR0cHM6Ly9mcml0ei5haS…) ...perché "sapere NON è dato" di quali sono gli _ingredienti_ di certi LLM _proprietari_ > Se tu divessi imparare a condurre un veicolo come usi un LLM saresti > ancora in officina interessante il cambio di prospettiva tra "condurre un veicolo" e "usare un LLM": perché non "condurre un LLM"?!? in ogni caso, qui NON si tratta di "condurre un veicolo" ma di _progettare_ e immettere un veicolo in circolazione se gli LLM sono usati per automatizzare il processo decisionale, come MINIMO chi li usa deve dimostrare a chi quel processo decisionale viene _imposto_ che la progettazione e l'implementazione di quel LLM è _debuggubile_ (per usare in inglesismo)... ma è _impossibile_. se gli LLM sono usati per imparare a tradurre dal latino in inglese, beh: auguri! (sì perché _al massimo_ servono per permettere agli studenti di verificare quanto hanno già imparato, o MENO, nel loro "processo linguistico di traduzione"... ovvero, per capire se funziona serve che una _persona_ sappia già come funziona /fuori/ dalla macchina :-O ) quindi: /se/ le traduzioni automatiche devono essere _verificate_, perché non dovrebbero esserlo le _decisioni_ automatiche (cioè: non esistono decisioni automatiche) [...] saluti, 380° [1] https://eu-west-1.protection.sophos.com?d=wikipedia.org&u=aHR0cHM6Ly9pdC53a… [2] https://eu-west-1.protection.sophos.com?d=wikipedia.org&u=aHR0cHM6Ly9pdC53a… -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://eu-west-1.protection.sophos.com?d=stallmansupport.org&u=aHR0cHM6Ly9…>.

July 14, 2024

il rapporto di compressione degli LLM (was: Didattica a distanza...).

by 380°

Buonguiorno, Roberto Dolci <rob.dolci(a)aizoon.us> writes: > Particolare questo ragionamento. Immagino tu sappia guidare in > sicurezza, senzimprobable. Cosa molto probabile. grazie per la figura retorica, le query by example talvota sono efficaci per focalizzare la natura del problema in merito alla "guida in sicurezza", la risposta completa è: "dipende _totalmente_ dalle esperienze di guida che ciascuno di noi ha avuto, considerando che il corso (pratico) di guida sicura non è obbligatorio" non apriamo poi nemmeno di striscio il capitolo "codice della strada" in materia di sicurezza stradale, perché è un ginepraio... torniamo a bomba! in questo contesto vale la pena ricordare che a mio modesto avviso (non credo di essere l'unico) è pragmaticamente impossibile codificare le "regole di guida sicura" in un software, men che meno se statisticamente programmato (perché in quel caso le regole semplicemente _non esisterebbero_). detto questo: usare un sistema LLM - ovvero usare gli output che genera sulla base di una interazione uomo-macchina ottenuta attraverso una _determinata_ interfaccia - dal punto di vista _informatico_ equivale a "guidare la macchina (il computer)"? non credo proprio, anche se il 99% degli utenti è convinto di stare "guidando" il proprio computer informaticamente parlando, è chi la programma che "guida la macchina" > Conosci la corretta formula della benzina ed il rapporto di > compressione nel cilantro? Assai improbabile. Giacomo, io e te /forse/ non conosciamo la formula della benzina [1] e il rapporto di compressione [2] del motore endotermico MA quella informazione è _liberamente_ disponibile a ogni persona che ne avesse bisogno, tra l'altro è (ehrm: dovrebbe essere) un principio fondamentale della scienza. Nel caso degli LLM, invece, è _impossibile_ conoscere il "rapporto di compressione" dell'informazione: --8<---------------cut here---------------start------------->8--- Computer scientists argue that AI belongs to a subfield of signal processing, that is data compression. --8<---------------cut here---------------end--------------->8--- (https://fritz.ai/nooscope/#nooscope-ref-12-bottom) ...perché "sapere NON è dato" di quali sono gli _ingredienti_ di certi LLM _proprietari_ > Se tu divessi imparare a condurre un veicolo come usi un LLM saresti > ancora in officina interessante il cambio di prospettiva tra "condurre un veicolo" e "usare un LLM": perché non "condurre un LLM"?!? in ogni caso, qui NON si tratta di "condurre un veicolo" ma di _progettare_ e immettere un veicolo in circolazione se gli LLM sono usati per automatizzare il processo decisionale, come MINIMO chi li usa deve dimostrare a chi quel processo decisionale viene _imposto_ che la progettazione e l'implementazione di quel LLM è _debuggubile_ (per usare in inglesismo)... ma è _impossibile_. se gli LLM sono usati per imparare a tradurre dal latino in inglese, beh: auguri! (sì perché _al massimo_ servono per permettere agli studenti di verificare quanto hanno già imparato, o MENO, nel loro "processo linguistico di traduzione"... ovvero, per capire se funziona serve che una _persona_ sappia già come funziona /fuori/ dalla macchina :-O ) quindi: /se/ le traduzioni automatiche devono essere _verificate_, perché non dovrebbero esserlo le _decisioni_ automatiche (cioè: non esistono decisioni automatiche) [...] saluti, 380° [1] https://it.wikipedia.org/wiki/Benzina [2] https://it.wikipedia.org/wiki/Rapporto_di_compressione -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

July 14, 2024

Re: [nexa] Didattica a distanza, l’84% degli studenti è più sicuro e con voti migliori.

by Stefano Borroni Barale

Buongiorno lista, mercoledì 10 luglio 2024 15:50, Enrico Nardelli <nardelli(a)mat.uniroma2.it> ha scritto: > Questo fatto che educatori non si rendano conto che far usare a ragazzi della scuola, nel periodo essenziale per la loro formazione di cittadini, degli strumenti che gli impediscono di esercitare e quindi sviluppare le loro capacità cognitive è un danno più che un vantaggio mi sembra davvero incredibile. Vivaddio qualche educatore che si rende conto c'è. Certamente siamo una minoranza, ma piuttosto vocale e -soprattutto- una minoranza disposta a darsi da fare per trovare vie alternative che permettano di condividere saperi sui LLM, senza per questo creare o promuovere poteri (nello specifico oligopoli digitali). > Spero che, così come sta accadendo adesso per l'uso dei social e degli smart-device, tra vent'anni (ma mi auguro prima) dopo la grande ubriacatura - sotto la spinta di forti interessi commerciali - ci rinsaviremo e vedremo con chiarezza quanti guasti sono stati causati. Su questo mi sento di esercitare un cauto ottimismo: sento molte più voci critiche alzarsi contro ChatGPT di quante se ne sentivano nel 2005 contro Facebook e compari... Stefano

July 14, 2024