July 2024 - nexa - server-nexa.polito.it

Re: [nexa] il rapporto di compressione degli LLM (was: Didattica a distanza...).

by Roberto Dolci

Grazie Giovanni, Premesso che qui non parliamo di figura retorica, la mia risposta e' concentrata sulla percezione e considerazione del rischio. Sotto leggiamo che la prof non avrebbe gli strumenti per capire come funzioni un LLM, e da li pensiamo che si possa mettere a rischio la classe. Il mio pensiero per esteso ed in forma anonima e' qui https://www.economist.com/science-and-technology/2024/07/11/researchers-are…<https://eu-west-1.protection.sophos.com/?d=economist.com&u=aHR0cHM6Ly93d3cu…> Pochissimi di noi hanno fatto corsi di guida sicuri (personalmente sia in Pirelli a Vizzola sia in Fiat al Balocco, occupandomi in passato di qualita' dei pneumatici), ma ti assicuro che questi non sono una garanzia per evitare incidenti, solo uno dei fattorI di riduzione del rischio. Fattore ben piu' importante nella riduzione del rischio e' la conoscenza del contesto, delle strade, traffico in quel momento, del fatto che dietro a quella curva ci sono bambini che giocano, etc. Conoscere il contesto e' ben piu' importante del corso di guida sicura. Esattamente allo stesso modo e' la prof, non noi, che conosce il contesto dei suoi studenti e dei rischi a tutto tondo che deve gestire con loro. Quando lei decide di farsi aiutare da ChatGPT a scrivere ai genitori, sa bene che lascia il suo prompt e la lettera in mano di terzi, ma sa anche che non ha inserito ne l'indirizzo ne i nomi o altri dati indentificativi. Quando fa caricare una riflessione in inglese per vedere come la traduce la macchina, sa che non c'e' nulla di identificativo in quel testo. Piu' in generale, rispetto a tutti i rischi che vive coi ragazzi, e' lei che correttamente considera quello di mettersi alla guida come accettabile. E chi ha contribuito a raffinare NIST 800-171 come me, che ho seguito la percezione e gestione del rischio in molteplici ambiti da 30 anni, puo' giudicare la prof come una professionista con la testa sulle spalle. Potrebbe proteggere di piu' i suoi studenti? Si, e non ne varrebbe la pena. Come dici giustamente, e' impossibile programmare un software, progettare una centrale nucleare, un aereo, un pneumatico, assolutamente privi di rischi. Quello che si puo' fare e' partire da un analisi del rischio che va fatta da chi deve usare quel software, produrre energia da quella centrale nucleare, volare quell'aereo, guidare con quei pneumatici ...e partire dalla loro soglia di accettazione del rischio. Da li capiamo quanti airbag vale la pena di mettere, quanto margine di sicurezza inserire nella progettazione, etc. Come ho scritto in inglese, in questo istante i ricercatori di Meta, Antrop, OpenAI e compagnia stanno ANCORA studiando e vedendo come funziona davvero un LLM e la prima indicazione e' che si comporta come il nostro cervello per alcuni processi. Lasciamo che gli scienziati dietro agli LLM facciano il loro mestiere, e la prof il suo, senza giudizi da Competenti che appaiono assai infondati. ciao Rob ________________________________ From: nexa on behalf of 380° via nexa Sent: Sunday, July 14, 2024 06:02 To: nexa(a)server-nexa.polito.it Subject: [nexa] il rapporto di compressione degli LLM (was: Didattica a distanza...). Caution! This message was sent from outside your organization. Buonguiorno, Roberto Dolci <rob.dolci(a)aizoon.us> writes: > Particolare questo ragionamento. Immagino tu sappia guidare in > sicurezza, senzimprobable. Cosa molto probabile. grazie per la figura retorica, le query by example talvota sono efficaci per focalizzare la natura del problema in merito alla "guida in sicurezza", la risposta completa è: "dipende _totalmente_ dalle esperienze di guida che ciascuno di noi ha avuto, considerando che il corso (pratico) di guida sicura non è obbligatorio" non apriamo poi nemmeno di striscio il capitolo "codice della strada" in materia di sicurezza stradale, perché è un ginepraio... torniamo a bomba! in questo contesto vale la pena ricordare che a mio modesto avviso (non credo di essere l'unico) è pragmaticamente impossibile codificare le "regole di guida sicura" in un software, men che meno se statisticamente programmato (perché in quel caso le regole semplicemente _non esisterebbero_). detto questo: usare un sistema LLM - ovvero usare gli output che genera sulla base di una interazione uomo-macchina ottenuta attraverso una _determinata_ interfaccia - dal punto di vista _informatico_ equivale a "guidare la macchina (il computer)"? non credo proprio, anche se il 99% degli utenti è convinto di stare "guidando" il proprio computer informaticamente parlando, è chi la programma che "guida la macchina" > Conosci la corretta formula della benzina ed il rapporto di > compressione nel cilantro? Assai improbabile. Giacomo, io e te /forse/ non conosciamo la formula della benzina [1] e il rapporto di compressione [2] del motore endotermico MA quella informazione è _liberamente_ disponibile a ogni persona che ne avesse bisogno, tra l'altro è (ehrm: dovrebbe essere) un principio fondamentale della scienza. Nel caso degli LLM, invece, è _impossibile_ conoscere il "rapporto di compressione" dell'informazione: --8<---------------cut here---------------start------------->8--- Computer scientists argue that AI belongs to a subfield of signal processing, that is data compression. --8<---------------cut here---------------end--------------->8--- (https://eu-west-1.protection.sophos.com?d=fritz.ai&u=aHR0cHM6Ly9mcml0ei5haS…) ...perché "sapere NON è dato" di quali sono gli _ingredienti_ di certi LLM _proprietari_ > Se tu divessi imparare a condurre un veicolo come usi un LLM saresti > ancora in officina interessante il cambio di prospettiva tra "condurre un veicolo" e "usare un LLM": perché non "condurre un LLM"?!? in ogni caso, qui NON si tratta di "condurre un veicolo" ma di _progettare_ e immettere un veicolo in circolazione se gli LLM sono usati per automatizzare il processo decisionale, come MINIMO chi li usa deve dimostrare a chi quel processo decisionale viene _imposto_ che la progettazione e l'implementazione di quel LLM è _debuggubile_ (per usare in inglesismo)... ma è _impossibile_. se gli LLM sono usati per imparare a tradurre dal latino in inglese, beh: auguri! (sì perché _al massimo_ servono per permettere agli studenti di verificare quanto hanno già imparato, o MENO, nel loro "processo linguistico di traduzione"... ovvero, per capire se funziona serve che una _persona_ sappia già come funziona /fuori/ dalla macchina :-O ) quindi: /se/ le traduzioni automatiche devono essere _verificate_, perché non dovrebbero esserlo le _decisioni_ automatiche (cioè: non esistono decisioni automatiche) [...] saluti, 380° [1] https://eu-west-1.protection.sophos.com?d=wikipedia.org&u=aHR0cHM6Ly9pdC53a… [2] https://eu-west-1.protection.sophos.com?d=wikipedia.org&u=aHR0cHM6Ly9pdC53a… -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://eu-west-1.protection.sophos.com?d=stallmansupport.org&u=aHR0cHM6Ly9…>.

July 14, 2024

il rapporto di compressione degli LLM (was: Didattica a distanza...).

by 380°

Buonguiorno, Roberto Dolci <rob.dolci(a)aizoon.us> writes: > Particolare questo ragionamento. Immagino tu sappia guidare in > sicurezza, senzimprobable. Cosa molto probabile. grazie per la figura retorica, le query by example talvota sono efficaci per focalizzare la natura del problema in merito alla "guida in sicurezza", la risposta completa è: "dipende _totalmente_ dalle esperienze di guida che ciascuno di noi ha avuto, considerando che il corso (pratico) di guida sicura non è obbligatorio" non apriamo poi nemmeno di striscio il capitolo "codice della strada" in materia di sicurezza stradale, perché è un ginepraio... torniamo a bomba! in questo contesto vale la pena ricordare che a mio modesto avviso (non credo di essere l'unico) è pragmaticamente impossibile codificare le "regole di guida sicura" in un software, men che meno se statisticamente programmato (perché in quel caso le regole semplicemente _non esisterebbero_). detto questo: usare un sistema LLM - ovvero usare gli output che genera sulla base di una interazione uomo-macchina ottenuta attraverso una _determinata_ interfaccia - dal punto di vista _informatico_ equivale a "guidare la macchina (il computer)"? non credo proprio, anche se il 99% degli utenti è convinto di stare "guidando" il proprio computer informaticamente parlando, è chi la programma che "guida la macchina" > Conosci la corretta formula della benzina ed il rapporto di > compressione nel cilantro? Assai improbabile. Giacomo, io e te /forse/ non conosciamo la formula della benzina [1] e il rapporto di compressione [2] del motore endotermico MA quella informazione è _liberamente_ disponibile a ogni persona che ne avesse bisogno, tra l'altro è (ehrm: dovrebbe essere) un principio fondamentale della scienza. Nel caso degli LLM, invece, è _impossibile_ conoscere il "rapporto di compressione" dell'informazione: --8<---------------cut here---------------start------------->8--- Computer scientists argue that AI belongs to a subfield of signal processing, that is data compression. --8<---------------cut here---------------end--------------->8--- (https://fritz.ai/nooscope/#nooscope-ref-12-bottom) ...perché "sapere NON è dato" di quali sono gli _ingredienti_ di certi LLM _proprietari_ > Se tu divessi imparare a condurre un veicolo come usi un LLM saresti > ancora in officina interessante il cambio di prospettiva tra "condurre un veicolo" e "usare un LLM": perché non "condurre un LLM"?!? in ogni caso, qui NON si tratta di "condurre un veicolo" ma di _progettare_ e immettere un veicolo in circolazione se gli LLM sono usati per automatizzare il processo decisionale, come MINIMO chi li usa deve dimostrare a chi quel processo decisionale viene _imposto_ che la progettazione e l'implementazione di quel LLM è _debuggubile_ (per usare in inglesismo)... ma è _impossibile_. se gli LLM sono usati per imparare a tradurre dal latino in inglese, beh: auguri! (sì perché _al massimo_ servono per permettere agli studenti di verificare quanto hanno già imparato, o MENO, nel loro "processo linguistico di traduzione"... ovvero, per capire se funziona serve che una _persona_ sappia già come funziona /fuori/ dalla macchina :-O ) quindi: /se/ le traduzioni automatiche devono essere _verificate_, perché non dovrebbero esserlo le _decisioni_ automatiche (cioè: non esistono decisioni automatiche) [...] saluti, 380° [1] https://it.wikipedia.org/wiki/Benzina [2] https://it.wikipedia.org/wiki/Rapporto_di_compressione -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

July 14, 2024

Re: [nexa] Didattica a distanza, l’84% degli studenti è più sicuro e con voti migliori.

by Stefano Borroni Barale

Buongiorno lista, mercoledì 10 luglio 2024 15:50, Enrico Nardelli <nardelli(a)mat.uniroma2.it> ha scritto: > Questo fatto che educatori non si rendano conto che far usare a ragazzi della scuola, nel periodo essenziale per la loro formazione di cittadini, degli strumenti che gli impediscono di esercitare e quindi sviluppare le loro capacità cognitive è un danno più che un vantaggio mi sembra davvero incredibile. Vivaddio qualche educatore che si rende conto c'è. Certamente siamo una minoranza, ma piuttosto vocale e -soprattutto- una minoranza disposta a darsi da fare per trovare vie alternative che permettano di condividere saperi sui LLM, senza per questo creare o promuovere poteri (nello specifico oligopoli digitali). > Spero che, così come sta accadendo adesso per l'uso dei social e degli smart-device, tra vent'anni (ma mi auguro prima) dopo la grande ubriacatura - sotto la spinta di forti interessi commerciali - ci rinsaviremo e vedremo con chiarezza quanti guasti sono stati causati. Su questo mi sento di esercitare un cauto ottimismo: sento molte più voci critiche alzarsi contro ChatGPT di quante se ne sentivano nel 2005 contro Facebook e compari... Stefano

July 14, 2024

OpenAI illegally stopped staff from sharing dangers, whistleblowers say - The Washington Post

by Alberto Cammozzo

<https://www.washingtonpost.com/technology/2024/07/13/openai-safety-risks-wh…> OpenAI whistleblowers have filed a complaint with the Securities and Exchange Commission alleging the artificial intelligence company illegally prohibited its employees from warning regulators about the grave risks its technology may pose to humanity, calling for an investigation. The whistleblowers said OpenAI issued its employees overly restrictive employment, severance and nondisclosure agreements that could have led to penalties against workers who raised concerns about OpenAI to federal regulators, according to a seven-page letter sent to the SEC commissioner earlier this month that referred to the formal complaint. The letter was obtained exclusively by The Washington Post. OpenAI made staff sign employee agreements that required them to waive their federal rights to whistleblower compensation, the letter said. These agreements also required OpenAI staff to get prior consent from the company if they wished to disclose information to federal authorities. OpenAI did not create exemptions in its employee nondisparagement clauses for disclosing securities violations to the SEC. These overly broad agreements violated long-standing federal laws and regulations meant to protect whistleblowers who wish to reveal damning information about their company anonymously and without fear of retaliation, the letter said. “These contracts sent a message that ‘we don’t want … employees talking to federal regulators,’” said one of the whistleblowers, who spoke on the condition of anonymity for fear of retaliation. “I don’t think that AI companies can build technology that is safe and in the public interest if they shield themselves from scrutiny and dissent.” In a statement, Hannah Wong, a spokesperson for OpenAI said, “Our whistleblower policy protects employees’ rights to make protected disclosures. Additionally, we believe rigorous debate about this technology is essential and have already made important changes to our departure process to remove nondisparagement terms.” The whistleblowers’ letter comes amid concerns that OpenAI, which started as a nonprofit with an altruistic mission, is putting profit before safety in creating its technology. The Post reported Friday that OpenAI rushed out its latest AI model that fuels ChatGPT to meet a May release date set by company leaders, despite employee concerns that the company “failed” to live up to its own security testing protocol that it said would keep its AI safe from catastrophic harms, like teaching users to build bioweapons or helping hackers develop new kinds of cyberattacks. In a statement, OpenAI spokesperson Lindsey Held said the company “didn’t cut corners on our safety process, though we recognize the launch was stressful for our teams.” Tech companies’ strict confidentiality agreements have long vexed workers and regulators. During the #MeToo movement and national protests in response to the murder of George Floyd, workers warned that such legal agreements limited their ability to report sexual misconduct or racial discrimination. Regulators, meanwhile, have worried that the terms muzzle tech employees who could alert them to misconduct in the opaque tech sector, especially amid allegations that companies’ algorithms promote content that undermines elections, public health and children’s safety. The rapid advance of artificial intelligence sharpened policymakers’ concerns about the power of the tech industry, prompting a flood of calls for regulation. In the United States, AI companies are largely operating in a legal vacuum, and policymakers say they cannot effectively create new AI policies without the help of whistleblowers, who can help explain the potential threats posed by the fast-moving technology. “OpenAI’s policies and practices appear to cast a chilling effect on whistleblowers’ right to speak up and receive due compensation for their protected disclosures,” said Sen. Chuck Grassley (R-Iowa) in a statement to The Post. “In order for the federal government to stay one step ahead of artificial intelligence, OpenAI’s nondisclosure agreements must change.” A copy of the letter, addressed to SEC chairman Gary Gensler, was sent to Congress. The Post obtained the whistleblower letter from Grassley’s office. The official complaints referred to in the letter were submitted to the SEC in June. Stephen Kohn, a lawyer representing the OpenAI whistleblowers, said the SEC has responded to the complaint. It could not be determined whether the SEC has launched an investigation. The agency did not respond to a request for comment. The SEC must take “swift and aggressive” steps to address these illegal agreements, the letter says, as they might be relevant to the wider AI sector and could violate the October White House executive order that demands AI companies develop the technology safely. “At the heart of any such enforcement effort is the recognition that insiders … must be free to report concerns to federal authorities,” the letter said. “Employees are in the best position to detect and warn against the types of dangers referenced in the Executive Order and are also in the best position to help ensure that AI benefits humanity, instead of having the opposite effect.” These agreements threatened employees with criminal prosecutions if they reported violations of law to federal authorities under trade secret laws, Kohn said. Employees were instructed to keep company information confidential and threatened with “severe sanctions” without recognition of their right to report such information to the government, he said. “In terms of oversight of AI, we are at the very beginning,” Kohn said. “We need employees to step forward, and we need OpenAI to be open.” The SEC should require OpenAI to produce every employment, severance and investor agreement that contains nondisclosure clauses to ensure they don’t violate federal laws, the letter said. Federal regulators should require OpenAI to notify all past and current employees of the violations the company committed as well as notify them that they have the right to confidentially and anonymously report any violations of law to the SEC. The SEC should issue fines to OpenAI for “each improper agreement” under SEC law and direct OpenAI to cure the “chilling effect” of its past practices, according to the whistleblowers letter. Multiple tech employees, including Facebook whistleblower Frances Haugen, have filed complaints with the SEC, which established a whistleblower program in the wake of the 2008 financial crisis. Fighting back against Silicon Valley’s use of NDAs to “monopolize information” has been a protracted battle, said Chris Baker, a San Francisco lawyer. He won a $27 million settlement for Google employees in December against claims that the tech giant used onerous confidentiality agreements to block whistleblowing and other protected activity. Now tech companies are increasingly fighting back with clever ways to deter speech, he said. “Employers have learned that the cost of leaks is sometimes way greater than the cost of litigation, so they are willing to take the risk,” Baker said.

July 13, 2024

Re: [nexa] [CAUTION: SUSPECT SENDER] Re: Didattica a distanza, l’84% degli studenti è più sicuro e con voti migliori.

by Giacomo Tesio

Il 13 Luglio 2024 19:14:25 UTC, Roberto Dolci <rob.dolci(a)aizoon.us> ha scritto: > Se tu divessi imparare a condurre un veicolo come usi un LLM saresti ancora in officina Per la verità, il funzionamento di un autoveicolo è straordinariamente più semplice di un LLM. Nonostante ciò, chi vuole guidarlo deve superare un esame che prevede che verifica una comprensione sufficiente del funzionamento del veicolo e dei suoi componenti. Peraltro, larga parte del esame di teoria è relativa ai rischi ed alle conseguenze per sé e per gli altri di un uso improprio del mezzo.¹ Quanti anni di informatica servono per guidare consapevolmente un sistema della complessità di Chat GPT? Dieci basteranno? Sicuramente c'è qualche centinaio di persone al mondo in grado di usare software simili consapevolmente e senza arrecare danni a sé stesse o ad altri. La tua Prof di latino, ahimè, non sembra essere fra queste. Giacomo ¹ e pensa se le auto accellerassero da sé: <https://www.wired.it/article/pilota-automatico-tesla-incidenti/> PS: > Conosci la corretta formula della benzina ed il rapporto di compressione nel cilantro? Assai improbabile. Questa sì che è una considerazione interessante! Qundo ci giochiamo una pizza al cartodromo?

July 13, 2024

Re: [nexa] [CAUTION: SUSPECT SENDER] Re: Didattica a distanza, l’84% degli studenti è più sicuro e con voti migliori.

by maurizio lana

io, di area umanistica SSH (scienze umane e sociali), vedo con perplessità e con preoccupazione il fatto che proprio in area umanistica SSH ci sia il maggiore entusiasmo ignaro verso i sistemi di IA. come se si volesse mostrare a sé e al mondo che non si è ignari e retrivi di fronte alle novità della tecnologia. il che è poi espressione di un complesso di inferiorità, mi pare. Maurizio Il 13/07/24 20:47, Giacomo Tesio ha scritto: > Ciao Roberto, > > Il 11 Luglio 2024 22:59:38 UTC, Roberto Dolci<rob.dolci(a)aizoon.us> ha > scritto: >> Nota a parte per questo: " >> La tua prof di latino a Boston non ha idea di come funzioni ChatGPT, >> di quali bias possa diffondere o come le interazioni degli studenti >> verranno usate per manipolarli. >> >> La prof e' una vera professionista, che non solo e' partita con me >> 15-18 mesi fa a prender confidenza con lo strumento, ma ci e' entrata >> proprio dentro con studi specifici prima di iniziare ad usarlo a >> scuola. > È in grado di realizzarlo "from scratch" su hardware proprio? > È in grado di debuggarlo? > Ovvero è in grado di spiegare puntualmente (ed in modo verificabile e > riproducibile) come un certo output viene calcolato a partire da un > certo input? > > Se sì, ne comprende il funzionamento. > Se no, non ne comprende il funzionamento. > > Se non ne comprende il funzionamento, l'addestramento al suo utilizzzo > può avere un solo esito: la normalizzazione del suo utilizzo e la > conseguente "imposizione" ai suoi studenti. > > In nessun caso l'addestramento all'uso di uno strumento complesso mette > l'addestrato in condizione di decidere consapevolmente se e quando > usare uno strumento. > > In altri termini, se addestri una persona ad usare uno strumento, > quella persona lo userà. > > > SOLO se ne comprende pienamente il funzionamento e i limiti, potrà > decidere SE e quando usarlo. > >> E lei valuta bene il profilo di rischio a scuola: va da ragazzi che >> si accoltellano, uso di droghe, gravidanze precoci, monogenitore, >> il gamut dei disturbi mentali, long covid, cyber bullying ed altri >> rischi on line. E giustamente contestualizza il rischio di mettere >> informazioni private su chatgpt rispetto a quanto guadagna nel >> rapporto coi genitori. > Insomma, una Prof benaltrista. > > Il fatto che i ragazzi siano soggetti ad una pluralità di rischi non > giustifica la menomazione della loro libertà futura che questa prof > opera cedendo dati personali sensibilissimi che riguardano loro e i > loro genitori. > > Che poi questa prof comprenda l'entità del danno che gli procura è > tutto da dimostrare. > > Perché un insegnante che comprendesse tali danni e li accettasse per > benaltrismo soffrirebbe di una dissonanza cognitiva elevatissima. > > A meno, ovviamente, di non interpretare l'insegnamento come un processo > di riduzione delle capacità cognitive degli studenti, come Enrico ha > ben spiegato. > > >> Meglio una prof appassionata del proprio mestiere che studia come >> meglio applicare le nuove tecnologie, > Che purtroppo non è ciò di cui stiamo parlando. > > Stiamo invece parlando di una Prof che per usare le tue parole > "s'e' adattata bene". > > Ovvero una Prof che non disponendo degli strumenti culturali per > comprendere il funzionamento di un software e le finalità che questo > esegue (nell'interesse di chi lo ha programmato), lo percepisce come un > fenomeno naturale cui adattarsi, come la pioggia, la neve o lo scorrere > di un fiume. > > Lo confonde, insomma, con fenomeni che non veicolano alcuna > intenzionalità umana. > > Fenomeni cui "adattarsi" e di cui magari imparare a trarre vantaggio. > > > Sia chiaro non è colpa sua: la tua Prof è vittima di una manipolazione > che sfrutra bias evolutivi profondamente incardinati nella sua > personalità. > > La sua passione per l'insegnamento non la mette al riparo da questa > allucinazione eterodiretta. > > Starebbe a noi, se ne disponiamo, il dovere di fornirle gli strumenti > culturali per sottrarsi a tale manipolazione. > > >> che qualcosa di mandato dall'alto da chi abbia poca contezza della >> vita a scuola > Comprendo la sfiducia nei confronti delle autorità: pagheremo ancora a > lungo la sciagurata imposizione della didattica a distanza via Google > Meet. > > D'altro canto decine di migliaia di LIM e di tablet che saranno > obsoleti entro pochi mesi sono lì a testimoniare come, affidare a > professori e dirigenti appassionati ma informaticamente ignoranti > decisioni di spesa su centinaia di migliaia di euro del PNRR sia una > idea altrettanto pessima. > > > Che le decisioni vengano perse dall'alto o dal basso, se chi decide è > ignorante (e dunque facilmente manipolabile), deciderà male. > > E quando si parla di scuola, i danni (talvolta drammatici) di tali > decisioni ricadranno subito sugli studenti ed entro qualche anno sulla > società in cui questi vivranno, lavoreranno, voteranno etc... > > > Giacomo ------------------------------------------------------------------------ the knowledge gap between rich and poor is widening witten & bainbridge, how to build a digital library ------------------------------------------------------------------------ Maurizio Lana Università del Piemonte Orientale Dipartimento di Studi Umanistici Piazza Roma 36 - 13100 Vercelli

July 13, 2024

Re: [nexa] [CAUTION: SUSPECT SENDER] Re: Didattica a distanza, l’84% degli studenti è più sicuro e con voti migliori.

by Roberto Dolci

Particolare questo ragionamento. Immagino tu sappia guidare in sicurezza, senzimprobable. Cosa molto probabile. Conosci la corretta formula della benzina ed il rapporto di compressione nel cilantro? Assai improbabile. Se tu divessi imparare a condurre un veicolo come usi un LLM saresti ancora in officina Saluti Sent from Outlook for Android<https://aka.ms/AAb9ysg> ________________________________ From: nexa <nexa-bounces(a)server-nexa.polito.it> on behalf of Giacomo Tesio <giacomo(a)tesio.it> Sent: Saturday, July 13, 2024 2:48:09 PM To: nexa(a)server-nexa.polito.it <nexa(a)server-nexa.polito.it> Subject: Re: [nexa] [CAUTION: SUSPECT SENDER] Re: Didattica a distanza, l’84% degli studenti è più sicuro e con voti migliori. Caution! This message was sent from outside your organization. Ciao Roberto, Il 11 Luglio 2024 22:59:38 UTC, Roberto Dolci <rob.dolci(a)aizoon.us> ha scritto: > Nota a parte per questo: " > La tua prof di latino a Boston non ha idea di come funzioni ChatGPT, > di quali bias possa diffondere o come le interazioni degli studenti > verranno usate per manipolarli. > > La prof e' una vera professionista, che non solo e' partita con me > 15-18 mesi fa a prender confidenza con lo strumento, ma ci e' entrata > proprio dentro con studi specifici prima di iniziare ad usarlo a > scuola. È in grado di realizzarlo "from scratch" su hardware proprio? È in grado di debuggarlo? Ovvero è in grado di spiegare puntualmente (ed in modo verificabile e riproducibile) come un certo output viene calcolato a partire da un certo input? Se sì, ne comprende il funzionamento. Se no, non ne comprende il funzionamento. Se non ne comprende il funzionamento, l'addestramento al suo utilizzzo può avere un solo esito: la normalizzazione del suo utilizzo e la conseguente "imposizione" ai suoi studenti. In nessun caso l'addestramento all'uso di uno strumento complesso mette l'addestrato in condizione di decidere consapevolmente se e quando usare uno strumento. In altri termini, se addestri una persona ad usare uno strumento, quella persona lo userà. SOLO se ne comprende pienamente il funzionamento e i limiti, potrà decidere SE e quando usarlo. > E lei valuta bene il profilo di rischio a scuola: va da ragazzi che > si accoltellano, uso di droghe, gravidanze precoci, monogenitore, > il gamut dei disturbi mentali, long covid, cyber bullying ed altri > rischi on line. E giustamente contestualizza il rischio di mettere > informazioni private su chatgpt rispetto a quanto guadagna nel > rapporto coi genitori. Insomma, una Prof benaltrista. Il fatto che i ragazzi siano soggetti ad una pluralità di rischi non giustifica la menomazione della loro libertà futura che questa prof opera cedendo dati personali sensibilissimi che riguardano loro e i loro genitori. Che poi questa prof comprenda l'entità del danno che gli procura è tutto da dimostrare. Perché un insegnante che comprendesse tali danni e li accettasse per benaltrismo soffrirebbe di una dissonanza cognitiva elevatissima. A meno, ovviamente, di non interpretare l'insegnamento come un processo di riduzione delle capacità cognitive degli studenti, come Enrico ha ben spiegato. > > Meglio una prof appassionata del proprio mestiere che studia come > meglio applicare le nuove tecnologie, Che purtroppo non è ciò di cui stiamo parlando. Stiamo invece parlando di una Prof che per usare le tue parole "s'e' adattata bene". Ovvero una Prof che non disponendo degli strumenti culturali per comprendere il funzionamento di un software e le finalità che questo esegue (nell'interesse di chi lo ha programmato), lo percepisce come un fenomeno naturale cui adattarsi, come la pioggia, la neve o lo scorrere di un fiume. Lo confonde, insomma, con fenomeni che non veicolano alcuna intenzionalità umana. Fenomeni cui "adattarsi" e di cui magari imparare a trarre vantaggio. Sia chiaro non è colpa sua: la tua Prof è vittima di una manipolazione che sfrutra bias evolutivi profondamente incardinati nella sua personalità. La sua passione per l'insegnamento non la mette al riparo da questa allucinazione eterodiretta. Starebbe a noi, se ne disponiamo, il dovere di fornirle gli strumenti culturali per sottrarsi a tale manipolazione. > che qualcosa di mandato dall'alto da chi abbia poca contezza della > vita a scuola Comprendo la sfiducia nei confronti delle autorità: pagheremo ancora a lungo la sciagurata imposizione della didattica a distanza via Google Meet. D'altro canto decine di migliaia di LIM e di tablet che saranno obsoleti entro pochi mesi sono lì a testimoniare come, affidare a professori e dirigenti appassionati ma informaticamente ignoranti decisioni di spesa su centinaia di migliaia di euro del PNRR sia una idea altrettanto pessima. Che le decisioni vengano perse dall'alto o dal basso, se chi decide è ignorante (e dunque facilmente manipolabile), deciderà male. E quando si parla di scuola, i danni (talvolta drammatici) di tali decisioni ricadranno subito sugli studenti ed entro qualche anno sulla società in cui questi vivranno, lavoreranno, voteranno etc... Giacomo

July 13, 2024

Re: [nexa] [CAUTION: SUSPECT SENDER] Re: Didattica a distanza, l’84% degli studenti è più sicuro e con voti migliori.

by Giacomo Tesio

Ciao Roberto, Il 11 Luglio 2024 22:59:38 UTC, Roberto Dolci <rob.dolci(a)aizoon.us> ha scritto: > Nota a parte per questo: " > La tua prof di latino a Boston non ha idea di come funzioni ChatGPT, > di quali bias possa diffondere o come le interazioni degli studenti > verranno usate per manipolarli. > > La prof e' una vera professionista, che non solo e' partita con me > 15-18 mesi fa a prender confidenza con lo strumento, ma ci e' entrata > proprio dentro con studi specifici prima di iniziare ad usarlo a > scuola. È in grado di realizzarlo "from scratch" su hardware proprio? È in grado di debuggarlo? Ovvero è in grado di spiegare puntualmente (ed in modo verificabile e riproducibile) come un certo output viene calcolato a partire da un certo input? Se sì, ne comprende il funzionamento. Se no, non ne comprende il funzionamento. Se non ne comprende il funzionamento, l'addestramento al suo utilizzzo può avere un solo esito: la normalizzazione del suo utilizzo e la conseguente "imposizione" ai suoi studenti. In nessun caso l'addestramento all'uso di uno strumento complesso mette l'addestrato in condizione di decidere consapevolmente se e quando usare uno strumento. In altri termini, se addestri una persona ad usare uno strumento, quella persona lo userà. SOLO se ne comprende pienamente il funzionamento e i limiti, potrà decidere SE e quando usarlo. > E lei valuta bene il profilo di rischio a scuola: va da ragazzi che > si accoltellano, uso di droghe, gravidanze precoci, monogenitore, > il gamut dei disturbi mentali, long covid, cyber bullying ed altri > rischi on line. E giustamente contestualizza il rischio di mettere > informazioni private su chatgpt rispetto a quanto guadagna nel > rapporto coi genitori. Insomma, una Prof benaltrista. Il fatto che i ragazzi siano soggetti ad una pluralità di rischi non giustifica la menomazione della loro libertà futura che questa prof opera cedendo dati personali sensibilissimi che riguardano loro e i loro genitori. Che poi questa prof comprenda l'entità del danno che gli procura è tutto da dimostrare. Perché un insegnante che comprendesse tali danni e li accettasse per benaltrismo soffrirebbe di una dissonanza cognitiva elevatissima. A meno, ovviamente, di non interpretare l'insegnamento come un processo di riduzione delle capacità cognitive degli studenti, come Enrico ha ben spiegato. > > Meglio una prof appassionata del proprio mestiere che studia come > meglio applicare le nuove tecnologie, Che purtroppo non è ciò di cui stiamo parlando. Stiamo invece parlando di una Prof che per usare le tue parole "s'e' adattata bene". Ovvero una Prof che non disponendo degli strumenti culturali per comprendere il funzionamento di un software e le finalità che questo esegue (nell'interesse di chi lo ha programmato), lo percepisce come un fenomeno naturale cui adattarsi, come la pioggia, la neve o lo scorrere di un fiume. Lo confonde, insomma, con fenomeni che non veicolano alcuna intenzionalità umana. Fenomeni cui "adattarsi" e di cui magari imparare a trarre vantaggio. Sia chiaro non è colpa sua: la tua Prof è vittima di una manipolazione che sfrutra bias evolutivi profondamente incardinati nella sua personalità. La sua passione per l'insegnamento non la mette al riparo da questa allucinazione eterodiretta. Starebbe a noi, se ne disponiamo, il dovere di fornirle gli strumenti culturali per sottrarsi a tale manipolazione. > che qualcosa di mandato dall'alto da chi abbia poca contezza della > vita a scuola Comprendo la sfiducia nei confronti delle autorità: pagheremo ancora a lungo la sciagurata imposizione della didattica a distanza via Google Meet. D'altro canto decine di migliaia di LIM e di tablet che saranno obsoleti entro pochi mesi sono lì a testimoniare come, affidare a professori e dirigenti appassionati ma informaticamente ignoranti decisioni di spesa su centinaia di migliaia di euro del PNRR sia una idea altrettanto pessima. Che le decisioni vengano perse dall'alto o dal basso, se chi decide è ignorante (e dunque facilmente manipolabile), deciderà male. E quando si parla di scuola, i danni (talvolta drammatici) di tali decisioni ricadranno subito sugli studenti ed entro qualche anno sulla società in cui questi vivranno, lavoreranno, voteranno etc... Giacomo

July 13, 2024

Re: [nexa] [CAUTION: SUSPECT SENDER] Re: Didattica a distanza, l’84% degli studenti è più sicuro e con voti migliori.

by Giacomo Tesio

Ma vedi Roberto, On Thu, 11 Jul 2024 22:50:28 +0000 Roberto Dolci <rob.dolci(a)aizoon.us> wrote: > Io condivido la sorpresa della prof nell'enorme differenza tra la > traduzione verso l'inglese (perfetta) e quella verso il Latino, > valida appunto come bozza. > [...] > Ne io ne lei avremmo previsto la totale differenza nella qualita,' > delle traduzioni a seconda della lingua di partenza La sorpresa è comprensibile solo se si sta assumendo che una qualche intelligenza, artificiale ma con memoria e potenza di calcolo pressocché illimitata, abbia effettuato entrambe le traduzioni. La tua Prof proietta la propria intelligenza umana sulla macchina e si sorprende che uno studente che abbia imparato a tradurre brillantemente dal latino all'inglese, non abbia imparato a tradurre in modo equivalente dall'inglese al latino. Nota come non ho virgolettato le parole "intelligenza" e "imparato" per riprodurre più fedelmente la prospettiva della Prof che, sentendo "esperti" parlare di "machine learning" e "artificial intelligence", immagina Chat GPT alla stregua di uno studente che abbia imparato a tradurre da una lingua ad un'altra. > La prof correttamente non ha speso tempo nel correggere il Latino > tradotto malamente dalla macchina, ma ha fatto lavorare I ragazzi > sulla pulizia del loro inglese, fino a quando ChatGPT ha poi tradotto > bene. Interpretazione edificante, ma errata. Chiunque abbia mai studiato latino, ricorda bene le frasette didattiche che costituivano la gran parte degli esempi da tradurre in latino. Frasette semplici e lineari focalizzate sull'esemplificazione e l'apprendimento di specifici costrutti, non sulla espressione di concetti arbitrariamente complessi. Al contrario, esistono molteplici traduzioni dal latino all'inglese di innumerevoli opere in latino che esprimono concetti complessi. Ed è ovvio: un sistema programmato statisticamente, riproporrà traduzioni simili a quelle utilizzate per la sua programmazione. La Prof non può saperlo, perché non comprende come funziona un LLM e non saprebbe come realizzarlo, per cui interpreta le frasi inglesi che "funzionano" come "lineari e pulite" invece che come esempietti didattici. Dunque la tua Prof NON ha insegnato ai propri alunni ad esprimersi meglio in inglese. Gli ha insegnato ad allineare il proprio inglese agli esempietti didattici di traduzione dall'inglese al latino presenti nel dataset sorgente utilizzato per programmare ChatGPT. Personalmente non credo che ciò sia edificante ed educativo per gli studenti, ma auspicabilmente a Boston questi ragazzi troveranno ben altri stimoli. > Hanno capito il vecchio garbage in, garbage out: se butti un testo > approssimativo in inglese, la macchina te ne restituisce uno allo > stesso livello. No, sono stati addestrati ad assumersi la responsabilità per gli output erronei di quel software. O meglio, sono stati addestrati a scaricare la responsabilità degli output errati sugli utenti, sugli "studenti caproni" per usare le tue parole. Se avessero compreso davvero il concetto di GIGO, si chiederebbero perché la loro Prof gli fa usare un software buggato che può produrre spazzatura anche quando gli fornisci input di ottima qualità. Si chiederebbero perché i creatori di ChatGPT abbiano razzolato tutta la spazzatura del Web per programmarlo. E magari si chiederebbero perché la Prof invia ad un simile software le email dei propri genitori. > Ne io ne lei avremmo previsto la totale differenza nella qualita,' > delle traduzioni a seconda della lingua di partenza, ma lei s'e' > adattata bene S'è "adattata" a cosa? A un fenomeno naturale o ad un automatismo controllato da sconosciuti? Giacomo

July 13, 2024

Re: [nexa] [CAUTION: SUSPECT SENDER] Re: Didattica a distanza, l’84% degli studenti è più sicuro e con voti migliori.

by Roberto Dolci

Nota a parte per questo: " La tua prof di latino a Boston non ha idea di come funzioni ChatGPT, di quali bias possa diffondere o come le interazioni degli studenti verranno usate per manipolarli. Detta male, mancopeggnente. La prof e' una vera professionista, che non solo e' partita con me 15-18 mesi fa a prender confidenza con lo strumento, ma ci e' entrata proprio dentro con studi specifici prima di iniziare ad usarlo a scuola. E lei valuta bene il profilo di rischio a scuola: va da ragazzi che si accoltellano, uso di droghe, gravidanze precoci, monogenitore, il gamut dei disturbi mentali, long covid, cyber bullying ed altri rischi on line. E giustamente contestualizza il rischio di mettere informazioni private su chatgpt rispetto a quanto guadagna nel rapporto coi genitori. Meglio una prof appassionata del proprio mestiere che studia come meglio applicare le nuove tecnologie, che qualcosa di mandato dall'alto da chi abbia poca contezza della vita a scuola Grazie Rob Sent from Outlook for Android<https://aka.ms/AAb9ysg> ________________________________ From: Roberto Dolci <rob.dolci(a)aizoon.us> Sent: Thursday, July 11, 2024 6:50:29 PM To: Enrico Nardelli <nardelli(a)mat.uniroma2.it>; Nexa <nexa(a)server-nexa.polito.it> Subject: Re: [CAUTION: SUSPECT SENDER] Re: [nexa] Didattica a distanza, l’84% degli studenti è più sicuro e con voti migliori. Grazie Enrico Sia per la lettura, sia specialmente per i rilievi. Io condivido la sorpresa della prof nell'enorme differenza tra la traduzione verso l'inglese (perfetta) e quella verso il Latino, valida appunto come bozza. Questo le ha dato lo spunto per far riflettere la classe, e per metterli a ripulire il loro testo prima di darlo in pasto a ChatGPT, fino ad ottenere ottime traduzioni in Latino. La prof correttamente non ha speso tempo nel correggere il Latino tradotto malamente dalla macchina, ma ha fatto lavorare I ragazzi sulla pulizia del loro inglese, fino a quando ChatGPT ha poi tradotto bene. Hanno capito il vecchio garbage in, garbage out: se butti un testo approssimativo in inglese, la macchina te ne restituisce uno allo stesso livello. Poi ti dico, ti riporto il parere di una prof che ha insegnato Latino in Italia e qui a Boston, ha notevole esperienza, e secondo me ha trovato un ottimo uso dello strumento. Ne io ne lei avremmo previsto la totale differenza nella qualita,' delle traduzioni a seconda della lingua di partenza, ma lei s'e' adattata bene Ciao Roberto ________________________________ From: nexa <nexa-bounces(a)server-nexa.polito.it> on behalf of Enrico Nardelli <nardelli(a)mat.uniroma2.it> Sent: Wednesday, July 10, 2024 9:50:38 AM To: Nexa <nexa(a)server-nexa.polito.it> Subject: [CAUTION: SUSPECT SENDER] Re: [nexa] Didattica a distanza, l’84% degli studenti è più sicuro e con voti migliori. Ciao Rob ho letto il tuo post su Zafferano e mi permetto alcuni commenti, che sono nello spirito in linea con le parole di cautela di Giacomo (quanto mai appropriate, visto che mi sembra che qui stiamo usando - come topolini dietro il pifferaio magico di Hamelin - una tecnologia largamente imperfetta che ci sta conducendo al disastro) Tra virgolette i passaggi dal tuo articolo, seguiti dai miei commenti "Diverso è il caso opposto, quando dall’inglese si traduce in latino: lo strumento produce una buona bozza, che lo studente caprone non riesce a migliorare, ma quello bravo sì." Appunto, allo studente caprone impedisce di migliorare (e l'insegnante non se ne accorge, del livello dello studente) mentre a quello bravo (che è bravo perché certamente si è esercitato sforzando il suo cervello) risparmia un po' di fatica (che però è stata essenziale per arrivare a costruire la sua bravura). Non vedo dove sia il vantaggio. "Ecco che se un liceale prova ad usare l’LLM per tradurre un suo tema, lo strumento se la cava ma lascia spazio per miglioramento. Questo è un punto chiave in aula coi ragazzi, perché consente all’insegnante di entrare nel costrutto delle frasi, nella logica della lingua, ed in un colpo solo aiutare la coerenza e precisione del pensiero" Di nuovo, l'insegnante può prendere spunto da una traduzione fatta in classe da un LLM per commentarla insieme ai ragazzi e migliorarla. Ma davvero questo è più efficace di dare quel testo ai ragazzi da tradurre in classe e poi commentare le loro versioni? Se si commentano gli errori di un ragazzo certamente a lui personalmente l'esperienza può essere di vantaggio (e ad altri che hanno fatto gli stessi errori, pure). Sul problema della privacy non aggiungo altro a ciò che ha detto Giacomo: la maggior parte di quelli che lo usano non hanno idea di come vengano usati i loro dati e - per quanto ne so - le aziende che stanno introducendo LLM nel loro flusso di lavoro lo fanno con versioni "chiuse" proprio per evitare l'esfiltrazione di informazioni commercialmente sensibili. Infine "Questo non significa girare la testa dall’altra parte rispetto alla tecnologia: ChatGPT ed LLM in generale ci consentono un’analisi dei testi, ed una comprensione di come traduciamo il pensiero in linguaggio, che non possiamo perdere" Chi, come me e Giacomo è critico sull'uso di ChatGPT nel processo educativo non vuole girare la testa dall'altra parte. Il punto fondamentale è che se non si esercita PRIMA la fatica di addestrare lo sviluppo del proprio pensiero non si potrà mai migliorarlo mettendo alla prova con uno LLM. Questo fatto che educatori non si rendano conto che far usare a ragazzi della scuola, nel periodo essenziale per la loro formazione di cittadini, degli strumenti che gli impediscono di esercitare e quindi sviluppare le loro capacità cognitive è un danno più che un vantaggio mi sembra davvero incredibile. Spero che, così come sta accadendo adesso per l'uso dei social e degli smart-device, tra vent'anni (ma mi auguro prima) dopo la grande ubriacatura - sotto la spinta di forti interessi commerciali - ci rinsaviremo e vedremo con chiarezza quanti guasti sono stati causati. Il problema è che la portata di questi danni sarà sicuramente maggiore. Ciao, Enrico ------ Messaggio originale ------ Da "Giacomo Tesio" <giacomo(a)tesio.it<mailto:giacomo@tesio.it>> A nexa(a)server-nexa.polito.it<mailto:nexa@server-nexa.polito.it> Data 07/07/2024 15:35:58 Oggetto Re: [nexa] [CAUTION: SUSPECT SENDER] Re: Didattica a distanza, l’84% degli studenti è più sicuro e con voti migliori. Ciao Roberto, Il 7 Luglio 2024 12:49:09 UTC, Roberto Dolci <rob.dolci(a)aizoon.us<mailto:rob.dolci@aizoon.us>> ha scritto: Da pragmatico, preferisco dare uno strumento in mano ai prof sennonché non si tratta di "dare uno strumento" ma di sussidiare l'uso di un prodotto in affitto da parte di insegnanti in modo che ne impongano l'uso da parte degli studenti. Né importa _quale_ uso. L'importante è normalizzarne la dipendenza, scaricando la responsabilità dei danni sugli utenti perché "bastava solo usarlo diversamente". lasciare siano loro a sperimentare e poi decidere come meglio usarlo Come hanno fatto con Google Workspace dopo la sentenza Schrems II? Stai caricando i docenti di responsabilità per cui non hanno le competenze necessarie. La tua prof di latino a Boston non ha idea di come funzioni ChatGPT, di quali bias possa diffondere o come le interazioni degli studenti verranno usate per manipolarli. Né ha idea dei danni che può fare inviando sul cloud le informazioni necessarie a rispondere ad una mail dei genitori. che sperare una qualche autorita’ illuminata possa normare la cosa. Invece usare la scuola e l'autorevolezza dei docenti per diffondere la dipendenza da questi prodotti (che NON sono "strumenti" se non per chi li realizza) è un'ottima idea. Guarda come ha funzionato bene durante il COVID! I reparti di neuropsichiatria infantile sono PIENI di vittime che non risponderanno a questionari come quello che ha avviato questo thread. Giacomo -- EN https://www.hoepli.it/libro/la-rivoluzione-informatica/9788896069516.html<https://eu-west-1.protection.sophos.com?d=hoepli.it&u=aHR0cHM6Ly93d3cuaG9lc…> [cid:embcea8887-ded1-4aca-a4c1-a5407e4d977d@75a74601.com] ====================================================== Prof. Enrico Nardelli Past President di "Informatics Europe" Direttore del Laboratorio Nazionale "Informatica e Scuola" del CINI Dipartimento di Matematica - Universit� di Roma "Tor Vergata" Via della Ricerca Scientifica snc - 00133 Roma home page: https://www.mat.uniroma2.it/~nardelli<https://eu-west-1.protection.sophos.com?d=uniroma2.it&u=aHR0cHM6Ly93d3cubWF…> blog: https://link-and-think.blogspot.it/<https://eu-west-1.protection.sophos.com?d=link-and-think.blogspot.it&u=aHR0…> tel: +39 06 7259.4204 fax: +39 06 7259.4699 mobile: +39 335 590.2331 e-mail: nardelli(a)mat.uniroma2.it<mailto:nardelli@mat.uniroma2.it> online meeting: https://blue.meet.garr.it/b/enr-y7f-t0q-ont<https://eu-west-1.protection.sophos.com?d=garr.it&u=aHR0cHM6Ly9ibHVlLm1lZXQ…> ====================================================== --

July 11, 2024