Buongiorno, Antonio <antonio@piumarossa.it> writes: [...]

E' la /moda/ del momento, mettere alla prova ChatGPT nel superamento di esami scolastici, di abilitazione, test per la selezione del personale, ecc.:

Sì ma _solo_ in lingua inglese, mi raccomando! Se è per questo si divertono anche a fargli il test IQ: https://twitter.com/sergeyi49013776/status/1598430479878856737?lang=en Leggendo il tweet-thread si vede benissimo che il più grosso problema di ChatGPT è quello di non capire le domande... a volte in modo incomprensibile per un umano (la sintesi della comprensione sicuramente funziona peggio della sintesi della risposta) Per quanto sia affidabile tale esperimento [3] fatto una volta sola, il punteggio IQ è 83 ed è nel ragne "scarso", ma è ragionevole pensare che ChatGPT possa essere corretto e fare meglio in un prossimo futuro. Superficialmente potrebbe sembrare che questi studi siano un modo per mettere alla prova ChatGPT ma a pensarci meglio sono i test [4] a essere messi alla prova. Detto in altro modo: se chiedi a un umano di **eseguire** schemi/modelli/trucchi sviluppati per massimizzare i _punteggi_ ottenuti nei test (standardizzati) di "valutazione", ci sarà **sempre** una macchina di Turing in grado di farlo _molto_ meglio. ...è _scientifico_: https://www.roars.it/online/il-modello-di-rasch/ «I test INVALSI sono scientificamente solidi? I limiti del modello di Rasch» --8<---------------cut here---------------start------------->8--- [...] Per la quasi totalità dell’opinione pubblica, ma anche degli insegnanti e degli accademici, l’elaborazione dei risultati dei test standardizzati è una “scatola nera” il cui corretto funzionamento viene assunto sulla fiducia. Chi d’altronde avrebbe le competenze per entrare nel merito dei marchingegni statistici utilizzati? Anche chi ne contesta l’uso a causa delle distorsioni che provoca nelle politiche educative raramente ne mette in dubbio la correttezza. [...] Estrarre delle informazioni dai test standardizzati non è così semplice come leggere la temperatura sulla scala graduata di un termometro. [...] Ora, i termometri dei test PISA e dei test INVALSI si servono dello stesso principio di misurazione della “temperatura”, ovvero del cosiddetto “modello di Rasch”, che specifica appunto le ipotesi matematico-statistiche utilizzate nella procedura di calibrazione. [...] “The best we can say about Pisa rankings is that they are useless” conclude Kreiner. --8<---------------cut here---------------end--------------->8--- (l'articolo entra nel merito scientifico, se interessa, compresa la fantasmagorica "Oggettività specifica"... e qui entriamo in epistemologia) Validità scientifica o meno, per /qualsiasi/ modello statistico (Rasch o altro IRT [5]) utilizzato per costruire test standard ci sarà _sempre_ (potenzialmente) una macchina di Turing programmata statisticamente (detta AI) in grado di ottenere il massimo risultato a quel test... SE ha abbastanza dati per sintetizzare una risposta. --8<---------------cut here---------------start------------->8--- Credo che una discussione organica sui test debba essere fatta sul piano più elevato dei rapporti tra strumenti valutativi e processi di insegnamento/apprendimento, --8<---------------cut here---------------end--------------->8--- scrive Enrico Rogora nell'articolo sopra citato E credo che questa frase sintetizzi il nocciolo della quesitone: --8<---------------cut here---------------start------------->8--- 3. Standardized tests don’t provide any feedback on how to perform better. The results aren’t even given back to the teachers and students until months later, and there are no instructions provided by test companies on how to improve these test scores. --8<---------------cut here---------------end--------------->8--- (tratto da «15 Reasons Why Standardized Tests are Problematic» [6]) Dopotutto ChatGPT o qualsiasi altro sistema SALAMI non saprebbe proprio che farsene del "feedback" visto che usa sistemi di "apprendimento" statistico invece di apprendere dagli errori. Ecco perché chiamare ChatGPT "generative AI" è definitivamente fuorviante, non genera proprio un bel niente... _risequenzia_ (cit). Aggià che scemo, ma qui stiamo parlando appunto di dare un punteggio per fare una classifica, mica di apprendimento... quindi che c'è da stupirsi se una istanza AI ottiene punteggi paragonabili a quelli umani e in futuro _senza dubbio_ batterà sempre gli umani nei test standardizzati? Ecco che allora si avvera il sogno dei pre-transumanisti: "siccome nei test standardizzati che servono per stabilire chi è più adatto a un determinato lavoro l'AI ottiene migliori risultati, allora possiamo fare a meno di assumere umani e li sostituiamo con l'AI". Forse ci dobbiamo fare qualche domanda sul tipo di lavoro che viene chiesto agli umani di svolgere?!? https://www.fastcompany.com/90844285/chatgpt-has-an-iq-of-83-yet-its-coming-... «ChatGPT has an IQ of 83, yet it’s coming for our jobs. What does that say about the work we do?» --8<---------------cut here---------------start------------->8--- It is very likely that many of us will see some of our work replaced by AI, and that hurts. But it says absolutely nothing about the people working those jobs and whether or not they’re skilled. It says everything, however, about our current system and about how inadequate many of the jobs that we’ve created are. If something with an IQ of 83 can take over our jobs, society as a whole is not operating at its full potential. I believe that generative AI is both a jolting reality check, and a potential solution to help make our jobs more meaningful. Many workers are drowned in menial, repetitive tasks, often carried out on autopilot and without much critical thinking. [...] This kind of repetitive busy work takes up time that could be spent doing more meaningful work such as fleshing out that new idea you’ve had in the back of your head for months, or exploring an app you think could streamline your projects. As a result, we often stifle our own progress because we’re starved of the time and resources to think big. A lot of repetitive work could eventually be replaced by a ChatGPT bot [...] --8<---------------cut here---------------end--------------->8--- Ovviamente questo ragionamento vale per tutti i compiti ripetitivi che possono essere automatizzati, mica solo da ChatGPT... solo che chi osanna ChatGPT deve anche capire che la sua capacità di sintesi è _limitata_ e che a volte (spesso?) semplicemente sbaglia... e senza correggerlo continuerà a sbagliare in eterno... e NON si autocorregge. Detto in altro modo: se chiedi a un umano _solo_ di **eseguire** il lavoro secondo modelli/schemi/trucchi sviluppati (da altri) per massimizzare i _punteggi_ ottenuti nei test (standardizzati) di "valutazione" della performance lavorativa, ci sarà **sempre** una macchina di Turing in grado di farlo _molto_ meglio, ripetizione degli errori inclusa. https://nooscope.ai/ Per parafrasare Enrico Rogora citato sopra: «Credo che una discussione organica sul lavoro debba essere fatta sul piano più elevato dei rapporti tra strumenti valutativi (del lavoro) e processi di svolgimento e apprendimento ("feedback" che accumulato diventa esperienza) e loro relazione con la società e la cultura, con particolare attenzione al rapporto tra il _valore_ del lavoro e la sua monetizzazione in "valore di scambio".» David Graeber: «Huge swathes of people, in Europe and North America in particular, spend their entire working lives performing tasks they secretly believe do not really need to be performed» [7]

ChatGPT can (almost) pass the US Medical Licensing Exam [1]

Ma per forza: copia (e ha la calcolatrice incorporata)! :-D Date una calcolatrice e accesso illimitato al web a tutti gli esaminandi umani a cui somministrate i test e poi vediamo, eh?!? :-P ...se poi gli esaminandi avessero a disposizione un database con salvate **tutte** le enciclopedie del mondo (tra)scritte in RDF e sapessero usare le query SPARQL come chattano su Instagram... semplicemente non ci sarebbe storia. B-) [...] saluti, 380°

[1] https://www.eurekalert.org/news-releases/978878 [2] https://www.sciencemediacentre.org/expert-reaction-to-study-on-chatgpt-almos...

[3] https://en.wikipedia.org/wiki/Intelligence_quotient#Reliability_and_validity [4] attenzione NON ho scritto le valutazioni date da altri umani frutto di interrogazioni, compiti in classe, collaborazione, osservazione inseriti in un percorso scolastico/lavorativo di diversi mesi e anni... cosa a cui NON è stata sottoposta ChatGPT, se qualcuno volesse "divertirsi" [5] https://en.wikipedia.org/wiki/Item_response_theory, non trovo nemmeno che tipo di test utilizzi https://iqtest.com/ [6] https://www.ascd.org/blogs/15-reasons-why-standardized-tests-are-problematic [7] https://web.archive.org/web/20191211140746/http://www.strike.coop/bullshit-j... -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Buonasera Daniela, Daniela Tafani <daniela.tafani@unipi.it> writes: [...]

Forse dovrebbero smettere di dire che chatGPT commette "errori" o "sbaglia".

touché :-) Io stesso ho usato l'espressione "sbaglia" riferendomi a chatGPT, perché non sapendo nulla delle specifiche con le quali è stato progettato il software /deduco/ che rispondere male a una domanda tipo di uno dei test di intelligenza sia un _bug_ (errore nel software) ...solo che definire cosa sia un bug in un software programmato statisticamente è /improbabile/ :-O

Non commette alcun errore, quando ci sembra che ne commetta: non sta facendo nulla di diverso da quello che fa sempre.

Anzi, gli "errori" ci consentono di vedere come funziona e che cos'è.

giusto, solo che tra i metodi di "reverse engineering" questo è il più lungo, non basterebbe una vita intera a fare esperienza con chatGPT

Ciò che è fa sì che non si possa usarla per ottenere informazioni o soluzioni o risposte.

...a meno che ci siano soluzioni o risposte preconfezionate (ai test standardizzati) già belle che pronte che il software programmato statisticamente può "sparare a caso" nella speranza di azzeccarle, come fanno anche alcuni studenti quando non sono sicuri; in fondo nel test IQ e negli altri citati chatGPT ci azzecca abbastanza, no?

A meno che non si abbia già l'abitudine di affidarsi a una palla magica delle risposte.

capisco l'intento ma non cerdo che la metafora riesca ad essere efficace, specialmente agli occhi degli addetti ai lavori credo che una metafora più precisa potrebbe essere quella che per vedere lontanissimo ci si affidi a un telescopio come il James Webb sulla cui superficie scorre un caleidoscopio manovrato remotamente da 5000 persone che non hanno idea di cosa stanno cercando è per questo che ogni volta che lo guardo trovo geniale il diagramma NOOSCOPE https://nooscope.ai/NOOSCOPE.pdf [...] saluti, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

a Delfi a trasformare in responsi la trance della Pizia era un sacerdote chiamato prophetes. Molti, ora, stanno facendo i profeti, convinti o per instillare la convinzione che nel delirio stocastico stia parlando Apollo.

Maria Chiara Pievatolo questa immagine è nitida e illuminante Daniela Tafani, uso 'episteme' e 'doxa' nel senso della logica (approfondimenti qui <https://plato.stanford.edu/entries/logic-modal/>) e sì, ChatGPT in effetti non ha 'atteggiamenti proposizionali'. G. On Tue, 14 Feb 2023 at 23:02, Daniela Tafani <daniela.tafani@unipi.it> wrote:

Buonasera 380°,

touché :-) Io stesso ho usato l'espressione "sbaglia" riferendomi a chatGPT,

In questa lista non è un problema, è innocuo quanto dire che il mio pc "sa" quando la batteria è quasi scarica e perciò si spenge da solo o che non capisco che cosa un programma "voglia" da me, quando "rifiuta" di fare quello che gli chiedo. Negli articoli che concorrono ai processi di intermediazione culturale, invece, è sbagliato e dannoso (e utile ai pochi che promuovono questa narrazione). E' come dire che il problema delle decisioni fondate su sistemi di *machine learning *sono le discriminazioni.

...

Anzi, gli "errori" ci consentono di vedere come funziona e che cos'è.

giusto, solo che tra i metodi di "reverse engineering" questo è il più

lungo, non basterebbe una vita intera a fare esperienza con chatGPT

No, mi riferivo a qualcosa di molto più modesto, come il rendersi conto

- che non è più intelligente della mia calcolatrice delle elementari, ma che, a differenza di quella, non ha senso usarlo per l'aritmetica; - che potrei usarlo per produrre confabulazioni o trasformare un frase secca in un lungo brano nell'antilingua di Calvino (ma poi non saprei che farmene); - che posso "chiedergli" solo quello che so già; - che chiunque stia dicendo diversamente o non sa di cosa parla o è pagato per mentire.

è per questo che ogni volta che lo guardo trovo geniale il diagramma NOOSCOPE https://nooscope.ai/NOOSCOPE.pdf

Molto interessante, grazie.

Buona serata, Daniela

_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa

A proposito di "ingenua credulità" degli umani nella società algoritmica e di uso fascista dell'AI, aggiungo un altro suggerimento (meno accademico e più letterario): il romanzo "The every <https://www.lafeltrinelli.it/the-every-ediz-italiana-libro-dave-eggers/e/978...>" di Dave Eggers in alcune pagine è folgorante. Grazie per il ricco dibattito A.R. Alessio Rocchi Amministratore Delegato IUSTO - *IUSTO Chief Executive Officer* Professore aggregato di Pedagogia - *Associate Professor of Pedagogy* Il giorno mer 15 feb 2023 alle ore 10:56 Carlo Blengino < blengino@penalistiassociati.it> ha scritto:

Grazie davvero a tutti per le riflessioni e i consigli di lettura. Davvero questa lista è preziosa! Non aggiungo nulla alle Vs. riflessioni su di un tema che mi pare straordinariamente complesso ed affascinante, al di là degli hype del momento. Poichè siamo finiti inevitabilmente a Delfi ed alla Pizia, confesso che da quando è apparso ChatGPT mi riecheggia nella mente l'incipit straordinario di quel piccolo capolavoro di Durrenmatt che è "La Morte della Pizia": *Stizzita per la scemenza dei suoi stessi oracoli e per l’ingenua credulità dei Greci, la sacerdotessa di Delfi Pannychis XI, lunga e secca come quasi tutte le Pizie che l’avevano preceduta, ascoltò le domande del giovane Edipo, un altro che voleva sapere se i suoi genitori erano davvero i suoi genitori, come se fosse facile stabilire una cosa del genere nei circoli aristocratici, dove, senza scherzi, donne maritate davano a intendere ai loro consorti, i quali peraltro finivano per crederci, come qualmente Zeus in persona si fosse giaciuto con loro. […]*

In questa per me straordinaria sequenza sintattica di parole c'è tutta l'umanità (e tutta l'ironia) che segna la distanza. Grazie davvero a tutti. CB

Il giorno mer 15 feb 2023 alle ore 09:50 Guido Vetere < vetere.guido@gmail.com> ha scritto:

...

a Delfi a trasformare in responsi la trance della Pizia

...

era un sacerdote chiamato prophetes. Molti, ora, stanno facendo i profeti, convinti o per instillare la convinzione che nel delirio stocastico stia parlando Apollo.

Maria Chiara Pievatolo questa immagine è nitida e illuminante

Daniela Tafani, uso 'episteme' e 'doxa' nel senso della logica (approfondimenti qui <https://plato.stanford.edu/entries/logic-modal/>) e sì, ChatGPT in effetti non ha 'atteggiamenti proposizionali'.

G.

On Tue, 14 Feb 2023 at 23:02, Daniela Tafani <daniela.tafani@unipi.it> wrote:

...

Buonasera 380°,

touché :-) Io stesso ho usato l'espressione "sbaglia" riferendomi a chatGPT,

In questa lista non è un problema, è innocuo quanto dire che il mio pc "sa" quando la batteria è quasi scarica e perciò si spenge da solo o che non capisco che cosa un programma "voglia" da me, quando "rifiuta" di fare quello che gli chiedo. Negli articoli che concorrono ai processi di intermediazione culturale, invece, è sbagliato e dannoso (e utile ai pochi che promuovono questa narrazione). E' come dire che il problema delle decisioni fondate su sistemi di *machine learning *sono le discriminazioni.

...

Anzi, gli "errori" ci consentono di vedere come funziona e che cos'è.

giusto, solo che tra i metodi di "reverse engineering" questo è il più

lungo, non basterebbe una vita intera a fare esperienza con chatGPT

No, mi riferivo a qualcosa di molto più modesto, come il rendersi conto

- che non è più intelligente della mia calcolatrice delle elementari, ma che, a differenza di quella, non ha senso usarlo per l'aritmetica; - che potrei usarlo per produrre confabulazioni o trasformare un frase secca in un lungo brano nell'antilingua di Calvino (ma poi non saprei che farmene); - che posso "chiedergli" solo quello che so già; - che chiunque stia dicendo diversamente o non sa di cosa parla o è pagato per mentire.

è per questo che ogni volta che lo guardo trovo geniale il diagramma NOOSCOPE https://nooscope.ai/NOOSCOPE.pdf

Molto interessante, grazie.

Buona serata, Daniela

_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa

_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa

-- *Avv. Carlo Blengino* *Via Duchessa Jolanda n. 19,* *10138 Torino (TO) - Italy* *tel. +39 011 4474035* Penalistiassociati.it _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa

-- <http://www.ius.to/> *IUSTO - Istituto Universitario Salesiano Torino Rebaudengo* aggregato alla *Facoltà di Scienze dell'Educazione dell'Università Pontificia Salesiana* in Roma Agenzia Formativa* *accreditata dalla *Regione Piemonte* Piazza Conti di Rebaudengo, 22 - 10155 Torino Tel: +39 011 2340083 (Lun-Ven 10.00-13.30 - 14.30-17.00) www.ius.to <http://www.ius.to/> ___________________________________________ Questo messaggio è stato inviato da IUSTO e può contenere informazioni di carattere estremamente riservato e confidenziale. Le informazioni contenute in questa e-mail sono dirette essenzialmente alla/e persona/e o all'istituzione menzionate nell'oggetto e/o corpo del messaggio. Qualora chi lo riceva non ne fosse il destinatario, è pregato di informarci immediatamente tramite e-mail/telefono/fax e di eliminare il presente messaggio con gli eventuali allegati, senza trattenerne copia. Qualsiasi utilizzo non autorizzato del contenuto di questo messaggio costituisce violazione dell'obbligo di non prendere cognizione della corrispondenza tra altri soggetti, salvo più grave illecito, ed espone il responsabile alle relative conseguenze civili e penali. Si rammenta infine che la conservazione e la riproduzione del presente messaggio, qualora contenga dati personali, è soggetta al regolamento UE 2016/679 e a tutte le vigenti norme in materia di protezione dei dati personali. <http://www.ius.to/index.php/news-eventi-iusto/69-notizie/891-dona-il-tuo-5x1...>