Salve Bruno, quanto tempo hai speso a verificare la correttezza dell'output? In altri termini, hai riletto i due testi appuntando a parte i riferimenti al denaro per poi verificare che fossero citati tutti e che tutti quelli citati fossero corretti? Se sì, qualcuno prima di te ha fatto tale lavoro pubblicandone i risultati in ciò che poi è diventato parte del dataset sorgente di chatgpt. In altri termini chatgpt non ha individuato le occorrenze del denaro nei testi, ma solo recitato il lavoro fatto precedentemente da altri. Senza menzionare tale lavoro, ovviamente. Se non hai fatto tale scrupolosa verifica, scommetto una pizza che ne ha come minimo omessi alcuni, nonostante si tratti di testi classici su cui simili analisi sono già state condotte <https://philpapers.org/rec/DANIDN> Ma d'altro canto se non hai fatto scrupolosamente tale verifica, ti sei fidato acriticamente del software, esattamente come Jovannotti. Questi software possono essere utili solo quando la correttezza dell'output non è applicabile. Se gli chiediamo cosa pensa della torta alla nocciola, qualunque output sarà equamente (in)utile... e disconnesso dall'esperrienza di cucinarla e mangiarla. Se però una risposta corretta esiste, come nel caso delle 5 parole più frequenti in un corpus, allora qualunque risposta diversa da quella corretta è... sbagliata. Se anche l'output contenesse 4 delle parole più frequenti, ma la quinta non fosse una delle 5 più frequenti, quell'output sarebbe sbagliato. Se anche l'output sul denaro nei promessi sposi avesse omesso o fabbricato una sola occorrenza del concetto, tale output sarebbe errato. Naturalmente, diffondere informazioni false o incomplete non è ancora reato, ma è importante comprendere che "l'ha detto chatgpt" significa "non ha alcuna attinenza con la realtà" (né alcun significato). Giacomo Il 18 Aprile 2025 17:12:00 UTC, Bruno Gambarotta <brunogambarotta@hotmail.it> ha scritto:
Ho chiesto a ChatGPT di indicarmi tutte le volte che nei Promessi Sposi di Manzoni e nello Zibaldone di pensieri di Leopardi si parlava di denaro e lui ha eseguito il compito con le adeguate citazioni, con le date e tutto quanto. ________________________________ Da: nexa <nexa-bounces@server-nexa.polito.it> per conto di Giacomo Tesio <giacomo@tesio.it> Inviato: giovedì 17 aprile 2025 23:00 A: nexa@server-nexa.polito.it <nexa@server-nexa.polito.it>; Eleonora Colombo <avveleonoracolombo@gmail.com>; Antonio <antonio@piumarossa.it> Oggetto: Re: [nexa] Jovanotti e ChatGPT
Scusa Eleonora,
Il 17 Aprile 2025 19:20:19 UTC, Eleonora Colombo ha scritto:
Possiamo dire che il risultato di questo bel lavoro ci dice che l'AI lavora sicuramente bene ma che da sola non basta?
a ChatGPT sono state richieste, più volte, le 5 parole più frequenti in un certo corpus testuale.
La risposta corretta è (assumo che l'analisi di Antonio sia corretta) questa lista:
- mondo - amore - vita - cuore - tempo
E ChatGPT non ha (ovviamente) risposto tale lista nemmeno una volta.
Ovvero ha fornito risposte errate il 100% delle volte.
In che senso "l'AI lavora bene"?
Non mi viene in mente nessun mestiere in cui sbagliare il 100% delle volte è considerato "lavorare bene".
Giacomo