On 30/03/23 21:02, Alberto Cammozzo via nexa wrote:
Questa mattina alla rassegna stampa di radio 3 un ascoltatore che si definiva un fisico dava come abituale nel suo ambiente l'uso di chatGPT nel 'supporto' alla generazione di paper scientifici.
Discutendo la cosa un amico mi ha segnalato questo apparentemente diffuso fenomeno dei 'paper mills':
<https://sciencebusiness.net/news/us-lawmakers-turn-attention-plague-fake-jou...> (lo riporto di seguito)
L'articolo e' datato ma non credo che nel frattempo i numeri dei paper fasulli sia calato. Forse con chatGPT i paper mills andranno in rovina: perché pagare?
Il fenomeno è connesso alla valutazione amministrativa della ricerca che ha imposto varie forme di "publish or perish" bibliometricamente assistite - le quali incoraggiano a scrivere articoli triti e fungibili, prima a mano e ora a macchina (https://hal.science/hal-03596867v1/file/2107.06751.pdf), come sa bene chi ha avuto la sfortuna di essere commissario ASN e ha tentato di leggere i testi. Il "publish or perish" si autogiustifica e si autoalimenta: Critico: - Ma non faremmo meglio a leggere i testi? - Valutatore: - No, sono troppi: meglio contare le pubblicazione e le citazioni! - (Ex?) studioso: - Perché dovrei affannarmi a scrivere pochi testi originali che non saranno mai letti, invece di produrne molti di più perfettamente fungibili? - Se si pretende di valutare la ricerca in modo centralizzato e industriale, come se gli articoli scientifici fossero paragonabili agli spilli di Adam Smith e non invece pezzi unici, si ottiene esattamente quello che si desidera: ottusissimi spilli prodotti in serie. Il danno è di tali dimensioni che se ne preoccupano perfino gli amministratori https://commentbfp.sp.unipi.it/francesca-di-donato-una-questione-di-qualita-... o almeno quelli fra loro in grado di rendersi conto che gli effetti delle armi di valutazione di massa - ammesso e non concesso che all'inizio misurassero qualcosa - sono governati dalla legge di Goodhart. I SALAMI scrittori si limitano ad amplificare una tendenza già in atto. A voler essere ottimisti, potrebbero anche convincere i valutatori a superare il criterio del publish or perish. Perfino proposte percepite come provocatorie come quella di questo anonimo indiano https://btfp.sp.unipi.it/it/2016/10/ex-oriente-lux/ ora meriterebbero di essere prese sul serio. A voler essere pessimisti, c'è però anche un esito alternativo, che illustro con un riformulazione del dialogo sopra: Critico: - Ma non faremmo meglio a leggere i testi? - Valutatore: - No, sono troppi. Ora è anche possibile produrli a macchina, citazioni comprese [*]: meglio usare le AI![**] - Ex-studioso: - Perché dovrei affannarmi a scrivere pochi testi originali che non saranno mai letti, invece di produrne molti di più perfettamente fungibili? - Il dialogo è fittizio, ma ho visto documenti italiani che accennano a proposte simili. Luciano Gallino (https://jacobinitalia.it/come-il-neoliberismo-arrivo-in-italia/), se fosse vivo, forse troverebbe questa soluzione tanto ideologica quanto quella degli economisti neoliberali che propongono più austerità come soluzione alla miseria provocata dall'austerità. Anche qui stiamo assistendo a un dibattito per alcuni aspetti ideologico e irto di contraddizioni, per il quale i SALAMI ora sono generatori stocastici di ciò che a noi pare letteratura (fiction) sintetica troppo complessi per essere controllati da chi li smercia - quando si tratta di trovare discutibili espedienti per esonerare i suoi produttori dalla responsabilità giuridica -, ora sono utilissimi informatori - quando si tratta di promuoverli. Nel nostro più ristretto ambito, riferendosi a testi ancora composti nel modo tradizionale, Lucio Russo (cito qui in fondo https://btfp.sp.unipi.it/it/2021/10/francesco-scotognella-la-comunita-scient... un brano di un suo libro che meriterebbe di essere letto per intero), criticando le armi di valutazione di massa bibliometriche sosteneva che esse trasformano il ricercatore-tipo da scettico organizzato a velocissimo conformista. Il matematico Alessandro Figà Talamanca, in un articolo oramai classico (https://www.roars.it/limpact-factor-nella-valutazione-della-ricerca-e-nello-...), mostrava, fra l'altro, a vantaggio di *chi* è stato costruito un indice venduto come impersonale come il JIF, che ha la potenzialità "goodahartiana" di "essere utilizzato per rendere la realtà conforme alla propaganda dell’ISI". La questione, SALAMI o non SALAMI, rimane la stessa: quanto, per noi, passa per letteratura (non-fiction) scientifica può rimanere scientifico se è prodotto e valutato con sistemi statistici, ma senza scienza (cioè senza sapere)? Anche questo dibattito è avvenuto più volte. A presto, MCP [*] Si veda il caso, nemmeno recente, di Ike Antcare: https://www.roars.it/primo-capitolo-e-il-suo-h-index/ [**] Sì, c'è un margine di errore che penalizza soprattutto le istituzioni più piccole (https://blogs.lse.ac.uk/impactofsocialsciences/2023/01/16/can-artificial-int...) ma se accettiamo l'uso di armi di valutazione di massa qualcuno potrebbe trattarlo come irrilevante. È già stato fatto con la bibliometria: la risposta tipica a chi ne criticava i danni - quali la credibilità conferita all'articolo di Wakefield sul nesso fra autismo e vaccino trivalente dalla pubblicazione su una rivista ad altissimo JIF - era liquidarli come "aneddotica": https://btfp.sp.unipi.it/it/2018/10/una-scienza-senza-qualita/