Il giorno 26 ago 2020, alle ore 15:49, Antonio Vetro' <antonio.vetro@polito.it <mailto:antonio.vetro@polito.it>> ha scritto:
Alcune lezioni apprese dal recente pasticciaccio dell’algoritmo usato nelle scuole inglesi: https://www.prospectmagazine.co.uk/science-and-technology/a-level-students-e... <https://www.prospectmagazine.co.uk/science-and-technology/a-level-students-e...>
Inoltre, per gli amanti dei numeri, qui un’ottima ricostruzione di come ha lavorato l’algoritmo: https://rpubs.com/JeniT/ofqual-algorithm <https://rpubs.com/JeniT/ofqual-algorithm> E qui invece la versione sintetica e in “prosa” del Guardian: https://www.theguardian.com/education/2020/aug/21/ofqual-exams-algorithm-why... <https://www.theguardian.com/education/2020/aug/21/ofqual-exams-algorithm-why...>
Le lezioni sono ben espresse e penso che la maggior parte di noi le condivida in pieno: - trasparenza nell’uso degli algoritmi (o forse userei la parola criteri) - analisi accurata e validazione indipendente degli algoritmi - disponibilità di procedure di appello per via giudiziaria - possibilità di revisione di sistema (e non solo giudiziaria) MI sembra però importante aggiungere qualcosa. L’approccio usato dall’agenzia UK è stato sicuramente sbagliato, ma ha cercato di affrontare un problema reale, che resta non risolto. Invito a leggere l’articolo citato nel primo capoverso: https://www.theguardian.com/education/2020/aug/17/u-turn-exams-may-create-ne... <https://www.theguardian.com/education/2020/aug/17/u-turn-exams-may-create-ne...> Il punto si può riassumere notando che un sistema come quello britannico in cui ci sono tante università e vede una grande richiesta per l’accesso alle più prestigiose richiede elementi su cui basare la scelta (non sto qui né approvando né criticando tale sistema, semplicemente osservo) A questo punto, dopo la nuova decisione, la scelta si baserà sui voti attribuiti dalle singole scuole. L’approccio basato sull’ "algoritmo” ha fallito, ma cercava di limitare le conseguenze dei fenomeni di inflazione dei voti che si possono facilmente manifestare se il voto ha un valore assoluto e non verificabile. Ad esempio, la lettura di molti articoli sul tema degli A-level evidenziava il fatto che alcuni studenti sono stati penalizzati dall’abbassamento dei voti e altri forse ingiustamente premiati (soprattutto se provenienti dalle scuole di elite). E questo è probabilmente vero, ma quanti invece avevano voti alti più o meno regalati da scuole private? — la taratura serviva probabilmente ad affrontare questo problema. (In modo analogo, quanti di noi sono stati in commissioni di concorso e hanno dovuto attribuire punteggi sulla base di votazioni di laurea certamente non paragonabili?) Perché scrivo tutto questo: sui giornali leggiamo spesso, insieme a contributi che mitizzano la tecnologia, anche articoli che la demonizzano. Soprattutto la parola “algoritmo” viene usata con timore, se non peggio, come fosse il male assoluto. Noi informatici dovremmo trovare il modo di comunicare che i problemi esistono e vanno affrontati, ovviamente bene (quindi evitando le scatole nere e gli approcci miracolistici), ma spesso sono difficili e non possono essere semplicemente rimossi. Concludo con un paragone leggero (se lo vedesse, un collega olandese con cui ho collaborato nel Nucleo di Valutazione mi direbbe ancora una volta che noi italiani facciamo solo esempi sul calcio): Durante il lockdown, si parlò della possibilità di assegnare lo scudetto e definire le retrocessioni sulla base di un algoritmo: https://www.lastampa.it/sport/calcio/2020/05/31/news/calcio-un-algoritmo-per... <https://www.lastampa.it/sport/calcio/2020/05/31/news/calcio-un-algoritmo-per...> e i commenti al riguardo furono di ogni tipo. Poi si arrivò alla conclusione che in caso di non completamento del campionato lo scudetto non sarebbe stato assegnato, ma per le retrocessioni e le promozioni si decise che sarebbe stato adottato un algoritmo. https://www.goal.com/it/notizie/nuovo-regolamento-serie-a-assegnazione-scude... <https://www.goal.com/it/notizie/nuovo-regolamento-serie-a-assegnazione-scude...> Perché? Le uniche alternative sarebbero state: (a) utilizzare la classifica al momento dell’interruzione (ma con numero diverso di partite giocate, in totale o in casa e fuori); (b) congelare la composizione delle categoorie (serie A, serie B, …) In fondo la classifica si basa su un criterio semplice (punti) ed è considerata equa perché tutti hanno le stesse possibilità. Quando ciò non è vero, si deve trovare una soluzione (semplice o complessa), ma è necessario assumersene la responsabilità. Saluti, -Paolo Atzeni