What the A-level debacle teaches us about algorithms and government
Alcune lezioni apprese dal recente pasticciaccio dell’algoritmo usato nelle scuole inglesi: https://www.prospectmagazine.co.uk/science-and-technology/a-level-students-e... <https://www.prospectmagazine.co.uk/science-and-technology/a-level-students-e...> Inoltre, per gli amanti dei numeri, qui un’ottima ricostruzione di come ha lavorato l’algoritmo: https://rpubs.com/JeniT/ofqual-algorithm <https://rpubs.com/JeniT/ofqual-algorithm> E qui invece la versione sintetica e in “prosa” del Guardian: https://www.theguardian.com/education/2020/aug/21/ofqual-exams-algorithm-why... <https://www.theguardian.com/education/2020/aug/21/ofqual-exams-algorithm-why...> av
Il giorno 26 ago 2020, alle ore 15:49, Antonio Vetro' <antonio.vetro@polito.it <mailto:antonio.vetro@polito.it>> ha scritto:
Alcune lezioni apprese dal recente pasticciaccio dell’algoritmo usato nelle scuole inglesi: https://www.prospectmagazine.co.uk/science-and-technology/a-level-students-e... <https://www.prospectmagazine.co.uk/science-and-technology/a-level-students-e...>
Inoltre, per gli amanti dei numeri, qui un’ottima ricostruzione di come ha lavorato l’algoritmo: https://rpubs.com/JeniT/ofqual-algorithm <https://rpubs.com/JeniT/ofqual-algorithm> E qui invece la versione sintetica e in “prosa” del Guardian: https://www.theguardian.com/education/2020/aug/21/ofqual-exams-algorithm-why... <https://www.theguardian.com/education/2020/aug/21/ofqual-exams-algorithm-why...>
Le lezioni sono ben espresse e penso che la maggior parte di noi le condivida in pieno: - trasparenza nell’uso degli algoritmi (o forse userei la parola criteri) - analisi accurata e validazione indipendente degli algoritmi - disponibilità di procedure di appello per via giudiziaria - possibilità di revisione di sistema (e non solo giudiziaria) MI sembra però importante aggiungere qualcosa. L’approccio usato dall’agenzia UK è stato sicuramente sbagliato, ma ha cercato di affrontare un problema reale, che resta non risolto. Invito a leggere l’articolo citato nel primo capoverso: https://www.theguardian.com/education/2020/aug/17/u-turn-exams-may-create-ne... <https://www.theguardian.com/education/2020/aug/17/u-turn-exams-may-create-ne...> Il punto si può riassumere notando che un sistema come quello britannico in cui ci sono tante università e vede una grande richiesta per l’accesso alle più prestigiose richiede elementi su cui basare la scelta (non sto qui né approvando né criticando tale sistema, semplicemente osservo) A questo punto, dopo la nuova decisione, la scelta si baserà sui voti attribuiti dalle singole scuole. L’approccio basato sull’ "algoritmo” ha fallito, ma cercava di limitare le conseguenze dei fenomeni di inflazione dei voti che si possono facilmente manifestare se il voto ha un valore assoluto e non verificabile. Ad esempio, la lettura di molti articoli sul tema degli A-level evidenziava il fatto che alcuni studenti sono stati penalizzati dall’abbassamento dei voti e altri forse ingiustamente premiati (soprattutto se provenienti dalle scuole di elite). E questo è probabilmente vero, ma quanti invece avevano voti alti più o meno regalati da scuole private? — la taratura serviva probabilmente ad affrontare questo problema. (In modo analogo, quanti di noi sono stati in commissioni di concorso e hanno dovuto attribuire punteggi sulla base di votazioni di laurea certamente non paragonabili?) Perché scrivo tutto questo: sui giornali leggiamo spesso, insieme a contributi che mitizzano la tecnologia, anche articoli che la demonizzano. Soprattutto la parola “algoritmo” viene usata con timore, se non peggio, come fosse il male assoluto. Noi informatici dovremmo trovare il modo di comunicare che i problemi esistono e vanno affrontati, ovviamente bene (quindi evitando le scatole nere e gli approcci miracolistici), ma spesso sono difficili e non possono essere semplicemente rimossi. Concludo con un paragone leggero (se lo vedesse, un collega olandese con cui ho collaborato nel Nucleo di Valutazione mi direbbe ancora una volta che noi italiani facciamo solo esempi sul calcio): Durante il lockdown, si parlò della possibilità di assegnare lo scudetto e definire le retrocessioni sulla base di un algoritmo: https://www.lastampa.it/sport/calcio/2020/05/31/news/calcio-un-algoritmo-per... <https://www.lastampa.it/sport/calcio/2020/05/31/news/calcio-un-algoritmo-per...> e i commenti al riguardo furono di ogni tipo. Poi si arrivò alla conclusione che in caso di non completamento del campionato lo scudetto non sarebbe stato assegnato, ma per le retrocessioni e le promozioni si decise che sarebbe stato adottato un algoritmo. https://www.goal.com/it/notizie/nuovo-regolamento-serie-a-assegnazione-scude... <https://www.goal.com/it/notizie/nuovo-regolamento-serie-a-assegnazione-scude...> Perché? Le uniche alternative sarebbero state: (a) utilizzare la classifica al momento dell’interruzione (ma con numero diverso di partite giocate, in totale o in casa e fuori); (b) congelare la composizione delle categoorie (serie A, serie B, …) In fondo la classifica si basa su un criterio semplice (punti) ed è considerata equa perché tutti hanno le stesse possibilità. Quando ciò non è vero, si deve trovare una soluzione (semplice o complessa), ma è necessario assumersene la responsabilità. Saluti, -Paolo Atzeni
Sono molto concorde nell’osservazione delle reazioni eccessive, in un senso o nell’altro, davanti ai casi di automazione di processi tramite software, che per molti motivi sono sempre più numerosi (bellissimi gli esempi sul calcio). Forse segno che il fenomeno in atto è ancora poco compreso/comprensibile. Aggiungo che, nel caso in questione, da quanto mi sembra di capire dalle letture fatte finora, e oltre alle “lezioni” del primo articolo segnalato, sembrerebbe che l’agenzia Ofquam abbia: - ignorato le preoccupazioni della Royal Statistical Society inviate già a inizio Aprile ->Si veda ad es. https://www.civilserviceworld.com/professions/article/ofqual-snubbed-offer-o... <https://www.civilserviceworld.com/professions/article/ofqual-snubbed-offer-o...> - commesso errori banali nella validazione del modello (es training set e test set corrispondenti) e nella controversa gestione di dati di qualità non uniforme -> Si veda ad es. https://thaines.com/post/alevels2020 <https://thaines.com/post/alevels2020> e la visualizzazione interattiva https://thaines.com/content/ALevels/vis/ <https://thaines.com/content/ALevels/vis/> - non abbia coinvolto nello sviluppo i principali stakeholder, pratica consigliata in situazioni complesse come questa Oltre all’imperizia dimostrata, questo caso secondo me è un buon esempio di un altro fenomeno che osservo a livello globale riguardo alla parola “algoritmo" : il “riduzionismo tecnologico” di molti decisori politici che credono che la risposta a problemi sociali o socio-tecnici possa essere puramente tecnica. Riduzionismo che se abbinato a una visione del software come “commodity” purtroppo ancora diffusa in ambiti decisionali, non solo non risolve i problemi iniziali, ma ne aggiunge altri, come l’articolo del Guardian linkato racconta benissimo. Un cordiale saluto, antonio
Il giorno 27 ago 2020, alle ore 12:45, Paolo Atzeni <paolo.atzeni@inf.uniroma3.it> ha scritto:
Il giorno 26 ago 2020, alle ore 15:49, Antonio Vetro' <antonio.vetro@polito.it <mailto:antonio.vetro@polito.it>> ha scritto:
Alcune lezioni apprese dal recente pasticciaccio dell’algoritmo usato nelle scuole inglesi: https://www.prospectmagazine.co.uk/science-and-technology/a-level-students-e... <https://www.prospectmagazine.co.uk/science-and-technology/a-level-students-e...>
Inoltre, per gli amanti dei numeri, qui un’ottima ricostruzione di come ha lavorato l’algoritmo: https://rpubs.com/JeniT/ofqual-algorithm <https://rpubs.com/JeniT/ofqual-algorithm> E qui invece la versione sintetica e in “prosa” del Guardian: https://www.theguardian.com/education/2020/aug/21/ofqual-exams-algorithm-why... <https://www.theguardian.com/education/2020/aug/21/ofqual-exams-algorithm-why...>
Le lezioni sono ben espresse e penso che la maggior parte di noi le condivida in pieno: - trasparenza nell’uso degli algoritmi (o forse userei la parola criteri) - analisi accurata e validazione indipendente degli algoritmi - disponibilità di procedure di appello per via giudiziaria - possibilità di revisione di sistema (e non solo giudiziaria)
MI sembra però importante aggiungere qualcosa.
L’approccio usato dall’agenzia UK è stato sicuramente sbagliato, ma ha cercato di affrontare un problema reale, che resta non risolto. Invito a leggere l’articolo citato nel primo capoverso: https://www.theguardian.com/education/2020/aug/17/u-turn-exams-may-create-ne... <https://www.theguardian.com/education/2020/aug/17/u-turn-exams-may-create-ne...> Il punto si può riassumere notando che un sistema come quello britannico in cui ci sono tante università e vede una grande richiesta per l’accesso alle più prestigiose richiede elementi su cui basare la scelta (non sto qui né approvando né criticando tale sistema, semplicemente osservo) A questo punto, dopo la nuova decisione, la scelta si baserà sui voti attribuiti dalle singole scuole. L’approccio basato sull’ "algoritmo” ha fallito, ma cercava di limitare le conseguenze dei fenomeni di inflazione dei voti che si possono facilmente manifestare se il voto ha un valore assoluto e non verificabile. Ad esempio, la lettura di molti articoli sul tema degli A-level evidenziava il fatto che alcuni studenti sono stati penalizzati dall’abbassamento dei voti e altri forse ingiustamente premiati (soprattutto se provenienti dalle scuole di elite). E questo è probabilmente vero, ma quanti invece avevano voti alti più o meno regalati da scuole private? — la taratura serviva probabilmente ad affrontare questo problema. (In modo analogo, quanti di noi sono stati in commissioni di concorso e hanno dovuto attribuire punteggi sulla base di votazioni di laurea certamente non paragonabili?)
Perché scrivo tutto questo: sui giornali leggiamo spesso, insieme a contributi che mitizzano la tecnologia, anche articoli che la demonizzano. Soprattutto la parola “algoritmo” viene usata con timore, se non peggio, come fosse il male assoluto. Noi informatici dovremmo trovare il modo di comunicare che i problemi esistono e vanno affrontati, ovviamente bene (quindi evitando le scatole nere e gli approcci miracolistici), ma spesso sono difficili e non possono essere semplicemente rimossi. Concludo con un paragone leggero (se lo vedesse, un collega olandese con cui ho collaborato nel Nucleo di Valutazione mi direbbe ancora una volta che noi italiani facciamo solo esempi sul calcio): Durante il lockdown, si parlò della possibilità di assegnare lo scudetto e definire le retrocessioni sulla base di un algoritmo: https://www.lastampa.it/sport/calcio/2020/05/31/news/calcio-un-algoritmo-per... <https://www.lastampa.it/sport/calcio/2020/05/31/news/calcio-un-algoritmo-per...> e i commenti al riguardo furono di ogni tipo. Poi si arrivò alla conclusione che in caso di non completamento del campionato lo scudetto non sarebbe stato assegnato, ma per le retrocessioni e le promozioni si decise che sarebbe stato adottato un algoritmo. https://www.goal.com/it/notizie/nuovo-regolamento-serie-a-assegnazione-scude... <https://www.goal.com/it/notizie/nuovo-regolamento-serie-a-assegnazione-scude...> Perché? Le uniche alternative sarebbero state: (a) utilizzare la classifica al momento dell’interruzione (ma con numero diverso di partite giocate, in totale o in casa e fuori); (b) congelare la composizione delle categoorie (serie A, serie B, …) In fondo la classifica si basa su un criterio semplice (punti) ed è considerata equa perché tutti hanno le stesse possibilità. Quando ciò non è vero, si deve trovare una soluzione (semplice o complessa), ma è necessario assumersene la responsabilità.
Saluti,
-Paolo Atzeni _______________________________________________ nexa mailing list nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa>
participants (2)
-
Antonio Vetro' -
Paolo Atzeni