Buongiorno Giuseppe, Giuseppe Attardi <attardi@di.unipi.it> writes:
Questo dialogo è veramente frustrante.
Mi spiace di aver provocato questa reazione, non era mia intenzione frustrare ma solo ragionare (nella mia relativa ignoranza). A mia *parziale* scusante posso solo dire che le tue risposte in top-posting non facilitano chi desidera seguire la discussione ;-) Per "agganciare i pezzi": il messaggio originale che ha generato questo thread è quello del 19 Maggio di Antonio Casilli [1] a cui segue la tua risposta del 16 Luglio [2]. [...]
Però la campagna anti-app monta.
[...]
E chi mi assicura che quello sia il vero codice della app?
Non ritorno sulla questione delle App di contact tracing, in lista (e sui propri canali) ciascuno ha avuto modo di esprimere i propri giudizi nel merito delle singole questioni e gli archivi sono pubblici per chi avesse la pazienza di ripercorrere LE **lunghe** discussioni intercorse; su questo vorrei semplicemente dire che possiamo essere in pacifico disaccordo senza accuse reciproche di frustrare il confronto. [...]
In parallelo, segnali che esiste la possibilità di arricchire la app con tecniche di ML,
[...]
Vai ad assistere a u seminario di Jushua Bengio (ACM Turing Award), che illustra come si potrebbe usare ML per stimare l rischio di infezione, usando un semplice questionario, guarda caso simile a quello che suggeriva Pierluigi Lopalco. Ne parlo coi colleghi, lo annunci su una lista.
L'annuncio a cui ti riferisci è in questo messaggio, dal quale riporto l'estratto che mi pare significativo: https://server-nexa.polito.it/pipermail/nexa/2020-April/017348.html «Contact Tracing: Chi decide chi è un contatto a rischio, l'algoritmo o il medico?» --8<---------------cut here---------------start------------->8--- Joshua Bengio propone di fornire alla app di tracciamento la capacità di prevedere la probabilità a posteriori di essere stati infettati nelle due settimane precedenti. Per farlo propone riusare la tecnica del loopy belief propagation. In questo lavoro si dovrebbe formare una sinergia tra gli epidemiologi e gli informatici. I primi possono fornire indicazioni su quali aspetti considerare nelle previsioni e fornire annotazioni sui casi già analizzati. Le attuali tecniche funzionano bene solo se i dati sono sufficientemente ampi e quindi la raccolta deve essere grandemente facilitata e possibilmente automatizzata. Disclaimer: le tecniche citate sono approssimate e a rischio di errori. La loro efficacia dipende dal fatto di operare su grandi numeri e quindi di riuscire a individuare una larga percentuale di casi sospetti , che sarebbe comunque impossibile rintracciare manualmente. --8<---------------cut here---------------end--------------->8--- Credo sia interessante contestualizzarlo nell'intero thread è scaturito dal messaggio di Fabio Pietrosanti: https://server-nexa.polito.it/pipermail/nexa/2020-April/017343.html
Nessuno se ne cura. Bengio pubblica la sua soluzione.
Non proprio; quando Bengio pubblica la sua soluzione, Antonio Casilli ha commentato la soluzione pubblicata da Yoshua Bengio in modo piuttosto critico (scusate se mi ripeto): --8<---------------cut here---------------start------------->8--- In parole povere, un gruppo di scienziati ha progettato una simulazione multi-agenti piena di bias e di assunzioni legate alla loro percezione non-specialistica della realtà sociale, ha fatto annotare i dati così ottenuti da micro-lavoratori le cui condizioni di lavoro sono sconosciute, ha utilizzato il predittore così ottenuto all'interno della stessa simulazione di prima, assumendo un livello di adozione (60%) mai osservato in un contesto empirico. Perché dovremmo fidarci dell'app magica di Yoshua Bengio? --8<---------------cut here---------------end--------------->8--- Solo oggi, e me ne scuso, rileggendo di nuovo il tuo messaggio del 16 Lugio [2] ho intuito che la risposta a una delle questioni sollevate da Antonio c'è: --8<---------------cut here---------------start------------->8--- Bengio dice di aver utilizzato un “sintetizzatore” per produrre nuovi esempi di apprendimento, da aggiungere a quei pochi “inizialmente" a disposizione. [...] Non sono stati usati annotatori manuali per questi dati. --8<---------------cut here---------------end--------------->8--- OK, quindi i dati non sono stati annotati da micro-lavoratori le cui condizioni di lavoro sono sconosciute, l'annotazione è stata fatta da un "sintetizzatore" (non so cosa significhi, ma non è importante, non devo capirlo io). Rimane senza risposta la questione fondamentale posta da Antonio: Bengio ha progettato una simulazione multi-agenti piena di bias e legata alla loro percezione non-specialistica della realtà sociale? Io non ho le benché minime competenze per poter entrare nel merito della questione, ma da cittadino VOGLIO capire con quali criteri vengono progettati sistemi automatici di ausilio alle decisioni E vorrei che i metodi di selezione e annotazione dei dati e gli algoritmi di ML fossero apertamete discussi e criticati tra esperti. Io osservo.
Non va bene perché non è Open Source.
Faccio male a chiedere che tutto il software usato sia pubblicato come software libero?
Anche ste fosse OS non andrebbe bene se non spiega come funzione l’algoritmo.
Anche se spiega l’algoritmo, non va bene, perché dovrebbe sottoporlo a queste verifiche.
Sono sicuro che tu conosci già tutti i retroscena che hanno portato alla redazione di un documento come «The Machine Learning Reproducibility Checklist (v2.0, Apr.7 2020)» https://www.cs.mcgill.ca/~jpineau/ReproducibilityChecklist.pdf Per altri in lista che fossero interessati, credo che questo articolo di Wired fornisca un quadro abbastanza esaustivo - seppur con limiti giornalistici generalisti - della discussione in atto: https://web.archive.org/web/20191222161644/https://www.wired.com/story/artif... «Artificial Intelligence Confronts a 'Reproducibility' Crisis» --8<---------------cut here---------------start------------->8--- Machine-learning systems are black boxes even to the researchers that build them. That makes it hard for others to assess the results. --8<---------------cut here---------------end--------------->8--- Il dibattito sulla reproducibility crisis (anche) nel campo del machine learning è aperto su due fronti: 1. «machine learning is by far the worst environment I’ve ever found for collaborating and keeping track of changes.» [3] 2. «machine learning has become alchemy», tratto dal FAMIGERATO discorso di Ali Rahimi and Ben Recht alla premiazione "test of time award" al NIPS 2017 [4]; parole che hanno fatto arrabbiare LeCun [5] in persona definendole offensive e sbagliate Io non ho le benché minime competenze nemmeno per comprendere i problemi del fronte 2, faccio solo notare che quei problemi sono sollevati all'interno della comunità ML e non vengono da "casual trolls" che non sanno quello che dicono, si veda ad esempio Cynthia Rudin in «Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead» [6]. Sui problemi del fronte 1, invece, ho sufficienti competenze e qualche esperienza per dire, nel merito, che le cose a volte (spesso?) non sono sotto controllo come dovrebbero. É per quello, e solo per quello, che ritengo che tutti coloro che propongono soluzioni basate su ML dovrebbero adottare i criteri sintetizzati nella check list che ho citato. Spero che nessuno proponga che dobbiamo fidarci della «App magica» (come la definisce Antonio) perché a proporla è Bengio o qualsiasi altro nome autorevolissimo del settore.
Sapete che vi dico?
Che non parlerò più qui di app di exposure notification e vi lascio continuare a disquisire.
Mi dispiace. Saluti, Giovanni [...] [1] https://server-nexa.polito.it/pipermail/nexa/2020-May/017930.html «L'app magica di Yoshua Bengio» [2] https://server-nexa.polito.it/pipermail/nexa/2020-July/018306.html «nexa Digest, Vol 133, Issue 58» [3] https://web.archive.org/web/20200508102124/https://petewarden.com/2018/03/19... «The Machine Learning Reproducibility Crisis» [4] https://web.archive.org/web/20200710045211/http://www.argmin.net/2017/12/05/... «Reflections on Random Kitchen Sinks» e il follow up https://web.archive.org/web/20200705184307/http://www.argmin.net/2017/12/11/... «An Addendum to Alchemy» [5] https://syncedreview.com/2017/12/12/lecun-vs-rahimi-has-machine-learning-bec... «LeCun vs Rahimi: Has Machine Learning Become Alchemy?» [6] https://web.archive.org/web/20200615224634/https://www.nature.com/articles/s... -- Giovanni Biscuolo