Re: [nexa] nexa Digest, Vol 133, Issue 58
Ho assistito a un seminario di Bengio sul suo progetto e ne avevo riferito in ista il 9 aprile. Bengio dice di aver utilizzato un “sintetizzatore” per produrre nuovi esempi di apprendimento, da aggiungere a quei pochi “inizialmente" a disposizione. "the ML model is initially trained with synthetic data to a degree that provides a moderately effective risk predictor, the model requires training on real data in order to yield a risk predictor with the level of accuracy needed to reduce the spread of Covid-19" È una tecnica consolidata di ML ampliare i dati annotati gold con dati prodotti in modo artificiale, anche se imprecisi. Una delle tecniche più comuni è di aggiungere i dati predetti da un primo modello per costruire il successivo. Non sono stati usati annotatori manuali per questi dati. Bengio spiega che con la app in funzione, sarà possible ottenere ulteriori dati reali, chiedendo a un certo numero di utilizzatori volontari della app di fornire informazioni ulteriori, rispetto allo stretto necessario per il tracing, al fine di migliorare l’accuratezza delle previsione diella app. "While the information collected for the purpose of training the machine learning model is necessary, it is only necessary that a certain quantity of such information be collected. For any given user, it is not necessary that information be collected from that user. As such, in recognition of the privacy preserving nature of the application, the application allows individuals to opt-in to allowing COVI Canada to access and use this information notwithstanding its necessity. The potentially sensitive analytics data obtained here is brought under this opt-in consent for similar reasons. As necessary as it is to provide the best possible recommendations, we do not need to track the correlations between recommendations made and risk levels over time for each and every user in order to assess the efficacy of the recommendations made. Naturally, we hope that many Canadians will choose to volunteer their data so that we can build better risk prediction and better recommendations into the app, and create better epidemiological models to guide public policy." — Beppe
On 19 May 2020, at 21:39, nexa-request@server-nexa.polito.it wrote:
Date: Tue, 19 May 2020 12:44:37 +0200 (CEST) From: Antonio Casilli <antonio.casilli@telecom-paris.fr <mailto:antonio.casilli@telecom-paris.fr>> To: nexa <nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it>> Subject: [nexa] L'app magica di Yoshua Bengio Message-ID: <1627638310.27764937.1589885077844.JavaMail.zimbra@enst.fr <mailto:1627638310.27764937.1589885077844.JavaMail.zimbra@enst.fr>> Content-Type: text/plain; charset=utf-8
Notizia dal Québec: Yoshua Bengio ha finalmente presentato la sua applicazione di contact tracing che è doppiamente magica, perché è anonima e in più c'è anche l'IA.
"COVI utilizza l'intelligenza artificiale per dare ai cittadini la possibilità di proteggersi, limitare la diffusione del virus e facilitare l'allentamento sicuro e informato delle misure di distanziatione sociale da parte delle autorità sanitarie". https://www.indexsante.ca/nouvelles/845/yoshua-bengio-et-ses-collaborateurs-... <https://www.indexsante.ca/nouvelles/845/yoshua-bengio-et-ses-collaborateurs-...>
Il grosso dell'annuncio concerne la pubblicazione di un grosso documento LaTeX, ottimisticamente definito "libro bianco" che spiega come funziona l'applicazione. https://mila.quebec/wp-content/uploads/2020/05/COVI-whitepaper-V1-1.pdf <https://mila.quebec/wp-content/uploads/2020/05/COVI-whitepaper-V1-1.pdf>
La cosa interessante è che, a differenza della quasi totalità dei documenti di questo tipo, questo non è stato fatto da criptografi, quindi non parla solo ed esclusivamente di anonimizzazione e privacy, come se i dati smettessero di esistere una volta raccolti. Qui c'è un minimo di approfondimento sui modelli epidemiologici usati per valutare lo score di rischio delle persone tracciate.
Ed è proprio qui che ho incontrato un po' di difficoltà e se qualcuno della lista potesse aiutarmi a capire meglio la parte di ABM/ML, gliene sarei grato.
"We have trained a machine learning predictor in a supervised way using data generated from the simulator, using a simple contact tracing heuristic to generate the messages. To obtain preliminary results measuring the impact of using machine learning to predict contagiousness and obtain risk level messages, we have then used that predictor inside the simulator to influence the behavior of the agents according to four levels of recommendations associated with different thresholds of risk levels. This has allowed us to simulate (with different random seeds than those used for generating training data), how the ML predictor would impact the reproduction number Rt of the disease and the growth of infections in a small pilot population of 1000 (it is indexed by time t because it can evolve over time, depending on the recommendations received by citizens from public health authorities and their app). The simulation was performed with the assumption that 60% of the population was using the app and users at the strongest level of recommendation (quarantine level) got tested. "
In parole povere, un gruppo di scienziati ha progettato una simulazione multi-agenti piena di bias e di assunzioni legate alla loro percezione non-specialistica della realtà sociale, ha fatto annotare i dati così ottenuti da micro-lavoratori le cui condizioni di lavoro sono sconosciute, ha utilizzato il predittore così ottenuto all'interno della stessa simulazione di prima, assumendo un livello di adozione (60%) mai osservato in un contesto empirico. Perché dovremmo fidarci dell'app magica di Yoshua Bengio?
Cheers,
---a
-- Antonio A. Casilli Professor, Telecom Paris, Institut Polytechnique de Paris Member, Interdisciplinary Institute for Innovation (i3 UMR 9217 CNRS) Associate Member, LACI-IIAC (EHESS) Faculty Fellow, Nexa Center for Internet & Society
*We respect your right to disconnect. This email send time is due to my own workflow efficiency. You are in no obligation to take action or reply to it outside your office hours.*
saro' gnucco, ma non capisco quali analisi con ML siano necessarie per sapere se x ed y sono stati vicini dopo una certa data... ciao, s. On 16/07/2020 17:08, Giuseppe Attardi wrote:
Ho assistito a un seminario di Bengio sul suo progetto e ne avevo riferito in ista il 9 aprile.
Bengio dice di aver utilizzato un “sintetizzatore” per produrre nuovi esempi di apprendimento, da aggiungere a quei pochi “inizialmente" a disposizione.
"the ML model is initially trained with synthetic data to a degree that provides a moderately effective risk predictor, the model requires training on real data in order to yield a risk predictor with the level of accuracy needed to reduce the spread of Covid-19"
È una tecnica consolidata di ML ampliare i dati annotati gold con dati prodotti in modo artificiale, anche se imprecisi. Una delle tecniche più comuni è di aggiungere i dati predetti da un primo modello per costruire il successivo. Non sono stati usati annotatori manuali per questi dati.
Bengio spiega che con la app in funzione, sarà possible ottenere ulteriori dati reali, chiedendo a un certo numero di utilizzatori volontari della app di fornire informazioni ulteriori, rispetto allo stretto necessario per il tracing, al fine di migliorare l’accuratezza delle previsione diella app.
"While the information collected for the purpose of training the machine learning model is necessary, it is only necessary that a certain quantity of such information be collected. For any given user, it is not necessary that information be collected from that user. As such, in recognition of the privacy preserving nature of the application, the application allows individuals to opt-in to allowing COVI Canada to access and use this information notwithstanding its necessity. The potentially sensitive analytics data obtained here is brought under this opt-in consent for similar reasons. As necessary as it is to provide the best possible recommendations, we do not need to track the correlations between recommendations made and risk levels over time for each and every user in order to assess the efficacy of the recommendations made.
Naturally, we hope that many Canadians will choose to volunteer their data so that we can build better risk prediction and better recommendations into the app, and create better epidemiological models to guide public policy."
— Beppe
On 19 May 2020, at 21:39, nexa-request@server-nexa.polito.it <mailto:nexa-request@server-nexa.polito.it> wrote:
Date: Tue, 19 May 2020 12:44:37 +0200 (CEST) From: Antonio Casilli <antonio.casilli@telecom-paris.fr <mailto:antonio.casilli@telecom-paris.fr>> To: nexa <nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it>> Subject: [nexa] L'app magica di Yoshua Bengio Message-ID: <1627638310.27764937.1589885077844.JavaMail.zimbra@enst.fr <mailto:1627638310.27764937.1589885077844.JavaMail.zimbra@enst.fr>> Content-Type: text/plain; charset=utf-8
Notizia dal Québec: Yoshua Bengio ha finalmente presentato la sua applicazione di contact tracing che è doppiamente magica, perché è anonima e in più c'è anche l'IA.
"COVI utilizza l'intelligenza artificiale per dare ai cittadini la possibilità di proteggersi, limitare la diffusione del virus e facilitare l'allentamento sicuro e informato delle misure di distanziatione sociale da parte delle autorità sanitarie". https://www.indexsante.ca/nouvelles/845/yoshua-bengio-et-ses-collaborateurs-...
Il grosso dell'annuncio concerne la pubblicazione di un grosso documento LaTeX, ottimisticamente definito "libro bianco" che spiega come funziona l'applicazione. https://mila.quebec/wp-content/uploads/2020/05/COVI-whitepaper-V1-1.pdf
La cosa interessante è che, a differenza della quasi totalità dei documenti di questo tipo, questo non è stato fatto da criptografi, quindi non parla solo ed esclusivamente di anonimizzazione e privacy, come se i dati smettessero di esistere una volta raccolti. Qui c'è un minimo di approfondimento sui modelli epidemiologici usati per valutare lo score di rischio delle persone tracciate.
Ed è proprio qui che ho incontrato un po' di difficoltà e se qualcuno della lista potesse aiutarmi a capire meglio la parte di ABM/ML, gliene sarei grato.
"We have trained a machine learning predictor in a supervised way using data generated from the simulator, using a simple contact tracing heuristic to generate the messages. To obtain preliminary results measuring the impact of using machine learning to predict contagiousness and obtain risk level messages, we have then used that predictor inside the simulator to influence the behavior of the agents according to four levels of recommendations associated with different thresholds of risk levels. This has allowed us to simulate (with different random seeds than those used for generating training data), how the ML predictor would impact the reproduction number Rt of the disease and the growth of infections in a small pilot population of 1000 (it is indexed by time t because it can evolve over time, depending on the recommendations received by citizens from public health authorities and their app). The simulation was performed with the assumption that 60% of the population was using the app and users at the strongest level of recommendation (quarantine level) got tested. "
In parole povere, un gruppo di scienziati ha progettato una simulazione multi-agenti piena di bias e di assunzioni legate alla loro percezione non-specialistica della realtà sociale, ha fatto annotare i dati così ottenuti da micro-lavoratori le cui condizioni di lavoro sono sconosciute, ha utilizzato il predittore così ottenuto all'interno della stessa simulazione di prima, assumendo un livello di adozione (60%) mai osservato in un contesto empirico. Perché dovremmo fidarci dell'app magica di Yoshua Bengio?
Cheers,
---a
-- Antonio A. Casilli Professor, Telecom Paris, Institut Polytechnique de Paris Member, Interdisciplinary Institute for Innovation (i3 UMR 9217 CNRS) Associate Member, LACI-IIAC (EHESS) Faculty Fellow, Nexa Center for Internet & Society
*We respect your right to disconnect. This email send time is due to my own workflow efficiency. You are in no obligation to take action or reply to it outside your office hours.*
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
-- reserve your meeting with me at https://cal.quintarelli.it
On 16 Jul 2020, at 17:14, Stefano Quintarelli <stefano@quintarelli.it> wrote:
saro' gnucco, ma non capisco quali analisi con ML siano necessarie per sapere se x ed y sono stati vicini dopo una certa data...
L'obiettivo è effettuare una previsione del rischio: "Upon installation or at any time thereafter, users may grant consent on an opt-in basis (and may subsequently opt-out, at any time) to send certain information at scheduled intervals to the COVI ML server for the purposes of training ML and epidemiological models and sharing aggregated data with the government and other third parties. Users will be asked to consent to the collection and use of the following information, which will be sent to COVI researchers in pseudonymized form: • Age (user-reported) • Sex (user-reported) • Health conditions (user-reported) • Active symptoms (user-reported) • Ongoing relevant behaviour (user-reported) • Coarse geographical location (measured by GPS) • Movement statistics (measured by GPS) • Certified positive infection status (if entered, pursuant to the consent provided under • Analytics information (use of application features that may reveal sensitive information about the user) This data, apart from the analytics information, will be used for improving the risk prediction and epidemiological models. It will also form the basis for generating aggregated, population-level data to be shared with government actors and other third parties, solely for purposes relating to efforts to understand or combat Covid-19. The analytics information will allow COVI Canada to assess such matters as the efficacy of recommendations with respect to lowering risk levels.” — Beppe
ciao, s.
On 16/07/2020 17:08, Giuseppe Attardi wrote:
Ho assistito a un seminario di Bengio sul suo progetto e ne avevo riferito in ista il 9 aprile. Bengio dice di aver utilizzato un “sintetizzatore” per produrre nuovi esempi di apprendimento, da aggiungere a quei pochi “inizialmente" a disposizione. "the ML model is initially trained with synthetic data to a degree that provides a moderately effective risk predictor, the model requires training on real data in order to yield a risk predictor with the level of accuracy needed to reduce the spread of Covid-19" È una tecnica consolidata di ML ampliare i dati annotati gold con dati prodotti in modo artificiale, anche se imprecisi. Una delle tecniche più comuni è di aggiungere i dati predetti da un primo modello per costruire il successivo. Non sono stati usati annotatori manuali per questi dati. Bengio spiega che con la app in funzione, sarà possible ottenere ulteriori dati reali, chiedendo a un certo numero di utilizzatori volontari della app di fornire informazioni ulteriori, rispetto allo stretto necessario per il tracing, al fine di migliorare l’accuratezza delle previsione diella app. "While the information collected for the purpose of training the machine learning model is necessary, it is only necessary that a certain quantity of such information be collected. For any given user, it is not necessary that information be collected from that user. As such, in recognition of the privacy preserving nature of the application, the application allows individuals to opt-in to allowing COVI Canada to access and use this information notwithstanding its necessity. The potentially sensitive analytics data obtained here is brought under this opt-in consent for similar reasons. As necessary as it is to provide the best possible recommendations, we do not need to track the correlations between recommendations made and risk levels over time for each and every user in order to assess the efficacy of the recommendations made. Naturally, we hope that many Canadians will choose to volunteer their data so that we can build better risk prediction and better recommendations into the app, and create better epidemiological models to guide public policy." — Beppe
On 19 May 2020, at 21:39, nexa-request@server-nexa.polito.it <mailto:nexa-request@server-nexa.polito.it> <mailto:nexa-request@server-nexa.polito.it <mailto:nexa-request@server-nexa.polito.it>> wrote:
Date: Tue, 19 May 2020 12:44:37 +0200 (CEST) From: Antonio Casilli <antonio.casilli@telecom-paris.fr <mailto:antonio.casilli@telecom-paris.fr> <mailto:antonio.casilli@telecom-paris.fr <mailto:antonio.casilli@telecom-paris.fr>>> To: nexa <nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> <mailto:nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it>>> Subject: [nexa] L'app magica di Yoshua Bengio Message-ID: <1627638310.27764937.1589885077844.JavaMail.zimbra@enst.fr <mailto:1627638310.27764937.1589885077844.JavaMail.zimbra@enst.fr> <mailto:1627638310.27764937.1589885077844.JavaMail.zimbra@enst.fr <mailto:1627638310.27764937.1589885077844.JavaMail.zimbra@enst.fr>>> Content-Type: text/plain; charset=utf-8
Notizia dal Québec: Yoshua Bengio ha finalmente presentato la sua applicazione di contact tracing che è doppiamente magica, perché è anonima e in più c'è anche l'IA.
"COVI utilizza l'intelligenza artificiale per dare ai cittadini la possibilità di proteggersi, limitare la diffusione del virus e facilitare l'allentamento sicuro e informato delle misure di distanziatione sociale da parte delle autorità sanitarie". https://www.indexsante.ca/nouvelles/845/yoshua-bengio-et-ses-collaborateurs-...
Il grosso dell'annuncio concerne la pubblicazione di un grosso documento LaTeX, ottimisticamente definito "libro bianco" che spiega come funziona l'applicazione. https://mila.quebec/wp-content/uploads/2020/05/COVI-whitepaper-V1-1.pdf
La cosa interessante è che, a differenza della quasi totalità dei documenti di questo tipo, questo non è stato fatto da criptografi, quindi non parla solo ed esclusivamente di anonimizzazione e privacy, come se i dati smettessero di esistere una volta raccolti. Qui c'è un minimo di approfondimento sui modelli epidemiologici usati per valutare lo score di rischio delle persone tracciate.
Ed è proprio qui che ho incontrato un po' di difficoltà e se qualcuno della lista potesse aiutarmi a capire meglio la parte di ABM/ML, gliene sarei grato.
"We have trained a machine learning predictor in a supervised way using data generated from the simulator, using a simple contact tracing heuristic to generate the messages. To obtain preliminary results measuring the impact of using machine learning to predict contagiousness and obtain risk level messages, we have then used that predictor inside the simulator to influence the behavior of the agents according to four levels of recommendations associated with different thresholds of risk levels. This has allowed us to simulate (with different random seeds than those used for generating training data), how the ML predictor would impact the reproduction number Rt of the disease and the growth of infections in a small pilot population of 1000 (it is indexed by time t because it can evolve over time, depending on the recommendations received by citizens from public health authorities and their app). The simulation was performed with the assumption that 60% of the population was using the app and users at the strongest level of recommendation (quarantine level) got tested. "
In parole povere, un gruppo di scienziati ha progettato una simulazione multi-agenti piena di bias e di assunzioni legate alla loro percezione non-specialistica della realtà sociale, ha fatto annotare i dati così ottenuti da micro-lavoratori le cui condizioni di lavoro sono sconosciute, ha utilizzato il predittore così ottenuto all'interno della stessa simulazione di prima, assumendo un livello di adozione (60%) mai osservato in un contesto empirico. Perché dovremmo fidarci dell'app magica di Yoshua Bengio?
Cheers,
---a
-- Antonio A. Casilli Professor, Telecom Paris, Institut Polytechnique de Paris Member, Interdisciplinary Institute for Innovation (i3 UMR 9217 CNRS) Associate Member, LACI-IIAC (EHESS) Faculty Fellow, Nexa Center for Internet & Society
*We respect your right to disconnect. This email send time is due to my own workflow efficiency. You are in no obligation to take action or reply to it outside your office hours.*
nexa mailing list nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa <https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa>
-- reserve your meeting with me at https://cal.quintarelli.it <https://cal.quintarelli.it/>
ah, non e' contact tracing... ok, tutto chiaro. On 16/07/2020 17:22, Giuseppe Attardi wrote:
On 16 Jul 2020, at 17:14, Stefano Quintarelli <stefano@quintarelli.it <mailto:stefano@quintarelli.it>> wrote:
saro' gnucco, ma non capisco quali analisi con ML siano necessarie per sapere se x ed y sono stati vicini dopo una certa data...
L'obiettivo è effettuare una previsione del rischio:
"Upon installation or at any time thereafter, users may grant consent on an opt-in basis (and may subsequently opt-out, at any time) to send certain information at scheduled intervals to the COVI ML server for the purposes of training ML and epidemiological models and sharing aggregated data with the government and other third parties. Users will be asked to consent to the collection and use of the following information, which will be sent to COVI researchers in pseudonymized form:
• Age (user-reported) • Sex (user-reported) • Health conditions (user-reported) • Active symptoms (user-reported) • Ongoing relevant behaviour (user-reported) • Coarse geographical location (measured by GPS) • Movement statistics (measured by GPS) • Certified positive infection status (if entered, pursuant to the consent provided under • Analytics information (use of application features that may reveal sensitive information about the user)
This data, apart from the analytics information, will be used for improving the risk prediction and epidemiological models. It will also form the basis for generating aggregated, population-level data to be shared with government actors and other third parties, solely for purposes relating to efforts to understand or combat Covid-19. The analytics information will allow COVI Canada to assess such matters as the efficacy of recommendations with respect to lowering risk levels.”
— Beppe
ciao, s.
On 16/07/2020 17:08, Giuseppe Attardi wrote:
Ho assistito a un seminario di Bengio sul suo progetto e ne avevo riferito in ista il 9 aprile. Bengio dice di aver utilizzato un “sintetizzatore” per produrre nuovi esempi di apprendimento, da aggiungere a quei pochi “inizialmente" a disposizione. "the ML model is initially trained with synthetic data to a degree that provides a moderately effective risk predictor, the model requires training on real data in order to yield a risk predictor with the level of accuracy needed to reduce the spread of Covid-19" È una tecnica consolidata di ML ampliare i dati annotati gold con dati prodotti in modo artificiale, anche se imprecisi. Una delle tecniche più comuni è di aggiungere i dati predetti da un primo modello per costruire il successivo. Non sono stati usati annotatori manuali per questi dati. Bengio spiega che con la app in funzione, sarà possible ottenere ulteriori dati reali, chiedendo a un certo numero di utilizzatori volontari della app di fornire informazioni ulteriori, rispetto allo stretto necessario per il tracing, al fine di migliorare l’accuratezza delle previsione diella app. "While the information collected for the purpose of training the machine learning model is necessary, it is only necessary that a certain quantity of such information be collected. For any given user, it is not necessary that information be collected from that user. As such, in recognition of the privacy preserving nature of the application, the application allows individuals to opt-in to allowing COVI Canada to access and use this information notwithstanding its necessity. The potentially sensitive analytics data obtained here is brought under this opt-in consent for similar reasons. As necessary as it is to provide the best possible recommendations, we do not need to track the correlations between recommendations made and risk levels over time for each and every user in order to assess the efficacy of the recommendations made. Naturally, we hope that many Canadians will choose to volunteer their data so that we can build better risk prediction and better recommendations into the app, and create better epidemiological models to guide public policy." — Beppe
On 19 May 2020, at 21:39,nexa-request@server-nexa.polito.it <mailto:nexa-request@server-nexa.polito.it><mailto:nexa-request@server-nexa.polito.it> wrote:
Date: Tue, 19 May 2020 12:44:37 +0200 (CEST) From: Antonio Casilli <antonio.casilli@telecom-paris.fr <mailto:antonio.casilli@telecom-paris.fr><mailto:antonio.casilli@telecom-paris.fr>> To: nexa <nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it><mailto:nexa@server-nexa.polito.it>> Subject: [nexa] L'app magica di Yoshua Bengio Message-ID: <1627638310.27764937.1589885077844.JavaMail.zimbra@enst.fr <mailto:1627638310.27764937.1589885077844.JavaMail.zimbra@enst.fr><mailto:1627638310.27764937.1589885077844.JavaMail.zimbra@enst.fr>> Content-Type: text/plain; charset=utf-8
Notizia dal Québec: Yoshua Bengio ha finalmente presentato la sua applicazione di contact tracing che è doppiamente magica, perché è anonima e in più c'è anche l'IA.
"COVI utilizza l'intelligenza artificiale per dare ai cittadini la possibilità di proteggersi, limitare la diffusione del virus e facilitare l'allentamento sicuro e informato delle misure di distanziatione sociale da parte delle autorità sanitarie". https://www.indexsante.ca/nouvelles/845/yoshua-bengio-et-ses-collaborateurs-...
Il grosso dell'annuncio concerne la pubblicazione di un grosso documento LaTeX, ottimisticamente definito "libro bianco" che spiega come funziona l'applicazione. https://mila.quebec/wp-content/uploads/2020/05/COVI-whitepaper-V1-1.pdf
La cosa interessante è che, a differenza della quasi totalità dei documenti di questo tipo, questo non è stato fatto da criptografi, quindi non parla solo ed esclusivamente di anonimizzazione e privacy, come se i dati smettessero di esistere una volta raccolti. Qui c'è un minimo di approfondimento sui modelli epidemiologici usati per valutare lo score di rischio delle persone tracciate.
Ed è proprio qui che ho incontrato un po' di difficoltà e se qualcuno della lista potesse aiutarmi a capire meglio la parte di ABM/ML, gliene sarei grato.
"We have trained a machine learning predictor in a supervised way using data generated from the simulator, using a simple contact tracing heuristic to generate the messages. To obtain preliminary results measuring the impact of using machine learning to predict contagiousness and obtain risk level messages, we have then used that predictor inside the simulator to influence the behavior of the agents according to four levels of recommendations associated with different thresholds of risk levels. This has allowed us to simulate (with different random seeds than those used for generating training data), how the ML predictor would impact the reproduction number Rt of the disease and the growth of infections in a small pilot population of 1000 (it is indexed by time t because it can evolve over time, depending on the recommendations received by citizens from public health authorities and their app). The simulation was performed with the assumption that 60% of the population was using the app and users at the strongest level of recommendation (quarantine level) got tested. "
In parole povere, un gruppo di scienziati ha progettato una simulazione multi-agenti piena di bias e di assunzioni legate alla loro percezione non-specialistica della realtà sociale, ha fatto annotare i dati così ottenuti da micro-lavoratori le cui condizioni di lavoro sono sconosciute, ha utilizzato il predittore così ottenuto all'interno della stessa simulazione di prima, assumendo un livello di adozione (60%) mai osservato in un contesto empirico. Perché dovremmo fidarci dell'app magica di Yoshua Bengio?
Cheers,
---a
-- Antonio A. Casilli Professor, Telecom Paris, Institut Polytechnique de Paris Member, Interdisciplinary Institute for Innovation (i3 UMR 9217 CNRS) Associate Member, LACI-IIAC (EHESS) Faculty Fellow, Nexa Center for Internet & Society
*We respect your right to disconnect. This email send time is due to my own workflow efficiency. You are in no obligation to take action or reply to it outside your office hours.*
nexa mailing list nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
-- reserve your meeting with me athttps://cal.quintarelli.it <https://cal.quintarelli.it/>
-- reserve your meeting with me at https://cal.quintarelli.it
(Nota: ho aggiunto il rif. al messaggio originale di Antonio Casilli per cercare di ricostruire il thread) Buongiorno Giuseppe, grazie per le informazioni, per completezza ricordo che il documento citato da Antonio Casilli è questo: https://mila.quebec/wp-content/uploads/2020/05/COVI-whitepaper-V1-1.pdf Giuseppe Attardi <attardi@di.unipi.it> writes: [...]
L'obiettivo è effettuare una previsione del rischio:
"Upon installation or at any time thereafter, users may grant consent on an opt-in basis (and may subsequently opt-out, at any time) to send certain information at scheduled intervals to the COVI ML server
Considerata la delicatezza del compito assegnato a quel server, spero che in questa lista tutti convengano sul fatto che finché non è pubblicato il codice sorgente dell'algoritmo di ML (oltre ai dati usati per l'apprendimento) è impossibile valutare la bontà delle previsioni di rischio. Per adesso il codice non è disponibile, nonostante il progetto sia stato presentato da mesi: https://covicanada.org/faq/ --8<---------------cut here---------------start------------->8--- Yes. All our codes will be open for scrutiny and improvement. And, as part of our not-for-profit mission, we want our work to be available to other countries to help in their fight against Covid-19. The codes will be distributed on github. If you are interested in using COVI please contact us at code@covicanada.org for more information. --8<---------------cut here---------------end--------------->8--- Sarebbe interessante avere un software da analizzare anche perché di dati sui pazienti ad oggi ne sono stati raccolti molti, anche attreverso specifici studi territoriali (es. Vo Euganeo et. al in Italia) sarebbe interessante poter verificate retrospettivamente quali livelli di rischio sarebbero associati a un cittadino di Nembro piuttosto che a uno di Messina o di Francoforte... o sto solo facendo confusione? [...] ...però Antonio Casilli il 19 Maggio scorso ha scritto questo sul metodo usato per il training: [...] (cito dalla email di Antonio)
In parole povere, un gruppo di scienziati ha progettato una simulazione multi-agenti piena di bias e di assunzioni legate alla loro percezione non-specialistica della realtà sociale, ha fatto annotare i dati così ottenuti da micro-lavoratori le cui condizioni di lavoro sono sconosciute, ha utilizzato il predittore così ottenuto all'interno della stessa simulazione di prima, assumendo un livello di adozione (60%) mai osservato in un contesto empirico. Perché dovremmo fidarci dell'app magica di Yoshua Bengio?
Io non ho avuto modo di leggere il paper: Antonio Casilli esagera nella sua caratterizzazione del lavoro (bias, annotazione dati) o ha centrato il punto? Io ho trovato solo questa analisi del progetto COVI Canada: https://observatoire-ia.ulaval.ca/analyse-obvia-covi/ ...non conosco il francese (anche se intuisco) ma mi pare non si parli minimamente del metodo di training dell'algoritmo AI [...] Saluti, Giovanni. -- Giovanni Biscuolo
Buongionro, Giovanni Biscuolo <giovanni@biscuolo.net> writes: [...]
Per adesso il codice non è disponibile, nonostante il progetto sia stato presentato da mesi:
https://covicanada.org/faq/ --8<---------------cut here---------------start------------->8---
Yes. All our codes will be open for scrutiny and improvement. And, as part of our not-for-profit mission, we want our work to be available to other countries to help in their fight against Covid-19. The codes will be distributed on github. If you are interested in using COVI please contact us at code@covicanada.org for more information.
--8<---------------cut here---------------end--------------->8---
Aggiungo che a mio modesto avviso sarebbe anche opportuno che il progetto includesse le informazioni indicate in: «The Machine Learning Reproducibility Checklist (v2.0, Apr.7 2020)» https://www.cs.mcgill.ca/~jpineau/ReproducibilityChecklist.pdf radatta da Joelle Pineau [1] Oppure una «Model card» https://arxiv.org/abs/1810.03993 ...insomma qualcosa che permetta ai loro colleghi di replicare i risultati della ricerca (magari senza doversi svenare con le risorse). Saluti, Giovanni [...] [1] https://www.cs.mcgill.ca/~jpineau/ -- Giovanni Biscuolo
Questo dialogo è veramente frustrante. Qualcuno si offre con buona volontà per dare una mano ad affrontare un problema serissimo, per quel che può, per quel che sa. Essendo un informatico, consulta virologi, legge e valuta esperienze altrui. Emerge il consenso che la cosa da fare è contenere la diffusione individuando il più rapidamente possibile gli infetti e coloro che possano essere stati da loro infettati. Per farlo occorre rintracciarli uno per uno e da loro risalire a possibili infetti. Cosa può fare l’informatica per questo, visto che fare tutto a mano è impossibile? 1. Dotare i medici di strumenti per risalire dai contagiati ai possibili infetti sembrerebbe utile. 2. Dotare un folto numero di paramedici di strumenti per coordinarsi nel rintracciare i possibili infetti. Che strumenti informatici sono utilizzabili? - geolocalizzare tutti i cittadini con GPS (come propone SafePath del Medialab): neanche per sogno - tracciare tutti gli spostamenti tramite le celle telefoniche (invasivo e inaccurato) - usare BLE per rilevare contatti a breve distanza (forse, ci hanno provato a Singapore) Un collega di Singapore che lavora nello stesso istituto in cui è stata sviluppata la app dice che la stanno usando in pochi, nemmeno lui la usa. Suggerisce per avere dettagli o accesso al codice di passare attraverso l’ambasciata italiana. L’attaché scientifico risponde che non è in grado di aiutare, ma che comunque il codice verrà rilasciato a breve (cosa che già si sapeva). Scarichi la app per provarla e la prima cosa che chiede è un numero di cellulare di Singapore: no way. Nel frattempo circolano voci che il governo stia discutendo con gli operatori telefonici per avere i loro dati. È una follia. Allora, quando esce la Fast Call per idee per affrontare la pandemia, sottometti una proposta per una soluzione di contact tracing con uso di BLE, in modo che ci sia almeno una soluzione di quel tipo da valutare tra le altre. Con una azienda locale ci impegnano a realizzarla e renderla disponibile in 2 settimane. Il virologo più celebre della tua università, Pierluigi Lopalco, suggerisce di mettere a disposizione una app per somministrare un breve questionario alle persone che temono di essere state infettate. In più si propone un software di coordinamento per le equipe di volontari incaricati di contattare i sospetti, uno per uno. Nel frattempo, per essere pronto a un’eventuale consegna, ti metti in contatto con vari gruppi al mondo che stanno sviluppando app: SafePath, Covid Watch, Contact Tracer e Coronavirus Outbreak Control. Entri a partecipare nei loro Slack. Discuti, studi e analizzi le proposte tecniche, valuti il codice. Scopri che per esempio, nel codice di SafeWatch, c’è: if (deviceOS == ‘iOS”) return; // we can't run on iOS I più avanti sono quelli di Covid Watch, che propongono il protocollo TNC (Temporary Contact Number), ossia di assegnare un codice casuale variabile nel tempo da trasmettere via BLE. Buona idea: suggerisci un miglioramento al protocollo, che viene accolto. Nel frattempo tutti i gruppi si scontrano con il problema dell’accesso in background a Bluetooth su IOS. Il gruppo di Contact Trace prepara una lettera aperta ad Apple chiedendo di rimuovere la restrizione. Trasmetti la lettera agli altri gruppi perché aderiscano anche loro. Il messaggio giunge a Apple e a Google. Covid Watch a fine marzo pubblica il primo codice open source di un app BTLE. La compili la installi sul tuo cellulare, la provi e pubblichi su Facebook gli screen shot: è ancora rudimentale, ma funziona. Le reazioni sono: è sciocco fare una cosa che hanno già fatto a Singapore. Ma quella non può funzionare da noi. Ma se anche avessimo una soluzione migliore, noi in Italia no sapremmo realizzarla o farla funzionare. Nel frattempo si viene a sapere che la task force del MiD ha scelto una società di Milano per la fornitura della app. Ma come potrà funzionare questa app su iOS? Naturalmente non potrà. Ma userà BT? Non si sa, pare che userà GPS: inadatto. Si comincia a parlare di un’iniziativa europea, chiamata pomposamente PEPT-PT (Pan-European Privacy-Preserving Proximity Tracing), lanciata dal gruppo tedesco Fraunhofer. Si tratta di una soluzione centralizzata, buona forse in Germania, ma non da noi. L’EPFL pubblica una bozza di protocollo simile a TNC, chiamato DP3-T, e promette una app open source. Inizialmente partecipa a PPPT, ma poi ne esce per disaccordo su approccio centralizzato. I protocolli TNC e DP3-T sollevano l’attenzione di Google e Apple che ne prendono spunto per proporre una API comune per iOS e Android per lo sviluppo di app di Exposure Notification. Promettono che sarà disponibile a metà maggio. Nel frattempo esce Immuni e ovviamente ancora no si sa come funzionerà, e se adotterà DP-3T, PPPT o AG, visto che tutte queste soluzioni sono emerse DOPO il termine della Fast Call del MiD. Anzi, esce un’’intervista sul Corriere di Luca Foresti, uno dei proponenti, che afferma che usa sia BLE che GPS, ma che comunque a decidere sarà il governo. Esce un articolo che disanima il DP3-T, gli aspetti di privacy e di sicurezza. Sulla privacy non trova nulla di serio, ma prefigura possibili attacchi di malintenzionati ai server, all’invio di dati farlocchi o a modi indiretti per risalire a persone infette (es. attacco paparazzi). Rischi minimi e remoti, tanto che i garanti della privacy italiano e europeo non trovano nulla da ridire. Ti invitano a un’audizione parlamentare e ti inventi una spiegazione che speri sia comprensibile a fugare le paure di rischi di privatezza. È come comprare un biglietto della lotteria. Tu solo sai il numero dell tuo biglietto e puoi andare vedere se è tra quelli estratti nelle liste pubblicate sui giornali. Pubblichi un articolo su Wired per spiegare la tecnica che potrebbe usare la app, calcolando che i dati raccolti sono una quantità irrisoria, che svaniscono dopo 2 settimane. Inviti a rendere pubblico il codice e ad affidarne la gestione a un ente pubblico. Segnali la mancanza di una procedura di scambio di dati tra le autorità sanitarie di diversi paesi. Però la campagna anti-app monta. La app non va bene perché non si sa chi la gestirà. La gestirà Sogei. Non va bene perché non è Open Source. Sarà Open Source. Solo il codice della app, ma non il server. Viene pubblicato il codice del server. I dati sul distanziamento sono imprecisi. Verrà fatto un testing per fare il tuning. Ci stanno troppi falsi positivi. Quelli ci sono sempre, anche col tracciamento manuale. La app non è ancora uscita. Bisognava aspettare il rilascio dell’aggiornamento di iOS e Android. Se usa AG, allora loro raccolgono tutti i nostri dati. No, i dati restano sul cellulare, loro non ricevono nulla. I francesi e gli inglesi hanno deciso di fare da sé. Gli inglesi hanno dovuto fare marcia indietro perché il loro approccio non funzionava. Quella francese è una soluzione centralizzata, sostenuta con argomenti tecnici farlocchi, non ve la raccomando. Google ha imposto ai governi la sua soluzione. No, ciascuno ha scelto liberamente e gli inglesi lo hanno fatto perché così ha deciso il loro NHS. Immuni richiede l’attivazione di GPS. È un requisito del SO, ma non lo usa. E chi ci dice che non lo usa? Vai a vedere il codice. E chi mi assicura che quello sia il vero codice della app? James Larus di EPFL, ha raccontato martedì la storia di DP3-T e come abbiano lavorato all’implementazione di SwissCovid, superando innumerevoli problemi, tra cui le differenze tra i diversi dispositivi e le misurazioni per adattare il calcolo della distanza alle loro caratteristiche, le interazioni con AG per ottenere modifiche al protocollo. La loro app è simile a Immuni, ma è stata sviluppata da un ente pubblico. Da noi la comunità scientifica ha partecipato solo alle critiche. Lurs ha spiegato le comprensibili difficoltà anche per AG nel rilasciare sw di cui si deve garantire il buon funzionamento su miliardi di dispositivi. Come nela tradizione informatica quella rilasciata è la versione 1.0. In estate uscirà una seconda versione, che accoglie diverse esigenze di flessibilità, tra cui la possibilità di usare la tecnica che si vuole per stabilire se esiste un rischio di contagio. In parallelo, segnali che esiste la possibilità di arricchire la app con tecniche di ML, e proponi all’associazione italiana di AI di lanciare un progetto. Il direttivo stabilisce che l’argomento sia troppo lontano dagli interessi dell’associazione. Vai ad assistere a u seminario di Jushua Bengio (ACM Turing Award), che illustra come si potrebbe usare ML per stimare l rischio di infezione, usando un semplice questionario, guarda caso simile a quello che suggeriva Pierluigi Lopalco. Ne parlo coi colleghi, lo annunci su una lista. Nessuno se ne cura. Bengio pubblica la sua soluzione. Non va bene perché non è Open Source. Anche ste fosse OS non andrebbe bene se non spiega come funzione l’algoritmo. Anche se spiega l’algoritmo, non va bene, perché dovrebbe sottoporlo a queste verifiche. Sapete che vi dico? Che non parlerò più qui di app di exposure notification e vi lascio continuare a disquisire. — Beppe
On 17 Jul 2020, at 11:10, Giovanni Biscuolo <giovanni@biscuolo.net> wrote:
Buongionro,
Giovanni Biscuolo <giovanni@biscuolo.net> writes:
[...]
Per adesso il codice non è disponibile, nonostante il progetto sia stato presentato da mesi:
https://covicanada.org/faq/ --8<---------------cut here---------------start------------->8---
Yes. All our codes will be open for scrutiny and improvement. And, as part of our not-for-profit mission, we want our work to be available to other countries to help in their fight against Covid-19. The codes will be distributed on github. If you are interested in using COVI please contact us at code@covicanada.org for more information.
--8<---------------cut here---------------end--------------->8---
Aggiungo che a mio modesto avviso sarebbe anche opportuno che il progetto includesse le informazioni indicate in:
«The Machine Learning Reproducibility Checklist (v2.0, Apr.7 2020)» https://www.cs.mcgill.ca/~jpineau/ReproducibilityChecklist.pdf
radatta da Joelle Pineau [1]
Oppure una «Model card» https://arxiv.org/abs/1810.03993
...insomma qualcosa che permetta ai loro colleghi di replicare i risultati della ricerca (magari senza doversi svenare con le risorse).
Saluti, Giovanni
[...]
[1] https://www.cs.mcgill.ca/~jpineau/
-- Giovanni Biscuolo
Buongiorno Giuseppe, Giuseppe Attardi <attardi@di.unipi.it> writes:
Questo dialogo è veramente frustrante.
Mi spiace di aver provocato questa reazione, non era mia intenzione frustrare ma solo ragionare (nella mia relativa ignoranza). A mia *parziale* scusante posso solo dire che le tue risposte in top-posting non facilitano chi desidera seguire la discussione ;-) Per "agganciare i pezzi": il messaggio originale che ha generato questo thread è quello del 19 Maggio di Antonio Casilli [1] a cui segue la tua risposta del 16 Luglio [2]. [...]
Però la campagna anti-app monta.
[...]
E chi mi assicura che quello sia il vero codice della app?
Non ritorno sulla questione delle App di contact tracing, in lista (e sui propri canali) ciascuno ha avuto modo di esprimere i propri giudizi nel merito delle singole questioni e gli archivi sono pubblici per chi avesse la pazienza di ripercorrere LE **lunghe** discussioni intercorse; su questo vorrei semplicemente dire che possiamo essere in pacifico disaccordo senza accuse reciproche di frustrare il confronto. [...]
In parallelo, segnali che esiste la possibilità di arricchire la app con tecniche di ML,
[...]
Vai ad assistere a u seminario di Jushua Bengio (ACM Turing Award), che illustra come si potrebbe usare ML per stimare l rischio di infezione, usando un semplice questionario, guarda caso simile a quello che suggeriva Pierluigi Lopalco. Ne parlo coi colleghi, lo annunci su una lista.
L'annuncio a cui ti riferisci è in questo messaggio, dal quale riporto l'estratto che mi pare significativo: https://server-nexa.polito.it/pipermail/nexa/2020-April/017348.html «Contact Tracing: Chi decide chi è un contatto a rischio, l'algoritmo o il medico?» --8<---------------cut here---------------start------------->8--- Joshua Bengio propone di fornire alla app di tracciamento la capacità di prevedere la probabilità a posteriori di essere stati infettati nelle due settimane precedenti. Per farlo propone riusare la tecnica del loopy belief propagation. In questo lavoro si dovrebbe formare una sinergia tra gli epidemiologi e gli informatici. I primi possono fornire indicazioni su quali aspetti considerare nelle previsioni e fornire annotazioni sui casi già analizzati. Le attuali tecniche funzionano bene solo se i dati sono sufficientemente ampi e quindi la raccolta deve essere grandemente facilitata e possibilmente automatizzata. Disclaimer: le tecniche citate sono approssimate e a rischio di errori. La loro efficacia dipende dal fatto di operare su grandi numeri e quindi di riuscire a individuare una larga percentuale di casi sospetti , che sarebbe comunque impossibile rintracciare manualmente. --8<---------------cut here---------------end--------------->8--- Credo sia interessante contestualizzarlo nell'intero thread è scaturito dal messaggio di Fabio Pietrosanti: https://server-nexa.polito.it/pipermail/nexa/2020-April/017343.html
Nessuno se ne cura. Bengio pubblica la sua soluzione.
Non proprio; quando Bengio pubblica la sua soluzione, Antonio Casilli ha commentato la soluzione pubblicata da Yoshua Bengio in modo piuttosto critico (scusate se mi ripeto): --8<---------------cut here---------------start------------->8--- In parole povere, un gruppo di scienziati ha progettato una simulazione multi-agenti piena di bias e di assunzioni legate alla loro percezione non-specialistica della realtà sociale, ha fatto annotare i dati così ottenuti da micro-lavoratori le cui condizioni di lavoro sono sconosciute, ha utilizzato il predittore così ottenuto all'interno della stessa simulazione di prima, assumendo un livello di adozione (60%) mai osservato in un contesto empirico. Perché dovremmo fidarci dell'app magica di Yoshua Bengio? --8<---------------cut here---------------end--------------->8--- Solo oggi, e me ne scuso, rileggendo di nuovo il tuo messaggio del 16 Lugio [2] ho intuito che la risposta a una delle questioni sollevate da Antonio c'è: --8<---------------cut here---------------start------------->8--- Bengio dice di aver utilizzato un “sintetizzatore” per produrre nuovi esempi di apprendimento, da aggiungere a quei pochi “inizialmente" a disposizione. [...] Non sono stati usati annotatori manuali per questi dati. --8<---------------cut here---------------end--------------->8--- OK, quindi i dati non sono stati annotati da micro-lavoratori le cui condizioni di lavoro sono sconosciute, l'annotazione è stata fatta da un "sintetizzatore" (non so cosa significhi, ma non è importante, non devo capirlo io). Rimane senza risposta la questione fondamentale posta da Antonio: Bengio ha progettato una simulazione multi-agenti piena di bias e legata alla loro percezione non-specialistica della realtà sociale? Io non ho le benché minime competenze per poter entrare nel merito della questione, ma da cittadino VOGLIO capire con quali criteri vengono progettati sistemi automatici di ausilio alle decisioni E vorrei che i metodi di selezione e annotazione dei dati e gli algoritmi di ML fossero apertamete discussi e criticati tra esperti. Io osservo.
Non va bene perché non è Open Source.
Faccio male a chiedere che tutto il software usato sia pubblicato come software libero?
Anche ste fosse OS non andrebbe bene se non spiega come funzione l’algoritmo.
Anche se spiega l’algoritmo, non va bene, perché dovrebbe sottoporlo a queste verifiche.
Sono sicuro che tu conosci già tutti i retroscena che hanno portato alla redazione di un documento come «The Machine Learning Reproducibility Checklist (v2.0, Apr.7 2020)» https://www.cs.mcgill.ca/~jpineau/ReproducibilityChecklist.pdf Per altri in lista che fossero interessati, credo che questo articolo di Wired fornisca un quadro abbastanza esaustivo - seppur con limiti giornalistici generalisti - della discussione in atto: https://web.archive.org/web/20191222161644/https://www.wired.com/story/artif... «Artificial Intelligence Confronts a 'Reproducibility' Crisis» --8<---------------cut here---------------start------------->8--- Machine-learning systems are black boxes even to the researchers that build them. That makes it hard for others to assess the results. --8<---------------cut here---------------end--------------->8--- Il dibattito sulla reproducibility crisis (anche) nel campo del machine learning è aperto su due fronti: 1. «machine learning is by far the worst environment I’ve ever found for collaborating and keeping track of changes.» [3] 2. «machine learning has become alchemy», tratto dal FAMIGERATO discorso di Ali Rahimi and Ben Recht alla premiazione "test of time award" al NIPS 2017 [4]; parole che hanno fatto arrabbiare LeCun [5] in persona definendole offensive e sbagliate Io non ho le benché minime competenze nemmeno per comprendere i problemi del fronte 2, faccio solo notare che quei problemi sono sollevati all'interno della comunità ML e non vengono da "casual trolls" che non sanno quello che dicono, si veda ad esempio Cynthia Rudin in «Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead» [6]. Sui problemi del fronte 1, invece, ho sufficienti competenze e qualche esperienza per dire, nel merito, che le cose a volte (spesso?) non sono sotto controllo come dovrebbero. É per quello, e solo per quello, che ritengo che tutti coloro che propongono soluzioni basate su ML dovrebbero adottare i criteri sintetizzati nella check list che ho citato. Spero che nessuno proponga che dobbiamo fidarci della «App magica» (come la definisce Antonio) perché a proporla è Bengio o qualsiasi altro nome autorevolissimo del settore.
Sapete che vi dico?
Che non parlerò più qui di app di exposure notification e vi lascio continuare a disquisire.
Mi dispiace. Saluti, Giovanni [...] [1] https://server-nexa.polito.it/pipermail/nexa/2020-May/017930.html «L'app magica di Yoshua Bengio» [2] https://server-nexa.polito.it/pipermail/nexa/2020-July/018306.html «nexa Digest, Vol 133, Issue 58» [3] https://web.archive.org/web/20200508102124/https://petewarden.com/2018/03/19... «The Machine Learning Reproducibility Crisis» [4] https://web.archive.org/web/20200710045211/http://www.argmin.net/2017/12/05/... «Reflections on Random Kitchen Sinks» e il follow up https://web.archive.org/web/20200705184307/http://www.argmin.net/2017/12/11/... «An Addendum to Alchemy» [5] https://syncedreview.com/2017/12/12/lecun-vs-rahimi-has-machine-learning-bec... «LeCun vs Rahimi: Has Machine Learning Become Alchemy?» [6] https://web.archive.org/web/20200615224634/https://www.nature.com/articles/s... -- Giovanni Biscuolo
participants (3)
-
Giovanni Biscuolo -
Giuseppe Attardi -
Stefano Quintarelli