i numeri della Lombardia e i flussi di dati
Care nexiane, parliamo di dati e trasparenza. Mentre attendiamo la fine della brutta telenovela dal titolo «L'algoritmo che ha sequestrato in massa i lombardi» [1] nella quale si racconta che (come al solito) è tutta colpa dell'algoritmo ma poi - colpo di scena - salta fuori che c'è stata una gestione "spannometrica" (è un termine tecnico) della trasmissione dei dati [2] con tanto di rettifica [3] (alla faccia dell'integrità dei dati), voglio richiamare la vostra attenzione su un "piccolo" dettaglio. Un articolo di cronaca milanese del 18 Gennaio scorso apparso su La Repubblica recita: https://milano.repubblica.it/cronaca/2021/01/18/news/lombardia_zona_rossa_co... --8<---------------cut here---------------start------------->8--- [...] il Sistema di biosorveglianza Sars-CoV-2 - attivo dall'autunno e accessibile solo grazie a credenziali fornite dalla Prefettura - indica ai sindaci non solo i numeri dei casi di ogni singolo Comune ma anche i nomi e i cognomi dei positivi per gestire l'emergenza a livello locale. "Ci siamo resi conto che dentro a quegli elenchi sono comparsi anche i casi pregressi, ovvero nostri cittadini che si erano ammalati in passato, poi guariti e negativizzati nei mesi scorsi. Ma da un giorno all'altro sono rispuntati nei conteggi, creando quel numero enorme". [...] Da Palazzo Lombardia ammettono il guasto alla piattaforma per i sindaci gestita dall’azienda regionale Aria, “al lavoro per risolvere il problema”. Ma sottolineano: “I dati di questo sistema non sono quelli che vengono inviati ogni giorno al ministero della Salute, sono due banche dati non collegate fra loro”. I numeri che hanno fatto rientrare la Lombardia in zona rossa, proseguono, “derivano da un flusso completamente diverso, che parte dalla direzione generale al Welfare e proviene direttamente dai laboratori e non ha nulla a che vedere con questo”. --8<---------------cut here---------------end--------------->8--- Quindi *pare* ufficiale che i database siano due, non collegati, e che i dati... derivino da flussi completamente diversi. Sicuramente c'è un motivo a giustificazione di questa scelta ma mi sfugge la ratio, in particolare dell'utilizzo di "flussi diversi" (qualsiasi cosa voglia dire)... bah. Certo che anche dalle parti del ISS sarebbe opportuno che lo pubblicassero il sorgente di 'sto software usato [4] per trasmettere (e validare?!?) il tracciato dati e calcolare i vari indici, poi l'algoritmo per determinare il colore lo possiamo eseguire anche "a mano" per quanto è semplice. Servirebbe a rendere ulteriormente trasparente il tutto e dare l'opportunità ai tecnici di regione Lombardia di segnalare ed eventualmente correggere i bug "dell'algoritmo". Saluti, Giovanni [1] cit. (pare) dichiarazioni politiche in zona Lega https://www.ilfattoquotidiano.it/2021/01/22/lombardia-finita-in-zona-rossa-p... [2] http://www.salute.gov.it/imgs/C_17_notizie_5289_5_file.pdf [3] https://www.ilfattoquotidiano.it/2021/01/25/lemail-del-7-gennaio-in-cui-liss... [4] io ho cercato rapidamente ma non trovo nulla: sbaglio? -- Giovanni Biscuolo
Certo che anche dalle parti del ISS sarebbe opportuno che lo pubblicassero il sorgente di 'sto software usato [4] per trasmettere (e validare?!?) il tracciato dati e calcolare i vari indici, poi l'algoritmo per determinare il colore lo possiamo eseguire anche "a mano" per quanto è semplice. Servirebbe a rendere ulteriormente trasparente il tutto e dare l'opportunità ai tecnici di regione Lombardia di segnalare ed eventualmente correggere i bug "dell'algoritmo".
Nota metodologica presente nelle FAQ sul calcolo del Rt - ISS https://www.iss.it/primo-piano/-/asset_publisher/o4oGR9qmvUz9/content/id/547... Per il "sorgente" del software immagino non ci sia nessun software particolare ma dei "semplici" fogli excel (almeno le tabelle presenti nei report fanno pensare a quelli) Antonio
Certo che anche dalle parti del ISS sarebbe opportuno che lo pubblicassero il sorgente di 'sto software usato [4] per trasmettere (e validare?!?) il tracciato dati e calcolare i vari indici, poi l'algoritmo per determinare il colore lo possiamo eseguire anche "a mano" per quanto è semplice. Servirebbe a rendere ulteriormente trasparente il tutto e dare l'opportunità ai tecnici di regione Lombardia di segnalare ed eventualmente correggere i bug "dell'algoritmo".
mi correggo, il software c'è, è Go.Data [1], la piattaforma web sviluppata dall'OMS per agevolare la raccolta dei dati durante le emergenze di sanità pubblica [2]. Tra l'altro Go.Data dovrebbe essere software libero, distribuito con licenza GPL v3 [3], ma non trovo il sorgente. Antonio [1] https://www.who.int/godata [2] http://www.infoparlamento.it/tematiche/interrogazioni-interpellanze-risoluzi... [3] https://onlinelibrary.wiley.com/doi/full/10.1002/hsr2.164
Ciao Antonio, grazie sei una fonte preziosissima, un girono imparerò anche io a essere efficace come te nelle ricerche; devo farmi un elenco di fonti, perché Google (duckduckgo) queste robe non le indicizza o le indicizza male. Antonio Iacono <antiac@gmail.com> writes:
Certo che anche dalle parti del ISS sarebbe opportuno che lo pubblicassero il sorgente di 'sto software usato [4] per trasmettere (e validare?!?) il tracciato dati e calcolare i vari indici
[...]
mi correggo, il software c'è, è Go.Data [1], la piattaforma web sviluppata dall'OMS per agevolare la raccolta dei dati durante le emergenze di sanità pubblica [2].
Visto: non ho letto ancora tutto ma mi confermi che è davvero quello usato da ISS?... no perché dalle notizie di stampa io mica ho capito come funziona il giro del fumo della trasmissione dati ufficiali. Sul sito ISS ho trovato questo documento dell'aprile 2020 edito da ECDC: https://snlg.iss.it/wp-content/uploads/2020/11/COVID-19-Contract-tracing-sca... «Contact tracing for COVID-19: current evidence, options for scale-up and an assessment of resources needed» che parla di Go.Data
Tra l'altro Go.Data dovrebbe essere software libero, distribuito con licenza GPL v3 [3], ma non trovo il sorgente.
Non infatti, ISS dovrebbe richiederlo al WHO e IMHO (ri)pubblicarlo... o il WHO pubblicarlo direttamente; sarebbe opportuno. [...] Grazie ancora, Gio' -- Giovanni Biscuolo
grazie sei una fonte preziosissima, un giorno imparerò anche io a essere efficace come te nelle ricerche ...
uso molto i prefissi e le "" per restringere le ricerche. Ad esempio, poco fa: filetype:xsd covid-19 e ... https://covid-19.iss.it/XMLSchema/0.1/covid-19.xsd BINGO
On Tue, Jan 26, 2021 at 09:28:04AM +0100, Antonio Iacono wrote:
Certo che anche dalle parti del ISS sarebbe opportuno che lo pubblicassero il sorgente di 'sto software usato [4] per trasmettere (e validare?!?) il tracciato dati e calcolare i vari indici, poi l'algoritmo per determinare il colore lo possiamo eseguire anche "a mano" per quanto è semplice. Servirebbe a rendere ulteriormente trasparente il tutto e dare l'opportunità ai tecnici di regione Lombardia di segnalare ed eventualmente correggere i bug "dell'algoritmo".
Tra l'altro Go.Data dovrebbe essere software libero, distribuito con licenza GPL v3 [3], ma non trovo il sorgente.
C'è questo repository: https://github.com/WorldHealthOrganization/godata ma è in realtà documentazione che punta a parecchi altri repositories, e non ho seguito i link per vedere se effettivamente si trova il codice della piattaorma o meno. -- Stefano Zacchiroli . zack@upsilon.cc . upsilon.cc/zack . . o . . . o . o Computer Science Professor . CTO Software Heritage . . . . . o . . . o o Former Debian Project Leader . OSI Board Director . . . o o o . . . o . « the first rule of tautology club is the first rule of tautology club »
Buongionrno, la ricerca nel pagliaio in compagnia funziona meglio, che bello! Grazie ad Antonio sappiamo che il formato di interscambio è XML, c'è uno standard adottato da ISS e quindi i flussi di trasmissione dei dati dovrebbero essere ordinati... non usando fogli di calcolo. Questo già fa abbastanza chiarezza sul giro del fumo :-D Mi piacerebbe vedere gli script R usati per "far di conto" da ISS (usano R?!?) o sapere quali tool le regioni usano per compilare i dati e trasmetterli al database centrale (email?!?) ma... sono Troppo Curioso™ ;-( Stefano Zacchiroli <zack@upsilon.cc> writes: [...]
Tra l'altro Go.Data dovrebbe essere software libero, distribuito con licenza GPL v3 [3], ma non trovo il sorgente.
C'è questo repository:
Grazie Stefano per il link, non ero riuscito a individuare il repo del WHO... che brocco :-O Sinceramente mi fa impressione che il WHO non abbia un sistema tutto suo ma si affidi a GitHub... ma vabbé.
ma è in realtà documentazione che punta a parecchi altri repositories, e non ho seguito i link per vedere se effettivamente si trova il codice della piattaorma o meno.
Ho verificato che il repo (creato il 21 Gennaio e aggiornato il 22) non ha connessioni a submodules git quindi è autocontenuto, effettivamente occorrerebbe verificare se qualche link esterno punta al codice ma "a mano" non è immediato. Mi pare che tutto quello che contiene il repo è documentato sul sito https://worldhealthorganization.github.io/godata/ (il contenuto del sito viene dal repo) Non mi pare in quel sito parlino di software, code, source o license (ricerca libera nel sito via DuckDuckGo). Ne parlano solo qui https://www.who.int/godata/go.data-frequently-asked-questions: --8<---------------cut here---------------start------------->8--- Is Go.Data free to use? Yes, Go.Data is distributed free to use at no cost. Terms of Use and Software License Agreement can be found within the tool. From the outset, Go.Data was designed as a tool that can be distributed with minimal barriers to adoption. --8<---------------cut here---------------end--------------->8--- Ma ci vuole tanto a dichiararlo, soprattutto se davvero si tratta di GNU GPL v3 come riportato da altre fonti?!? L'esatta licenza di Go.Data può essere conosciuta solo da chi ottiene il tool... e non c'è un link "Download" AFAIU. Boh?!? Saluti, Giovanni. -- Giovanni Biscuolo
Mi piacerebbe vedere gli script R usati per "far di conto" da ISS (usano R?!?) o sapere quali tool le regioni usano per compilare i dati e trasmetterli al database centrale (email?!?) ma... sono Troppo Curioso™ ;-(
Tra gli sviluppatori di Go.Data ci sono degli statistici (come Ahmadou Dicko [1]) e gli statistici usano preferibilmente R. Comunque non sono più così convinto che la piattaforma COVID-19 predisposta dall'ISS [2] per raccogliere i dati epidemiologici diagnosticati nei laboratori di riferimento regionale derivi da Go.Data. E' più probabile che sia la "solita" web application realizzata con prodotti made in M$ (Azure, ecc.) Antonio [1] https://github.com/dickoa [2] https://covid-19.iss.it/
Buonasera, Antonio Iacono <antiac@gmail.com> writes: [...]
Comunque non sono più così convinto che la piattaforma COVID-19 predisposta dall'ISS [2] per raccogliere i dati epidemiologici diagnosticati nei laboratori di riferimento regionale derivi da Go.Data. E' più probabile che sia la "solita" web application realizzata con prodotti made in M$ (Azure, ecc.)
[...]
Ottimo grazie, sì non pare essere Go.Data ma non è chiarisismo. Estratto dal «Manuale utente ver. 1.0» https://covid-19.iss.it/files/manuale_utente_v1_sorveglianza_covid19.pdf --8<---------------cut here---------------start------------->8--- [...] Non bisogna però inserire la scheda anagrafica del paziente ogni volta se già è presente in piattaforma, ma è necessario ricercarla e aggiornarla aggiungendo, per esempio, il trasferimento in altro ospedale o il cambiamento dello stato clinico. Tutto questo per evitare di duplicare i casi. [...] Accesso per gli utenti autorizzati. Ogni Regione provvede ad individuare gli utenti referenti per la sorveglianza COVID-19 da accreditare alla piattaforma inviando una mail alla seguente casella di posta: sorveglianzaCOVID-19@iss.it. Gli utenti accreditati alla gestione dei dati riceveranno le credenziali di accesso tramite una mail automatica inviata dal sistema all’indirizzo mail indicato dall’utente stesso. [...] Prima di inserire una nuova scheda paziente effettuare una ricerca per cognome per accertarsi che non esiste già ed evitare di duplicarla. È fondamentale nel caso in cui sia necessario aggiornare una scheda paziente già esistente. (avvertimenti come questo sono ripetuti in tutti il manuale, n.d.r.) È attiva, comunque, una funzione di allerta che avverte l’utente in fase di inserimento di una nuova scheda paziente nel caso in cui il nome e cognome è già presente nel database come mostrato in Figura 4. Se si tratta di una omonimia il sistema permette comunque di inserire la scheda paziente con lo stesso nome e cognome di persone differenti. [...] Nel menù orizzontale è presente la voce “Esporta dati” che permette l’apertura della pagina in cui è possibile esportare, in formato Excel, sia le tabelle con i propri dati raccolti (Figura 7) sia le tabelle con le codifiche utilizzate nella piattaforma della sorveglianza (Figura 8). [...] --8<---------------cut here---------------end--------------->8--- AFAIU non esiste un sistema di inserimento "bulk" di XML precompilati, magari esportati dal sistema (separato?) regionale; se è per quello non esiste proprio una funzione di importazione dati. Grazie mille per le info! Saluti, Giovanni. -- Giovanni Biscuolo
AFAIU non esiste un sistema di inserimento "bulk" di XML precompilati, magari esportati dal sistema (separato?) regionale; se è per quello non esiste proprio una funzione di importazione dati.
https://www.pagellapolitica.it/blog/show/927/lombardia-e-zona-rossa-gli-erro... email di cui alla Figura 3 "... le ultime pratiche non lo hanno caricato perché non lo hanno importato nel flusso. Ho detto di recuperarlo per farlo processare ed inserirlo nell’xml" Il mistero si infittisce. p.s. se ti vuoi dilettare con R qui [1] c'è lo script usato per il calcolo dell'Rt Antonio [1] https://www.epicentro.iss.it/coronavirus/sars-cov-2-dashboard
Buongiorno, <rant> Purtroppo le polemiche dei vertici politici della Regione Lombardia NON hanno lo scopo di far chiarezza su cosa è successo effettivamente con i dati e su quali siano le criticità del sistema di **classicifazione** dei casi e di raccolta **integrata**; a loro interessa SOLO fare propaganda politica demagogica cercando di come al solito AIZZARE i tifosi lombardi contro Roma (stavolta "ladrona di algoritmi"). Alcuni politici BLATERANO di volere «risposte certe dalla scienza» e poi fanno di tutto per ottenere l'esatto opposto. La scienza **costa fatica** e duro lavoro e di solito questo NON paga, meglio "buttarla in vacca" che male che vada aumenta il consenso dei tifosi. </rant> Ignorando le patetiche polemiche strumentali, può essere vero che il sistema ha bisogno di essere migliorato, mi spiego... Antonio Iacono <antiac@gmail.com> writes:
AFAIU non esiste un sistema di inserimento "bulk" di XML precompilati, magari esportati dal sistema (separato?) regionale; se è per quello non esiste proprio una funzione di importazione dati.
https://www.pagellapolitica.it/blog/show/927/lombardia-e-zona-rossa-gli-erro...
Ottimo articolo grazie, riassume in modo esaustivo i fatti e le dichiarazioni a ieri, se dovessi consigliare una lettura per farsi un'idea consiglierei l'articolo riportato sopra
email di cui alla Figura 3
"... le ultime pratiche non lo hanno caricato perché non lo hanno importato nel flusso.
Per quanto è dato sapere, quello che non è stato caricato sono «data inizio sintomi e stato clinico»: --8<---------------cut here---------------start------------->8--- La compilazione di tali campi non è obbligatoria, ma rimane necessaria se si vuole ottenere una valutazione il più possibile accurata e standardizzata della situazione epidemiologica del territorio. [...] poiché i casi asintomatici sono spesso difficili da individuare, per avere un indice più affidabile, nel monitoraggio l’Iss usa il cosiddetto “indice Rt sintomi”, ossia l’indice Rt calcolato a partire dai soli casi sintomatici per i quali sia nota una data di inizio sintomi. Un caso viene classificato come sintomatico se al campo “stato clinico” esso riporta la dicitura “sintomatico” (o equivalenti, per esempio “severo” o “critico”) oppure se esso riporta una data di inizio sintomi, anche qualora lo stato clinico non venga specificato. --8<---------------cut here---------------end--------------->8--- Ora: io non ho letto tutti i documenti e non lo farò, però ritengo sbagliato che due campi così importanti siano considerati opzionali, non solo e non tanto perché incidono in maniera significatica su un dato (l'Rt sintomi) importante per la determinazione del colore della zona, ma perché sono informazioni importantissime per studiare l'andamento storico della pandemia (c'è uno statistico o un virologo che mi spieghino se sbaglio?!?). Se a questo aggiungiamo (come ho evidenziato ieri) che nel manuale utente dell'interfaccia web per il caricamento dati c'è scritto almeno cinque volte di stare attenti ("a occhio"!) a non duplicare le schede delle persone... abbiamo fatto bingo. https://www.ansa.it/lombardia/notizie/2021/01/26/iss-da-maggio-segnalati-all... --8<---------------cut here---------------start------------->8--- Da maggio scorso "l'Iss ha inviato 54 segnalazioni di errori, incompletezze e/o incongruenze alla Regione Lombardia, l'ultima il 7 gennaio scorso". [...] "Le Regioni - dice l'Iss - hanno completa autonomia nel caricamento di aggiornamenti e rettifiche senza alcun intervento o richiesta verso l'Iss che, laddove ne abbia evidenza o sospetto, può segnalare errori, incompletezze o incongruenze alle Regioni". "La percentuale di casi incompleti per la sintomatologia (assenza di informazioni nel campo 'stato clinico') - riferisce l'Iss nel dettagliato comunicato in cui ripercorre la cronologia di questi mesi per i dati Covid della Lombardia - è pari al 50,3%, a fronte del 2,5% del resto d'Italia nel periodo 13 dicembre 2020-13 gennaio 2021". --8<---------------cut here---------------end--------------->8--- (Non è dato sapere la natura precisa dei 54 errori segnalati) Quindi non solo le regioni possono inviare informazioni *scandalosamente* incomplete, possono pure rettificare il passato (ho capito male?): è normale? Senza nemmeno un "ravvedimento operoso"?!? Questo sistema è la ricetta perfetta per consentire ad uno qualsiasi degli attori coinvolti di fare confusione e scaricare su altri la responsabilità dei propri errori, o peggio "sull'algoritmo" (che NON è segreto, casomai è segreto il software).
Ho detto di recuperarlo per farlo processare ed inserirlo nell’xml"
Questo conferma la notizia che il sistema regionale di raccolta dati è separato da quello nazionale e che per caricare i dati su quello nazionale viene effettuata una esportazione in XML dal regionale e una importazione nel nazionale (ho capito male?): altro elemento di FORTE perturbazione del sistema. Saluti, Giovanni [...] -- Giovanni Biscuolo
Buongiorno, Giovanni Biscuolo <giovanni@biscuolo.net> writes: [...]
Questo conferma la notizia che il sistema regionale di raccolta dati è separato da quello nazionale e che per caricare i dati su quello nazionale viene effettuata una esportazione in XML dal regionale e una importazione nel nazionale (ho capito male?): altro elemento di FORTE perturbazione del sistema.
https://milano.repubblica.it/cronaca/2021/01/28/news/coronavirus_errori_mapp... «Lombardia per errore in zona rossa, il 'cruscotto' ancora in tilt: nei dati sui positivi dei Comuni anche quelli guariti da mesi» di Tiziana De Giorgio del 28 Gennaio 2021 --8<---------------cut here---------------start------------->8--- Le montagne russe sulla mappa dei contagi lombardi continuano. Va di nuovo in tilt il cruscotto della Regione usato dalle amministrazioni locali per monitorare l'andamento dell'epidemia. Il problema, spiega Lorenzo Gubian, direttore generale di Aria, "sta in un flusso di dati che possiamo definire sporchi e che può creare anomalie come quella di ieri nel cruscotto". Gubian spiega la complessità del sistema di raccolta dati, "collegato a più di ottanta sorgenti diverse dove convergono per esempio laboratori, Terapie intensive, pronto soccorso, i guariti delle Ats". Ma, prosegue, "se uno qualsiasi di questi attori ha un problema, anche solo sul formato del dato che ci invia, questi flussi possono causare un disservizio e quei file vanno puliti e ricaricati per garantire la completezza delle informazioni". [...] "Alle 10,30 ci siamo accorti di un errore di formattazione sulle date di nascita e abbiamo interrotto il caricamento sul cruscotto. Questo ha fatto sì che non tutti i record venissero processati, tagliando informazioni sui pazienti che in determinati casi sono ricomparsi fra i positivi". Una questione molto tecnica, prova a spiegare. "Simile, negli effetti finali, a quello che è successo il 13 gennaio". Mentre però quel mercoledì nessuno si è reso conto di cosa fosse successo, "ci siamo mossi solo dopo le segnalazioni dei sindaci e ci è voluto qualche giorno per ripristinare il tutto, questa volta abbiamo introdotto un sistema di monitoraggio e l'errore è stato intercettato subito: abbiamo spento il sistema, pulito i dati e nel giro di due ore il problema era risolto". E il direttore generale di Aria conclude: "Stiamo facendo di tutto per rendere il sistema più robusto e ridurre il più possibile i disservizi in futuro". --8<---------------cut here---------------end--------------->8--- Saluti, Giovanni. -- Giovanni Biscuolo
[...] "Alle 10,30 ci siamo accorti di un errore di formattazione sulle date di nascita e abbiamo interrotto il caricamento sul cruscotto.
Dando per buono lo Schema XML [1] <xs:element name="dataNascita" type="xs:date"> <xs:element name="dataStatoClinico" type="xs:date"/> <xs:element name="dataIsolamento" type="emptyDate" > <xs:element name="dataDose1" type="emptyDate" > <xs:element name="dataDose2" type="emptyDate" > <xs:element name="dataPrelievo" type="emptyDate" > <xs:element name="dataInizioSintomi" type="emptyDate"/> <xs:element name="dataCollocazione" type="emptyDate"/> solo le prime due date sono obbligatorie e il controllo di formattazione è xs:date, quindi "YYYY-MM-DD" Antonio [1] https://covid-19.iss.it/XMLSchema/0.1/covid-19.xsd
Antonio Iacono <antiac@gmail.com> writes:
[...] "Alle 10,30 ci siamo accorti di un errore di formattazione sulle date di nascita e abbiamo interrotto il caricamento sul cruscotto.
Dando per buono lo Schema XML [1] <xs:element name="dataNascita" type="xs:date"> <xs:element name="dataStatoClinico" type="xs:date"/>
[...]
solo le prime due date sono obbligatorie e il controllo di formattazione è xs:date, quindi "YYYY-MM-DD"
Sì ma l'errore di formattazione di cui parla l'articolo è quello dei dati provenienti da alcune delle «ottanta sorgenti diverse» (cit.) [1] che arrivano ad Aria per essere (consolidate e?) caricate **sul cruscotto della regione**, non su quello Iss con dati in XML. Nota per i non tecnici: se fosse tutto gestito con flussi in XML [2] sarebbe possibile effettuare una validazione automatica prima del caricamento dei dati o ancora meglio prima della trasmissione da parte degli ottanta soggetti coinvolti. Immagino quindi che si tratti di altri "formati liberi" di dati che non includono una specifica di formato validabile. Pare una ulteriore conferma del fatto che il database del cruscotto regionale e quello di Iss siano due database diversi. ...e io non capisco. [...] Saluti, Giovanni [1] evidentemente con formati di data incongruenti tra loro [2] utilizzando magari lo stesso schema XML di Iss -- Giovanni Biscuolo
...
Sì ma l'errore di formattazione di cui parla l'articolo è quello dei dati provenienti da alcune delle «ottanta sorgenti diverse» (cit.) [1] che arrivano ad Aria per essere (consolidate e?) caricate **sul cruscotto della regione**, non su quello Iss con dati in XML.
Le ottanta sorgenti sono i laboratori lombardi [1]. La delibera 3114 della Regione Lombardia (scaricabile dalla pagina di cui al punto [1]) riporta: "I laboratori che eseguono analisi per la ricerca di COVID segnalano alle ATS gli esiti dei test effettuati sia di biologia molecolare, sia sierologici ... La segnalazione da parte del laboratorio avviene, ad oggi, tramite apposito canale informatico verso il Sistema integrato DB COVID-19, che restituisce con analogo canale le informazioni ad ATS" La "Deliberazione N° XI / 3525 Seduta del 05/08/2020" [2] mostra il flusso informativo (ultima pagina). Il "giro" adesso sembra chiaro. Laboratorio -> DB COVID-19 -> ISS. Antonio [1] https://www.regione.lombardia.it/wps/portal/istituzionale/HP/DettaglioRedazi... [2] https://www.ats-pavia.it/documents/1795190/0/DGR+XI-3525+DEL+5+AGOSTO+2020+A...
ecco un mio breve commento sulla vicenda: https://www.agendadigitale.eu/cultura-digitale/algoritmi-e-noi-cosi-la-lomba... GV On Thu, 28 Jan 2021 at 18:17, Antonio Iacono <antiac@gmail.com> wrote:
...
Sì ma l'errore di formattazione di cui parla l'articolo è quello dei dati provenienti da alcune delle «ottanta sorgenti diverse» (cit.) [1] che arrivano ad Aria per essere (consolidate e?) caricate **sul cruscotto della regione**, non su quello Iss con dati in XML.
Le ottanta sorgenti sono i laboratori lombardi [1]. La delibera 3114 della Regione Lombardia (scaricabile dalla pagina di cui al punto [1]) riporta: "I laboratori che eseguono analisi per la ricerca di COVID segnalano alle ATS gli esiti dei test effettuati sia di biologia molecolare, sia sierologici ... La segnalazione da parte del laboratorio avviene, ad oggi, tramite apposito canale informatico verso il Sistema integrato DB COVID-19, che restituisce con analogo canale le informazioni ad ATS"
La "Deliberazione N° XI / 3525 Seduta del 05/08/2020" [2] mostra il flusso informativo (ultima pagina).
Il "giro" adesso sembra chiaro. Laboratorio -> DB COVID-19 -> ISS.
Antonio
[1]
https://www.regione.lombardia.it/wps/portal/istituzionale/HP/DettaglioRedazi... [2]
https://www.ats-pavia.it/documents/1795190/0/DGR+XI-3525+DEL+5+AGOSTO+2020+A... _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
https://www.agendadigitale.eu/cultura-digitale/algoritmi-e-noi-cosi-la-lomba...
Mi sa che presto te ne toccherà scrivere un altro a giudicare di quante "news" stanno uscendo fuori. Ad es. sapevate che: "Aria spa ha scelto il multi-cloud ibrido A sperimentare per la prima volta il modello multi-cloud ibrido è l’ex Lombardia Informatica, ora Aria spa: il braccio tecnologico della regione Lombardia ha scelto un raggruppamento temporaneo di imprese guidato da AlmavivA per immagazzinare i suoi dati, soprattutto quelli del sistema sanitario regionale, su diversi cloud, in modo da non avere blocchi ai sistemi operativi. Invece di appoggiarsi ad unico fornitore, il committente regione Lombardia, attraverso AlmavivA, si appoggerà ai servizi di Amazon Web Services, Microsoft e Virtustream." [1] E va beh, direte voi, che c'è di male, la P.A. innova, studia soluzioni per migliorare l'efficienza dei propri sistemi informativi. L'ironia è che l'infrastruttura per comunicare questi "famosi" dati Covid pare sia un "KIT Operativo DaaS" [2][3] Dove DaaS dovrebbe stare per "Desktop as a Service". Antonio [1] https://www.almaviva.it/it_IT/PAL/Case_study_cloud_aria_spa [2] https://www.regione.lombardia.it/wps/portal/istituzionale/HP/DettaglioServiz... [3] https://www.regione.lombardia.it/wps/wcm/connect/2c297f63-abaf-48c0-907d-bb4...
Antonio Iacono <antiac@gmail.com> writes:
https://www.agendadigitale.eu/cultura-digitale/algoritmi-e-noi-cosi-la-lomba...
Mi sa che presto te ne toccherà scrivere un altro a giudicare di quante "news" stanno uscendo fuori.
Ad es. sapevate che:
"Aria spa ha scelto il multi-cloud ibrido A sperimentare per la prima volta il modello multi-cloud ibrido è l’ex Lombardia Informatica, ora Aria spa: il braccio tecnologico della regione Lombardia ha scelto un raggruppamento temporaneo di imprese guidato da AlmavivA per immagazzinare i suoi dati, soprattutto quelli del sistema sanitario regionale, su diversi cloud, in modo da non avere blocchi ai sistemi operativi. Invece di appoggiarsi ad unico fornitore, il committente regione Lombardia, attraverso AlmavivA, si appoggerà ai servizi di Amazon Web Services, Microsoft e Virtustream." [1]
l'articolo promozionale di Almaviva prosegue: --8<---------------cut here---------------start------------->8--- Un appalto apripista in tutta Italia L’appalto si prevede possa essere pilota a livello nazionale, in coerenza con il Piano nazionale lanciato dall’Agenzia per l’Italia Digitale, che prevede la creazione di poli strategici dove accentrare i dati della pubblica amministrazione, in modo da “spegnere” le oltre 20mila celle di ministeri, comuni e università, gestendo tutto in Cloud con le migliori procedure di cybersecurity e di recupero di dati e applicazioni e dati in caso di collasso dell’infrastruttura. «Con un clic si rompe un modello tradizionale», assicura il DG AlmavivA Antonio Amati Un centro pubblico di controllo dei dati La soluzione scelta da Aria consente di utilizzare tutti i differenti e numerosi provider cloud, tramite gli interlocutori della RTI – oltre alla capofila AlmavivA, Lutech e Reply -, senza abbandonare, ma anzi rafforzando attraverso un HUB che rimane di proprietà pubblica, il proprio centro di governo e controllo dei dati, della progettazione e dell’erogazione dei servizi. Aria assume dunque il ruolo di orchestratore in nome e per conto della pubblica amministrazione regionale e locale in un progetto nel quale gli asset nazionali rimangono saldamente nelle mani del pubblico mentre si sfruttano le migliori opportunità di mercato. --8<---------------cut here---------------end--------------->8--- «“spegnere” le oltre 20mila celle di ministeri, comuni e università», un piano perfetto per privatizzare l'ICT pubblico chiamando l'operazione "orchestrazione". Di questo vale la pena aprire un nuovo thread. [...] Saluti, Giovanni -- Giovanni Biscuolo
un fornitore unico che orchestra i cloud di Amazon, Microsoft e Dell con un click perfetto, direi G. On Fri, 29 Jan 2021 at 10:55, Giovanni Biscuolo <giovanni@biscuolo.net> wrote:
Antonio Iacono <antiac@gmail.com> writes:
https://www.agendadigitale.eu/cultura-digitale/algoritmi-e-noi-cosi-la-lomba...
Mi sa che presto te ne toccherà scrivere un altro a giudicare di quante "news" stanno uscendo fuori.
Ad es. sapevate che:
"Aria spa ha scelto il multi-cloud ibrido A sperimentare per la prima volta il modello multi-cloud ibrido è l’ex Lombardia Informatica, ora Aria spa: il braccio tecnologico della regione Lombardia ha scelto un raggruppamento temporaneo di imprese guidato da AlmavivA per immagazzinare i suoi dati, soprattutto quelli del sistema sanitario regionale, su diversi cloud, in modo da non avere blocchi ai sistemi operativi. Invece di appoggiarsi ad unico fornitore, il committente regione Lombardia, attraverso AlmavivA, si appoggerà ai servizi di Amazon Web Services, Microsoft e Virtustream." [1]
l'articolo promozionale di Almaviva prosegue:
--8<---------------cut here---------------start------------->8---
Un appalto apripista in tutta Italia
L’appalto si prevede possa essere pilota a livello nazionale, in coerenza con il Piano nazionale lanciato dall’Agenzia per l’Italia Digitale, che prevede la creazione di poli strategici dove accentrare i dati della pubblica amministrazione, in modo da “spegnere” le oltre 20mila celle di ministeri, comuni e università, gestendo tutto in Cloud con le migliori procedure di cybersecurity e di recupero di dati e applicazioni e dati in caso di collasso dell’infrastruttura.
«Con un clic si rompe un modello tradizionale», assicura il DG AlmavivA Antonio Amati
Un centro pubblico di controllo dei dati
La soluzione scelta da Aria consente di utilizzare tutti i differenti e numerosi provider cloud, tramite gli interlocutori della RTI – oltre alla capofila AlmavivA, Lutech e Reply -, senza abbandonare, ma anzi rafforzando attraverso un HUB che rimane di proprietà pubblica, il proprio centro di governo e controllo dei dati, della progettazione e dell’erogazione dei servizi.
Aria assume dunque il ruolo di orchestratore in nome e per conto della pubblica amministrazione regionale e locale in un progetto nel quale gli asset nazionali rimangono saldamente nelle mani del pubblico mentre si sfruttano le migliori opportunità di mercato.
--8<---------------cut here---------------end--------------->8---
«“spegnere” le oltre 20mila celle di ministeri, comuni e università», un piano perfetto per privatizzare l'ICT pubblico chiamando l'operazione "orchestrazione".
Di questo vale la pena aprire un nuovo thread.
[...]
Saluti, Giovanni
-- Giovanni Biscuolo _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
On Fri, 2021-01-29 at 19:04 +0100, Guido Vetere wrote:
un fornitore unico che orchestra i cloud di Amazon, Microsoft e Dell con un click perfetto, direi G.
... speriamo che i loro sistemisti clicchino sempre bene ... e che non succeda che un ragazzo principiante, sottopagato ed annoiato tiri giù l'Italia con un click ...
On Fri, 29 Jan 2021 at 10:55, Giovanni Biscuolo <giovanni@biscuolo.net> wrote:
Antonio Iacono <antiac@gmail.com> writes:
https://www.agendadigitale.eu/cultura-digitale/algoritmi-e-noi-cosi-la-lomba...
Mi sa che presto te ne toccherà scrivere un altro a giudicare di
quante "news" stanno uscendo fuori.
Ad es. sapevate che:
"Aria spa ha scelto il multi-cloud ibrido
A sperimentare per la prima volta il modello multi-cloud ibrido è l’ex
Lombardia Informatica, ora Aria spa: il braccio tecnologico della
regione Lombardia ha scelto un raggruppamento temporaneo di imprese
guidato da AlmavivA per immagazzinare i suoi dati, soprattutto quelli
del sistema sanitario regionale, su diversi cloud, in modo da non
avere blocchi ai sistemi operativi. Invece di appoggiarsi ad unico
fornitore, il committente regione Lombardia, attraverso AlmavivA, si
appoggerà ai servizi di Amazon Web Services, Microsoft e Virtustream."
[1]
l'articolo promozionale di Almaviva prosegue:
--8<---------------cut here---------------start------------->8---
Un appalto apripista in tutta Italia
L’appalto si prevede possa essere pilota a livello nazionale, in
coerenza con il Piano nazionale lanciato dall’Agenzia per l’Italia
Digitale, che prevede la creazione di poli strategici dove accentrare i
dati della pubblica amministrazione, in modo da “spegnere” le oltre
20mila celle di ministeri, comuni e università, gestendo tutto in Cloud
con le migliori procedure di cybersecurity e di recupero di dati e
applicazioni e dati in caso di collasso dell’infrastruttura.
«Con un clic si rompe un modello tradizionale», assicura il DG AlmavivA
Antonio Amati
Un centro pubblico di controllo dei dati
La soluzione scelta da Aria consente di utilizzare tutti i differenti e
numerosi provider cloud, tramite gli interlocutori della RTI – oltre
alla capofila AlmavivA, Lutech e Reply -, senza abbandonare, ma anzi
rafforzando attraverso un HUB che rimane di proprietà pubblica, il
proprio centro di governo e controllo dei dati, della progettazione e
dell’erogazione dei servizi.
Aria assume dunque il ruolo di orchestratore in nome e per conto della
pubblica amministrazione regionale e locale in un progetto nel quale gli
asset nazionali rimangono saldamente nelle mani del pubblico mentre si
sfruttano le migliori opportunità di mercato.
--8<---------------cut here---------------end--------------->8---
«“spegnere” le oltre 20mila celle di ministeri, comuni e università», un
piano perfetto per privatizzare l'ICT pubblico chiamando l'operazione
"orchestrazione".
Di questo vale la pena aprire un nuovo thread.
[...]
Saluti, Giovanni
_______________________________________________nexa mailing listnexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
On Thu, Jan 28, 2021 at 6:53 PM Guido Vetere <vetere.guido@gmail.com> wrote:
https://www.agendadigitale.eu/cultura-digitale/algoritmi-e-noi-cosi-la-lomba...
"... come si legge in una lettera pubblicata dal Fatto Quotidiano: 'Caro, ti ricordo il problema dei vostri dati con data inizio sintomi e mai uno stato clinico a conferma di questo'. Il tono confidenziale fa pensare a qualcuno che chiede ad un amico di mandargli le foto della vacanza in alta risoluzione perché le vuole stampare. Di mezzo, invece, c’è la vita delle persone. Il regime di lockdown che i lombardi hanno subito è frutto dell’atavica carenza nella gestione della semantica dei dati essenziali per il funzionamento delle amministrazioni, una carenza che è tutta riassunta in un quel 'Caro amico'." Scusate se torno sull'argomento ma la vicenda è paradigmatica di un modo di fare fin troppo diffuso nelle amministrazioni pubbliche (ma non solo). Occorre sviscerarla nei più piccoli particolari (ovviamente quelli che ci è dato conoscere perchè pubblici) per evitare che nel prossimo futuro ad ogni errore, disfunzione, anomalia, si dia colpa ad un fantomatico algoritmo. Quando gli uffici ci chiedono applicazioni web la prima domanda che facciamo è: "di che numeri stiamo parlando?". Perchè un conto è gestire 10000 record, un altro è gestirne 1 miliardo. Bene, in questa vicenda, di che numeri stiamo parlando? Tutti i tamponi di una regione, diviso per laboratorio, al giorno, o alla settimana, quanti saranno? Una decina, un centinaio? E tu (e nel tu ci metto chiunque sia stato coinvolto) fai prendere all'autorità politica una decisione così importante sulla base di un calcolo effettuato su poche centinaia di dati? Cosa avrei fatto io? Se il risultato di un calcolo fosse stato "anomalo", bene, mi sarei preso carta e penna e li avrei conteggiato a mano. Se non ci fossi arrivato a farlo in tempo utile avrei chiesto ad una, due, dieci persone di aiutarmi. Avrei scritto email e telefonato all'universo mondo fin quando sarei giunto non dico alla certezza ma a fugare quanto meno i dubbi maggiori. Per esperienza chi realizza applicazioni è sempre "tirato" nell'inserire funzioni di export. Sarà perchè se perdi dati perdi potere e se l'utente mi si scarica tutto il dataset poi o cosa serve la mia applicazione? Non vorrei che queste applicazioni "mirabolanti", fatte su DaaS, SaaS e altri *aaS vari, poi mancasse di una banale funzione di export. Antonio
Buongiorno, Guido Vetere <vetere.guido@gmail.com> writes:
ecco un mio breve commento sulla vicenda:
https://www.agendadigitale.eu/cultura-digitale/algoritmi-e-noi-cosi-la-lomba...
Ottima la sottolineatura che si tratta di un problema di natura prettamente semantica, troppe persone in _tutti_ i campi [1] ignorano totalmente il problema come se non esistesse, come se non fosse *centrale* (e storico) nel sistema di trattamento dei dati. Tuttavia ci sono alcune considerazioni da fare: 1. il sistema nel suo complesso è troppo complesso (pun intended) e le strutture periferiche, quelle che raccolgono i dati, probabilmente (purtroppo) non hanno nemmeno idea di cosa sono e come si usano le ontologie. Forse potrebbero avere supporto "mettendole in rete" adeguatamente e/o rivolgendosi ad un supporto qualificato nella PA... ma non andiamo OT; 2. considerato quanto in 1. il gestore lombardo ha deciso (giustamente) di fornire a chi raccoglie i dati un kit, che però è un sistema "Desktop As A Service" (olè!)... ma qual'è lo strumento messo a disposizione per la raccolta dati? Usa una qualche ontologia? Pare di no: pare che il kit fornito consenta perfino di inserire date che vengono convertite in modo errato quando caricate nel «DB Covid-19» regionale, a proposito di semantica e unità di misura; Bellissima poi la considerazione «la carenza semantica nella gestione dei dati pubblici ha origini costituzionali, in particolare nel regime delle autonomie locali.». Sono allora andato a curiosare il repertorio di ontologie che citato [2] e vedo che c'è un «elenco delle basi di dati chiave » [3] che dice: --8<---------------cut here---------------start------------->8--- In base ai fattori precedentemente discussi, si sono individuati cinque macro ambiti di riferimento per le basi di dati chiave/dataset chiave del 2017; gli ambiti sono di seguito riportati utilizzando le denominazioni del vocabolario dei temi per i dati del profilo di metadatazione nazionale DCAT-AP_IT: - Trasporti (che include anche dati relativi in generale alla mobilità); - Istruzione, cultura e sport (che include anche il turismo); - Economia e finanze; Giustizia, sistema giuridico e sicurezza pubblica; - Regioni e città. --8<---------------cut here---------------end--------------->8--- In quell'elenco manca "Salute", che *però* è presente nell'elenco temi [4] delle «Linee guida per i cataloghi dati». Ricordo, infine, che la stessa Iss ha adottato uno schema XML e non una ontologia RDF per il database centralizzato... insomma ciascuno _autonomamente_ si reinventa la ruota ogni volta che c'è bisogno di un carretto [5]? :-D Un bel pasticcio sistemico e sistematico. Saluti, Giovanni. P.S.: rimane il fatto che a quanto ci è dato sapere le altre 19 regioni italiane non hanno avuto simili problemi nel "caricare" i dati nel database Iss. [...] [1] anche solo con le unità di misura, la base della semantica dei dati https://www.mentalfloss.com/article/25845/quick-6-six-unit-conversion-disast... https://spacemath.gsfc.nasa.gov/weekly/6Page53.pdf [2] https://github.com/italia/daf-ontologie-vocabolari-controllati [3] https://docs.italia.it/italia/daf/pianotri-elencobasidatichiave/it/stabile/e... [4] https://docs.italia.it/italia/daf/linee-guida-cataloghi-dati-dcat-ap-it/it/s... [5] che poi, RDF è talmente avanti che lo permette pure *se* si definisce l'ontologia dei dati raccolti: è nato anche per questo, per consentire di connettere basi di dati differenti, i famosi Linked Data. -- Giovanni Biscuolo
participants (5)
-
Antonio Iacono -
Giovanni Biscuolo -
Guido Vetere -
Marco A. Calamari -
Stefano Zacchiroli