January 2022 - nexa - server-nexa.polito.it

Re: [nexa] IBM Watson: an interesting lesson learned in AI/ML in medicine

by Guido Vetere

Giuseppe, per quello che posso giudicare avendo assistito alle prime fasi della vicenda, il problema non è nel fatto che il Watson vincitore in Jeopardy non usava le DNN (per ovvi motivi storici), ma che le tecniche di question answering non vanno proprio bene per quel task, e credo che la cosa non cambierebbe con i transformers di oggi, neanche con language models specialistici e fine-tuned. Ci sono conoscenze di concetti e di nessi causali che semplicemente non si evincono dai dati o dai testi. " Rather, the problem was one of meaning", indeed! Il capo ricercatore di Watson for Jeopardy cercò di avvertire la CEO proprio di questo, ma gli fu risposto che era un disfattista e fu messo alla porta. G. On Mon, 31 Jan 2022 at 17:07, Giuseppe Attardi <attardi(a)di.unipi.it> wrote: > Ci sono alcune spiegazioni a questo esito. > > Prima di tutto Watson era basato su tecnologie di 20 anni fa, ormai > obsolete con l’avvento del Deep Learning, e dei Transformer Model allenati > su enormi collezioni di testi non annotati. > Poi i modelli attuali di ML sono efficaci solo su task molto specifici. > Credo Watson non fosse in grado di mettere insieme conoscenze da diverse > fonti: i successi sbandierati riguardavano casi molto rari di malattie che > riusciva a individuare sulla base di una ricerca sui testi di letteratura > medica. > > Oggi si stanno svilupoando sistemi basati su transformers in grado di > svolgere contemporaneamente più task, analizzando insieme testi, immagini > AWHY in modalità end-to-end. > Questo però richiede corpora di allenamento misti e ben annotati, ciò che > chiamo Human-in-the-loop e che distingue l’AI dalla semplice statistica, > che ancora non sono facili da trovare, specialmente nel settore medico, a > causa di questioni di privacy. Insomma occorre trasferire le competenze > umane attraverso l’apprendimento dal comportamento degli esperti umani, che > si basano su segnali diversi e svariati. > > IBM aveva tentato di accaparrarsi tali dati con un accordo molto criticato > col NHS britannico. In Iitalia aveva tentato la stessa operazione con lo > Human Technopole. > Mi risulta che la ASL di Bolzano abbia acquistato una versione di Watson, > salvo poi accorgersi che Watson era allenato solo su testi inglesi. > > In definitiva, le potenzialità per l’AI nel campo medico sono enormi, e > stanno già producendo significativi progressi in campi come la selezione di > molecole, la sintesi di farmaci, ecc. , mentre le applicazioni alla > diagnosi sono più lontane. > > — Beppe > > > On 31 Jan 2022, at 12:00, nexa-request(a)server-nexa.polito.it wrote: > > > > From: Enrico Nardelli <nardelli(a)mat.uniroma2.it> > > To: Nexa <nexa(a)server-nexa.polito.it> > > Subject: [nexa] IBM Watson: an interesting lesson learned in AI/ML in > > medicine > > Message-ID: <b0ea1988-c601-2834-2b5a-67b462940a70(a)mat.uniroma2.it> > > Content-Type: text/plain; charset=UTF-8; format=flowed > > > > > > It started in Jeopardy and ended in loss. IBM's flagship AI Watson > Health has been sold to venture capitalists for an undisclosed sum thought > to be around a billion dollars, or a quarter of what the division cost IBM > in acquisitions alone since it was spun off in 2015. > > > > ... > > > > When clinical trials were published, Watson came up short every time. It > didn't matter what field it was in, it consistently scored less well than > human clinicians – sometimes under 50 per cent – and demonstrated some > alarming blind spots in suggested treatments. Medical professionals had > enough to worry about without babysitting a broken AI: it got dropped. > > > > ... > > > > IBM's Watson Health failed at the time, like so much AL/ML, because it > didn't know what the question was – ironic, since the game of Jeopardy at > which it excelled is all about deducing questions from data. It wanted to > automate the highest skilled aspects of healthcare, diagnosis and > treatment, but the problem wasn't one of getting the most data and the best > algorithm. Rather, the problem was one of meaning. > > > > ... > > > > Fortunately, this sad case does not mean AI-based tools can't work in > medicine, nor even that Watson Health won't do so, nor that AIs' evaluation > and adoption has been slowed down. Ask the right questions, such as "why do > some patients get readmitted" and can you spot them early?, and you get the > right answers. AI in healthcare is being adopted, and it shows every sign > of deserving its place. > > > > ... > > > > https://www.theregister.com/2022/01/31/machine_learning_the_hard_way/ > > > > > > -- EN > _______________________________________________ > nexa mailing list > nexa(a)server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >

Jan. 31, 2022

Re: [nexa] "US pushes to change EU’s digital gatekeeper rules"

by Stefano Quintarelli

se leggo bene, hanno nel mirino la protezione dell'integrazione verticale device-store vogliono conservare la chiave... On 31/01/22 17:33, J.C. DE MARTIN wrote: > "We think it is important that regulatory efforts on either side of the Atlantic do not > create unintended adverse consequences, such as inadvertent cybersecurity risks or harms > to technological innovation,"

Jan. 31, 2022

"US pushes to change EU’s digital gatekeeper rules"

by J.C. DE MARTIN

*US pushes to change EU’s digital gatekeeper rules * /Washington officials worry that the Digital Markets Act could target American firms./ By Samuel Stolton January 31, 2022 1:16 pm The United States is pressing the EU to revise rules targeting digital giants to make them focus less on American companies and ensure they will also cover tech firms from outside the U.S., according to a new paper distributed to Brussels officials and seen by POLITICO. The move, which aims to change the so-called Digital Markets Act, highlights Washington's concern about plans to rein in the biggest tech companies as the U.S. government is targeting Brussels officials in the midst of ongoing talks in the Transatlantic Trade and Technology Council, a high-level transatlantic discussion group. In addition to the scope of the plans, the Biden administration also cites security concerns regarding Brussels' efforts. "We think it is important that regulatory efforts on either side of the Atlantic do not create unintended adverse consequences, such as inadvertent cybersecurity risks or harms to technological innovation," the paper states. "We have also been clear that we oppose efforts specifically designed to target only U.S. companies where similarly situated non-U.S. companies would not be covered." Late last week Washington circulated the eight-point policy document to "select" MEPs and member countries, in the middle of key negotiations between EU institutions on the bloc’s draft gatekeeper rules. [...] Continua qui: https://www.politico.eu/article/us-government-in-bid-to-change-eu-digital-m…

Jan. 31, 2022

Re: [nexa] IBM Watson: an interesting lesson learned in AI/ML in medicine

by Giuseppe Attardi

Ci sono alcune spiegazioni a questo esito. Prima di tutto Watson era basato su tecnologie di 20 anni fa, ormai obsolete con l’avvento del Deep Learning, e dei Transformer Model allenati su enormi collezioni di testi non annotati. Poi i modelli attuali di ML sono efficaci solo su task molto specifici. Credo Watson non fosse in grado di mettere insieme conoscenze da diverse fonti: i successi sbandierati riguardavano casi molto rari di malattie che riusciva a individuare sulla base di una ricerca sui testi di letteratura medica. Oggi si stanno svilupoando sistemi basati su transformers in grado di svolgere contemporaneamente più task, analizzando insieme testi, immagini AWHY in modalità end-to-end. Questo però richiede corpora di allenamento misti e ben annotati, ciò che chiamo Human-in-the-loop e che distingue l’AI dalla semplice statistica, che ancora non sono facili da trovare, specialmente nel settore medico, a causa di questioni di privacy. Insomma occorre trasferire le competenze umane attraverso l’apprendimento dal comportamento degli esperti umani, che si basano su segnali diversi e svariati. IBM aveva tentato di accaparrarsi tali dati con un accordo molto criticato col NHS britannico. In Iitalia aveva tentato la stessa operazione con lo Human Technopole. Mi risulta che la ASL di Bolzano abbia acquistato una versione di Watson, salvo poi accorgersi che Watson era allenato solo su testi inglesi. In definitiva, le potenzialità per l’AI nel campo medico sono enormi, e stanno già producendo significativi progressi in campi come la selezione di molecole, la sintesi di farmaci, ecc. , mentre le applicazioni alla diagnosi sono più lontane. — Beppe > On 31 Jan 2022, at 12:00, nexa-request(a)server-nexa.polito.it wrote: > > From: Enrico Nardelli <nardelli(a)mat.uniroma2.it> > To: Nexa <nexa(a)server-nexa.polito.it> > Subject: [nexa] IBM Watson: an interesting lesson learned in AI/ML in > medicine > Message-ID: <b0ea1988-c601-2834-2b5a-67b462940a70(a)mat.uniroma2.it> > Content-Type: text/plain; charset=UTF-8; format=flowed > > > It started in Jeopardy and ended in loss. IBM's flagship AI Watson Health has been sold to venture capitalists for an undisclosed sum thought to be around a billion dollars, or a quarter of what the division cost IBM in acquisitions alone since it was spun off in 2015. > > ... > > When clinical trials were published, Watson came up short every time. It didn't matter what field it was in, it consistently scored less well than human clinicians – sometimes under 50 per cent – and demonstrated some alarming blind spots in suggested treatments. Medical professionals had enough to worry about without babysitting a broken AI: it got dropped. > > ... > > IBM's Watson Health failed at the time, like so much AL/ML, because it didn't know what the question was – ironic, since the game of Jeopardy at which it excelled is all about deducing questions from data. It wanted to automate the highest skilled aspects of healthcare, diagnosis and treatment, but the problem wasn't one of getting the most data and the best algorithm. Rather, the problem was one of meaning. > > ... > > Fortunately, this sad case does not mean AI-based tools can't work in medicine, nor even that Watson Health won't do so, nor that AIs' evaluation and adoption has been slowed down. Ask the right questions, such as "why do some patients get readmitted" and can you spot them early?, and you get the right answers. AI in healthcare is being adopted, and it shows every sign of deserving its place. > > ... > > https://www.theregister.com/2022/01/31/machine_learning_the_hard_way/ > > > -- EN

Jan. 31, 2022

Re: [nexa] Progetto MonitoraPA: Google Analytics nella PA - CALL FOR PARTICIPATION

by Roberto Resoli

Il 31 gennaio 2022 09:38:59 CET, "Fabio Pietrosanti (naif)" <lists(a)infosecurity.ch> ha scritto: >Sappiamo tutti che Google Analytics non và più bene per il GDPR (evviva!): >Da qui l'idea di avviare un progetto per: >1. Misurare la presenza di Google Analytics sui siti delle PA >2. Notificare tutti i DPO delle PA >3. Fare Data Analytics dai risultati >4. Espostone al Garante dettagliato ... >C'è già una disponibilità di più NGO e individui per disseminare i >risultati del progetto, ma se non si crea un gruppo comunitario, il >progetto non accadrà :* Bellissima iniziativa Fabio, sotterrò come potrò! rob

Jan. 31, 2022

Opportunita' dottorato LINAS in IA e diritto a QUB

by GC F

Cari tutti, Volevo informarvi che ci sono posti disponibili per la scuola di dottorato LINAS finanziata da un grant Leverhulme qui a Queen's University Belfast, dove mi sono trasferito da poco come Chair in Law and Technology. Le tematiche sono quelle di IA, diritto e società'. In particolare, sono disponibili due posizioni a tema aperto (oltre ad altre con tematiche predefinite) nell'ambito di ricerca di LINAS. Di seguito trovate informazioni dettagliate: https://www.qub.ac.uk/Research/GRI/mitchell-institute/Study/linas Mettetemi pure in contatto con candidati interessati, se ne conoscete. Le scadenze indicate sul sito sono state protratte fino a fine Febbraio. Ci sono, dunque, ancora i tempi per inviare nuove domande di ammissione. Sono disponibile alla supervisione per la porzione giuridica del dottorato. La supervisione poi verrà' svolta anche da un altro docente con competenze tecniche. In generale, LINAS cerca giuristi con attitudine e disposizione a cimentarsi con aspetti tecnici o candidati STEM con interessi giuridici, etici e socio-economici (forse anche piu' adatti al tema di LINAS). In ogni caso, qualsiasi proposal che discute AI e proprietà' intellettuale, algorithmic enforcement online, content moderation, filtraggio e monitoraggio e tensioni con diritti fondamentali rientra tra i temi LINAS, oltre certamente a candidati interessati a studiare i profili di responsabilità della macchina e relativi aspetti tecnici, giuridici e etici. Con i saluti più' cordiali, Giancarlo

Jan. 31, 2022

Annual report lays out the challenges of protecting fundamental rights in the digital age

by Alessandro Brolpito

Dear all, The EU's annual report on Protecting fundamental rights in the digital age (europa.eu) <https://ec.europa.eu/commission/presscorner/detail/en/ip_21_6699> The report covers 5 policy areas: - Tackling the challenges of online moderation - Safeguarding fundamental rights where artificial intelligence is used - Addressing the digital divide - Protecting people working through platform - Supervising digital surveillance More about digital citizenship, to me the key success indicator of the current digital transition Europe’s Digital Decade: digital targets for 2030 | European Commission (europa.eu) <https://ec.europa.eu/info/strategy/priorities-2019-2024/europe-fit-digital-…> Alessandro

Jan. 31, 2022

IBM Watson: an interesting lesson learned in AI/ML in medicine

by Enrico Nardelli

It started in Jeopardy and ended in loss. IBM's flagship AI Watson Health has been sold to venture capitalists for an undisclosed sum thought to be around a billion dollars, or a quarter of what the division cost IBM in acquisitions alone since it was spun off in 2015. ... When clinical trials were published, Watson came up short every time. It didn't matter what field it was in, it consistently scored less well than human clinicians – sometimes under 50 per cent – and demonstrated some alarming blind spots in suggested treatments. Medical professionals had enough to worry about without babysitting a broken AI: it got dropped. ... IBM's Watson Health failed at the time, like so much AL/ML, because it didn't know what the question was – ironic, since the game of Jeopardy at which it excelled is all about deducing questions from data. It wanted to automate the highest skilled aspects of healthcare, diagnosis and treatment, but the problem wasn't one of getting the most data and the best algorithm. Rather, the problem was one of meaning. ... Fortunately, this sad case does not mean AI-based tools can't work in medicine, nor even that Watson Health won't do so, nor that AIs' evaluation and adoption has been slowed down. Ask the right questions, such as "why do some patients get readmitted" and can you spot them early?, and you get the right answers. AI in healthcare is being adopted, and it shows every sign of deserving its place. ... https://www.theregister.com/2022/01/31/machine_learning_the_hard_way/ -- EN ===================================================================== Prof. Enrico Nardelli Dipartimento di Matematica - Universita' di Roma "Tor Vergata" Via della Ricerca Scientifica snc - 00133 Roma tel: +39 06 7259.4204 fax: +39 06 7259.4699 mobile: +39 335 590.2331 e-mail: nardelli(a)mat.uniroma2.it home page: http://www.mat.uniroma2.it/~nardelli blog: http://www.ilfattoquotidiano.it/blog/enardelli/ http://link-and-think.blogspot.it/ ===================================================================== --

Jan. 31, 2022

Progetto MonitoraPA: Google Analytics nella PA - CALL FOR PARTICIPATION

by Fabio Pietrosanti (naif)

Sappiamo tutti che Google Analytics non và più bene per il GDPR (evviva!): Da qui l'idea di avviare un progetto per: 1. Misurare la presenza di Google Analytics sui siti delle PA 2. Notificare tutti i DPO delle PA 3. Fare Data Analytics dai risultati 4. Espostone al Garante dettagliato Ora servono "braccia" (intellettuali) per fare gli scripts, specificati qui https://github.com/hermescenter/monitorapa. La Chat del Gruppo di lavoro è https://t.me/monitoraPA . L’obiettivo software è spezzettare singoli script affinché: A) Ci sia come artefatto intermedio un file “amministrazione.txt” arricchito che sia importabile in excel con campi aggiunti e che permetta di fare analici di risultato per tipo di PA, per geografia, etc etc B) Lo script di evaluation se c’è Google Analytics sia sostituibile per riusare il progetto software, per misurare altre cose in futuro in modo agevole rifacendo emailing massivi e arricchimento tale e quale. Approposito di "B", vista la sentenza tedesca sull'uso dei Google Fonts Embedded, c'è spazio per estendere questo strumento come mezzo generico e di veloce adattabilità a fare test e notifiche massive, anche per altri scenari di violazione o non compliance. C'è già una disponibilità di più NGO e individui per disseminare i risultati del progetto, ma se non si crea un gruppo comunitario, il progetto non accadrà :* Fabio

Jan. 31, 2022

Re: [nexa] What is the quantum apocalypse and should we be scared?

by 380°

Ciao Giacomo, saluti nexiane Giacomo Tesio <giacomo(a)tesio.it> writes: [...] > Secondo me, per il momento, è qualcosa di molto più astuto e strategico: [...] > [1] https://www.theverge.com/2013/9/11/4718694/how-far-did-the-nsa-go-to-weaken… > > [2] https://www.niskanencenter.org/the-nsa-and-nist-a-toxic-relationship/ la "quantum apocalypse" è parte integrante della propaganda della NSA diffusa allo scopo di /sabotare/ la crittografia forte [1] che - Snowden leaks docet [2] - è una delle pochissime "cose" che manda completamente in bestia (parole loro) le spie di tutto il mondo, è per questo che la crittografia forte è /da sempre/ sotto attacco (dopo Enigma poi!) Il loro scopo ormai fin troppo evidente è di riuscire a farsi standardizzare le loro curve truccate, delle quali posseggono le backdoors Non è un'ipotesi, è il lavoro che la NSA ha sempre svolto: https://en.wikipedia.org/wiki/Cryptography#NSA_involvement Al contrario, la matematica della crittografia è chiara in merito: https://en.wikipedia.org/wiki/Post-quantum_cryptography#Symmetric_key_quant… --8<---------------cut here---------------start------------->8--- Provided one uses sufficiently large key sizes, the symmetric key cryptographic systems like AES and SNOW 3G are already resistant to attack by a quantum computer --8<---------------cut here---------------end--------------->8--- Saluti, 380° [1] dopo esser eriuscita per anni a classificarla come arma militare e quindi soggetta a limiti di esportazione, come ricorderanno i giovani da più tempo come me (https://en.wikipedia.org/wiki/Export_of_cryptography_from_the_United_States) [2] https://en.wikipedia.org/wiki/Crypto_Wars#Snowden_and_NSA's_bullrun_program -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.

Jan. 30, 2022