Re: [nexa] IBM Watson: an interesting lesson learned in AI/ML in medicine
Ci sono alcune spiegazioni a questo esito. Prima di tutto Watson era basato su tecnologie di 20 anni fa, ormai obsolete con l’avvento del Deep Learning, e dei Transformer Model allenati su enormi collezioni di testi non annotati. Poi i modelli attuali di ML sono efficaci solo su task molto specifici. Credo Watson non fosse in grado di mettere insieme conoscenze da diverse fonti: i successi sbandierati riguardavano casi molto rari di malattie che riusciva a individuare sulla base di una ricerca sui testi di letteratura medica. Oggi si stanno svilupoando sistemi basati su transformers in grado di svolgere contemporaneamente più task, analizzando insieme testi, immagini AWHY in modalità end-to-end. Questo però richiede corpora di allenamento misti e ben annotati, ciò che chiamo Human-in-the-loop e che distingue l’AI dalla semplice statistica, che ancora non sono facili da trovare, specialmente nel settore medico, a causa di questioni di privacy. Insomma occorre trasferire le competenze umane attraverso l’apprendimento dal comportamento degli esperti umani, che si basano su segnali diversi e svariati. IBM aveva tentato di accaparrarsi tali dati con un accordo molto criticato col NHS britannico. In Iitalia aveva tentato la stessa operazione con lo Human Technopole. Mi risulta che la ASL di Bolzano abbia acquistato una versione di Watson, salvo poi accorgersi che Watson era allenato solo su testi inglesi. In definitiva, le potenzialità per l’AI nel campo medico sono enormi, e stanno già producendo significativi progressi in campi come la selezione di molecole, la sintesi di farmaci, ecc. , mentre le applicazioni alla diagnosi sono più lontane. — Beppe
On 31 Jan 2022, at 12:00, nexa-request@server-nexa.polito.it wrote:
From: Enrico Nardelli <nardelli@mat.uniroma2.it> To: Nexa <nexa@server-nexa.polito.it> Subject: [nexa] IBM Watson: an interesting lesson learned in AI/ML in medicine Message-ID: <b0ea1988-c601-2834-2b5a-67b462940a70@mat.uniroma2.it> Content-Type: text/plain; charset=UTF-8; format=flowed
It started in Jeopardy and ended in loss. IBM's flagship AI Watson Health has been sold to venture capitalists for an undisclosed sum thought to be around a billion dollars, or a quarter of what the division cost IBM in acquisitions alone since it was spun off in 2015.
...
When clinical trials were published, Watson came up short every time. It didn't matter what field it was in, it consistently scored less well than human clinicians – sometimes under 50 per cent – and demonstrated some alarming blind spots in suggested treatments. Medical professionals had enough to worry about without babysitting a broken AI: it got dropped.
...
IBM's Watson Health failed at the time, like so much AL/ML, because it didn't know what the question was – ironic, since the game of Jeopardy at which it excelled is all about deducing questions from data. It wanted to automate the highest skilled aspects of healthcare, diagnosis and treatment, but the problem wasn't one of getting the most data and the best algorithm. Rather, the problem was one of meaning.
...
Fortunately, this sad case does not mean AI-based tools can't work in medicine, nor even that Watson Health won't do so, nor that AIs' evaluation and adoption has been slowed down. Ask the right questions, such as "why do some patients get readmitted" and can you spot them early?, and you get the right answers. AI in healthcare is being adopted, and it shows every sign of deserving its place.
...
https://www.theregister.com/2022/01/31/machine_learning_the_hard_way/
-- EN
Giuseppe, per quello che posso giudicare avendo assistito alle prime fasi della vicenda, il problema non è nel fatto che il Watson vincitore in Jeopardy non usava le DNN (per ovvi motivi storici), ma che le tecniche di question answering non vanno proprio bene per quel task, e credo che la cosa non cambierebbe con i transformers di oggi, neanche con language models specialistici e fine-tuned. Ci sono conoscenze di concetti e di nessi causali che semplicemente non si evincono dai dati o dai testi. " Rather, the problem was one of meaning", indeed! Il capo ricercatore di Watson for Jeopardy cercò di avvertire la CEO proprio di questo, ma gli fu risposto che era un disfattista e fu messo alla porta. G. On Mon, 31 Jan 2022 at 17:07, Giuseppe Attardi <attardi@di.unipi.it> wrote:
Ci sono alcune spiegazioni a questo esito.
Prima di tutto Watson era basato su tecnologie di 20 anni fa, ormai obsolete con l’avvento del Deep Learning, e dei Transformer Model allenati su enormi collezioni di testi non annotati. Poi i modelli attuali di ML sono efficaci solo su task molto specifici. Credo Watson non fosse in grado di mettere insieme conoscenze da diverse fonti: i successi sbandierati riguardavano casi molto rari di malattie che riusciva a individuare sulla base di una ricerca sui testi di letteratura medica.
Oggi si stanno svilupoando sistemi basati su transformers in grado di svolgere contemporaneamente più task, analizzando insieme testi, immagini AWHY in modalità end-to-end. Questo però richiede corpora di allenamento misti e ben annotati, ciò che chiamo Human-in-the-loop e che distingue l’AI dalla semplice statistica, che ancora non sono facili da trovare, specialmente nel settore medico, a causa di questioni di privacy. Insomma occorre trasferire le competenze umane attraverso l’apprendimento dal comportamento degli esperti umani, che si basano su segnali diversi e svariati.
IBM aveva tentato di accaparrarsi tali dati con un accordo molto criticato col NHS britannico. In Iitalia aveva tentato la stessa operazione con lo Human Technopole. Mi risulta che la ASL di Bolzano abbia acquistato una versione di Watson, salvo poi accorgersi che Watson era allenato solo su testi inglesi.
In definitiva, le potenzialità per l’AI nel campo medico sono enormi, e stanno già producendo significativi progressi in campi come la selezione di molecole, la sintesi di farmaci, ecc. , mentre le applicazioni alla diagnosi sono più lontane.
— Beppe
On 31 Jan 2022, at 12:00, nexa-request@server-nexa.polito.it wrote:
From: Enrico Nardelli <nardelli@mat.uniroma2.it> To: Nexa <nexa@server-nexa.polito.it> Subject: [nexa] IBM Watson: an interesting lesson learned in AI/ML in medicine Message-ID: <b0ea1988-c601-2834-2b5a-67b462940a70@mat.uniroma2.it> Content-Type: text/plain; charset=UTF-8; format=flowed
It started in Jeopardy and ended in loss. IBM's flagship AI Watson Health has been sold to venture capitalists for an undisclosed sum thought to be around a billion dollars, or a quarter of what the division cost IBM in acquisitions alone since it was spun off in 2015.
...
When clinical trials were published, Watson came up short every time. It didn't matter what field it was in, it consistently scored less well than human clinicians – sometimes under 50 per cent – and demonstrated some alarming blind spots in suggested treatments. Medical professionals had enough to worry about without babysitting a broken AI: it got dropped.
...
IBM's Watson Health failed at the time, like so much AL/ML, because it didn't know what the question was – ironic, since the game of Jeopardy at which it excelled is all about deducing questions from data. It wanted to automate the highest skilled aspects of healthcare, diagnosis and treatment, but the problem wasn't one of getting the most data and the best algorithm. Rather, the problem was one of meaning.
...
Fortunately, this sad case does not mean AI-based tools can't work in medicine, nor even that Watson Health won't do so, nor that AIs' evaluation and adoption has been slowed down. Ask the right questions, such as "why do some patients get readmitted" and can you spot them early?, and you get the right answers. AI in healthcare is being adopted, and it shows every sign of deserving its place.
...
https://www.theregister.com/2022/01/31/machine_learning_the_hard_way/
-- EN
nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Guido Vetere <vetere.guido@gmail.com> writes: [...]
Ci sono conoscenze di concetti e di nessi causali che semplicemente non si evincono dai dati o dai testi.
questi aspetti sono oggetto di studio da secoli, tra linguistica, semiologia, epistemologia... ancora non mi pare siamo arrivati a stabilire con ragionavole confidenza come funzionano esattamente
" Rather, the problem was one of meaning", indeed!
semantica, non grammatica :-D [...] saluti, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.
Salve a tutti, mi scuserete se riapro questo thread alla luce di una lettera aperta che il giornale dell'Ordine dei Medici della provincia di Cuneo ha (ri)pubblicato nel suo ultimo numero. On Wed, 02 Feb 2022 10:46:15 +0100 380° wrote:
Guido Vetere <vetere.guido@gmail.com> writes:
" Rather, the problem was one of meaning", indeed!
semantica, non grammatica :-D
Il problema di significato in questione è molto più profondo di quanto non si possa misurare da un punto di vista meramente informatico. L'alienzazione delle persone, ridotte ad utenti/ingranaggi, sta raggiungendo lentamente anche le professioni più specialistiche. Ma gli strumenti informatici sono solo un nuovo mezzo per velocizzare questa alienazione, non sono la causa. Alienare è una scelta politica, non un effetto collaterale. E non è mai una scelta obbligata. ``` Perché non permettere ai medici di avere spazi di lavoro consoni, dignitosi, spazi di riposo doverosi, tutele dovute, significa procurare quelle che Dean e Talbot chiamano “moral injuries”: “Physicians aren’t ‘burning out.’ They’re suffering from moral injury”. Perché è facile etichettare come burn-out il consumo fisico e psichico dei medici: relega a una dimensione individuale, a interventi sul singolo, una problematica ben più complessa che ha radici strutturali ben più grandi del singolo medico. [...] C’è un limite oltre il quale la fatica favorisce e induce l’errore [...] Lavorare tutti i giorni 10-12 ore, esposti a telefonate continue, email, SMS, Whatsapp, visite ambulatoriali e domiciliari è etico? Aumentare il numero massimo di persone che ciascun medico di famiglia può curare non è un approccio sensato ed efficace: se il fine è dare, sulla carta, un medico a tutti i cittadini a prescindere dalla qualità del servizio erogato basterebbe dirlo con franchezza e sincerità, soprattutto ai cittadini. E non basterà credere che nuovi sistemi informatici permetteranno una migliore gestione: questo potrebbe essere utile a gestori di un flusso dati o a gestori di dinamiche economiche, non a medici che vogliono vivere una umana ed empatica dimensione professionale. In tutto questo si inserisce un carico burocratico che rende arido e freddo il lavoro del medico. Siamo consapevoli che una parte del lavoro debba necessariamente comprendere una dimensione burocratico-amministrativa, ma quando il tempo speso per questa parte supera quello a disposizione per vivere una vera dimensione clinica, probabilmente qualcosa nel sistema non sta funzionando. Se la percezione del proprio essere medico ci porta a sentirci dei dispensatori di certificati e di prescrizioni (spesso neanche come prescrittori diretti, ma come ri-prescrittori “obbligati”…), il malessere professionale cresce davvero molto. [...] queste nostre parole non mirano a rivendicazioni economiche. Quello che chiediamo è di poter avere una dimensione lavorativa più umana, che ci consenta di vivere una relazione medico-paziente vera e proficua. In sintesi non chiediamo più soldi, chiediamo una migliore qualità lavorativa per poter curare meglio le persone. ``` Vi invito a leggere il testo completo di questa lettera aperta https://web.archive.org/web/20220320112422/https://www.lastampa.it/torino/20... L'autore ha rassegnato le proprie dimissioni come medico di medicina generale il 5 gennaio 2022. Ma vi assicuro che sono moltissimi i medici di famiglia che stanno seriamente valutando questa scelta. Questo malessere è profondo e diffuso. E non viene rappresentato dagli pseudo-sindacati medici come la FIMGG. Le conseguenze sono già misurabili, ma esploderanno molto presto, con l'imminente pensionamento di molti medici di famiglia anziani. Giacomo
Buongiorno Giuseppe, grazie per l'interessantissimo commento Giuseppe Attardi <attardi@di.unipi.it> writes: [...]
Questo però richiede corpora di allenamento misti e ben annotati, ciò che chiamo Human-in-the-loop
meno male, cominciavo a sentirmi superato :-) scherzi a parte, ne consegue che non è il caso che qualcuno sia (o si senta) più human-in-the-loop di altri, no? Quindi ogni umano deve avere la possibilità di /partecipare/ all'annotazione dell'insieme dei corpora (codici) che costituiscono l'insieme della conoscenza umana, chi non partecipa è /eterodiretto/
e che distingue l’AI dalla semplice statistica,
io non ho ancora capito in cosa l'AI sia differente dalla capacità (statistica) di rilevare /correlazioni/ tra osservazioni (campionate) in modo sempre più preciso, però ammetto di essere ignorante sui principi di funzionamento delle tecniche di elaborazione dell'AI
che ancora non sono facili da trovare, specialmente nel settore medico
ma allora perché non chiamare l'intera questione "intelligenza (umana) aumentata" invece di "intelligenza artificiale", considerato che l'umano nel giro del fumo /evidentemente/ è quello che da significato a quello che osserva? perché nell'immaginario collettivo invece di pensare l'AI come un "essere onniscente automatizzato" non la consideriamo una sorta di "Google Search" più /semanticamente/ raffinata? ...ammesso e non concesso di saper usare anche solo una semplice Google Search in altre parole: nel rapporto con la tecnologia, quindi con l'AI, è l'essere umano che /deve/ decidere sulla base di quello che impara e NON limitarsi a eseguire le decisioni o accettare le "diagnosi" (correlazioni?) che forniscono le macchine come se avessero senso indipendentemente da noi
a causa di questioni di privacy.
eh no, per favore no: esistono svariati metodi che permettono di anonimizzare in modo ragionavolmente strong qualsiasi dato medico, partendo dalla minimizzazione dei "dati traccianti" piuttosto, io sono più che convinto che si tratti di questioni di privatizzazione della conoscenza, qualcuno la chiama proprietà intellettuale :-O che fine fanno i corpora annotati di tutti i progetti di AI gestiti da multinazionali private? La stessa fine che fanno i dati di Google Maps?
Insomma occorre trasferire le competenze umane attraverso l’apprendimento dal comportamento degli esperti umani,
chiedo scusa Giuseppe ma ancora non è chiaro (mi pare) come funzioni l'apprendimanto (e l'intelligenza) degli esseri umani e tu dici che è possibile trasferire queste competenza alle macchine? se così fosse, allora arriverà un giorno in cui le macchine avranno le competenze per "ben annotare corpora" autonomamente? [...] saluti, 380° -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.
participants (4)
-
380° -
Giacomo Tesio -
Giuseppe Attardi -
Guido Vetere