Buongiorno Giuseppe, Giuseppe Attardi <attardi@di.unipi.it> writes: [...]
Se un sistema di diagnostica radiologica fa una segnalazione, è perché ha imparato da migliaia di immagini annotate da radiologi come si interpretano quelle immagini.
Bellissimo l'esempio di radiologia, grazie! 1. "Fa una segnalazione" è la discriminante: chi prende la decisione di accettare come buona tale segnalazione DEVE essere il radiologo, in scienza e coscienza. 2. Sta poi allo specialista proporre al paziente un trattamento sulla base di tale diagnosi. 3. Sta poi al paziente decidere se sottoporsi al trattamento proposto, eventualmente riservandosi di sentire altri pareri medici a riguardo. Per limitarci all'aspetto 1., direi che da cittadino auspico che i radiologi che intepretano i dati diagnostici siano adeguatamente formati - magari anche mettendo loro a disposizione le migliaia di immagini annotate messe a disposizione del sistema AI - per potersi permettere di mettere in discussione una segnalazione errata del sistema di diagnostica automatizzato… anzi ADDIRITTURA permettersi di mettere in discussione le annotazioni di cui sopra dei colleghi, così da migliorare le capacità di segnalazione diagnostica del sistema basato su AI. Quello che succede pare essere il contrario: --8<---------------cut here---------------start------------->8--- The prevalence of hidden AI systems in delivering critical public services was signaled by the UK's committee on standards in public life last February, in a report that stressed the lack of openness and transparency from the government in its use of the technology. --8<---------------cut here---------------end--------------->8--- ed è esattamente questo il serio problema che alcune istituzioni e studiosi stanno cercando di affrontare, perché dentro la macchina di Turing "code il law" e "garbage in, garbage out". Per poterci essere davvero trasparenza, anche e soprattutto all'interno della comunità scientifica, ogni sistema AI dovrebbe essere fornito con le 4 libertà definite per il software libero *e* con i dati utilizzati per addestrarlo. [...]
La chiave sta nell’aggettivo “unjustified”. Perché è evidente che ogni sistema che prende decisioni, ne prenderà alcune a favore di alcuni ed altre a sfavore di altri.
Anche se un determinato sistema AI fosse trasparente e verificabile, quello che occorre mettere in discussione è SE è giustificato che sia un sistema del genere a prendere decisioni in autonomia, indipendentemente da quale sia il livello di complessità ed efficacia computazionale del sistema *e* il livello di corrispondenza alla "realtà delle cose" [1] dei dati annotati forniti al sistema di machine learning… o dei sensori, sulla base dei quali il sistema automatizzato fornisce un output *sintetico*, non analitico. Detto diversamente: non è opportuno che le decisioni importanti che riguardano la vita delle persone siano prese autonomamente da una macchina di Turing sofisticatissima; chi decide, per semplificare, ci deve "mettere la testa" - anche analizzando il contesto - *e* deve rispondere della sua decisione alla collettività. L'automazione, anche quella che utilizza l'AI, deve essere utilizzata **dalle persone** come ausilio delle proprie facoltà cognitive per implementare e possibilmente migliorare i processi decisionali, non per sostituirli; per poter svolgere questo ruolo, l'AI _deve_ essere "contestabile". L'incidente dei due Boeing 737 Max è un esempio tragico di come un sistema automatico abbia preso la decisone sbagliata - basandosi su una "percezione" particolarmente limitata e molto errata della reatà - senza che i piloti abbiano avuto la possibilità di correggere l'errore. Nel caso da cui parte l'articolo, quello della classifica di ingresso in università, il governo britannico ha riconosciuto i limiti del sistema e posto rimedio ritirando la decisione; avrebbe potuto fermarsi prima perché i problemi erano già stati evidenziati. [...]
Se la macchina avesse capacità decisionali superiori alle nostre, perché ad esempio tiene conto di molti più fattori di quanti noi umani siamo in grado di comprendere
Immagino comprendere nel senso quantitativo, non qualitativo: giusto? Perché se fosse qualitativo allora la cosa non è possibile: le macchine non possono tenere conto di fattori che gli umani non sono in grado di comprendere: quegli stessi fattori, non essendo compresi dagli umani, non sono nemmeno previsti come input per gli algoritmi di machine leraning. Le macchine imparano solo quello che gli umani hanno già compreso, misurato e classificato (annotazioni) secondo determinati criteri; capita che talvolta quei criteri, ove analizzati, si rivelano piuttosto imprecisi. Se invece fosse quantitativo, allora direi che non è il caso di basare giudizi *solo* su criteri quantitativi "datificati", che è un po' limitante per via di [1]. Saluti, Giovanni. [1] per le macchine la realtà delle cose è solo quella che noi siamo in grado di misurare e tradurre in modelli… e per forza di cose questo tipo di "realtà" è molto ma molto limitata, se non altro perchè *selezionata* da chi decide cosa è umanamente possibile dare in input ad un software di machine learning. -- Giovanni Biscuolo