Re: [nexa] Big bad data: We don't trust AI to make good decisions
Sembra sia di moda oggi quando un algoritmo non funziona bene, dire che è colpa dell’AI. Ho cercato dove fosse coinvolta la AI in questo caso, ma ho trovato solo citate tecniche di analisi statistica. Anche se l’AI usa tecniche statistiche durante l’apprendimento, AI e statistica non sono la stessa cosa. L’AI richiede dati annotati da umani secondo il principio di Human-in-the-loop, che contribuiscono un’interpretazione umana dei fenomeni. Se un sistema di diagnostica radiologica fa una segnalazione, è perché ha imparato da migliaia di immagini annotate da radiologi come si interpretano quelle immagini. Seconda considerazione. L’articolo riporta che: the UK's Information Commissioner's Office (ICO)'s draft AI auditing framework fairness requires personal data to be handled "in ways that people would reasonably expect and not use it in ways that have unjustified adverse effects on them.” La chiave sta nell’aggettivo “unjustified”. Perché è evidente che ogni sistema che prende decisioni, ne prenderà alcune a favore di alcuni ed altre a sfavore di altri. Un sistema che non faccia distinzioni sarebbe inutile. La domanda quindi è: come si definisce unjustified e chi decide se una scelta è unjustified? Siamo sicuri di essere in grado di deciderlo? Se la macchina avesse capacità decisionali superiori alle nostre, perché ad esempio tiene conto di molti più fattori di quanti noi umani siamo in grado di comprendere, sarebbe unjustified? — Beppe
On 17 Sep 2020, at 19:17, nexa-request@server-nexa.polito.it wrote:
Date: Thu, 17 Sep 2020 19:10:48 +0200 From: don Luca Peyron <dluca.universitari@gmail.com <mailto:dluca.universitari@gmail.com>> To: Nexa <nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it>> Subject: [nexa] Big bad data: We don't trust AI to make good decisions Message-ID: <CAGS_u7jiyV9yTBVxcNPz9KpsNYH5RHOBvPx-f8SG9d7xH6kE1A@mail.gmail.com <mailto:CAGS_u7jiyV9yTBVxcNPz9KpsNYH5RHOBvPx-f8SG9d7xH6kE1A@mail.gmail.com>> Content-Type: text/plain; charset="utf-8"
A new report from the British Computer Society (BCS), the Chartered Institute for IT, has now revealed that more than half of UK adults (53%) don't trust organisations that use algorithms to make decisions about them.
https://www.zdnet.com/article/big-bad-data-we-dont-trust-ai-to-make-good-dec... <https://www.zdnet.com/article/big-bad-data-we-dont-trust-ai-to-make-good-dec...>
Buona lettura
dl _________________________ don Luca Peyron Direttore Ufficio per la Pastorale Universitaria Arcidiocesi di Torino www.universitari.to.it <http://www.universitari.to.it/> via XX settembre 83, Torino tel. 011 5156239
Buongiorno Giuseppe, Giuseppe Attardi <attardi@di.unipi.it> writes: [...]
Se un sistema di diagnostica radiologica fa una segnalazione, è perché ha imparato da migliaia di immagini annotate da radiologi come si interpretano quelle immagini.
Bellissimo l'esempio di radiologia, grazie! 1. "Fa una segnalazione" è la discriminante: chi prende la decisione di accettare come buona tale segnalazione DEVE essere il radiologo, in scienza e coscienza. 2. Sta poi allo specialista proporre al paziente un trattamento sulla base di tale diagnosi. 3. Sta poi al paziente decidere se sottoporsi al trattamento proposto, eventualmente riservandosi di sentire altri pareri medici a riguardo. Per limitarci all'aspetto 1., direi che da cittadino auspico che i radiologi che intepretano i dati diagnostici siano adeguatamente formati - magari anche mettendo loro a disposizione le migliaia di immagini annotate messe a disposizione del sistema AI - per potersi permettere di mettere in discussione una segnalazione errata del sistema di diagnostica automatizzato… anzi ADDIRITTURA permettersi di mettere in discussione le annotazioni di cui sopra dei colleghi, così da migliorare le capacità di segnalazione diagnostica del sistema basato su AI. Quello che succede pare essere il contrario: --8<---------------cut here---------------start------------->8--- The prevalence of hidden AI systems in delivering critical public services was signaled by the UK's committee on standards in public life last February, in a report that stressed the lack of openness and transparency from the government in its use of the technology. --8<---------------cut here---------------end--------------->8--- ed è esattamente questo il serio problema che alcune istituzioni e studiosi stanno cercando di affrontare, perché dentro la macchina di Turing "code il law" e "garbage in, garbage out". Per poterci essere davvero trasparenza, anche e soprattutto all'interno della comunità scientifica, ogni sistema AI dovrebbe essere fornito con le 4 libertà definite per il software libero *e* con i dati utilizzati per addestrarlo. [...]
La chiave sta nell’aggettivo “unjustified”. Perché è evidente che ogni sistema che prende decisioni, ne prenderà alcune a favore di alcuni ed altre a sfavore di altri.
Anche se un determinato sistema AI fosse trasparente e verificabile, quello che occorre mettere in discussione è SE è giustificato che sia un sistema del genere a prendere decisioni in autonomia, indipendentemente da quale sia il livello di complessità ed efficacia computazionale del sistema *e* il livello di corrispondenza alla "realtà delle cose" [1] dei dati annotati forniti al sistema di machine learning… o dei sensori, sulla base dei quali il sistema automatizzato fornisce un output *sintetico*, non analitico. Detto diversamente: non è opportuno che le decisioni importanti che riguardano la vita delle persone siano prese autonomamente da una macchina di Turing sofisticatissima; chi decide, per semplificare, ci deve "mettere la testa" - anche analizzando il contesto - *e* deve rispondere della sua decisione alla collettività. L'automazione, anche quella che utilizza l'AI, deve essere utilizzata **dalle persone** come ausilio delle proprie facoltà cognitive per implementare e possibilmente migliorare i processi decisionali, non per sostituirli; per poter svolgere questo ruolo, l'AI _deve_ essere "contestabile". L'incidente dei due Boeing 737 Max è un esempio tragico di come un sistema automatico abbia preso la decisone sbagliata - basandosi su una "percezione" particolarmente limitata e molto errata della reatà - senza che i piloti abbiano avuto la possibilità di correggere l'errore. Nel caso da cui parte l'articolo, quello della classifica di ingresso in università, il governo britannico ha riconosciuto i limiti del sistema e posto rimedio ritirando la decisione; avrebbe potuto fermarsi prima perché i problemi erano già stati evidenziati. [...]
Se la macchina avesse capacità decisionali superiori alle nostre, perché ad esempio tiene conto di molti più fattori di quanti noi umani siamo in grado di comprendere
Immagino comprendere nel senso quantitativo, non qualitativo: giusto? Perché se fosse qualitativo allora la cosa non è possibile: le macchine non possono tenere conto di fattori che gli umani non sono in grado di comprendere: quegli stessi fattori, non essendo compresi dagli umani, non sono nemmeno previsti come input per gli algoritmi di machine leraning. Le macchine imparano solo quello che gli umani hanno già compreso, misurato e classificato (annotazioni) secondo determinati criteri; capita che talvolta quei criteri, ove analizzati, si rivelano piuttosto imprecisi. Se invece fosse quantitativo, allora direi che non è il caso di basare giudizi *solo* su criteri quantitativi "datificati", che è un po' limitante per via di [1]. Saluti, Giovanni. [1] per le macchine la realtà delle cose è solo quella che noi siamo in grado di misurare e tradurre in modelli… e per forza di cose questo tipo di "realtà" è molto ma molto limitata, se non altro perchè *selezionata* da chi decide cosa è umanamente possibile dare in input ad un software di machine learning. -- Giovanni Biscuolo
On Fri, 18 Sep 2020 15:35:24 +0200 Giovanni Biscuolo <giovanni@biscuolo.net> wrote:
Per poterci essere davvero trasparenza, anche e soprattutto all'interno della comunità scientifica, ogni sistema AI dovrebbe essere fornito con le 4 libertà definite per il software libero *e* con i dati utilizzati per addestrarlo.
Una nota su questo: Se parliamo di "reti neurali artificiali" o sistemi statistici affini, il codice ed i dati di calibrazione non sono sufficienti a garantire trasparenza. Per avere una _minima_ trasparenza servono: - il codice - la documentazione - i dati di calibrazione (malamente detta "training") - anche per tutti i modelli alternativi provati - i valori iniziali delle reti prima della calibrazione - anche per tutti i modelli alternativi provati - i dati di cross validation [1] - i dati di test Questo per: - evidenziare bias nei dati di calibrazione - evidenziare bias nei dati di cross-validation - evidenziare bias nei dati di test (che oltre a poter smentire i successi vantati dal marketing, potrebbero evidenziare scelte consapevoli nella determinazione dei bias suddetti) - evidenziare anomalie (volontarie o meno) nei valori iniziali delle reti testate Parliamo comunque di una trasparenza minima perché: - queste informazioni permettono AL MASSIMO di verificare le affermazioni degli sviluppatori sulla metodologia di realizzazione del sistema replicandone il processo di creazione (una sorta di build replicabile per l'AI) - il costo energetico e l'hardware necessario per questa verifica è comparabile a quello usato durante la sua realizzazione, ma non può essere messo a disposizione dal "fornitore" perché potrebbe alterarlo. Dunque in questo caso, le 4 libertà non bastano. Giacomo 1) https://en.wikipedia.org/wiki/Cross-validation_(statistics)
Giacomo Tesio <giacomo@tesio.it> writes: [...]
Per avere una _minima_ trasparenza servono:
- il codice - la documentazione - i dati di calibrazione (malamente detta "training") - anche per tutti i modelli alternativi provati - i valori iniziali delle reti prima della calibrazione - anche per tutti i modelli alternativi provati - i dati di cross validation [1] - i dati di test
[...]
Parliamo comunque di una trasparenza minima perché:
- queste informazioni permettono AL MASSIMO di verificare le affermazioni degli sviluppatori sulla metodologia di realizzazione del sistema replicandone il processo di creazione (una sorta di build replicabile per l'AI)
Bingo: il metodo! Spero siano tutti d'accordo sul fatto che un sistema AI debba produrre risultati basati su metodi scientifici; se la premessa è vera allora: http://akhlaghi.org/reproducible-science.html (merita una lettura completa, anche se la parte "Implementation" può essere implementata meglio [1]) --8<---------------cut here---------------start------------->8--- [...] Understanding the method that the result was obtained is more important than the result itself. [...] Other scientists should be able to reproduce, check and experiment on the results of anything that is to carry the "scientific" label. Any result that is not reproducible (due to incomplete information by the author) is not scientific: the readers have to have faith in the subjective experience of the authors in the very important choice of configuration values and order of operations: this is contrary to the definition of science. --8<---------------cut here---------------end--------------->8--- Possiamo ritenere i dati che hai elencato sopra (calibrazione, validazione, ecc.) come "configuration values" (software environment) e il sistema di build come "order of operations"? :-D Non so quali siano le pratiche comuni nel campo dell'AI, ma nella ricerca in genere la letteratura è colma di codice [2] che può essere eseguito solo con una catena di build (o in interprete) binaria, perché proprietaria. Se a questo aggiungiamo che spesso le soluzioni proposte per risolvere il problema della riproducibilità della ricerca sono inadeguate [3] il quadro è completo. Chiamala anche minima ma la "replicabilità dell'AI" sarebbe già un ENORME progresso rispetto alla situazione attuale, da quello che mi pare di capire sia la pratica. Sbaglio? Ovvio che poi ci deve essere qualcuno che ha la voglia e le risorse di replicare e sperimentare le ricerche altrui, ma questa è un'altra faccenda: non dico che sia secondaria, ma è altra.
- il costo energetico e l'hardware necessario per questa verifica è comparabile a quello usato durante la sua realizzazione, ma non può essere messo a disposizione dal "fornitore" perché potrebbe alterarlo.
Intuisco cosa vuoi dire con "potrebbe alterare l'hardware", ricordo di aver già detto cose anche in questa lista, ma espendere questa cosa ci porterebbe troppo lontano e nell'economia di questo thread IMHO è meglio di no :-)
Dunque in questo caso, le 4 libertà non bastano.
Giusto: possiamo dire che software (riproducibile e bootstrappable) e dati sono condizione necessaria e sufficiente per poter verificare un sistema AI? Ciao, Giovanni.
1) https://en.wikipedia.org/wiki/Cross-validation_(statistics)
[1] https://guix.gnu.org/blog/2020/reproducible-computations-with-guix/ [2] You hear this statement a lot from many scientists: "software is not my specialty, I am not a software engineer, so the quality of my code/processing doesn't matter. Why should I master good coding style (or release my code), when I am hired to do Astronomy/Biology?". [3] per non rimanere troppo vaghi, container Docker generati con Dockerfiles "spaghetti code" -- Giovanni Biscuolo
On September 19, 2020 7:23:05 AM UTC, Giovanni Biscuolo <giovanni@biscuolo.net> wrote:
Possiamo ritenere i dati che hai elencato sopra (calibrazione, validazione, ecc.) come "configuration values" (software environment) e il sistema di build come "order of operations"? :-D
Direi di no. Quei dati rappresentano il "sorgente" di questi programmi creati statisticamente. Ma senza introdurre il concetto di "programnazione statista", fin tanto che continuiamo ad usare ridicole metafore come "machine learning" o "artificial intelligence", è necessario riportarli esplicitamente e separatamente. Perché, per esempio, anche i dati e le topologie usati per le reti scartate durante la cross validation sono parte del processo di programmazione statistica, parte del suo sorgente, anche se non ne rimane traccia nel binario risultante: un po' come il codice che un compilatore rimuove dal binario durante la fase di ottimizzazione.
Chiamala anche minima ma la "replicabilità dell'AI" sarebbe già un ENORME progresso rispetto alla situazione attuale, da quello che mi pare di capire sia la pratica. Sbaglio?
La pratica in questo campo è il Software as a Service. Affinché Alexa (o Echo, o Google Assistant o...) possa trasformare il segnale audio prodotto dalla tua voce in un comando, deve letteralmente inviare ad Amazon (o Google o...) anche ogni singola scoreggia. Letteralmente. Slavery as a Service.
Ovvio che poi ci deve essere qualcuno che ha la voglia e le risorse di replicare e sperimentare le ricerche altrui, ma questa è un'altra faccenda: non dico che sia secondaria, ma è altra.
Dipende. Perché se l'hardware per replicare una ricerca esiste solo in Google (pensa come esempio autoevidente al quantum computing) o è troppo costoso, il risultato netto è che tutti gli altri devono "fare a fidasse". Non è dunque scienza.
Dunque in questo caso, le 4 libertà non bastano.
Giusto: possiamo dire che software (riproducibile e bootstrappable) e dati sono condizione necessaria e sufficiente per poter verificare un sistema AI?
Necessarie sì, sufficienti no. Nemmeno lontanamente. Giacomo
On September 18, 2020 9:04:24 AM UTC, Giuseppe Attardi <attardi@di.unipi.it> wrote:
Sembra sia di moda oggi quando un algoritmo non funziona bene, dire che è colpa dell’AI.
Direi che è normale, dopo anni a vendere qualsiasi software come AI. :-)
Ho cercato dove fosse coinvolta la AI in questo caso, ma ho trovato solo citate tecniche di analisi statistica. Anche se l’AI usa tecniche statistiche durante l’apprendimento,
Calibrazione, non apprendimento. Ricondurre un processo di calibrazione ad una esperienza soggettiva dell'uomo confonde sia chi legge... che chi scrive. ;-) Potremmo al limite definire questo processo di calibrazione "programmazione incosciente", in quanto le matrici prodotte vengono interpretate dal software "AI" esattamente come un bytecode python viene interpretato dall'interprete "Python", e costituiscono dunque un programma. "Incosciente" non solo perché i programmatori non sono (tutti) coscienti di star programmando, come invece sono mentre scrivono codice python, non solo perché non sono in grado di decompilare quelle matrici ottenendo codice human readable, ma perché non hanno coscienza né dell'algoritmo che quelle matrici devono rappresentare, né di quello che effettivamente rappresentano e dunque non possono individuarne i bachi. Ma ci sono sempre umani che programmano (pur statisticamente) una macchina. NON una macchina che apprende. (tanto meno un'algoritmo, che è un'astrazione presente solo nelle menti umane, come un numero o un insieme)
AI e statistica non sono la stessa cosa.
Infatti! Se è scritta in Power Point è AI. Se è scritta in Python è Machine Learning. Se è scritta su un giornale, è statistica. Non è affatto la stessa cosa! :-D
L’AI richiede dati annotati da umani secondo il principio di Human-in-the-loop, che contribuiscono un’interpretazione umana dei fenomeni. Se un sistema di diagnostica radiologica fa una segnalazione, è perché ha imparato da migliaia di immagini annotate da radiologi come si interpretano quelle immagini.
Non ha imparato nulla. Semplicemente, attraverso un processo statistico i programmatori hanno sintetizzato un software in grado di processare quelle immagini fornendo un output che un essere umano interpreta come una segnalazione.
Seconda considerazione. L’articolo riporta che:
the UK's Information Commissioner's Office (ICO)'s draft AI auditing framework fairness requires personal data to be handled "in ways that people would reasonably expect and not use it in ways that have unjustified adverse effects on them.”
La chiave sta nell’aggettivo “unjustified”. Perché è evidente che ogni sistema che prende decisioni, ne prenderà alcune a favore di alcuni ed altre a sfavore di altri. Un sistema che non faccia distinzioni sarebbe inutile.
Solo gli esseri umani prendono decisioni. Perché solo gli esseri umani possono risponderne ad altri esseri umani. Chiunque interpreti l'output di un software come una decisione, non dovrebbe essere in condizione di ricevere o essere influenzato da quell'output.
La domanda quindi è: [...] chi decide se una scelta è unjustified?
Quando si tratta di una scelta, lo decidono gli esseri umani. Quando si tratta di un output... anche: si chiama debugging. ;-)
Siamo sicuri di essere in grado di deciderlo?
Se non lo siamo (o quando non lo siamo), è sufficiente evitare di applicare queste tecnologie agli esseri umani. Con tutte le applicazioni possibili!
[...] come si definisce unjustified [...]
Se la macchina avesse capacità decisionali superiori alle nostre, perché ad esempio tiene conto di molti più fattori di quanti noi umani siamo in grado di comprendere, sarebbe unjustified?
Splendida domanda! L'uso di un software come supporto ad una decisione umana può essere "giustificato" e "giustificabile" se e solo se: - la selezione dei dati in input è perfettamente comprensibile e condivisa da tutte le persone coinvolte - l'interpretazione dell'output è perfettamente comprensibile e condivisa da tutte le persone coinvolte - l'intera elaborazione è perfettamente comprensibile e repricabile "manualmente" da ciascuna delle persone coinvolte Un alieno (molto più probabile di un AGI [1]) che tenga conto di molti più fattori di quanti noi umani siamo in grado di comprendere... dovrà insegnarci a comprenderli come lui, prima che possiamo fidarci di lui. Perché? Semplicemente perché esistono sempre infinite soluzioni sbagiate ad un qualsiasi problema che rendono la probabilità di azzeccarne una giusta prossima a zero. D'altro canto, questa è la funzione della statistica. Permetterci di modellare e comprendere sistemi sempre più complessi. Ed è questo l'uso migliore che possiamo fare di queste tecnologie. Non come comodi "decisori irresponsabili" dietro cui nasconderci, ma come strumenti di indagine della complessità. E non c'è nemmeno bisogno di "amplificare l'intelligenza" dell'uomo. Basta applicare quella che abbiamo nell'uso degli strumenti. Giacomo 1) Più probabilmente se un alieno avesse capacità intellettive superiori alle nostre, ci sterminerebbe. O ci lascerebbe fare da soli. E senza aver bisogno di capacità decisionali superiori alle nostre, potrebbe giustificare facilmente questa decisione. Soprattutto a sé stesso. Esattamente come noi.
On 18 Sep 2020, at 17:27, Giacomo Tesio <giacomo@tesio.it> wrote:
On September 18, 2020 9:04:24 AM UTC, Giuseppe Attardi <attardi@di.unipi.it <mailto:attardi@di.unipi.it>> wrote:
Sembra sia di moda oggi quando un algoritmo non funziona bene, dire che è colpa dell’AI.
Direi che è normale, dopo anni a vendere qualsiasi software come AI. :-)
Ho cercato dove fosse coinvolta la AI in questo caso, ma ho trovato solo citate tecniche di analisi statistica. Anche se l’AI usa tecniche statistiche durante l’apprendimento,
Calibrazione, non apprendimento.
Ricondurre un processo di calibrazione ad una esperienza soggettiva dell'uomo confonde sia chi legge... che chi scrive. ;-)
Potremmo al limite definire questo processo di calibrazione "programmazione incosciente", in quanto le matrici prodotte vengono interpretate dal software "AI" esattamente come un bytecode python viene interpretato dall'interprete "Python", e costituiscono dunque un programma.
"Incosciente" non solo perché i programmatori non sono (tutti) coscienti di star programmando, come invece sono mentre scrivono codice python, non solo perché non sono in grado di decompilare quelle matrici ottenendo codice human readable, ma perché non hanno coscienza né dell'algoritmo che quelle matrici devono rappresentare, né di quello che effettivamente rappresentano e dunque non possono individuarne i bachi.
Ma ci sono sempre umani che programmano (pur statisticamente) una macchina. NON una macchina che apprende.
(tanto meno un'algoritmo, che è un'astrazione presente solo nelle menti umane, come un numero o un insieme)
AI e statistica non sono la stessa cosa.
Infatti!
Se è scritta in Power Point è AI. Se è scritta in Python è Machine Learning. Se è scritta su un giornale, è statistica.
Non è affatto la stessa cosa! :-D
Siamo seri!. L’AI è una disciplina scientifica con oltre 70 anni di storia. L’AI è la disciplina che, occupandosi del problema più difficile, ha introdotto le tecniche più avanzate dell’informatica. Ma, come diceva Marvin Minski: “when it works, it is no longer AI”.
L’AI richiede dati annotati da umani secondo il principio di Human-in-the-loop, che contribuiscono un’interpretazione umana dei fenomeni. Se un sistema di diagnostica radiologica fa una segnalazione, è perché ha imparato da migliaia di immagini annotate da radiologi come si interpretano quelle immagini.
Non ha imparato nulla.
Semplicemente, attraverso un processo statistico i programmatori hanno sintetizzato un software in grado di processare quelle immagini fornendo un output che un essere umano interpreta come una segnalazione.
Seconda considerazione. L’articolo riporta che:
the UK's Information Commissioner's Office (ICO)'s draft AI auditing framework fairness requires personal data to be handled "in ways that people would reasonably expect and not use it in ways that have unjustified adverse effects on them.”
La chiave sta nell’aggettivo “unjustified”. Perché è evidente che ogni sistema che prende decisioni, ne prenderà alcune a favore di alcuni ed altre a sfavore di altri. Un sistema che non faccia distinzioni sarebbe inutile.
Solo gli esseri umani prendono decisioni. Perché solo gli esseri umani possono risponderne ad altri esseri umani.
Sono perfettamente d’accordo. Infatti secondo me solo gli umani sono dotati di libero arbitrio, e le macchine non devono disporne: Free will has traditionally been conceived of as a kind of power to control one’s choices and actions. (Assumingly) Humans are endowed of free will, and therefore of the power to chose their goals and which actions to fulffil those goals. Machine should never be given free will, not even after the singularity, when they will become more “intelligent” than humans. Freewill is related to self-determination and moral responsibility. If we don”t give free will to machines, they will not be liable for their actions. As a consequence there is no such thing as AI ethics, since machines cannot have moral responsibility for their actions. Self-determination is different from autonomy: autonomy just means that an agent performs some actions by itself, without being controlled by others. An autonomous agent must still obey the goals set to it by a human. Machines do not have objectives of their own, they just perform tasks required to achieve some objectives set to them by humans. https://plato.stanford.edu/entries/freewill/ <https://plato.stanford.edu/entries/freewill/>
Chiunque interpreti l'output di un software come una decisione, non dovrebbe essere in condizione di ricevere o essere influenzato da quell'output.
La domanda quindi è: [...] chi decide se una scelta è unjustified?
Quando si tratta di una scelta, lo decidono gli esseri umani.
Quando si tratta di un output... anche: si chiama debugging. ;-)
Siamo sicuri di essere in grado di deciderlo?
Se non lo siamo (o quando non lo siamo), è sufficiente evitare di applicare queste tecnologie agli esseri umani.
Con tutte le applicazioni possibili!
[...] come si definisce unjustified [...]
Se la macchina avesse capacità decisionali superiori alle nostre, perché ad esempio tiene conto di molti più fattori di quanti noi umani siamo in grado di comprendere, sarebbe unjustified?
Splendida domanda!
L'uso di un software come supporto ad una decisione umana può essere "giustificato" e "giustificabile" se e solo se:
- la selezione dei dati in input è perfettamente comprensibile e condivisa da tutte le persone coinvolte - l'interpretazione dell'output è perfettamente comprensibile e condivisa da tutte le persone coinvolte - l'intera elaborazione è perfettamente comprensibile e repricabile "manualmente" da ciascuna delle persone coinvolte
Un alieno (molto più probabile di un AGI [1]) che tenga conto di molti più fattori di quanti noi umani siamo in grado di comprendere... dovrà insegnarci a comprenderli come lui, prima che possiamo fidarci di lui.
Perché?
Semplicemente perché esistono sempre infinite soluzioni sbagiate ad un qualsiasi problema che rendono la probabilità di azzeccarne una giusta prossima a zero.
D'altro canto, questa è la funzione della statistica. Permetterci di modellare e comprendere sistemi sempre più complessi.
Non sono del tutto d’accordo, la statistica ci permette solo di estrarre indicatori dai dati, ma la comprensione è affidata agli scienziati che interpretano quegli indicatori. Affermi che l’AI non apprende, ma fa calibrazioni di modelli sui dati. Ciò è ancor più vero della statistica, che non produce modelli predittivi, ma effettua interpolazioni o calcola correlazioni. E sappiamo che, dati sufficienti dati, si possono ricava correlazioni per giustificare qualunque interpretazione. — Beppe
Ed è questo l'uso migliore che possiamo fare di queste tecnologie. Non come comodi "decisori irresponsabili" dietro cui nasconderci, ma come strumenti di indagine della complessità.
E non c'è nemmeno bisogno di "amplificare l'intelligenza" dell'uomo. Basta applicare quella che abbiamo nell'uso degli strumenti.
Giacomo
1) Più probabilmente se un alieno avesse capacità intellettive superiori alle nostre, ci sterminerebbe. O ci lascerebbe fare da soli. E senza aver bisogno di capacità decisionali superiori alle nostre, potrebbe giustificare facilmente questa decisione. Soprattutto a sé stesso. Esattamente come noi.
ML & statistics https://twitter.com/kareem_carr/status/1303360976197242881?s=20 On 21/09/2020 09:38, Giuseppe Attardi wrote:
On 18 Sep 2020, at 17:27, Giacomo Tesio <giacomo@tesio.it <mailto:giacomo@tesio.it>> wrote:
On September 18, 2020 9:04:24 AM UTC, Giuseppe Attardi <attardi@di.unipi.it <mailto:attardi@di.unipi.it>> wrote:
Sembra sia di moda oggi quando un algoritmo non funziona bene, dire che è colpa dell’AI.
Direi che è normale, dopo anni a vendere qualsiasi software come AI. :-)
Ho cercato dove fosse coinvolta la AI in questo caso, ma ho trovato solo citate tecniche di analisi statistica. Anche se l’AI usa tecniche statistiche durante l’apprendimento,
Calibrazione, non apprendimento.
Ricondurre un processo di calibrazione ad una esperienza soggettiva dell'uomo confonde sia chi legge... che chi scrive. ;-)
Potremmo al limite definire questo processo di calibrazione "programmazione incosciente", in quanto le matrici prodotte vengono interpretate dal software "AI" esattamente come un bytecode python viene interpretato dall'interprete "Python", e costituiscono dunque un programma.
"Incosciente" non solo perché i programmatori non sono (tutti) coscienti di star programmando, come invece sono mentre scrivono codice python, non solo perché non sono in grado di decompilare quelle matrici ottenendo codice human readable, ma perché non hanno coscienza né dell'algoritmo che quelle matrici devono rappresentare, né di quello che effettivamente rappresentano e dunque non possono individuarne i bachi.
Ma ci sono sempre umani che programmano (pur statisticamente) una macchina. NON una macchina che apprende.
(tanto meno un'algoritmo, che è un'astrazione presente solo nelle menti umane, come un numero o un insieme)
AI e statistica non sono la stessa cosa.
Infatti!
Se è scritta in Power Point è AI. Se è scritta in Python è Machine Learning. Se è scritta su un giornale, è statistica.
Non è affatto la stessa cosa! :-D
Siamo seri!. L’AI è una disciplina scientifica con oltre 70 anni di storia. L’AI è la disciplina che, occupandosi del problema più difficile, ha introdotto le tecniche più avanzate dell’informatica. Ma, come diceva Marvin Minski: “when it works, it is no longer AI”.
L’AI richiede dati annotati da umani secondo il principio di Human-in-the-loop, che contribuiscono un’interpretazione umana dei fenomeni. Se un sistema di diagnostica radiologica fa una segnalazione, è perché ha imparato da migliaia di immagini annotate da radiologi come si interpretano quelle immagini.
Non ha imparato nulla.
Semplicemente, attraverso un processo statistico i programmatori hanno sintetizzato un software in grado di processare quelle immagini fornendo un output che un essere umano interpreta come una segnalazione.
Seconda considerazione. L’articolo riporta che:
the UK's Information Commissioner's Office (ICO)'s draft AI auditing framework fairness requires personal data to be handled "in ways that people would reasonably expect and not use it in ways that have unjustified adverse effects on them.”
La chiave sta nell’aggettivo “unjustified”. Perché è evidente che ogni sistema che prende decisioni, ne prenderà alcune a favore di alcuni ed altre a sfavore di altri. Un sistema che non faccia distinzioni sarebbe inutile.
Solo gli esseri umani prendono decisioni. Perché solo gli esseri umani possono risponderne ad altri esseri umani.
Sono perfettamente d’accordo. Infatti secondo me solo gli umani sono dotati di libero arbitrio, e le macchine non devono disporne:
Free will has traditionally been conceived of as a kind of power to control one’s choices and actions. (Assumingly) Humans are endowed of free will, and therefore of the power to chose their goals and which actions to fulffil those goals. Machine should never be given free will, not even after the singularity, when they will become more “intelligent” than humans. Freewill is related to self-determination and moral responsibility. If we don”t give free will to machines, they will not be liable for their actions. As a consequence there is no such thing as AI ethics, since machines cannot have moral responsibility for their actions. Self-determination is different from autonomy: autonomy just means that an agent performs some actions by itself, without being controlled by others. An autonomous agent must still obey the goals set to it by a human. Machines do not have objectives of their own, they just perform tasks required to achieve some objectives set to them by humans. https://plato.stanford.edu/entries/freewill/
Chiunque interpreti l'output di un software come una decisione, non dovrebbe essere in condizione di ricevere o essere influenzato da quell'output.
La domanda quindi è: [...] chi decide se una scelta è unjustified?
Quando si tratta di una scelta, lo decidono gli esseri umani.
Quando si tratta di un output... anche: si chiama debugging. ;-)
Siamo sicuri di essere in grado di deciderlo?
Se non lo siamo (o quando non lo siamo), è sufficiente evitare di applicare queste tecnologie agli esseri umani.
Con tutte le applicazioni possibili!
[...] come si definisce unjustified [...]
Se la macchina avesse capacità decisionali superiori alle nostre, perché ad esempio tiene conto di molti più fattori di quanti noi umani siamo in grado di comprendere, sarebbe unjustified?
Splendida domanda!
L'uso di un software come supporto ad una decisione umana può essere "giustificato" e "giustificabile" se e solo se:
- la selezione dei dati in input è perfettamente comprensibile e condivisa da tutte le persone coinvolte - l'interpretazione dell'output è perfettamente comprensibile e condivisa da tutte le persone coinvolte - l'intera elaborazione è perfettamente comprensibile e repricabile "manualmente" da ciascuna delle persone coinvolte
Un alieno (molto più probabile di un AGI [1]) che tenga conto di molti più fattori di quanti noi umani siamo in grado di comprendere... dovrà insegnarci a comprenderli come lui, prima che possiamo fidarci di lui.
Perché?
Semplicemente perché esistono sempre infinite soluzioni sbagiate ad un qualsiasi problema che rendono la probabilità di azzeccarne una giusta prossima a zero.
D'altro canto, questa è la funzione della statistica. Permetterci di modellare e comprendere sistemi sempre più complessi.
Non sono del tutto d’accordo, la statistica ci permette solo di estrarre indicatori dai dati, ma la comprensione è affidata agli scienziati che interpretano quegli indicatori. Affermi che l’AI non apprende, ma fa calibrazioni di modelli sui dati. Ciò è ancor più vero della statistica, che non produce modelli predittivi, ma effettua interpolazioni o calcola correlazioni. E sappiamo che, dati sufficienti dati, si possono ricava correlazioni per giustificare qualunque interpretazione.
— Beppe
Ed è questo l'uso migliore che possiamo fare di queste tecnologie. Non come comodi "decisori irresponsabili" dietro cui nasconderci, ma come strumenti di indagine della complessità.
E non c'è nemmeno bisogno di "amplificare l'intelligenza" dell'uomo. Basta applicare quella che abbiamo nell'uso degli strumenti.
Giacomo
1) Più probabilmente se un alieno avesse capacità intellettive superiori alle nostre, ci sterminerebbe. O ci lascerebbe fare da soli. E senza aver bisogno di capacità decisionali superiori alle nostre, potrebbe giustificare facilmente questa decisione. Soprattutto a sé stesso. Esattamente come noi.
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
-- reserve your meeting with me at https://5ta.it/meet
Buongiorno, chiedo scusa se insisto, solo un ultimo commento. Giuseppe Attardi <attardi@di.unipi.it> writes:
On 18 Sep 2020, at 17:27, Giacomo Tesio <giacomo@tesio.it> wrote:
[...]
Solo gli esseri umani prendono decisioni. Perché solo gli esseri umani possono risponderne ad altri esseri umani.
Sono perfettamente d’accordo. Infatti secondo me solo gli umani sono dotati di libero arbitrio, e le macchine non devono disporne:
Sì ma per ora non stiamo parlando di AGI in grado addirittura di poter potenzialmente disporre di libero arbitrio, stiamo parlando SOLO di software scritto da uomini, che usa l'output di un processo come input per generare programmi per risolvere (o a volte complicare) problemi MOLTO specifici. Spero che i professionisti dell'AI, di quella che c'è oggi, abbiano l'onestà intellettuale di evidenziare che l'AI NON HA agency e che tutti i tentativi di negare questa cosa servono solo a nascondere la "human agency". https://www.aimyths.org/ai-has-agency#hiding-human-agency In altre parole, troppo spesso l'AI viene utilizzata come sofisticata tecnica di MASCHERAMENTO. Nessuno deve far finta che i sistemi AI siano sistemi obbiettivi, "arbitri" delle cose del mondo che ricevono una serie di input e forniscono in output risultati oggettivi: il processo di "formazione dell'AI" è ontologicamente soggettivo, risultato di una serie di scelte soggettive (solo gli esseri viventi sono soggetti). SE il risultato ha valenza scientifica oppure no DEVE essere sottoposto ad analisi da parte di altri umani, questa analisi DEVE includere tutti gli input e i metodi usati per ottenere il risultato [1]. Ogni altro ragionamento è speculazione nel variegato e ampio universo di discorso attorno alla AGI, molto interessante [2] MA che non ha nulla a che fare con l'attuale AI e i problemi che l'affliggono; temo che questo tipo di speculazioni a volte siano usate per distrarre il dibattito dai reali problemi del cattivo utilizzo dell'attuale AI. [...] Saluti, Giovanni. [1] per una serie di validissime ragioni filosofiche, questo lavoro "meta" di analisi NON può essere effettuato mediante processi di calcolo, quindi non può essere fatto da macchine. [2] https://www.aimyths.org/superintelligence-is-coming-soon -- Giovanni Biscuolo
...
Ogni altro ragionamento è speculazione nel variegato e ampio universo di discorso attorno alla AGI, molto interessante [2] MA che non ha nulla a che fare con l'attuale AI e i problemi che l'affliggono; temo che questo tipo di speculazioni a volte siano usate per distrarre il dibattito dai reali problemi del cattivo utilizzo dell'attuale AI.
"The 'artificial intelligence' of sci-fi dreams is a computerized or robotic sort of brain that thinks about things and understands them as humans do. Such artificial intelligence would be an artificial general intelligence (AGI), which means it can think about multiple different things and apply that intelligence to multiple different domains. A related concept is 'strong AI' which would be a machine capable of experiencing human-like consciousness. We don’t have that sort of AI yet. We aren’t anywhere close to it. A computer entity like Siri, Alexa, or Cortana doesn’t understand and think as we humans do. It doesn’t truly “understand” things at all." Parole di geek ;) [1] Aggiungo, ma quale è lo stato dell'arte dell'AI "specializzata"? Voi vi fidereste a salire in un'auto che "vede" in questo modo? [2] [3] Antonio [1] https://www.howtogeek.com/394546/the-problem-with-ai-machines-are-learning-t... [2] https://ai.googleblog.com/2020/07/improving-holistic-scene-understanding.htm... [3] https://arxiv.org/pdf/2008.10112.pdf
Giuseppe Attardi <attardi@di.unipi.it> writes: [...]
Siamo seri!. L’AI è una disciplina scientifica con oltre 70 anni di storia.
L'AI, nel corso dei suoi 70 anni di storia, ha *significativamente* modificato il proprio campio di esplorazione scientifica, passando anche per il c.d. "AI winter"; non per niente ad un certo punto si è cominciato a parlare di "narrow AI".
L’AI è la disciplina che, occupandosi del problema più difficile,
Immagino che il problema più difficile sia quello originale, il "Dartmouth Summer of Code" :-) Lo scopo originale del workshop era di risolvere un problema basandosi su una congettura [1] --8<---------------cut here---------------start------------->8--- The study is to proceed on the basis of the conjecture that every aspect of learning or any other feature of intelligence can in principle be so precisely described that a machine can be made to simulate it. --8<---------------cut here---------------end--------------->8--- Nemmeno oggi, nonostante gli enormi passi avanti scientifici anche nel campo delle neuroscienze, siamo in grado di dire se quella congettura è vera o falsa. [2] Diciamo che *se* questo è lo scopo ultimo della scienza dell'AI, si è data un compito eccessivamente ampio.
ha introdotto le tecniche più avanzate dell’informatica.
Sì ma ha introdotto anche troppi miti, purtroppo. Forse sarebbe il caso che i ricercatori nel campo dell'AI si allontanassero (e dichiarassero) il più possibile da certi abusi che oggi sono evidenti. Saluti, Giovanni. [1] https://en.wikipedia.org/wiki/Dartmouth_workshop [2] tra l'altro: i sentimenti sono una "feature of intelligence"? La coscienza è una "feature of intelligence" o coscienza e intelligenza sono la stessa cosa? [...] -- Giovanni Biscuolo
On September 21, 2020 11:08:44 AM UTC, Giovanni Biscuolo <giovanni@biscuolo.net> wrote:
Lo scopo originale del workshop era di risolvere un problema basandosi su una congettura [1]
--8<---------------cut here---------------start------------->8---
The study is to proceed on the basis of the conjecture that every aspect of learning or any other feature of intelligence can in principle be so precisely described that a machine can be made to simulate it.
--8<---------------cut here---------------end--------------->8---
Nemmeno oggi, nonostante gli enormi passi avanti scientifici anche nel campo delle neuroscienze, siamo in grado di dire se quella congettura è vera o falsa.
Direi piuttosto che, nonostante miliardi spesi dietro questa pietra filosofale (o forse proprio a causa loro), non accettiamo che sia falsa nonostante le innumerevoli evidenze. Giacomo
On Mon, 21 Sep 2020 09:38:05 +0200 Giuseppe Attardi <attardi@di.unipi.it> wrote:
AI e statistica non sono la stessa cosa.
Infatti!
Se è scritta in Power Point è AI. Se è scritta in Python è Machine Learning. Se è scritta su un giornale, è statistica.
Non è affatto la stessa cosa! :-D
Siamo seri!.
Per la verità, ero scherzosamente serissimo! ;-)
L’AI è una disciplina scientifica con oltre 70 anni di storia. L’AI è la disciplina che, occupandosi del problema più difficile, ha introdotto le tecniche più avanzate dell’informatica. Ma, come diceva Marvin Minski: “when it works, it is no longer AI”.
Indubbiamente il sogno della AI ha prodotto investimenti in ricerca straordinari e di conseguenza ha contribuito enormemente al progresso dell'informatica. Un merito che la blockchain, per esempio, non può vantare. Ma, per parafrasare Minski, "if it works, it has never been AI".
Solo gli esseri umani prendono decisioni. Perché solo gli esseri umani possono risponderne ad altri esseri umani.
Sono perfettamente d’accordo. Infatti secondo me solo gli umani sono dotati di libero arbitrio, e le macchine non devono disporne: Free will has traditionally been conceived of as a kind of power to control one’s choices and actions. [...]
:-D Non è che "non devono", è che "non possono"! Il libero arbitrio non è una funzione che l'uomo possa simulare. E' anzitutto una scelta interpretativa con una funzione evolutiva. Non riconoscere il libero arbitrio all'uomo significa ridurre gli esseri umani a complesse macchine deterministiche e dunque intercambiabili che, come tali, possono essere create, distrutte ed usate alla bisogna. [1] Ma attribuirlo alle macchine significa deresponsabilizzare l'uomo. Non avranno il libero arbitrio (come non avranno intelligenza) ma chi l'ignoranza di chi le crede capaci di libertà nasconderà il potere di chi le controlla. La congettura fondamentale della "disciplina AI" è semplicemente falsa. Utile ad ottenere fondi, utile a buttare fumo negli occhi dei legislatori, utile a deresponsabilizzare i potenti... ma falsa. E' questo il tipo di fraintendimento fondamentale che l'uso di metafore antropomoriche, evocative quanto fantascientifiche, causa alla ricerca nella nostra disciplina.
Semplicemente perché esistono sempre infinite soluzioni sbagiate ad un qualsiasi problema che rendono la probabilità di azzeccarne una giusta prossima a zero.
D'altro canto, questa è la funzione della statistica. Permetterci di modellare e comprendere sistemi sempre più complessi.
Non sono del tutto d’accordo, la statistica ci permette solo di estrarre indicatori dai dati, ma la comprensione è affidata agli scienziati che interpretano quegli indicatori. Affermi che l’AI non apprende, ma fa calibrazioni di modelli sui dati. Ciò è ancor più vero della statistica, che non produce modelli predittivi, ma effettua interpolazioni o calcola correlazioni. E sappiamo che, dati sufficienti dati, si possono ricava correlazioni per giustificare qualunque interpretazione.
Di conseguenza con sufficienti dati, si può produrre qualsiasi "sistema predittivo". Non spiegarlo o giustificarlo però. Definire "modello" il risultato della calibrazione di una rete neurale artificiale è sbagliato perché, contrariamente ad un modello statistico, quelle matrici numeriche non sono interpretabili da un essere umano. Sono l'equivalente di un eseguibile binario per una macchina virtuale ignota determinata dalla topologia della rete. Ed è questo il limite fondamentale di queste tecniche. NON sono strumenti scientifici perché non permettono di osservare meglio un fenomeno complesso come un microscopio permette di osservare un fenomeno molto piccolo o un telescopio permette di osservare un fenomeno molto lontano. Quando lo diventeranno, quando ci permetteranno di comprendere le logiche che riproducono dopo essere state programmate statisticamente (o "calibrate") diventeranno uno strumento VERAMENTE potente ed utile, senza essere pericoloso. Potremo usarle per indentificare le dinamiche di fenomeni complessi ed eventualmente correggerle. E potendo leggere l'algoritmo programmato statisticamente potremo riscriverlo in modo esplicito e sicuro. Ma la fretta di usarle per ottenere denaro, potere ed irresponsabilità, o la velleitaria ricerca di una AGI capace di sostituire il 99.9% in eccesso della popolazione mondiale, sta fossilizzando la ricerca sulla creazione black box sempre più complesse ma incapaci di accrescere la nostra comprensione dell'universo. E' piutoosto ovvio se ci pensi: la scienza è necessariamente di tutti, mentre le black box possono restare in mano a pochi. Anche per questo è importante trovare il modo spiegare esattamente e verificabilmente l'algoritmo sintetizzato da una rete neurale. Non per abbindolare legislatori ed utenti come fa l'AI Ethics. Ma per offrire all'Umanità un nuovo e potentissimo strumento di indagine scientifica che ci permetterebbe di esplorare ciò che sfugge alle nostre limitate prospettive umane. Giacomo
participants (5)
-
Antonio Iacono -
Giacomo Tesio -
Giovanni Biscuolo -
Giuseppe Attardi -
Stefano Quintarelli