Fwd: Machine-Learned Automated Decision Making Report and Panel in Brussels
Vi segnalo i seguente rapporto When Computers Decide: European Recommendations on Machine-Learned Automated Decision Making <http://www.informatics-europe.org/component/phocadownload/category/10-report...> che abbiamo prodotto congiuntamente tra Informatics Europe e ACM Europe Council C'è anche una pressrelease sul nostro sito web news article on our website. <http://www.informatics-europe.org/news/435-ethics_adm.html> Ciao, Enrico -- EN ===================================================================== Prof. Enrico Nardelli Dipartimento di Matematica - Universita' di Roma "Tor Vergata" Via della Ricerca Scientifica snc - 00133 Roma tel: +39 06 7259.4204 fax: +39 06 7259.4699 mobile: +39 335 590.2331 e-mail: nardelli@mat.uniroma2.it home page: http://www.mat.uniroma2.it/~nardelli blog: http://www.ilfattoquotidiano.it/blog/enardelli/ http://link-and-think.blogspot.it/ ===================================================================== --
2018-03-27 19:56 GMT+02:00 Enrico Nardelli <nardelli@mat.uniroma2.it>:
Vi segnalo i seguente rapporto When Computers Decide: European Recommendations on Machine-Learned Automated Decision Making <http://www.informatics-europe.org/component/phocadownload/category/10-report...> che abbiamo prodotto congiuntamente tra Informatics Europe e ACM Europe Council
Veramente un ottimo testo, lucido, chiaro ed *equilibrato*. Ne consiglio veramente la lettura a tutti! Ne emerge chiaramente una *sintesi *fra competenze diverse ma radicate ed aperte al confronto. L'unico contributo alla riflessione che posso offrire con il mio "Security Hat on", riguarda un piccolissimo passaggio che trovo rischioso: When complex automated decision-making systems operate without human
involvement, three conditions need to be satisfied: [...] Traceability—the automated decision maker must be able to autonomously show the rationale for its decision using empirical, experimental or other evidence that rejects several other possible decisions in favour of the one chosen.
Interpretando questa definizione di tracciabilità come una specifica, mi troverei di fronte ad un albero di possibilità implementative, alcune delle quali in grado di soddisfare esattamente la specifica senza garantirne il razionale. Macroscopicamente salta agli occhi che il sistema di decisione autonoma potrebbe generare, su richiesta, SOLO le soluzioni alternative alla decisione assunta che riesce a scartare attraverso evidenze empiriche e sperimentali compatibili con la legge. Ovvero potrebbe essere programmato per *NON generare decisioni* alternative *migliori di quella assunta* da un punto di vista etico o legale, per proteggere i propri costruttori dalla domanda "perché non ha fatto invece così?" Questo potrebbe essere usato per scaricare sulla collettività il costo di trovare contro esempi. Una soluzione logica a questo problema di specifica potrebbe essere quella di sostituire nella definizione la parola "several" con "every": il sistema autonomo stesso dovrebbe valutare (e fornire in caso di necessità) *tutte *le possibili decisioni pertinenti al problema in essere. Un'altra soluzione potrebbe essere lo sviluppo di strumenti in grado di analizzare e spiegare il processo decisionale (aka tool debug della intelligenza artificiale dimostrabilmente affidabili). Si tratta comunque di muoversi lungo una *linea di equilibrio*: da un lato applicare all'uomo* solo sistemi di ML spiegabili *(regressione lineare, k-mean clustering etc..) e dall'altro* ideare e sviluppare nuovi tool di debug* per aumentare le possibilità applicative degli altri sistemi. Aspetto la riflessione sulla* responsabilità legale nel software* (e parteciperei volentieri ad essa). E' un tema *estremamente *complesso da un punto di vista etico, legale e tecnico. Il rischio è che il software libero venga usato come scudo retorico per far evaporare la responsabilità. Come viene chiaramente spiegato nel testo, ci deve sempre essere almeno un essere umano a rispondere degli effetti delle decisioni basate sui calcoli di una macchina. Stabilire chi è semplice nel caso della robotica: di un *pilota automatico sviluppato come software libero* risponde *chi lo ha montato a guida dell'hardware*. Ma se il pilota automatico fosse proprietario? Inoltre nel caso di un sistema completamente software che ad esempio suggerisca quali candidati ammettere ad un corso universitario a numero chiuso, *distribuire e ricondurre le responsabilità* alle persone diventa molto più complesso. Giacomo
Buongiorno a tutti, Sono un laureando in Giurisprudenza, attualmente a Londra: sto lavorando ad un paper che cerca di approfondire il tema della responsabilità civile (extra-contrattuale) correlato alla tematica del Machine Learning. Sto riscontrando diverse criticità nel considerare ancora l'essere umano responsabile per il danno cagionato dal *fully autonomous robot *che abbia agito a seguito di 'apprendimento' (intervento di machine learning). Trovo significativa la tesi di A. Mattias: configurandosi in tale situazione quello che lui chiama *responsibility gap -*conseguente alla mancanza dell'elemento 'controllo' dell'essere umano sull'oggetto, è necessario trovare nuovi paradigmi legali per considerare il robot stesso responsabile, conferendo all'oggetto personalità giuridica. Potrebbero essere adottati meccanismi assicurativi uniti a fictio giuridiche, come quella evocata da Bayern: creare strutture di diritto societario per conferire quella che lui definisce *legal housing * per advanced software. Sarei molto grato se qualcuno volesse suggerirmi ulteriori punti di vista, consentendomi di inquadrare meglio la responsabilità in esame. Cordiali saluti, PGC Il giorno 28 marzo 2018 10:57, Giacomo Tesio <giacomo@tesio.it> ha scritto:
2018-03-27 19:56 GMT+02:00 Enrico Nardelli <nardelli@mat.uniroma2.it>:
Vi segnalo i seguente rapporto When Computers Decide: European Recommendations on Machine-Learned Automated Decision Making <http://www.informatics-europe.org/component/phocadownload/category/10-report...> che abbiamo prodotto congiuntamente tra Informatics Europe e ACM Europe Council
Veramente un ottimo testo, lucido, chiaro ed *equilibrato*. Ne consiglio veramente la lettura a tutti!
Ne emerge chiaramente una *sintesi *fra competenze diverse ma radicate ed aperte al confronto.
L'unico contributo alla riflessione che posso offrire con il mio "Security Hat on", riguarda un piccolissimo passaggio che trovo rischioso:
When complex automated decision-making systems operate without human
involvement, three conditions need to be satisfied: [...] Traceability—the automated decision maker must be able to autonomously show the rationale for its decision using empirical, experimental or other evidence that rejects several other possible decisions in favour of the one chosen.
Interpretando questa definizione di tracciabilità come una specifica, mi troverei di fronte ad un albero di possibilità implementative, alcune delle quali in grado di soddisfare esattamente la specifica senza garantirne il razionale. Macroscopicamente salta agli occhi che il sistema di decisione autonoma potrebbe generare, su richiesta, SOLO le soluzioni alternative alla decisione assunta che riesce a scartare attraverso evidenze empiriche e sperimentali compatibili con la legge. Ovvero potrebbe essere programmato per *NON generare decisioni* alternative *migliori di quella assunta* da un punto di vista etico o legale, per proteggere i propri costruttori dalla domanda "perché non ha fatto invece così?"
Questo potrebbe essere usato per scaricare sulla collettività il costo di trovare contro esempi.
Una soluzione logica a questo problema di specifica potrebbe essere quella di sostituire nella definizione la parola "several" con "every": il sistema autonomo stesso dovrebbe valutare (e fornire in caso di necessità) *tutte *le possibili decisioni pertinenti al problema in essere.
Un'altra soluzione potrebbe essere lo sviluppo di strumenti in grado di analizzare e spiegare il processo decisionale (aka tool debug della intelligenza artificiale dimostrabilmente affidabili).
Si tratta comunque di muoversi lungo una *linea di equilibrio*: da un lato applicare all'uomo* solo sistemi di ML spiegabili *(regressione lineare, k-mean clustering etc..) e dall'altro* ideare e sviluppare nuovi tool di debug* per aumentare le possibilità applicative degli altri sistemi.
Aspetto la riflessione sulla* responsabilità legale nel software* (e parteciperei volentieri ad essa).
E' un tema *estremamente *complesso da un punto di vista etico, legale e tecnico. Il rischio è che il software libero venga usato come scudo retorico per far evaporare la responsabilità.
Come viene chiaramente spiegato nel testo, ci deve sempre essere almeno un essere umano a rispondere degli effetti delle decisioni basate sui calcoli di una macchina. Stabilire chi è semplice nel caso della robotica: di un *pilota automatico sviluppato come software libero* risponde *chi lo ha montato a guida dell'hardware*. Ma se il pilota automatico fosse proprietario? Inoltre nel caso di un sistema completamente software che ad esempio suggerisca quali candidati ammettere ad un corso universitario a numero chiuso, *distribuire e ricondurre le responsabilità* alle persone diventa molto più complesso.
Giacomo
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
-- PGC
Ciao Pier Giorgio, Ci sono learning supervised (sai quello che han fatto I tecnici ) ed unsupervised (sopprattutto nel caso deep learning non sai proprio cos’abbia e come abbia imparato la macchina). Tuttavia, rispetto a quanto esponi, dobbiamo anche considerare che per nel caso deep learning non possiamo metter in strada un auto che non sia completamente testata. Detto questo, quanto una Google fa 4.000.000 di miglia, lo possiamo considerare sufficiente? Dal punto di vista tecnico si. From: nexa <nexa-bounces@server-nexa.polito.it> On Behalf Of Pier Giorgio Chiara Sent: Wednesday, March 28, 2018 12:20 PM To: Giacomo Tesio <giacomo@tesio.it> Cc: Nexa <nexa@server-nexa.polito.it> Subject: Re: [nexa] Fwd: Machine-Learned Automated Decision Making Report and Panel in Brussels Buongiorno a tutti, Sono un laureando in Giurisprudenza, attualmente a Londra: sto lavorando ad un paper che cerca di approfondire il tema della responsabilità civile (extra-contrattuale) correlato alla tematica del Machine Learning. Sto riscontrando diverse criticità nel considerare ancora l'essere umano responsabile per il danno cagionato dal fully autonomous robot che abbia agito a seguito di 'apprendimento' (intervento di machine learning). Trovo significativa la tesi di A. Mattias: configurandosi in tale situazione quello che lui chiama responsibility gap -conseguente alla mancanza dell'elemento 'controllo' dell'essere umano sull'oggetto, è necessario trovare nuovi paradigmi legali per considerare il robot stesso responsabile, conferendo all'oggetto personalità giuridica. Potrebbero essere adottati meccanismi assicurativi uniti a fictio giuridiche, come quella evocata da Bayern: creare strutture di diritto societario per conferire quella che lui definisce legal housing per advanced software. Sarei molto grato se qualcuno volesse suggerirmi ulteriori punti di vista, consentendomi di inquadrare meglio la responsabilità in esame. Cordiali saluti, PGC Il giorno 28 marzo 2018 10:57, Giacomo Tesio <giacomo@tesio.it<mailto:giacomo@tesio.it>> ha scritto: 2018-03-27 19:56 GMT+02:00 Enrico Nardelli <nardelli@mat.uniroma2.it<mailto:nardelli@mat.uniroma2.it>>: Vi segnalo i seguente rapporto When Computers Decide: European Recommendations on Machine-Learned Automated Decision Making<http://www.informatics-europe.org/component/phocadownload/category/10-report...> che abbiamo prodotto congiuntamente tra Informatics Europe e ACM Europe Council Veramente un ottimo testo, lucido, chiaro ed equilibrato. Ne consiglio veramente la lettura a tutti! Ne emerge chiaramente una sintesi fra competenze diverse ma radicate ed aperte al confronto. L'unico contributo alla riflessione che posso offrire con il mio "Security Hat on", riguarda un piccolissimo passaggio che trovo rischioso: When complex automated decision-making systems operate without human involvement, three conditions need to be satisfied: [...] Traceability—the automated decision maker must be able to autonomously show the rationale for its decision using empirical, experimental or other evidence that rejects several other possible decisions in favour of the one chosen. Interpretando questa definizione di tracciabilità come una specifica, mi troverei di fronte ad un albero di possibilità implementative, alcune delle quali in grado di soddisfare esattamente la specifica senza garantirne il razionale. Macroscopicamente salta agli occhi che il sistema di decisione autonoma potrebbe generare, su richiesta, SOLO le soluzioni alternative alla decisione assunta che riesce a scartare attraverso evidenze empiriche e sperimentali compatibili con la legge. Ovvero potrebbe essere programmato per NON generare decisioni alternative migliori di quella assunta da un punto di vista etico o legale, per proteggere i propri costruttori dalla domanda "perché non ha fatto invece così?" Questo potrebbe essere usato per scaricare sulla collettività il costo di trovare contro esempi. Una soluzione logica a questo problema di specifica potrebbe essere quella di sostituire nella definizione la parola "several" con "every": il sistema autonomo stesso dovrebbe valutare (e fornire in caso di necessità) tutte le possibili decisioni pertinenti al problema in essere. Un'altra soluzione potrebbe essere lo sviluppo di strumenti in grado di analizzare e spiegare il processo decisionale (aka tool debug della intelligenza artificiale dimostrabilmente affidabili). Si tratta comunque di muoversi lungo una linea di equilibrio: da un lato applicare all'uomo solo sistemi di ML spiegabili (regressione lineare, k-mean clustering etc..) e dall'altro ideare e sviluppare nuovi tool di debug per aumentare le possibilità applicative degli altri sistemi. Aspetto la riflessione sulla responsabilità legale nel software (e parteciperei volentieri ad essa). E' un tema estremamente complesso da un punto di vista etico, legale e tecnico. Il rischio è che il software libero venga usato come scudo retorico per far evaporare la responsabilità. Come viene chiaramente spiegato nel testo, ci deve sempre essere almeno un essere umano a rispondere degli effetti delle decisioni basate sui calcoli di una macchina. Stabilire chi è semplice nel caso della robotica: di un pilota automatico sviluppato come software libero risponde chi lo ha montato a guida dell'hardware. Ma se il pilota automatico fosse proprietario? Inoltre nel caso di un sistema completamente software che ad esempio suggerisca quali candidati ammettere ad un corso universitario a numero chiuso, distribuire e ricondurre le responsabilità alle persone diventa molto più complesso. Giacomo _______________________________________________ nexa mailing list nexa@server-nexa.polito.it<mailto:nexa@server-nexa.polito.it> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa -- PGC
Il Mer 28 Mar 2018 21:00 Roberto Dolci <rob.dolci@aizoon.us> ha scritto:
Ciao Pier Giorgio,
Ci sono learning supervised (sai quello che han fatto I tecnici ) ed unsupervised (sopprattutto nel caso deep learning non sai proprio cos’abbia e come abbia imparato la macchina).
Beh... se non lo vuoi sapere, di certo non lo saprai mai. Sai non c'è peggior cieco di chi non vuol vedere... Ma come dico sempre alle mie figlie dire "non si può fare" è l'unico modo certo per fallire.
Tuttavia, rispetto a quanto esponi, dobbiamo anche considerare che per nel caso deep learning non possiamo metter in strada un auto che non sia completamente testata. Detto questo, quanto una Google fa 4.000.000 di miglia, lo possiamo considerare sufficiente? Dal punto di vista tecnico si.
Oh bella! :-D E posso sapere *esattamente* come hai calcolato questa percorrenza minima? Perchė sai, si fa in fretta a fare 4 milioni di miglia in pista. E ancora più in fretta su un rullo... Giacomo
*From:* nexa <nexa-bounces@server-nexa.polito.it> *On Behalf Of *Pier Giorgio Chiara *Sent:* Wednesday, March 28, 2018 12:20 PM *To:* Giacomo Tesio <giacomo@tesio.it> *Cc:* Nexa <nexa@server-nexa.polito.it> *Subject:* Re: [nexa] Fwd: Machine-Learned Automated Decision Making Report and Panel in Brussels
Buongiorno a tutti, Sono un laureando in Giurisprudenza, attualmente a Londra: sto lavorando ad un paper che cerca di approfondire il tema della responsabilità civile (extra-contrattuale) correlato alla tematica del Machine Learning.
Sto riscontrando diverse criticità nel considerare ancora l'essere umano responsabile per il danno cagionato dal *fully autonomous robot *che abbia agito a seguito di 'apprendimento' (intervento di machine learning).
Trovo significativa la tesi di A. Mattias: configurandosi in tale situazione quello che lui chiama *responsibility gap -*conseguente alla mancanza dell'elemento 'controllo' dell'essere umano sull'oggetto, è necessario trovare nuovi paradigmi legali per considerare il robot stesso responsabile, conferendo all'oggetto personalità giuridica.
Potrebbero essere adottati meccanismi assicurativi uniti a fictio giuridiche, come quella evocata da Bayern: creare strutture di diritto societario per conferire quella che lui definisce *legal housing * per advanced software.
Sarei molto grato se qualcuno volesse suggerirmi ulteriori punti di vista, consentendomi di inquadrare meglio la responsabilità in esame. Cordiali saluti,
PGC
Il giorno 28 marzo 2018 10:57, Giacomo Tesio <giacomo@tesio.it> ha scritto:
2018-03-27 19:56 GMT+02:00 Enrico Nardelli <nardelli@mat.uniroma2.it>:
Vi segnalo i seguente rapporto When Computers Decide: European Recommendations on Machine-Learned Automated Decision Making <http://www.informatics-europe.org/component/phocadownload/category/10-report...> che abbiamo prodotto congiuntamente tra Informatics Europe e ACM Europe Council
Veramente un ottimo testo, lucido, chiaro ed *equilibrato*.
Ne consiglio veramente la lettura a tutti!
Ne emerge chiaramente una *sintesi *fra competenze diverse ma radicate ed aperte al confronto.
L'unico contributo alla riflessione che posso offrire con il mio "Security Hat on", riguarda un piccolissimo passaggio che trovo rischioso:
When complex automated decision-making systems operate without human involvement, three conditions need to be satisfied: [...] Traceability—the automated decision maker must be able to autonomously show the rationale for its decision using empirical, experimental or other evidence that rejects several other possible decisions in favour of the one chosen.
Interpretando questa definizione di tracciabilità come una specifica, mi troverei di fronte ad un albero di possibilità implementative, alcune delle quali in grado di soddisfare esattamente la specifica senza garantirne il razionale.
Macroscopicamente salta agli occhi che il sistema di decisione autonoma potrebbe generare, su richiesta, SOLO le soluzioni alternative alla decisione assunta che riesce a scartare attraverso evidenze empiriche e sperimentali compatibili con la legge.
Ovvero potrebbe essere programmato per *NON generare decisioni* alternative *migliori di quella assunta* da un punto di vista etico o legale, per proteggere i propri costruttori dalla domanda "perché non ha fatto invece così?"
Questo potrebbe essere usato per scaricare sulla collettività il costo di trovare contro esempi.
Una soluzione logica a questo problema di specifica potrebbe essere quella di sostituire nella definizione la parola "several" con "every": il sistema autonomo stesso dovrebbe valutare (e fornire in caso di necessità) *tutte *le possibili decisioni pertinenti al problema in essere.
Un'altra soluzione potrebbe essere lo sviluppo di strumenti in grado di analizzare e spiegare il processo decisionale (aka tool debug della intelligenza artificiale dimostrabilmente affidabili).
Si tratta comunque di muoversi lungo una *linea di equilibrio*: da un lato applicare all'uomo* solo sistemi di ML spiegabili *(regressione lineare, k-mean clustering etc..) e dall'altro* ideare e sviluppare nuovi tool di debug* per aumentare le possibilità applicative degli altri sistemi.
Aspetto la riflessione sulla* responsabilità legale nel software* (e parteciperei volentieri ad essa).
E' un tema *estremamente *complesso da un punto di vista etico, legale e tecnico. Il rischio è che il software libero venga usato come scudo retorico per far evaporare la responsabilità.
Come viene chiaramente spiegato nel testo, ci deve sempre essere almeno un essere umano a rispondere degli effetti delle decisioni basate sui calcoli di una macchina.
Stabilire chi è semplice nel caso della robotica: di un *pilota automatico sviluppato come software libero* risponde *chi lo ha montato a guida dell'hardware*. Ma se il pilota automatico fosse proprietario?
Inoltre nel caso di un sistema completamente software che ad esempio suggerisca quali candidati ammettere ad un corso universitario a numero chiuso, *distribuire e ricondurre le responsabilità* alle persone diventa molto più complesso.
Giacomo
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
--
PGC
Ciao Giacomo, 1. No no. Ci sono n casi in cui deep learning produce risultati inspiegabili. Dalle scelte nelle partite di Go, ad apprendimenti di una terza lingua mentre traduce tra altre due, alla progettazione di un radiatore dalle forma inimmaginabile da parte di qualsiasi essere umano, altri esempi ancora. Il problema del DL, Unsupervised, e' che proprio produce risultati che possono non esser compresi. Scommetto una pizza che su un problema del carrello sofisticato potremmo avere sorprese. 2. Google ha fatto e consegnato alle autorita' dati da questo nr di miglia. NON e' possibile dire siano sufficienti, ma teniamo conto che un nuovo veicolo viene testato sui 600k km quindi 7 volte tanto appare un buon margine. Tieni inoltre conto che sempre piu' test sono fatti in virtuale, quindi questi 4m miglia son proprio su interazione traffico. Banalmente, occorre stabilire un limite "di buon senso". Ti assicuro che ogni progettazione nuovo veicolo lascia aperte le porte a rischi, che semplicemente si considerano accettabili Best Regards Rob Dolci www.aizoon.us<http://<br/>www.aizoon.us> @aizoongroup 1-866-398-6567 From: Giacomo Tesio Sent: Wednesday, March 28, 9:47 PM Subject: Re: [nexa] Fwd: Machine-Learned Automated Decision Making Report and Panel in Brussels To: Roberto Dolci Cc: Pier Giorgio Chiara, Nexa Il Mer 28 Mar 2018 21:00 Roberto Dolci <rob.dolci@aizoon.us<mailto:rob.dolci@aizoon.us>> ha scritto: Ciao Pier Giorgio, Ci sono learning supervised (sai quello che han fatto I tecnici ) ed unsupervised (sopprattutto nel caso deep learning non sai proprio cos’abbia e come abbia imparato la macchina). Beh... se non lo vuoi sapere, di certo non lo saprai mai. Sai non c'è peggior cieco di chi non vuol vedere... Ma come dico sempre alle mie figlie dire "non si può fare" è l'unico modo certo per fallire. Tuttavia, rispetto a quanto esponi, dobbiamo anche considerare che per nel caso deep learning non possiamo metter in strada un auto che non sia completamente testata. Detto questo, quanto una Google fa 4.000.000 di miglia, lo possiamo considerare sufficiente? Dal punto di vista tecnico si. Oh bella! :-D E posso sapere esattamente come hai calcolato questa percorrenza minima? Perchė sai, si fa in fretta a fare 4 milioni di miglia in pista. E ancora più in fretta su un rullo... Giacomo From: nexa <nexa-bounces@server-nexa.polito.it<mailto:nexa-bounces@server-nexa.polito.it>> On Behalf Of Pier Giorgio Chiara Sent: Wednesday, March 28, 2018 12:20 PM To: Giacomo Tesio <giacomo@tesio.it<mailto:giacomo@tesio.it>> Cc: Nexa <nexa@server-nexa.polito.it<mailto:nexa@server-nexa.polito.it>> Subject: Re: [nexa] Fwd: Machine-Learned Automated Decision Making Report and Panel in Brussels Buongiorno a tutti, Sono un laureando in Giurisprudenza, attualmente a Londra: sto lavorando ad un paper che cerca di approfondire il tema della responsabilità civile (extra-contrattuale) correlato alla tematica del Machine Learning. Sto riscontrando diverse criticità nel considerare ancora l'essere umano responsabile per il danno cagionato dal fully autonomous robot che abbia agito a seguito di 'apprendimento' (intervento di machine learning). Trovo significativa la tesi di A. Mattias: configurandosi in tale situazione quello che lui chiama responsibility gap -conseguente alla mancanza dell'elemento 'controllo' dell'essere umano sull'oggetto, è necessario trovare nuovi paradigmi legali per considerare il robot stesso responsabile, conferendo all'oggetto personalità giuridica. Potrebbero essere adottati meccanismi assicurativi uniti a fictio giuridiche, come quella evocata da Bayern: creare strutture di diritto societario per conferire quella che lui definisce legal housing per advanced software. Sarei molto grato se qualcuno volesse suggerirmi ulteriori punti di vista, consentendomi di inquadrare meglio la responsabilità in esame. Cordiali saluti, PGC Il giorno 28 marzo 2018 10:57, Giacomo Tesio <giacomo@tesio.it<mailto:giacomo@tesio.it>> ha scritto: 2018-03-27 19:56 GMT+02:00 Enrico Nardelli <nardelli@mat.uniroma2.it<mailto:nardelli@mat.uniroma2.it>>: Vi segnalo i seguente rapporto When Computers Decide: European Recommendations on Machine-Learned Automated Decision Making<http://www.informatics-europe.org/component/phocadownload/category/10-report...> che abbiamo prodotto congiuntamente tra Informatics Europe e ACM Europe Council Veramente un ottimo testo, lucido, chiaro ed equilibrato. Ne consiglio veramente la lettura a tutti! Ne emerge chiaramente una sintesi fra competenze diverse ma radicate ed aperte al confronto. L'unico contributo alla riflessione che posso offrire con il mio "Security Hat on", riguarda un piccolissimo passaggio che trovo rischioso: When complex automated decision-making systems operate without human involvement, three conditions need to be satisfied: [...] Traceability—the automated decision maker must be able to autonomously show the rationale for its decision using empirical, experimental or other evidence that rejects several other possible decisions in favour of the one chosen. Interpretando questa definizione di tracciabilità come una specifica, mi troverei di fronte ad un albero di possibilità implementative, alcune delle quali in grado di soddisfare esattamente la specifica senza garantirne il razionale. Macroscopicamente salta agli occhi che il sistema di decisione autonoma potrebbe generare, su richiesta, SOLO le soluzioni alternative alla decisione assunta che riesce a scartare attraverso evidenze empiriche e sperimentali compatibili con la legge. Ovvero potrebbe essere programmato per NON generare decisioni alternative migliori di quella assunta da un punto di vista etico o legale, per proteggere i propri costruttori dalla domanda "perché non ha fatto invece così?" Questo potrebbe essere usato per scaricare sulla collettività il costo di trovare contro esempi. Una soluzione logica a questo problema di specifica potrebbe essere quella di sostituire nella definizione la parola "several" con "every": il sistema autonomo stesso dovrebbe valutare (e fornire in caso di necessità) tutte le possibili decisioni pertinenti al problema in essere. Un'altra soluzione potrebbe essere lo sviluppo di strumenti in grado di analizzare e spiegare il processo decisionale (aka tool debug della intelligenza artificiale dimostrabilmente affidabili). Si tratta comunque di muoversi lungo una linea di equilibrio: da un lato applicare all'uomo solo sistemi di ML spiegabili (regressione lineare, k-mean clustering etc..) e dall'altro ideare e sviluppare nuovi tool di debug per aumentare le possibilità applicative degli altri sistemi. Aspetto la riflessione sulla responsabilità legale nel software (e parteciperei volentieri ad essa). E' un tema estremamente complesso da un punto di vista etico, legale e tecnico. Il rischio è che il software libero venga usato come scudo retorico per far evaporare la responsabilità. Come viene chiaramente spiegato nel testo, ci deve sempre essere almeno un essere umano a rispondere degli effetti delle decisioni basate sui calcoli di una macchina. Stabilire chi è semplice nel caso della robotica: di un pilota automatico sviluppato come software libero risponde chi lo ha montato a guida dell'hardware. Ma se il pilota automatico fosse proprietario? Inoltre nel caso di un sistema completamente software che ad esempio suggerisca quali candidati ammettere ad un corso universitario a numero chiuso, distribuire e ricondurre le responsabilità alle persone diventa molto più complesso. Giacomo _______________________________________________ nexa mailing list nexa@server-nexa.polito.it<mailto:nexa@server-nexa.polito.it> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa -- PGC
Il giorno 28 marzo 2018 22:23, Roberto Dolci <rob.dolci@aizoon.us> ha scritto:
Ciao Giacomo,
1. No no. Ci sono n casi in cui deep learning produce risultati inspiegabili. Dalle scelte nelle partite di Go, ad apprendimenti di una terza lingua mentre traduce tra altre due, alla progettazione di un radiatore dalle forma inimmaginabile da parte di qualsiasi essere umano, altri esempi ancora. Il problema del DL, Unsupervised, e' che proprio produce risultati che possono non esser compresi. Scommetto una pizza che su un problema del carrello sofisticato potremmo avere sorprese.
No. Un computer è una macchina deterministica. Il suo comportamento può essere estremamente costoso da spiegare, ma è SEMPRE possibile spiegarlo disponendo dell'intero input dell'algoritmo e di tempo e competenze sufficienti. Ma COSTOSO, non vuol dire impossibile. E' un costo di impresa, da mettere accanto alla furto/incendio per le auto aziendali.
2. Google ha fatto e consegnato alle autorita' dati da questo nr di miglia. NON e' possibile dire siano sufficienti, ma teniamo conto che un nuovo veicolo viene testato sui 600k km quindi 7 volte tanto appare un buon margine. Tieni inoltre conto che sempre piu' test sono fatti in virtuale, quindi questi 4m miglia son proprio su interazione traffico. Banalmente, occorre stabilire un limite "di buon senso". Ti assicuro che ogni progettazione nuovo veicolo lascia aperte le porte a rischi, che semplicemente si considerano accettabili
Temo proprio che tu non sappia di cosa stai parlando. Non si tratta mica di passare dal diesel al metano! Comunque è molto facile dire se sono sufficienti. Per sviluppare la auto che provi in 600.000 km ci sono voluti al massimo *250 anni di un numero ristretto di persone*. Per sviluppare una mente in grado di guidarla ci sono voluti almeno *4.2 milioni di anni dell'intera umanità*. Dunque basta veramente *un minimo di buon senso* per capire che servono *almeno* 16800 volte la percorrenza su strada di una auto guidata da un uomo, per mettere in pericolo l'uomo con una tecnologia che ne fa a meno. Almeno 16800 mila volte. Probabilmente molti di più. Giacomo
From: Giacomo Tesio Sent: Wednesday, March 28, 9:47 PM Subject: Re: [nexa] Fwd: Machine-Learned Automated Decision Making Report and Panel in Brussels To: Roberto Dolci Cc: Pier Giorgio Chiara, Nexa
Il Mer 28 Mar 2018 21:00 Roberto Dolci <rob.dolci@aizoon.us> ha scritto:
Ciao Pier Giorgio,
Ci sono learning supervised (sai quello che han fatto I tecnici ) ed unsupervised (sopprattutto nel caso deep learning non sai proprio cos’abbia e come abbia imparato la macchina).
Beh... se non lo vuoi sapere, di certo non lo saprai mai.
Sai non c'è peggior cieco di chi non vuol vedere...
Ma come dico sempre alle mie figlie dire "non si può fare" è l'unico modo certo per fallire.
Tuttavia, rispetto a quanto esponi, dobbiamo anche considerare che per nel caso deep learning non possiamo metter in strada un auto che non sia completamente testata. Detto questo, quanto una Google fa 4.000.000 di miglia, lo possiamo considerare sufficiente? Dal punto di vista tecnico si.
Oh bella! :-D
E posso sapere *esattamente* come hai calcolato questa percorrenza minima?
Perchė sai, si fa in fretta a fare 4 milioni di miglia in pista. E ancora più in fretta su un rullo...
Giacomo
*From:* nexa <nexa-bounces@server-nexa.polito.it> *On Behalf Of *Pier Giorgio Chiara *Sent:* Wednesday, March 28, 2018 12:20 PM *To:* Giacomo Tesio <giacomo@tesio.it> *Cc:* Nexa <nexa@server-nexa.polito.it> *Subject:* Re: [nexa] Fwd: Machine-Learned Automated Decision Making Report and Panel in Brussels
Buongiorno a tutti, Sono un laureando in Giurisprudenza, attualmente a Londra: sto lavorando ad un paper che cerca di approfondire il tema della responsabilità civile (extra-contrattuale) correlato alla tematica del Machine Learning.
Sto riscontrando diverse criticità nel considerare ancora l'essere umano responsabile per il danno cagionato dal *fully autonomous robot *che abbia agito a seguito di 'apprendimento' (intervento di machine learning). Trovo significativa la tesi di A. Mattias: configurandosi in tale situazione quello che lui chiama *responsibility gap -*conseguente alla mancanza dell'elemento 'controllo' dell'essere umano sull'oggetto, è necessario trovare nuovi paradigmi legali per considerare il robot stesso responsabile, conferendo all'oggetto personalità giuridica.
Potrebbero essere adottati meccanismi assicurativi uniti a fictio giuridiche, come quella evocata da Bayern: creare strutture di diritto societario per conferire quella che lui definisce *legal housing * per advanced software.
Sarei molto grato se qualcuno volesse suggerirmi ulteriori punti di vista, consentendomi di inquadrare meglio la responsabilità in esame. Cordiali saluti,
PGC
Il giorno 28 marzo 2018 10:57, Giacomo Tesio <giacomo@tesio.it> ha scritto:
2018-03-27 19:56 GMT+02:00 Enrico Nardelli <nardelli@mat.uniroma2.it>:
Vi segnalo i seguente rapporto When Computers Decide: European Recommendations on Machine-Learned Automated Decision Making <http://www.informatics-europe.org/component/phocadownload/category/10-report...> che abbiamo prodotto congiuntamente tra Informatics Europe e ACM Europe Council
Veramente un ottimo testo, lucido, chiaro ed *equilibrato*. Ne consiglio veramente la lettura a tutti!
Ne emerge chiaramente una *sintesi *fra competenze diverse ma radicate ed aperte al confronto. L'unico contributo alla riflessione che posso offrire con il mio "Security Hat on", riguarda un piccolissimo passaggio che trovo rischioso:
When complex automated decision-making systems operate without human involvement, three conditions need to be satisfied: [...] Traceability—the automated decision maker must be able to autonomously show the rationale for its decision using empirical, experimental or other evidence that rejects several other possible decisions in favour of the one chosen.
Interpretando questa definizione di tracciabilità come una specifica, mi troverei di fronte ad un albero di possibilità implementative, alcune delle quali in grado di soddisfare esattamente la specifica senza garantirne il razionale. Macroscopicamente salta agli occhi che il sistema di decisione autonoma potrebbe generare, su richiesta, SOLO le soluzioni alternative alla decisione assunta che riesce a scartare attraverso evidenze empiriche e sperimentali compatibili con la legge. Ovvero potrebbe essere programmato per *NON generare decisioni* alternative * migliori di quella assunta* da un punto di vista etico o legale, per proteggere i propri costruttori dalla domanda "perché non ha fatto invece così?" Questo potrebbe essere usato per scaricare sulla collettività il costo di trovare contro esempi.
Una soluzione logica a questo problema di specifica potrebbe essere quella di sostituire nella definizione la parola "several" con "every": il sistema autonomo stesso dovrebbe valutare (e fornire in caso di necessità) *tutte *le possibili decisioni pertinenti al problema in essere. Un'altra soluzione potrebbe essere lo sviluppo di strumenti in grado di analizzare e spiegare il processo decisionale (aka tool debug della intelligenza artificiale dimostrabilmente affidabili).
Si tratta comunque di muoversi lungo una *linea di equilibrio*: da un lato applicare all'uomo* solo sistemi di ML spiegabili *(regressione lineare, k-mean clustering etc..) e dall'altro* ideare e sviluppare nuovi tool di debug* per aumentare le possibilità applicative degli altri sistemi.
Aspetto la riflessione sulla* responsabilità legale nel software* (e parteciperei volentieri ad essa). E' un tema *estremamente *complesso da un punto di vista etico, legale e tecnico. Il rischio è che il software libero venga usato come scudo retorico per far evaporare la responsabilità.
Come viene chiaramente spiegato nel testo, ci deve sempre essere almeno un essere umano a rispondere degli effetti delle decisioni basate sui calcoli di una macchina. Stabilire chi è semplice nel caso della robotica: di un *pilota automatico sviluppato come software libero* risponde *chi lo ha montato a guida dell'hardware*. Ma se il pilota automatico fosse proprietario? Inoltre nel caso di un sistema completamente software che ad esempio suggerisca quali candidati ammettere ad un corso universitario a numero chiuso, *distribuire e ricondurre le responsabilità* alle persone diventa molto più complesso.
Giacomo
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
-- PGC
On 28/03/2018 22:46, Giacomo Tesio wrote:
Il giorno 28 marzo 2018 22:23, Roberto Dolci <rob.dolci@aizoon.us <mailto:rob.dolci@aizoon.us>> ha scritto:
Ciao Giacomo,
1. No no. Ci sono n casi in cui deep learning produce risultati inspiegabili. Dalle scelte nelle partite di Go, ad apprendimenti di una terza lingua mentre traduce tra altre due, alla progettazione di un radiatore dalle forma inimmaginabile da parte di qualsiasi essere umano, altri esempi ancora. Il problema del DL, Unsupervised, e' che proprio produce risultati che possono non esser compresi. Scommetto una pizza che su un problema del carrello sofisticato potremmo avere sorprese.
No. Un computer è una macchina deterministica.
Il suo comportamento può essere estremamente costoso da spiegare, ma è SEMPRE possibile spiegarlo disponendo dell'intero input dell'algoritmo e di tempo e competenze sufficienti.
Ma COSTOSO, non vuol dire impossibile. E' un costo di impresa, da mettere accanto alla furto/incendio per le auto aziendali.
Giacomo, per gli scopi di attribuzione di responsabilità occorre che il comportamento del sistema autonomo sia prevedibile, non che il sistema sia deterministico. E sappiamo che essere deterministico non implica essere prevedibile, cioè calcolabile in modo esatto in tutti gli stati presenti e futuri. Un sistema complesso, non lineare, può mostrare proprietà emergenti di tipo caotico che possono non essere calcolabili, o esserlo solo in modo limitato ed estremamente costoso. Il tempo metereologico è certamente deterministico, ma è prevedibile solo in modo limitato e costoso. Oltre una certa soglia, è imprevedibile. I computer sono certamente deterministici, ma sistemi complessi come certe AI possono esibire comportamenti assai imprevedibili, come dice Roberto Dolci. I robot, esposti alla complessità di un ambiente ricco di variabili la cui misurabilità è finita, lo sono ancora di più. Si leggono sempre più spesso studi sulla caoticità dei sistemi deep learning. <https://medium.com/intuitionmachine/how-to-explain-deep-learning-using-chaos...> Ciao, Alberto
Il giorno 29 marzo 2018 09:37, Alberto Cammozzo <ac+nexa@zeromx.net> ha scritto:
On 28/03/2018 22:46, Giacomo Tesio wrote:
No. Un computer è una macchina deterministica.
Il suo comportamento può essere estremamente costoso da spiegare, ma è SEMPRE possibile spiegarlo disponendo dell'intero input dell'algoritmo e di tempo e competenze sufficienti.
Ma COSTOSO, non vuol dire impossibile. E' un costo di impresa, da mettere accanto alla furto/incendio per le auto aziendali.
Giacomo,
per gli scopi di attribuzione di responsabilità occorre che il comportamento del sistema autonomo sia prevedibile, non che il sistema sia deterministico.
Se il sistema è determinisco e disponi (perché non li butti via) di TUTTE le informazioni pertinenti, il sistema è precisaente prevedibile.
E sappiamo che essere deterministico non implica essere prevedibile, cioè calcolabile in modo esatto in tutti gli stati presenti e futuri.
Eh? Ma cosa dici! Se hai tutte le informazioni e non ci sono componenti quantistiche, puoi prevedere tutto. Anzi, prevedere, in questo caso è un termine fuorviante. Se hai tutte le informazioni pertinenti e non ci sono componenti quantistiche, puoi CALCOLARE tutto.
Un sistema complesso, non lineare, può mostrare proprietà emergenti di tipo caotico che possono non essere calcolabili, o esserlo solo in modo limitato ed estremamente costoso. Il tempo metereologico è certamente deterministico, ma è prevedibile solo in modo limitato e costoso.
Pessimo esempio. Anzitutto, la metereologia non è un artefatto umano (e per fortuna, altrimenti su alcune case ci sarebbe sempre il sole! :-D) Inoltre non disponiamo di tutte le funzioni.
Oltre una certa soglia, è imprevedibile.
No è solo ESTREMAMETE costoso.
I computer sono certamente deterministici, ma sistemi complessi come certe AI possono esibire comportamenti assai imprevedibili, come dice Roberto Dolci. I robot, esposti alla complessità di un ambiente ricco di variabili la cui misurabilità è finita, lo sono ancora di più.
Infatti nel momento in cui DECIDI di metterli nell'ambiente, hai tutto il CONTROLLO necessario per decidere di NON metterli nell'ambiente. Se ti ASSUMI la responsabilità di metterli nell'ambiente SENZA SAPERE PREVEDERE come si comporteranno, è un problema tuo. Hai una scelta. Se la eserciti, poi ne DEVI rispondere.
Si leggono sempre più spesso studi sulla caoticità dei sistemi deep learning. <https://medium.com/intuitionmachine/how-to-explain-deep-learning-using-chaos...>
Grazie del link. Tutti OTTIMI ARGOMENTI per USARE ESTREMA CAUTELA con queste tecnologie. In fondo, si tratta solo di avere un po' di pazienza e lucidità. Ne è un esempio lampante AlphaGo Zero. Fino a qualche anno fa, mi avresti detto che si trattava di una cosa IMPOSIBILE. Di un problema INTRATTABILE dalle macchine. E con le giuste motivazione, l'UOMO, ha trovato delle soluzioni a quello specifico problema. Lo stesso vale per debuggare una rete neurale artificiale in Deep Learning. Se ci mancano gli strumenti per farlo, bisogna solo ASPETTARE di averli creati. Ma anche quando li avremo, chi immette nell'ambiente un artefatto ne assumerà la responsabilità. Perché ha sempre la libertà di NON immetterlo nell'ambiente se preferisce evitare quella responsabilità. Giacomo
Il 29 marzo 2018 10:00, Giacomo Tesio <giacomo@tesio.it> ha scritto:
I robot, esposti alla complessità di un ambiente ricco di variabili la cui misurabilità è finita, lo sono ancora di più.
Infatti nel momento in cui DECIDI di metterli nell'ambiente, hai tutto il CONTROLLO necessario per decidere di NON metterli nell'ambiente.
Se ti ASSUMI la responsabilità di metterli nell'ambiente SENZA SAPERE PREVEDERE come si comporteranno, è un problema tuo.
Hai una scelta. Se la eserciti, poi ne DEVI rispondere.
Aggiungo, anche la prevedibilità è un argomento futile. I semafori di Torino controllati dal sistema 5T (di cui ho parlato in questa mailing list e che è descritto http://www.5t.torino.it/ ) dispongono di un algoritmo locale e di sistema globale cittadino che determina la lunghezza dei vari verdi agli incroci. MA questi algoritmi si muvono all'interno di CONTROLLI HARDWARE che impediscono a due verdi opposti di essere accesi. Questo perché chi ha realizzato il sistema non si sarebbe MAI SOGNATO di scaricare sulla collettività la responsabilità delle morti causate dai propri errori. Magari per voi è stata mancanza di fantasia. Ma a me pare che di sovraumano, la IA abbia solo la faccia tosta. Se il software non è sicuro, aggiungi altri sistemi di sicurezza EVENTUALMENTE A LIVELLO HARDWARE, fino a quando il sistema nel suo complesso non è sicuro. E se uno di questi sistemi di sicurezza è montato male, la colpa è tua. Giacomo
In data giovedì 29 marzo 2018 10:00:11 CEST, Giacomo Tesio ha scritto: > Se ti ASSUMI la responsabilità di metterli nell'ambiente SENZA SAPERE > PREVEDERE come si comporteranno, è un problema tuo. > > > Hai una scelta. Se la eserciti, poi ne DEVI rispondere. per non rispondere ci sono diverse tecniche: - vai da un avvocato e fai costruire uno schema giuridico sufficientemente solido per non rispondere, o - fai delle leggi (eventualmente "ad personam") che ti evitano di rispondere. :-D m.c.
On 29/03/2018 10:00, Giacomo Tesio wrote:
Se il sistema è determinisco e disponi (perché non li butti via) di TUTTE le informazioni pertinenti, il sistema è precisaente prevedibile.
immagina ci sia una rete neurale realizzata con una macchina da 150TFlops che lavora per 30 minuti per fornire un output, vieteresti la macchina ? ciao, s.
Il Gio 29 Mar 2018 18:37 Stefano Quintarelli <stefano@quintarelli.it> ha scritto:
On 29/03/2018 10:00, Giacomo Tesio wrote:
Se il sistema è determinisco e disponi (perché non li butti via) di TUTTE le informazioni pertinenti, il sistema è precisaente prevedibile.
immagina ci sia una rete neurale realizzata con una macchina da 150TFlops che lavora per 30 minuti per fornire un output, vieteresti la macchina ?
Dipende. Se gioca a Go, no. Nemmeno se gioca a scacchi. Se gioca a pocker online... beh in realtà non vieterei la macchina, ma il pocker online. Cosa fa questa macchina ipotetica? Cosa può andare storto? Chi ne risponde? Dove si trova? E quanto consuma? Insomma, per applicare il poco buonsenso di cui dispongo, ho bisogno di qualche informazione in più. Per esempio, se dopo 30 minuti esplode in un centro abitato, sì la vieterei. Se invece risponde alla Domanda Finale sulla Vita, l'Universo e il Tutto... ci devo pensare! :-D Giacomo
ciao, s. _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
e se fossero diagnosi mediche ? o valutazioni su contratti di assicurazione ? ciao!, s. On 29/03/2018 20:05, Giacomo Tesio wrote:
Il Gio 29 Mar 2018 18:37 Stefano Quintarelli <stefano@quintarelli.it <mailto:stefano@quintarelli.it>> ha scritto:
On 29/03/2018 10:00, Giacomo Tesio wrote: > Se il sistema è determinisco e disponi (perché non li butti via) di TUTTE > le informazioni pertinenti, il sistema è precisaente prevedibile.
immagina ci sia una rete neurale realizzata con una macchina da 150TFlops che lavora per 30 minuti per fornire un output, vieteresti la macchina ?
Dipende.
Se gioca a Go, no.
Nemmeno se gioca a scacchi.
Se gioca a pocker online... beh in realtà non vieterei la macchina, ma il pocker online.
Cosa fa questa macchina ipotetica? Cosa può andare storto? Chi ne risponde? Dove si trova? E quanto consuma?
Insomma, per applicare il poco buonsenso di cui dispongo, ho bisogno di qualche informazione in più.
Per esempio, se dopo 30 minuti esplode in un centro abitato, sì la vieterei.
Se invece risponde alla Domanda Finale sulla Vita, l'Universo e il Tutto... ci devo pensare! :-D
Giacomo
ciao, s. _______________________________________________ nexa mailing list nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Il Gio 29 Mar 2018 20:10 Stefano Quintarelli <stefano@quintarelli.it> ha scritto:
e se fossero diagnosi mediche ? o valutazioni su contratti di assicurazione ?
Rimane da rispondere alla domanda "chi ne risponde?" Per le diagnosi mediche penso che si possa applicare la stessa logica che si usa con le medicine: un medico specialista e un informatico specializzato gestiscono e interpretano insieme i risultati dei calcoli di questa rete neurale, assumendone insieme la responsabilità. Esattamente come un fisico e un medico utilizzano ed interpretano i risultati di una macchina radio diagnostica. Quanto alla applicazioni assicurative, macroscopicamente direi che qualcuno si è fatto fregare di brutto: non credo che il valore prodotto in ambito assicurativo possa richiedere così tanta potenza di calcolo ed il tempo (ovvero il costo) necessario a calibrare una rete neurale della complessità che una singola esecuzione di 30 minuti a quel clock lascia immaginare. Dunque oltre a "chi ne risponde?", sarebbe utile rispondere a "quanto consuma?", "dove si trova?", "chi paga la bolletta?" e soprattutto "chi è che l'ha ordinata?". :-) Comunque, se la macchina funziona come previsto, è debuggabile con la tecnologia disponibile (ipotetica quanto la macchina stessa) e fornisce la spiegabilità perfetta del suo output prevista dal GDPR, direi che non avrei obbiezioni al suo utilizzo. Il punto infatto non è vietare qualcosa che non è pericoloso. Il punto è che nel momento in cui la macchina in questione entra nel dominio della esistenza, istantaneamente si determina una responsabilità umana. Responsabilità umana che persiste durante l'utilizzo e fino allo smaltimento. Non ti sembra sensato? Infondo se le mie bimbe insistono che non vogliono fare i compiti, io non le lego alla sedia. Risponderanno degli effetti delle loro decisioni. E loro non mi sembrano particolarmente scandalizzate da questo fatto. Non credi che un imprenditore adulto, possa fare altrettanto? A presto! Giacomo
On 29/03/2018 20:05, Giacomo Tesio wrote:
Il Gio 29 Mar 2018 18:37 Stefano Quintarelli <stefano@quintarelli.it <mailto:stefano@quintarelli.it>> ha scritto:
On 29/03/2018 10:00, Giacomo Tesio wrote: > Se il sistema è determinisco e disponi (perché non li butti via) di TUTTE > le informazioni pertinenti, il sistema è precisaente prevedibile.
immagina ci sia una rete neurale realizzata con una macchina da 150TFlops che lavora per 30 minuti per fornire un output, vieteresti la macchina ?
Dipende.
Se gioca a Go, no.
Nemmeno se gioca a scacchi.
Se gioca a pocker online... beh in realtà non vieterei la macchina, ma il pocker online.
Cosa fa questa macchina ipotetica? Cosa può andare storto? Chi ne risponde? Dove si trova? E quanto consuma?
Insomma, per applicare il poco buonsenso di cui dispongo, ho bisogno di qualche informazione in più.
Per esempio, se dopo 30 minuti esplode in un centro abitato, sì la vieterei.
Se invece risponde alla Domanda Finale sulla Vita, l'Universo e il Tutto... ci devo pensare! :-D
Giacomo
ciao, s. _______________________________________________ nexa mailing list nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
E se fossero diagnosi mediche: https://arxiv.org/pdf/1711.06373.pdf e’ un paper appena pubblicato che suggerisce come AI serva di supporto, e non come sostituto, del medico specialista. Tra I diversi motivi, riprende il tema gia’ visto in https://www.technologyreview.com/s/604087/the-dark-secret-at-the-heart-of-ai... dove Deep Learning non da risultati sempre spiegabili, il motive per cui le auto autonome per ora e’ meglio non siano rilasciate sul mercato. From: nexa <nexa-bounces@server-nexa.polito.it> On Behalf Of Giacomo Tesio Sent: Thursday, March 29, 2018 3:32 PM To: Stefano Quintarelli <stefano@quintarelli.it> Cc: Nexa <nexa@server-nexa.polito.it> Subject: Re: [nexa] Fwd: Machine-Learned Automated Decision Making Report and Panel in Brussels Il Gio 29 Mar 2018 20:10 Stefano Quintarelli <stefano@quintarelli.it<mailto:stefano@quintarelli.it>> ha scritto: e se fossero diagnosi mediche ? o valutazioni su contratti di assicurazione ? Rimane da rispondere alla domanda "chi ne risponde?" Per le diagnosi mediche penso che si possa applicare la stessa logica che si usa con le medicine: un medico specialista e un informatico specializzato gestiscono e interpretano insieme i risultati dei calcoli di questa rete neurale, assumendone insieme la responsabilità. Esattamente come un fisico e un medico utilizzano ed interpretano i risultati di una macchina radio diagnostica. Quanto alla applicazioni assicurative, macroscopicamente direi che qualcuno si è fatto fregare di brutto: non credo che il valore prodotto in ambito assicurativo possa richiedere così tanta potenza di calcolo ed il tempo (ovvero il costo) necessario a calibrare una rete neurale della complessità che una singola esecuzione di 30 minuti a quel clock lascia immaginare. Dunque oltre a "chi ne risponde?", sarebbe utile rispondere a "quanto consuma?", "dove si trova?", "chi paga la bolletta?" e soprattutto "chi è che l'ha ordinata?". :-) Comunque, se la macchina funziona come previsto, è debuggabile con la tecnologia disponibile (ipotetica quanto la macchina stessa) e fornisce la spiegabilità perfetta del suo output prevista dal GDPR, direi che non avrei obbiezioni al suo utilizzo. Il punto infatto non è vietare qualcosa che non è pericoloso. Il punto è che nel momento in cui la macchina in questione entra nel dominio della esistenza, istantaneamente si determina una responsabilità umana. Responsabilità umana che persiste durante l'utilizzo e fino allo smaltimento. Non ti sembra sensato? Infondo se le mie bimbe insistono che non vogliono fare i compiti, io non le lego alla sedia. Risponderanno degli effetti delle loro decisioni. E loro non mi sembrano particolarmente scandalizzate da questo fatto. Non credi che un imprenditore adulto, possa fare altrettanto? A presto! Giacomo On 29/03/2018 20:05, Giacomo Tesio wrote:
Il Gio 29 Mar 2018 18:37 Stefano Quintarelli <stefano@quintarelli.it<mailto:stefano@quintarelli.it> <mailto:stefano@quintarelli.it<mailto:stefano@quintarelli.it>>> ha scritto:
On 29/03/2018 10:00, Giacomo Tesio wrote: > Se il sistema è determinisco e disponi (perché non li butti via) di TUTTE > le informazioni pertinenti, il sistema è precisaente prevedibile.
immagina ci sia una rete neurale realizzata con una macchina da 150TFlops che lavora per 30 minuti per fornire un output, vieteresti la macchina ?
Dipende.
Se gioca a Go, no.
Nemmeno se gioca a scacchi.
Se gioca a pocker online... beh in realtà non vieterei la macchina, ma il pocker online.
Cosa fa questa macchina ipotetica? Cosa può andare storto? Chi ne risponde? Dove si trova? E quanto consuma?
Insomma, per applicare il poco buonsenso di cui dispongo, ho bisogno di qualche informazione in più.
Per esempio, se dopo 30 minuti esplode in un centro abitato, sì la vieterei.
Se invece risponde alla Domanda Finale sulla Vita, l'Universo e il Tutto... ci devo pensare! :-D
Giacomo
ciao, s. _______________________________________________ nexa mailing list nexa@server-nexa.polito.it<mailto:nexa@server-nexa.polito.it> <mailto:nexa@server-nexa.polito.it<mailto:nexa@server-nexa.polito.it>> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Osservazione di metodo: Per cortesia su questa lista evitiamo di dire ad un interlocutore (chiunque esso sia e qualunque sia l'argomento) che "non sa di che cosa sta parlando". Non solo riduce - senza produrre alcun beneficio - il livello di cortesia reciproca che ha sempre caratterizzato questa lista, ma rischia di innescare meccanismi comunicativi sgradevoli. Grazie molte. Colgo l'occasione per augurare Buona Pasqua a tutti, juan carlos de martin
Chiedo scusa. Giacomo Il giorno 29 marzo 2018 10:48, J.C. DE MARTIN <demartin@polito.it> ha scritto:
Osservazione di metodo:
Per cortesia su questa lista evitiamo di dire ad un interlocutore (chiunque esso sia e qualunque sia l'argomento) che "non sa di che cosa sta parlando".
Non solo riduce - senza produrre alcun beneficio - il livello di cortesia reciproca che ha sempre caratterizzato questa lista, ma rischia di innescare meccanismi comunicativi sgradevoli.
Grazie molte.
Colgo l'occasione per augurare Buona Pasqua a tutti,
juan carlos de martin
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Ciao Pier Giorgio e grazie di aver posto questa splendida domanda. Credo sinceramente che una risposta esaustiva richiederebbe lo spazio di una tesi di laurea. Il tempo disponibile, l'età e soprattutto le tasse universitarie arretrate mi costringono ad una risposta più breve. :-) Assumo tu faccia riferimento alle tesi di Andreas Matthias descritte in questo articolo del 2004: http://citeseerx.ist.psu.edu/viewdoc/download?doi= 10.1.1.456.8299&rep=rep1&type=pdf Proverò ad evidenziarti le criticità di quel testo (principalmente contraddizioni logiche) per spiegarti come sia sempre possibile (e spesso persino semplice) determinare la responsabilità legale e morale dell'effetto di uno o più movimenti compiuti da quello che impropriamente chiami *fully autonomous robot*. Nota che non voglio farti le pulci sui termini, solo metterti in guardia dal significato ingannevole che alcuni termini tecnici usati correntemente nel gergo della AI assumono per chi non ha sufficientemente esperienza pratica dei sistemi di cui stiamo parlando. Ho visto diversi esperti di intelligenza artificiale farsi ingannare profondamente dal proprio linguaggio, per cui è naturale che confonda chi non è del mestiere. Purtuttavia, come leggerai, se sgomberi la mente dalla fuffa, le cose sono veramente semplici. *Pigrizia analitica* Nel paper di Matthias vengono riportati diversi esempi in cui, a detta dell'autore, la responsabilità di alcuni incidenti che includono dei "sistemi autonomi" non è riconducibile moralmente (e di conseguenza legalmente) ad alcuno degli esseri umani proposti. L'errore è limitare la ricerca delle responsabilità alle persone elencate negli esempi. Il primo esempio, quello usato come modello per tutta la costruzione teorica di Matthias, sostiene che se un robottino su Marte precipita da un dirupo, non possiamo prendercela con il povero ingegnere che dalla terra non ha dato l'halt in tempo. Perché la luce viaggia ad una certa velocità, e per quanto capace il povero ingegnere non può proprio superare questo limite. Peccato che qualche altro ingegnere, o qualche altro manager, ha stabilito un budget ed una dotazione tecnica per il robottino. Con un budget maggiore si sarebbe potuto dotare il robottino di sonde in grado di riconoscere il dirupo ed evitarlo. Dunque la responsabilità non è "di nessuno": è semplicemente di qualcuno non preso in considerazione nel paper. Il secondo esempio parla di un ascensore che ottimizza i propri spostamenti sulla base del traffico previsto, causando una grossa perdita di denaro ad un povero dirigente lasciato ad aspettare per mezz'ora. Qui si sfiora il ridicolo: 1. Il dirigente è responsabile perché non ha preso le scale 2. Il dirigente è responsabile perché non si è svegliato prima 3. La proprietà dell'azienda è responsabile perché ha assunto un dirigente pigro o incapace 4. La proprietà dell'azienda è responsabile perché non ha messo i dirigenti al primo piano 5. La proprietà dell'azienda è responsabile perché non ha fatto tarare l'ascensore sulle esigenze dei suoi dirigenti Nell'esempio del giocattolo autonomo che impara a galoppare e urta un bambino infortunandolo gravemente, la responsabilità ricade sul costruttore che non ha fornito il giocattolo di sensori di prossimità adeguati alla quantità di moto massima che il giocattolo è in grado di sviluppare. O suoi genitori, se non hanno seguito le istruzioni. Così per *tutti *gli altri esempi di cui Matthias sostiene non si possa risalire ad un responsabile. E' sempre presente *un responsabile con il controllo necessario ad evitare gli incidenti* proposti, basta solo avere la voglia di cercarlo. *Scarsa comprensione della tecnologia in questione* E' possibile spiegare la tecnologia in questione in modo molto più chiaro e semplice di come faccia Matthias. Questo è particolarmente vero per le reti neurali artificiali, che vengono sempre impropriamente descritte come blackbox che imparano. In realtà si tratta di semplice statistica. Per spiegartelo considera il calcolo della media aritmetica: è un procedimento statistico in cui, data una serie di osservazioni (il tuo data set) 1) parti con S = 0 e N = 0 2) prendi la prima osservazione X 3) aggiorni S = S + X 4) aggiorni N = N + 1 5) se hai ancora osservazioni, prendi la prossima osservazione X e riparti da 3 6) altrimenti dividi S per N e ottieni un numero, la media aritmetica che volevi. In altri termini la *media aritmetica* è un *procedimento statistico* che data una serie di osservazioni *produce un numero* che *approssima quelle osservazioni*. Analogamente *una rete neurale* è *una approssimazione* di un *programma che vorresti (di una funzione, per la precisione)* ottenuta *attraverso un procedimento statistico*. Non c'è nessuno che impara dentro una rete neurale. E non c'è nulla di inspiegabile o non riproducibile. E' solo una questione di costi. Spiegare come uno specifico processo di calibrazione abbia prodotto una rete neurale che produce un determinato output a fronte di un determinato input richiede *moltissimi dati* relativi alla calibrazione, l'*intero codice sorgente*, ed *un tempo che cresce esponenzialmente* con la complessità della topologia della rete neurale e con la quantità dei dati usati durante la calibrazione. Tuttavia non è impossibile. E' solo molto molto MOLTO costoso. Si tratta dunque di un *costo di impresa da bilanciare *come gli altri. Un costo che *non è lecito scaricare sulla collettività* come ha fatto l'Ilva a Taranto. *Non si tratta però* *di una* *impossibilità materiale* come superare la velocità della luce nel vuoto. Niente Gap, mi spiace. *Un'allucinazione artificiale collettiva* A volte a questo proposito ho l'impressione che siamo di fronte ad una sorta di *allucinazione collettiva*, dovuta alla *narrazione* che la AI (come comunità di ricerca) fa di se stessa ed a se stessa. Allucinazione nutrita a fior di quattrini per fini commerciali e peggio... Quando tu guardi un *fully autonomous robot* vedi una autonomia che non esiste. Un po' come gli spettatori dei primi spettacoli cinematografici dei fratelli Lumiere, vedi un treno arrivarti addosso, ma il treno non c'è. Il robot non si programma da solo, segue pedissequamente un programma che gli permette di reagire in modo flessibile accumulando informazioni che utilizzerà come input futuro. Ma non c'è nessuna intelligenza lì. E nessuna capacità di darsi regole (aka autonomia). La macchina è schiava di chi l'ha creata. Il fatto che il suo creatore sia una sorta di *apprendista stregone molto disordinato*, che *non tiene log appropriati* e che non sa bene valutare le conseguenze del proprio operato, non rende più libera o più intelligenze la macchina. Rende solo più *patetico il suo creatore*. Ma non lo esime da alcuna responsabilità. *La legge non deve ammettere ignoranza* Anche se accettassimo che una determinata tecnologia non si può spiegare (COSA CHE NON E' VERA PER LA AI), accettare che l'ignoranza sollevi dalla responsabilità è un principio estremamente pericoloso. Eternit docet. Al contrario, *l'ignoranza deve essere trattata come aggravante*! Perché *mettere in circolazione un automa* (o *un medicinale* o *una sostanza*) che può uccidere senza essere in grado di spiegarne esattamente il funzionamento è da *incoscienti*. *Un problema di probabilità* Vi è poi un problema di probabilità che viene allegramente ignorato da Matthias. Nel testo, parlando del Reinforcement Learning, si dice che "errors are unavoidable features of any reinforcement learning system". Altrove si spiega come un sistema di AI possa inevitabilmente produrre errori in alcuni corner case. Quello che non si dice è che spesso, *la probabilità di un errore di progettazione o di programmazione* in uno qualsiasi dei componenti che costituisce il sistema *è di diversi ordini di grandezza maggiore* della probabilità *di errore di una rete neurale* dalla bassa complessità e calibrata correttamente. *Chi propone di non ricondurre la responsabilità agli esseri umani*, non sta pensando solo alla possibilità rarissima di un errore di calcolo (che può essere fatale su un automa, ma è magari poco osservabile su un suggestion system di Amazon), ma* sta cercando di garantire la licenza di sbagliare a sé stesso, non alla macchina*! I dilemmi morali sono solo nella testa di chi sta a sentire questa gente. Ma come Uber ha dimostrato, quando un automa uccide, non lo fa con i sensi di colpa. *Una falsa alternativa* Nel testo di Matthias si propone una alternativa fra - sollevare dalla responsabilità legale e morale chi realizza sistemi autonomi - rinunciare ai benefici che questi sistemi autonomi possono dare all'umanità Si tratta di un approccio che ho già visto, con diversi gradi di raffinatezza, altrove. Tipicamente l'oratore propone il bastone sotto forma di vaga minaccia ("volete davvero rinunciare al vantaggio competitivo per il vostro Paese/azienda") e la carota sotto forma di vaga promessa ("un giorno grazie alla AI cureremo il cancro"). La dicotomia è falsa. Si può tranquillamente mantenere il sistema di responsabilità legali e morali che abbiamo sviluppato in migliaia di anni e contemporaneamente impiegare la AI e il ML ad una vastissima gamma di problemi. Se l'abbiamo fatto con l'energia atomica (che ha quanto meno una componente quantistica oggettivamente impredicibile), credo che possiamo farlo anche con gli automi. *Una inversione di dipendenza* La *stupidità* di questa *pretesa di irresponsabilità* appare veramente evidente quando si applica non a cose ma a persone. Matthias sostiene che per non rinunciare alle macchine autonome, dobbiamo collettivizzare la responsabilità dei danni che causano (di fatto rimuovendola da chi le produce). Non segnala però differenze fra la responsabilità civile/economica e quella penale. Dunque dobbiamo essere disposti a sacrificare persone (in quanto accettiamo collettivamente la responsabilità della loro morte) per garantire "libertà operativa" agli automi. Di fatto invertiamo la gerarchia: sacrifichiamo le persone alle macchine, invece che le macchine alle persone. Chi sostiene questa tesi non è scemo, comunque: la responsabilità che scarica sulla collettività è la propria. *Nessuno è il mio nome, nessuno mio padre...* Più di una volta nel testo viene detto che *nessuno* è responsabile di taluni incidenti. Come detto, non è vero. Tuttavia questo continuo riferimento a nessuno, mi ha ricordato Ulisse di fronte a Polifemo. Solo che questa volta, lo scaltro Ulisse è interpretato da grandi multinazionali, mentre lo sciocco Polifemo... sono tutti gli altri abitanti di questo pianeta. Fortunatamente non siamo ancora *tutti* ubriachi... ;-) *La responsabilità non può essere rimossa da uno stato di diritto* Rimuovere la responsabilità legale (e quella penale in particolare) ha profonde implicazioni in uno stato di diritto. Significa anzitutto *rinunciare al monopolio dell'uso legittimo della forza* nel proprio territorio. Significa *sollevare dalla legge* chi ha il denaro o le competenze per realizzare un proxy autonomo in grado di compiere la propria volontà criminale. Significa persino fornire una ottima ragione ad un qualsiasi terrorista per infiltrarsi in una azienda che si occupa di IA, per sabotarne il comportamento (cosa semplice e priva di conseguenze legali se si accetta di non provare nemmeno a spiegare il suo comportamento). *In Italia* In Italia per rimuovere dalle persone la responsabilità legale che deriva dalla creazione o dall'utilizzo di *fully autonomous robot*, è persino necessario cambiare la Costituzione. In particolare, l'articolo 1, l'articolo 27 e l'articolo 28. Infatti l'articolo 27 e l'articolo 28 specificano come la responsabilità venga gestita nel nostro ordinamento. "La responsabilità penale è *personale*", ma perché? Perché "La *sovranità* appartiene al *popolo*, che la esercita nelle forme e nei *limiti* della Costituzione". Per rimuovere la responsabilità personale, dobbiamo: - o includere le macchine nel popolo sovrano (fra l'altro dando loro il diritto di voto :-D) - o sollevare il popolo dai limiti della Costituzione e dunque dalla assunzione di responsabilità penale Di questi tempi, tutto è possibile. Ma non tutto è auspicabile. *In sintesi* Nel caso della robotica è sempre piuttosto semplice risalire alle responsabilità umane. Tu immetti nell'ambiente un artefatto autonomo. Quell'artefatto autonomo causa un danno non riconducibile completamente a responsabilità di altre persone. Tu ne rispondi civilmente, ma soprattutto moralmente e penalmente. Nel caso del puro software (senza hardware intorno), la questione è della responsabilità è più complessa Parteciperei volentieri ad una discussione multidisciplinare sul tema, cui potrei però apportare solo la mia competenza di programmatore. Ma da solo... direi solo sciocchezze. Spero di esserti stato di aiuto. Se vuoi ulteriori approfondimenti puoi dare un occhiata a questi documenti che ho scritto di recente: https://medium.com/@giacomo_59737/the-delusions-of-neural- networks-f7085d47edb6 http://shamar.github.io/documents/2018_Milano_The- Delusions-of-Neural-Networks.pdf https://medium.com/@giacomo_59737/yet-another-definition- of-intelligence-9bbaaa73086d Ma ricorda: non c'è niente di sovra umano in queste materie, solo ottimo marketing e tanto fumo negli occhi! ;-) A presto! Giacomo Il giorno 28 marzo 2018 18:20, Pier Giorgio Chiara <pg.chiara94@gmail.com> ha scritto:
Buongiorno a tutti, Sono un laureando in Giurisprudenza, attualmente a Londra: sto lavorando ad un paper che cerca di approfondire il tema della responsabilità civile (extra-contrattuale) correlato alla tematica del Machine Learning.
Sto riscontrando diverse criticità nel considerare ancora l'essere umano responsabile per il danno cagionato dal *fully autonomous robot *che abbia agito a seguito di 'apprendimento' (intervento di machine learning). Trovo significativa la tesi di A. Mattias: configurandosi in tale situazione quello che lui chiama *responsibility gap -*conseguente alla mancanza dell'elemento 'controllo' dell'essere umano sull'oggetto, è necessario trovare nuovi paradigmi legali per considerare il robot stesso responsabile, conferendo all'oggetto personalità giuridica.
Potrebbero essere adottati meccanismi assicurativi uniti a fictio giuridiche, come quella evocata da Bayern: creare strutture di diritto societario per conferire quella che lui definisce *legal housing * per advanced software.
Sarei molto grato se qualcuno volesse suggerirmi ulteriori punti di vista, consentendomi di inquadrare meglio la responsabilità in esame. Cordiali saluti,
PGC
Il giorno 28 marzo 2018 10:57, Giacomo Tesio <giacomo@tesio.it> ha scritto:
2018-03-27 19:56 GMT+02:00 Enrico Nardelli <nardelli@mat.uniroma2.it>:
Vi segnalo i seguente rapporto When Computers Decide: European Recommendations on Machine-Learned Automated Decision Making <http://www.informatics-europe.org/component/phocadownload/category/10-report...> che abbiamo prodotto congiuntamente tra Informatics Europe e ACM Europe Council
Veramente un ottimo testo, lucido, chiaro ed *equilibrato*. Ne consiglio veramente la lettura a tutti!
Ne emerge chiaramente una *sintesi *fra competenze diverse ma radicate ed aperte al confronto.
L'unico contributo alla riflessione che posso offrire con il mio "Security Hat on", riguarda un piccolissimo passaggio che trovo rischioso:
When complex automated decision-making systems operate without human
involvement, three conditions need to be satisfied: [...] Traceability—the automated decision maker must be able to autonomously show the rationale for its decision using empirical, experimental or other evidence that rejects several other possible decisions in favour of the one chosen.
Interpretando questa definizione di tracciabilità come una specifica, mi troverei di fronte ad un albero di possibilità implementative, alcune delle quali in grado di soddisfare esattamente la specifica senza garantirne il razionale. Macroscopicamente salta agli occhi che il sistema di decisione autonoma potrebbe generare, su richiesta, SOLO le soluzioni alternative alla decisione assunta che riesce a scartare attraverso evidenze empiriche e sperimentali compatibili con la legge. Ovvero potrebbe essere programmato per *NON generare decisioni* alternative *migliori di quella assunta* da un punto di vista etico o legale, per proteggere i propri costruttori dalla domanda "perché non ha fatto invece così?"
Questo potrebbe essere usato per scaricare sulla collettività il costo di trovare contro esempi.
Una soluzione logica a questo problema di specifica potrebbe essere quella di sostituire nella definizione la parola "several" con "every": il sistema autonomo stesso dovrebbe valutare (e fornire in caso di necessità) *tutte *le possibili decisioni pertinenti al problema in essere.
Un'altra soluzione potrebbe essere lo sviluppo di strumenti in grado di analizzare e spiegare il processo decisionale (aka tool debug della intelligenza artificiale dimostrabilmente affidabili).
Si tratta comunque di muoversi lungo una *linea di equilibrio*: da un lato applicare all'uomo* solo sistemi di ML spiegabili *(regressione lineare, k-mean clustering etc..) e dall'altro* ideare e sviluppare nuovi tool di debug* per aumentare le possibilità applicative degli altri sistemi.
Aspetto la riflessione sulla* responsabilità legale nel software* (e parteciperei volentieri ad essa).
E' un tema *estremamente *complesso da un punto di vista etico, legale e tecnico. Il rischio è che il software libero venga usato come scudo retorico per far evaporare la responsabilità.
Come viene chiaramente spiegato nel testo, ci deve sempre essere almeno un essere umano a rispondere degli effetti delle decisioni basate sui calcoli di una macchina. Stabilire chi è semplice nel caso della robotica: di un *pilota automatico sviluppato come software libero* risponde *chi lo ha montato a guida dell'hardware*. Ma se il pilota automatico fosse proprietario? Inoltre nel caso di un sistema completamente software che ad esempio suggerisca quali candidati ammettere ad un corso universitario a numero chiuso, *distribuire e ricondurre le responsabilità* alle persone diventa molto più complesso.
Giacomo
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
-- PGC
participants (8)
-
Alberto Cammozzo -
Enrico Nardelli -
Giacomo Tesio -
J.C. DE MARTIN -
Marco Ciurcina -
Pier Giorgio Chiara -
Roberto Dolci -
Stefano Quintarelli