Video dell'incidente mortale causato dalla AI di Uber
https://mobile.twitter.com/tempepolice/status/976585098542833664?s=21 Interessanti anche i commenti su twitter che evidentemente non immaginano sensori alternativi alle telecamere. E interessante pensare invece come quegli stessi sensori montati su una auto "stupida" (sì lo so che nomln c'è intelligenza nei simulatori che vengono venduti come IA) avrebbero salvato la vita della vittima, avvisando il pilota umano. Ma la vera domanda qui è legale: chi ne risponde penalmente? O quantomeno chi ne risponderebbe penalmente in Italia. Si noti che ĺ'incidente era perfettamente prevedibile persino prima della messa in strada dell'auto a guida autonoma. Giacomo
Non so se quel che si legge è vero, perchè in questi giorni si è sentito di tutto, ma sembra che in realtà l'autista umano sia stato avvisato dai sensori, e nemmeno lui abbia potuto agire in tempo. D'altra parte se uno si butta sotto un mezzo in movimento non c'è tecnologia che tenga: una frenata non può avvenire in tempo zero. Peraltro, se fosse accertata la responsabilità del pedone, il problema penale non si porrebbe. Però è evidente che deve nascere una forma nuova di diritto (non ho ancora finito di leggere "the law of robots" del prof. Pollicino). E spero che includa un principio di innocenza fino a prova contraria anche per gli automi! Saluti a tutti D. ________________________________ From: nexa <nexa-bounces@server-nexa.polito.it> on behalf of Giacomo Tesio <giacomo@tesio.it> Sent: Thursday, March 22, 2018 8:59 AM To: nexa@server-nexa.polito.it Subject: [nexa] Video dell'incidente mortale causato dalla AI di Uber https://mobile.twitter.com/tempepolice/status/976585098542833664?s=21 Interessanti anche i commenti su twitter che evidentemente non immaginano sensori alternativi alle telecamere. E interessante pensare invece come quegli stessi sensori montati su una auto "stupida" (sì lo so che nomln c'è intelligenza nei simulatori che vengono venduti come IA) avrebbero salvato la vita della vittima, avvisando il pilota umano. Ma la vera domanda qui è legale: chi ne risponde penalmente? O quantomeno chi ne risponderebbe penalmente in Italia. Si noti che ĺ'incidente era perfettamente prevedibile persino prima della messa in strada dell'auto a guida autonoma. Giacomo
Il 22 marzo 2018 10:05, Diego Giorio <dgiorio@hotmail.com> ha scritto:
Non so se quel che si legge è vero, perchè in questi giorni si è sentito di tutto, ma sembra che in realtà l'autista umano sia stato avvisato dai sensori, e nemmeno lui abbia potuto agire in tempo.
A quanto avevo letto, l'auto non ha frenato. A quanto vedo, l'auto non ha nemmeno deviato nonostante la corsia opposta fosse perfettamente libera. Definire il passeggero "autista" e' MOLTO DISCUTIBILE in questo caso, ma anche fosse, un auto a guida autonoma non dovrebbe affidarsi ai riflessi di un essere umano, non credi?
D'altra parte se uno si butta sotto un mezzo in movimento non c'è tecnologia che tenga: una frenata non può avvenire in tempo zero.
Il pedone aveva attraversato l'intera corsia opposta, c'era tempo di - suonare il clacson - effettuare segnalazioni luminose - rallentare - deviare Ricordiamoci che non stiamo parlando di un cervello umano, ma di processori: non mi sono mai interessato di questo tipo di simulazioni, sono abbastanza confidente che calcolare una traiettoria per evitare il pedone data la sua velocità e direzione sarebbe stato piuttosto rapido. Se poi hanno messo un simulatore scritto in JavaScript a guidare la macchina, allora bisogna arrestare ANCHE gli ingegneri!
Peraltro, se fosse accertata la responsabilità del pedone, il problema penale non si porrebbe.
Obbiezione interessante. Probabilmente hai ragione: bisogna aggiornare l'ordinamento. Se disponiamo di una tecnologia che può evitare una morte in caso di errore umano, non possiamo dire che il suo fallimento non costituisce reato solo perché l'errore umano più evidente è della vittima. L'errore umano principale infatti sta nella progettazione del veicolo. In particolare nella interfaccia utente destinata al passeggero, che appunto, ha smesso di sentirsi autista dell'auto (come evidente dalla parte finale del filmato). La stessa definizione di "auto a guida autonoma", o "self driving car" (o forse persino "intelligenza artificiale") ha causato questo enorme (e facilmente evitabile) errore di progettazione.
Però è evidente che deve nascere una forma nuova di diritto (non ho ancora finito di leggere "the law of robots" del prof. Pollicino). E spero che includa un principio di innocenza fino a prova contraria anche per gli automi!
Questo temo sia impossibile. Non sono MAI gli automi ad essere innocenti o colpevoli: la responsabilità va sempre ricondotta alle persone che li hanno messi in circolazione. I principio di innocenza fino a prova contraria, non si applica alle cose. Vi e poi un problema pratico: come dimostrare che la macchina ha sbagliato (in uno qualsiasi dei suoi componenti) e dunque che la responsabilità penale sussiste? Chi paga il lavoro degli esperti necessari ad analizzare ogni singolo componente e ogni riga di codice per verificare l'assenza di errori? Infatti, in via precauzionale, dovremmo interrompere la produzione ma al contempo non potremmo mettere Uber a verificare il proprio prodotto ne persone pagate da Uber. Avremmo bisogno di esperti indipendenti da queste multinazionali per valutare il loro lavoro (e ci potrebbero volere anni). Nella remota ipotesi che non trovassero errori nel sistema, chi facciamo pagare? la famiglia della vittima? lo stato? In realtà comunque gli errori ci sono di sicuro, quanto meno a livello software. Perché chiunque sviluppa software sa che l'errore non è una condizione occasionale che capita a persone che per il resto non sbagliano. L'errore è condizione normale della operatività umana. E questa è particolarmente evidente nel software, per la natura stessa dell'artefatto e per la scarsa evoluzione dell'informatica. Dunque, per gli automi, dovremo adottare un principio di colpevolezza dei costruttori fino a prova contraria. Giacomo
Sì, concordo, l'auto non ha percepito il pedone, e questo mi sorprende perchè con un sensore ottico come l'occhio umano o una telecamera appare evidente dal filmato che l'ostacolo è comparso all'improvviso, ma avrebbe dovuto essere percepito da qualche altra forma di sensore. Nel parlare di "autista" avevo dimenticato il virgolettato, che hai giustamente aggiunto, perchè l'umano ha in questo caso una funzione di supervisione ed intervento in caso di emergenza. In ogni caso, anche se fosse stato più attento di quanto appare dal filmato, credo che i suoi sensori umani non avrebbero potuto fare nulla, nè frenare nè deviare, esattamente come i sensori robotici, ripeto, resta da capire perchè non abbiano funzionato quelli a più lungo raggio su parametri non meramente ottici. Per principio di innocenza del robot non intendevo aprire un dibattito giuridico di alto livello, ma mi riferivo ai titoli dei giornali, quasi tutti del tono "auto a guida autonoma uccide pedone". Fin quando non si è capito esattamente cos'è andato storto avrei preferito titoli più neutri - anche se fanno vendere meno - del tipo "persona muore in incidente con auto a guida autonoma". Però resto dell'idea che quando capita un incidente che coinvolge un robot non si debba per forza pensare che la responsabilità sia di chi lo ha messo in circolazione prima di avere accertato i fatti. Può essere un problema di manutenzione (se non controllo mai i freni il sistema può funzionare perfettamente ma l'attuatore diventa inutile), un problema di circostanze (una sede stradale non conforme o una segnaletica errata che confonde un sistema in sè correttamente progettato). Certo, i sensori del veicolo potrebbero anche estendersi al check delle buone condizioni dello stesso e rifiutarsi di mettersi in moto se i freni non sono in ordine, in ogni caso si tratta di un'evoluzione che vedremo nei prossimi anni. Poi c'è anche un altro punto: ogni anno muoiono o vengono ferite in modo grave milioni di persone; in larga parte perchè i guidatori si distraggono, per stanchezza o per usare il telefonino, perchè guardano a sinistra mentre il pericolo arriva da destra, perchè i riflessi non sono sufficienti e così via. Se un'auto robotica, per quanto imperfetta, dimezzasse questi incidenti, sarebbe etico non metterla sul mercato perchè i difetti causano l'altra metà? Interessante questione filosofica. Quello che trovo più affascinante di questo nuovo mondo è l'interdisciplinarità: un'auto a guida autonoma è un problema giuridico, ingegneristico, filosofico... ________________________________ From: Giacomo Tesio <giacomo@tesio.it> Sent: Thursday, March 22, 2018 9:50 AM To: Diego Giorio Cc: nexa@server-nexa.polito.it Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di Uber Il 22 marzo 2018 10:05, Diego Giorio <dgiorio@hotmail.com> ha scritto:
Non so se quel che si legge è vero, perchè in questi giorni si è sentito di tutto, ma sembra che in realtà l'autista umano sia stato avvisato dai sensori, e nemmeno lui abbia potuto agire in tempo.
A quanto avevo letto, l'auto non ha frenato. A quanto vedo, l'auto non ha nemmeno deviato nonostante la corsia opposta fosse perfettamente libera. Definire il passeggero "autista" e' MOLTO DISCUTIBILE in questo caso, ma anche fosse, un auto a guida autonoma non dovrebbe affidarsi ai riflessi di un essere umano, non credi?
D'altra parte se uno si butta sotto un mezzo in movimento non c'è tecnologia che tenga: una frenata non può avvenire in tempo zero.
Il pedone aveva attraversato l'intera corsia opposta, c'era tempo di - suonare il clacson - effettuare segnalazioni luminose - rallentare - deviare Ricordiamoci che non stiamo parlando di un cervello umano, ma di processori: non mi sono mai interessato di questo tipo di simulazioni, sono abbastanza confidente che calcolare una traiettoria per evitare il pedone data la sua velocità e direzione sarebbe stato piuttosto rapido. Se poi hanno messo un simulatore scritto in JavaScript a guidare la macchina, allora bisogna arrestare ANCHE gli ingegneri!
Peraltro, se fosse accertata la responsabilità del pedone, il problema penale non si porrebbe.
Obbiezione interessante. Probabilmente hai ragione: bisogna aggiornare l'ordinamento. Se disponiamo di una tecnologia che può evitare una morte in caso di errore umano, non possiamo dire che il suo fallimento non costituisce reato solo perché l'errore umano più evidente è della vittima. L'errore umano principale infatti sta nella progettazione del veicolo. In particolare nella interfaccia utente destinata al passeggero, che appunto, ha smesso di sentirsi autista dell'auto (come evidente dalla parte finale del filmato). La stessa definizione di "auto a guida autonoma", o "self driving car" (o forse persino "intelligenza artificiale") ha causato questo enorme (e facilmente evitabile) errore di progettazione.
Però è evidente che deve nascere una forma nuova di diritto (non ho ancora finito di leggere "the law of robots" del prof. Pollicino). E spero che includa un principio di innocenza fino a prova contraria anche per gli automi!
Questo temo sia impossibile. Non sono MAI gli automi ad essere innocenti o colpevoli: la responsabilità va sempre ricondotta alle persone che li hanno messi in circolazione. I principio di innocenza fino a prova contraria, non si applica alle cose. Vi e poi un problema pratico: come dimostrare che la macchina ha sbagliato (in uno qualsiasi dei suoi componenti) e dunque che la responsabilità penale sussiste? Chi paga il lavoro degli esperti necessari ad analizzare ogni singolo componente e ogni riga di codice per verificare l'assenza di errori? Infatti, in via precauzionale, dovremmo interrompere la produzione ma al contempo non potremmo mettere Uber a verificare il proprio prodotto ne persone pagate da Uber. Avremmo bisogno di esperti indipendenti da queste multinazionali per valutare il loro lavoro (e ci potrebbero volere anni). Nella remota ipotesi che non trovassero errori nel sistema, chi facciamo pagare? la famiglia della vittima? lo stato? In realtà comunque gli errori ci sono di sicuro, quanto meno a livello software. Perché chiunque sviluppa software sa che l'errore non è una condizione occasionale che capita a persone che per il resto non sbagliano. L'errore è condizione normale della operatività umana. E questa è particolarmente evidente nel software, per la natura stessa dell'artefatto e per la scarsa evoluzione dell'informatica. Dunque, per gli automi, dovremo adottare un principio di colpevolezza dei costruttori fino a prova contraria. Giacomo
estremizzo la posizione di Giacomo: nell'attesa di un ulteriore progresso che renda i veicoli automatici più sicuri di quelli a guida umana (che potrebbe arrivare in un paio di anni) vietiamo l'impiego di veicoli automatici. Raf Il 22/03/2018 10:50, Giacomo Tesio ha scritto: > Il 22 marzo 2018 10:05, Diego Giorio <dgiorio@hotmail.com> ha scritto: >> Non so se quel che si legge è vero, perchè in questi giorni si è sentito di >> tutto, ma sembra che in realtà l'autista umano sia stato avvisato dai >> sensori, e nemmeno lui abbia potuto agire in tempo. > A quanto avevo letto, l'auto non ha frenato. > A quanto vedo, l'auto non ha nemmeno deviato nonostante la corsia > opposta fosse perfettamente libera. > > Definire il passeggero "autista" e' MOLTO DISCUTIBILE in questo caso, > ma anche fosse, un auto a guida autonoma non dovrebbe affidarsi ai > riflessi di un essere umano, non credi? > >> D'altra parte se uno si >> butta sotto un mezzo in movimento non c'è tecnologia che tenga: una frenata >> non può avvenire in tempo zero. > Il pedone aveva attraversato l'intera corsia opposta, c'era tempo di > - suonare il clacson > - effettuare segnalazioni luminose > - rallentare > - deviare > > Ricordiamoci che non stiamo parlando di un cervello umano, ma di > processori: non mi sono mai interessato di questo tipo di simulazioni, > sono abbastanza confidente che calcolare una traiettoria per evitare > il pedone data la sua velocità e direzione sarebbe stato piuttosto > rapido. > > Se poi hanno messo un simulatore scritto in JavaScript a guidare la > macchina, allora bisogna arrestare ANCHE gli ingegneri! > >> Peraltro, se fosse accertata la responsabilità del pedone, il problema >> penale non si porrebbe. > Obbiezione interessante. Probabilmente hai ragione: bisogna aggiornare > l'ordinamento. > > Se disponiamo di una tecnologia che può evitare una morte in caso di > errore umano, non possiamo dire che il suo fallimento non costituisce > reato solo perché l'errore umano più evidente è della vittima. > > L'errore umano principale infatti sta nella progettazione del veicolo. > > In particolare nella interfaccia utente destinata al passeggero, che > appunto, ha smesso di sentirsi autista dell'auto (come evidente dalla > parte finale del filmato). > La stessa definizione di "auto a guida autonoma", o "self driving car" > (o forse persino "intelligenza artificiale") ha causato questo enorme > (e facilmente evitabile) errore di progettazione. > >> Però è evidente che deve nascere una forma nuova di >> diritto (non ho ancora finito di leggere "the law of robots" del prof. >> Pollicino). E spero che includa un principio di innocenza fino a prova >> contraria anche per gli automi! > Questo temo sia impossibile. > Non sono MAI gli automi ad essere innocenti o colpevoli: la > responsabilità va sempre ricondotta alle persone che li hanno messi in > circolazione. > > I principio di innocenza fino a prova contraria, non si applica alle cose. > > > Vi e poi un problema pratico: come dimostrare che la macchina ha > sbagliato (in uno qualsiasi dei suoi componenti) e dunque che la > responsabilità penale sussiste? > > Chi paga il lavoro degli esperti necessari ad analizzare ogni singolo > componente e ogni riga di codice per verificare l'assenza di errori? > Infatti, in via precauzionale, dovremmo interrompere la produzione ma > al contempo non potremmo mettere Uber a verificare il proprio prodotto > ne persone pagate da Uber. > > Avremmo bisogno di esperti indipendenti da queste multinazionali per > valutare il loro lavoro (e ci potrebbero volere anni). > > Nella remota ipotesi che non trovassero errori nel sistema, chi > facciamo pagare? la famiglia della vittima? lo stato? > > > In realtà comunque gli errori ci sono di sicuro, quanto meno a livello software. > > Perché chiunque sviluppa software sa che l'errore non è una condizione > occasionale che capita a persone che per il resto non sbagliano. > L'errore è condizione normale della operatività umana. E questa è > particolarmente evidente nel software, per la natura stessa > dell'artefatto e per la scarsa evoluzione dell'informatica. > > > Dunque, per gli automi, dovremo adottare un principio di colpevolezza > dei costruttori fino a prova contraria. > > > > Giacomo > _______________________________________________ > nexa mailing list > nexa@server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Cari tutti mi sembrerebbe un messaggio di responsabilità politica sociale e etica Mariella b Il 22/03/2018 11:36, armeo@mail.nexacenter.org ha scritto: > estremizzo la posizione di Giacomo: nell'attesa di un ulteriore > progresso che renda i veicoli automatici più sicuri di quelli a guida > umana (che potrebbe arrivare in un paio di anni) vietiamo l'impiego di > veicoli automatici. > > Raf > > > Il 22/03/2018 10:50, Giacomo Tesio ha scritto: >> Il 22 marzo 2018 10:05, Diego Giorio <dgiorio@hotmail.com> ha scritto: >>> Non so se quel che si legge è vero, perchè in questi giorni si è >>> sentito di >>> tutto, ma sembra che in realtà l'autista umano sia stato avvisato dai >>> sensori, e nemmeno lui abbia potuto agire in tempo. >> A quanto avevo letto, l'auto non ha frenato. >> A quanto vedo, l'auto non ha nemmeno deviato nonostante la corsia >> opposta fosse perfettamente libera. >> >> Definire il passeggero "autista" e' MOLTO DISCUTIBILE in questo caso, >> ma anche fosse, un auto a guida autonoma non dovrebbe affidarsi ai >> riflessi di un essere umano, non credi? >> >>> D'altra parte se uno si >>> butta sotto un mezzo in movimento non c'è tecnologia che tenga: una >>> frenata >>> non può avvenire in tempo zero. >> Il pedone aveva attraversato l'intera corsia opposta, c'era tempo di >> - suonare il clacson >> - effettuare segnalazioni luminose >> - rallentare >> - deviare >> >> Ricordiamoci che non stiamo parlando di un cervello umano, ma di >> processori: non mi sono mai interessato di questo tipo di simulazioni, >> sono abbastanza confidente che calcolare una traiettoria per evitare >> il pedone data la sua velocità e direzione sarebbe stato piuttosto >> rapido. >> >> Se poi hanno messo un simulatore scritto in JavaScript a guidare la >> macchina, allora bisogna arrestare ANCHE gli ingegneri! >> >>> Peraltro, se fosse accertata la responsabilità del pedone, il problema >>> penale non si porrebbe. >> Obbiezione interessante. Probabilmente hai ragione: bisogna aggiornare >> l'ordinamento. >> >> Se disponiamo di una tecnologia che può evitare una morte in caso di >> errore umano, non possiamo dire che il suo fallimento non costituisce >> reato solo perché l'errore umano più evidente è della vittima. >> >> L'errore umano principale infatti sta nella progettazione del veicolo. >> >> In particolare nella interfaccia utente destinata al passeggero, che >> appunto, ha smesso di sentirsi autista dell'auto (come evidente dalla >> parte finale del filmato). >> La stessa definizione di "auto a guida autonoma", o "self driving car" >> (o forse persino "intelligenza artificiale") ha causato questo enorme >> (e facilmente evitabile) errore di progettazione. >> >>> Però è evidente che deve nascere una forma nuova di >>> diritto (non ho ancora finito di leggere "the law of robots" del prof. >>> Pollicino). E spero che includa un principio di innocenza fino a prova >>> contraria anche per gli automi! >> Questo temo sia impossibile. >> Non sono MAI gli automi ad essere innocenti o colpevoli: la >> responsabilità va sempre ricondotta alle persone che li hanno messi in >> circolazione. >> >> I principio di innocenza fino a prova contraria, non si applica alle >> cose. >> >> >> Vi e poi un problema pratico: come dimostrare che la macchina ha >> sbagliato (in uno qualsiasi dei suoi componenti) e dunque che la >> responsabilità penale sussiste? >> >> Chi paga il lavoro degli esperti necessari ad analizzare ogni singolo >> componente e ogni riga di codice per verificare l'assenza di errori? >> Infatti, in via precauzionale, dovremmo interrompere la produzione ma >> al contempo non potremmo mettere Uber a verificare il proprio prodotto >> ne persone pagate da Uber. >> >> Avremmo bisogno di esperti indipendenti da queste multinazionali per >> valutare il loro lavoro (e ci potrebbero volere anni). >> >> Nella remota ipotesi che non trovassero errori nel sistema, chi >> facciamo pagare? la famiglia della vittima? lo stato? >> >> >> In realtà comunque gli errori ci sono di sicuro, quanto meno a >> livello software. >> >> Perché chiunque sviluppa software sa che l'errore non è una condizione >> occasionale che capita a persone che per il resto non sbagliano. >> L'errore è condizione normale della operatività umana. E questa è >> particolarmente evidente nel software, per la natura stessa >> dell'artefatto e per la scarsa evoluzione dell'informatica. >> >> >> Dunque, per gli automi, dovremo adottare un principio di colpevolezza >> dei costruttori fino a prova contraria. >> >> >> >> Giacomo >> _______________________________________________ >> nexa mailing list >> nexa@server-nexa.polito.it >> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > > _______________________________________________ > nexa mailing list > nexa@server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa -- Prof.ssa Mariella Berra Dipartimento di Culture, Politica e Società Università di Torino tel.+390116702606
Il filmato e' visionabile da due punti di vista: telecamera su strada e su guidatore (che mostra come questi stia guardando in basso su smartphone o tablet). E' chiaro che la vittima e' vestita di scuro/nero, attraversa una strada ad alta percorrenza ben fuori da strisce pedonali o semafori. Non si puo' pretendere che un algoritmo superi Darwin. -----Original Message----- From: nexa <nexa-bounces@server-nexa.polito.it> On Behalf Of Mariella Berra Sent: Thursday, March 22, 2018 8:09 AM To: nexa@server-nexa.polito.it Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di Uber Cari tutti mi sembrerebbe un messaggio di responsabilità politica sociale e etica Mariella b Il 22/03/2018 11:36, armeo@mail.nexacenter.org ha scritto: > estremizzo la posizione di Giacomo: nell'attesa di un ulteriore > progresso che renda i veicoli automatici più sicuri di quelli a guida > umana (che potrebbe arrivare in un paio di anni) vietiamo l'impiego di > veicoli automatici. > > Raf > > > Il 22/03/2018 10:50, Giacomo Tesio ha scritto: >> Il 22 marzo 2018 10:05, Diego Giorio <dgiorio@hotmail.com> ha scritto: >>> Non so se quel che si legge è vero, perchè in questi giorni si è >>> sentito di tutto, ma sembra che in realtà l'autista umano sia stato >>> avvisato dai sensori, e nemmeno lui abbia potuto agire in tempo. >> A quanto avevo letto, l'auto non ha frenato. >> A quanto vedo, l'auto non ha nemmeno deviato nonostante la corsia >> opposta fosse perfettamente libera. >> >> Definire il passeggero "autista" e' MOLTO DISCUTIBILE in questo caso, >> ma anche fosse, un auto a guida autonoma non dovrebbe affidarsi ai >> riflessi di un essere umano, non credi? >> >>> D'altra parte se uno si >>> butta sotto un mezzo in movimento non c'è tecnologia che tenga: una >>> frenata non può avvenire in tempo zero. >> Il pedone aveva attraversato l'intera corsia opposta, c'era tempo di >> - suonare il clacson >> - effettuare segnalazioni luminose >> - rallentare >> - deviare >> >> Ricordiamoci che non stiamo parlando di un cervello umano, ma di >> processori: non mi sono mai interessato di questo tipo di >> simulazioni, sono abbastanza confidente che calcolare una traiettoria >> per evitare il pedone data la sua velocità e direzione sarebbe stato >> piuttosto rapido. >> >> Se poi hanno messo un simulatore scritto in JavaScript a guidare la >> macchina, allora bisogna arrestare ANCHE gli ingegneri! >> >>> Peraltro, se fosse accertata la responsabilità del pedone, il >>> problema penale non si porrebbe. >> Obbiezione interessante. Probabilmente hai ragione: bisogna >> aggiornare l'ordinamento. >> >> Se disponiamo di una tecnologia che può evitare una morte in caso di >> errore umano, non possiamo dire che il suo fallimento non costituisce >> reato solo perché l'errore umano più evidente è della vittima. >> >> L'errore umano principale infatti sta nella progettazione del veicolo. >> >> In particolare nella interfaccia utente destinata al passeggero, che >> appunto, ha smesso di sentirsi autista dell'auto (come evidente dalla >> parte finale del filmato). >> La stessa definizione di "auto a guida autonoma", o "self driving car" >> (o forse persino "intelligenza artificiale") ha causato questo enorme >> (e facilmente evitabile) errore di progettazione. >> >>> Però è evidente che deve nascere una forma nuova di diritto (non ho >>> ancora finito di leggere "the law of robots" del prof. >>> Pollicino). E spero che includa un principio di innocenza fino a >>> prova contraria anche per gli automi! >> Questo temo sia impossibile. >> Non sono MAI gli automi ad essere innocenti o colpevoli: la >> responsabilità va sempre ricondotta alle persone che li hanno messi >> in circolazione. >> >> I principio di innocenza fino a prova contraria, non si applica alle >> cose. >> >> >> Vi e poi un problema pratico: come dimostrare che la macchina ha >> sbagliato (in uno qualsiasi dei suoi componenti) e dunque che la >> responsabilità penale sussiste? >> >> Chi paga il lavoro degli esperti necessari ad analizzare ogni singolo >> componente e ogni riga di codice per verificare l'assenza di errori? >> Infatti, in via precauzionale, dovremmo interrompere la produzione ma >> al contempo non potremmo mettere Uber a verificare il proprio >> prodotto ne persone pagate da Uber. >> >> Avremmo bisogno di esperti indipendenti da queste multinazionali per >> valutare il loro lavoro (e ci potrebbero volere anni). >> >> Nella remota ipotesi che non trovassero errori nel sistema, chi >> facciamo pagare? la famiglia della vittima? lo stato? >> >> >> In realtà comunque gli errori ci sono di sicuro, quanto meno a >> livello software. >> >> Perché chiunque sviluppa software sa che l'errore non è una >> condizione occasionale che capita a persone che per il resto non sbagliano. >> L'errore è condizione normale della operatività umana. E questa è >> particolarmente evidente nel software, per la natura stessa >> dell'artefatto e per la scarsa evoluzione dell'informatica. >> >> >> Dunque, per gli automi, dovremo adottare un principio di colpevolezza >> dei costruttori fino a prova contraria. >> >> >> >> Giacomo >> _______________________________________________ >> nexa mailing list >> nexa@server-nexa.polito.it >> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > > _______________________________________________ > nexa mailing list > nexa@server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa -- Prof.ssa Mariella Berra Dipartimento di Culture, Politica e Società Università di Torino tel.+390116702606 _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Fra l'altro, mi viene in mente che è stata una magnifica occasione persa di dimostrare la superiorità di un veicolo a guida autonoma: se il pedone fosse stato percepito in tempo da un radar o simili ed avesse frenato, ora vedremmo il video come dimostrazione che mentre il guidatore è distratto e la vista non è sufficiente, una self driving car è in grado di superare i limiti umani. Purtroppo non ci siamo ancora, ma credo che neppure siamo così lontani. ________________________________ From: nexa <nexa-bounces@server-nexa.polito.it> on behalf of Roberto Dolci <rob.dolci@aizoon.us> Sent: Thursday, March 22, 2018 12:12 PM To: Mariella Berra; nexa@server-nexa.polito.it Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di Uber Il filmato e' visionabile da due punti di vista: telecamera su strada e su guidatore (che mostra come questi stia guardando in basso su smartphone o tablet). E' chiaro che la vittima e' vestita di scuro/nero, attraversa una strada ad alta percorrenza ben fuori da strisce pedonali o semafori. Non si puo' pretendere che un algoritmo superi Darwin. -----Original Message----- From: nexa <nexa-bounces@server-nexa.polito.it> On Behalf Of Mariella Berra Sent: Thursday, March 22, 2018 8:09 AM To: nexa@server-nexa.polito.it Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di Uber Cari tutti mi sembrerebbe un messaggio di responsabilità politica sociale e etica Mariella b Il 22/03/2018 11:36, armeo@mail.nexacenter.org ha scritto: > estremizzo la posizione di Giacomo: nell'attesa di un ulteriore > progresso che renda i veicoli automatici più sicuri di quelli a guida > umana (che potrebbe arrivare in un paio di anni) vietiamo l'impiego di > veicoli automatici. > > Raf > > > Il 22/03/2018 10:50, Giacomo Tesio ha scritto: >> Il 22 marzo 2018 10:05, Diego Giorio <dgiorio@hotmail.com> ha scritto: >>> Non so se quel che si legge è vero, perchè in questi giorni si è >>> sentito di tutto, ma sembra che in realtà l'autista umano sia stato >>> avvisato dai sensori, e nemmeno lui abbia potuto agire in tempo. >> A quanto avevo letto, l'auto non ha frenato. >> A quanto vedo, l'auto non ha nemmeno deviato nonostante la corsia >> opposta fosse perfettamente libera. >> >> Definire il passeggero "autista" e' MOLTO DISCUTIBILE in questo caso, >> ma anche fosse, un auto a guida autonoma non dovrebbe affidarsi ai >> riflessi di un essere umano, non credi? >> >>> D'altra parte se uno si >>> butta sotto un mezzo in movimento non c'è tecnologia che tenga: una >>> frenata non può avvenire in tempo zero. >> Il pedone aveva attraversato l'intera corsia opposta, c'era tempo di >> - suonare il clacson >> - effettuare segnalazioni luminose >> - rallentare >> - deviare >> >> Ricordiamoci che non stiamo parlando di un cervello umano, ma di >> processori: non mi sono mai interessato di questo tipo di >> simulazioni, sono abbastanza confidente che calcolare una traiettoria >> per evitare il pedone data la sua velocità e direzione sarebbe stato >> piuttosto rapido. >> >> Se poi hanno messo un simulatore scritto in JavaScript a guidare la >> macchina, allora bisogna arrestare ANCHE gli ingegneri! >> >>> Peraltro, se fosse accertata la responsabilità del pedone, il >>> problema penale non si porrebbe. >> Obbiezione interessante. Probabilmente hai ragione: bisogna >> aggiornare l'ordinamento. >> >> Se disponiamo di una tecnologia che può evitare una morte in caso di >> errore umano, non possiamo dire che il suo fallimento non costituisce >> reato solo perché l'errore umano più evidente è della vittima. >> >> L'errore umano principale infatti sta nella progettazione del veicolo. >> >> In particolare nella interfaccia utente destinata al passeggero, che >> appunto, ha smesso di sentirsi autista dell'auto (come evidente dalla >> parte finale del filmato). >> La stessa definizione di "auto a guida autonoma", o "self driving car" >> (o forse persino "intelligenza artificiale") ha causato questo enorme >> (e facilmente evitabile) errore di progettazione. >> >>> Però è evidente che deve nascere una forma nuova di diritto (non ho >>> ancora finito di leggere "the law of robots" del prof. >>> Pollicino). E spero che includa un principio di innocenza fino a >>> prova contraria anche per gli automi! >> Questo temo sia impossibile. >> Non sono MAI gli automi ad essere innocenti o colpevoli: la >> responsabilità va sempre ricondotta alle persone che li hanno messi >> in circolazione. >> >> I principio di innocenza fino a prova contraria, non si applica alle >> cose. >> >> >> Vi e poi un problema pratico: come dimostrare che la macchina ha >> sbagliato (in uno qualsiasi dei suoi componenti) e dunque che la >> responsabilità penale sussiste? >> >> Chi paga il lavoro degli esperti necessari ad analizzare ogni singolo >> componente e ogni riga di codice per verificare l'assenza di errori? >> Infatti, in via precauzionale, dovremmo interrompere la produzione ma >> al contempo non potremmo mettere Uber a verificare il proprio >> prodotto ne persone pagate da Uber. >> >> Avremmo bisogno di esperti indipendenti da queste multinazionali per >> valutare il loro lavoro (e ci potrebbero volere anni). >> >> Nella remota ipotesi che non trovassero errori nel sistema, chi >> facciamo pagare? la famiglia della vittima? lo stato? >> >> >> In realtà comunque gli errori ci sono di sicuro, quanto meno a >> livello software. >> >> Perché chiunque sviluppa software sa che l'errore non è una >> condizione occasionale che capita a persone che per il resto non sbagliano. >> L'errore è condizione normale della operatività umana. E questa è >> particolarmente evidente nel software, per la natura stessa >> dell'artefatto e per la scarsa evoluzione dell'informatica. >> >> >> Dunque, per gli automi, dovremo adottare un principio di colpevolezza >> dei costruttori fino a prova contraria. >> >> >> >> Giacomo >> _______________________________________________ >> nexa mailing list >> nexa@server-nexa.polito.it >> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa nexa -- Public list for news and information ... - polito.it<https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa> server-nexa.polito.it nexa -- Public list for news and information sharing of the NEXA Center for Internet & Society (Politecnico di Torino) About nexa > > _______________________________________________ > nexa mailing list > nexa@server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa -- Prof.ssa Mariella Berra Dipartimento di Culture, Politica e Società Università di Torino tel.+390116702606 _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
On 2018-03-22 13:32, Diego Giorio wrote:
Fra l'altro, mi viene in mente che è stata una magnifica occasione persa di dimostrare la superiorità di un veicolo a guida autonoma:
rischio di essere noioso, ma è perché ci tengo ai vostri pareri su quanto ho già scritto in proposito: io specificherei che si è persa l'occasione di dimostrare la superiorità di dimostrare la superiorità di un veicolo REALMENTE autonomo, in cui l'umano non può far danni nemmeno cascando addormentato sul volante, perché se devi star fermo senza far niente di sicuro ti addormenti, ma OK, tanto non c'è più nessun volante. Mentre invece l'auto che "guida lei, ma tu rimani sveglio e scomodo per metterci una pezza" è un prodotto invendibile commercialmente quanto un frullatore elettrico alimentabile solo con una dinamo a manovella. Ovvero: i problemi etici e giuridici poniamoceli pure sulle auto realmente autonome, senza più volante e pedali. Ma quelle fatte in quel modo buttiamole direttamente via, perché perderci tempo? Marco -- http://mfioretti.com
Il 22 marzo 2018 11:36, Diego Giorio <dgiorio@hotmail.com> ha scritto:
Se un'auto robotica, per quanto imperfetta, dimezzasse questi incidenti, sarebbe etico non metterla sul mercato perchè i difetti causano l'altra metà?
Il 22 marzo 2018 13:12, M. Fioretti <mfioretti@nexaima.net> ha scritto:
"La responsabilità morale del fornitore di VA e della rete di VA sulle strade in un determinato momento non è salvare zia Ada ma raggiungere le ottimizzazioni che noi, come società, abbiamo assunto come decisione politica."
Il 22 marzo 2018 13:12, Roberto Dolci <rob.dolci@aizoon.us> ha scritto:
Il filmato e' visionabile da due punti di vista: telecamera su strada e su guidatore (che mostra come questi stia guardando in basso su smartphone o tablet). E' chiaro che la vittima e' vestita di scuro/nero, attraversa una strada ad alta percorrenza ben fuori da strisce pedonali o semafori. Non si puo' pretendere che un algoritmo superi Darwin.
Durante la revisione del Libro Bianco IA, uno dei commentatori ha proposto un link di futurism che parlava della "MoralMachine" del MIT.: http://moralmachine.mit.edu/ Eseguire quel giochino è stato veramente ILLUMINANTE. Suggerisco a tutti di provare a farlo SERIAMENTE: 1) immaginate persone AMATE nei diversi ruoli prima di scegliere CHI UCCIDERE 2) segnare il responso su un foglietto 3) poi provate a scambiarle di ruolo e segnate di nuovo il responso 4) riprendete dal punto 1 fino a quando i responsi divergono 5) quando i responsi segnati sul foglietto convergono cliccate sulla opzione corrispondente e ricominciate con l'esempio successivo. Ripeto che è una esperienza ILLUMINANTE, che consiglio a tutti, per quanto LACERANTE possa essere (io ho fatto una enorme fatica a concentrarmi immaginando tutto il dolore che le diverse opzioni avrebbero causato). Per decidere fra le alternative fornite è NECESSARIO attribuire un valore "morale" relativo alle diverse vite in gioco, in modo da poter scegliere "moralmente" chi uccidere e chi salvare. Ora, la "Moral Machine" del MIT, come le frasi che ho citato, mostra *due problemi macroscopici*, uno psicologico/culturale e l'altro logico/matematico. Il problema psicologico in fondo accomuna il MIT e l'ISIS ma anche i crociati medioevali ed una vasta parte della popolazione occidentale. Si tratta dell*'assunzione che il proprio sistema morale sia l'unico possibile*, o quanto meno il migliore. Attribuire un valore scalare ad una vita è possibile in tutti* i sistemi morali utilitaristici ed edonistici*, quale quello che sorregge il *capitalismo*, in cui il MIT è immerso. La massima espressione ti questo sistema morale la troviamo espressa con eleganza in Italia, nel motto *"uno vale uno"*. Fortunatamente il mondo è un po' più vario di così. In sistemi morali appena più raffinati, infatti, il problema *così posto* non ha soluzione. Per esempio *il mio sistema morale*, da cristiano cattolico,* è multidimensionale*: attribuisce a *ciascuna vita un valore vettoriale su una direzione ortogonale a tutte le altre vite*. Come conseguenza, *io non posso letteralmente scegliere chi uccidere*: vi lascio la dimostrazione (piuttosto semplice in realtà), ma per i non matematici basti notare che "non uccidere" non ammette eccezioni. *ATTENZIONE! *Questo non significa che il sistema morale cattolico sia inapplicabile a questo tipo di problemi pratici. Se proiettate su un asse economico ciascuna vita assume istantaneamente un valore infinito. E dunque, se il mio sistema morale non permette di decidere chi uccidere, permette invece di *stabilire con chiarezza a quanta ricchezza possiamo rinunciare per salvare una vita: tutta quella che serve*. Vi prego, dunque di non usare come argomento il fatto che le auto a guida autonoma possono salvare più vite di quelle che spezzano. A me non interessa. *A me interessa che chi causa la morte di una persona, per azione o per omissione, ne sia responsabile penalmente come ne è responsabile moralmente.* Giacomo
On 2018-03-22 15:37, Giacomo Tesio wrote:
Vi prego, dunque di non usare come argomento il fatto che le auto a guida autonoma possono salvare più vite di quelle che spezzano.
in tutta franchezza, personalmente non so che rispondere perché non mi pare nè che nessuno abbia effettivamente detto questo, nè che QUELL'argomento abbia alcun senso, con qualsiasi sistema morale lo si consideri. A me "salvare più vite di quelle che spezzano" pare "not even wrong", come dicono gli americani. A me pare che l'argomento effettivamente portato sia tutt'altro, ovvero: "vale la pena passare alle auto a guida autonoma perché i decessi per incidenti stradali sarebbero molti di meno di quanti ce ne sono oggi" che magari non è vero, ma di sicuro è argomento completamente diversa da quella che tu preghi di non usare. Marco -- http://mfioretti.com
Il giorno 22 marzo 2018 15:51, M. Fioretti <mfioretti@nexaima.net> ha scritto:
"vale la pena passare alle auto a guida autonoma perché i decessi per incidenti stradali sarebbero molti di meno di quanti ce ne sono oggi"
In realtà è *esattamente *la stessa affermazione, solo posta in maniera più diplomatica. :-) Io sto dicendo che il valore delle vite non è esprimibile con uno scalare (almeno per un cristiano). Dunque non è proprio possibile fare il confronto fra le vite interrotte dalla guida autonoma e quelle interrote senza la guida autonoma. Si può invece trasformare tutto questo spreco di fondi ed energie (sul quale concordo con te) per realizzare sistemi di sicurezza che salvino più vite, su auto a guida umana. Semplicemente perché la responsabilità umana è un bene prezioso. D'altro canto, se una persona si assume la responsabilità morale di mettere in circolazione auto a guida autonoma, sia solo chiaro che ne risponde penalmente come ne risponde moralmente. E *visto che i bug sono la condizione normale del software*, si assuma nei suoi confronti il *principio di colpevolezza fino prova contraria*. D'altro canto questo approccio avrebbe un effetto positivo sulla qualità di queste auto, del software e della ricerca sulla IA in generale. Giacomo
On 2018-03-22 16:14, Giacomo Tesio wrote:
Il giorno 22 marzo 2018 15:51, M. Fioretti <mfioretti@nexaima.net> ha scritto:
"vale la pena passare alle auto a guida autonoma perché i decessi per incidenti stradali sarebbero molti di meno di quanti ce ne sono oggi"
In realtà è ESATTAMENTE la stessa affermazione, solo posta in maniera più diplomatica. :-)
Io sto dicendo che il valore delle vite non è esprimibile con uno scalare (almeno per un cristiano).
Dunque non è proprio possibile fare il confronto fra le vite interrotte dalla guida autonoma e quelle interrote senza la guida autonoma.
non so che altro dirti. Secondo me ti stai avvitando a vuoto, su qualcosa che almeno **io** non ho detto, nè intendo. Primo, perché l'UNICO confronto di cui sto parlando IO è quello fra QUANTITÀ di vite. Che è cosa enormemente diversa del "confronto fra vite". Se mi si dimostra che usando lo strumento X muoiono 1000 persone l'anno, e usando lo strumento Y ne muoiono solo 100, e non ci sono altre soluzioni, se dico "OK, allora sarei cretino a non usare Y" che senso hanno i confronti fra chi morirebbe con Y e chi muore con X? Sto forse dicendo che è meglio morire in un modo che in un altro, o che una vita vale meno di un'altra? Secondo: dove sta scritto che quanto sopra sia EQUIVALENTE a "se Y ammazza qualcuno per suoi errori di progettazione pazienza, perché senza Y sarebbero morte di sicuro molte più persone"? dove sta scritto, usando le tue parole, che promuovere la soluzione che fa perdere meno vite umane esclude che:
... se una persona si assume la responsabilità morale di mettere in circolazione auto a guida autonoma, sia solo chiaro che ne risponde penalmente come ne risponde moralmente.
Marco -- http://mfioretti.com
In ogni caso, se si pensasse di introdurre una tecnologia solo quando è perfetta, saremmo ancora nelle caverne. Anche oggetti apparentemente innocui come il cellulare hanno già causato rare vittime per esplosioni di batterie. L'aereo è il mezzo più sicuro, ma ogni tanto qualcuno casca, nè peraltro si sarebbe potuti arrivare all'elevato standard odierno senza passare dagli incidenti e dalla successiva analisi. Con questo non voglio dire né che non si debbano perseguire le eventuali responsabilità, né che si possano mettere sulla strada auto killer senza uno sviluppo adeguato, sto solo dicendo che una drastica riduzione degli incidenti sarebbe già motivo sufficiente per sostituire una tecnologia (già in essere e già causa di vittime senza che nessuno si sogni di abolirla) con l'altra più sicura. Quanto al fatto che sperare che un "autista passivo" possa svegliarsi ed agire più rapidamente di un computer in caso di problemi, sono d'accordo che è pura utopia. Il fatto però che si debba passare di colpo da un'auto manuale ad un'auto senza comandi non mi vede del tutto favorevole. Mi immagino invece, soprattutto nella realtà italiana con tanti borghi di vie strette e tortuose, una soluzione ibrida, per cui l'auto guida da sola in autostrada o su arterie di scorrimento, mentre io riprendo il controllo nell'ultimo miglio. Ma ognuno ha una sua visione del futuro, e di solito finchè le tecnologie non si concretizzano molti si avvicinano ma nessuno ci azzecca del tutto. D. ________________________________ From: nexa <nexa-bounces@server-nexa.polito.it> on behalf of M. Fioretti <mfioretti@nexaima.net> Sent: Thursday, March 22, 2018 4:13 PM To: Nexa Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di Uber On 2018-03-22 16:14, Giacomo Tesio wrote:
Il giorno 22 marzo 2018 15:51, M. Fioretti <mfioretti@nexaima.net> ha scritto:
"vale la pena passare alle auto a guida autonoma perché i decessi per incidenti stradali sarebbero molti di meno di quanti ce ne sono oggi"
In realtà è ESATTAMENTE la stessa affermazione, solo posta in maniera più diplomatica. :-)
Io sto dicendo che il valore delle vite non è esprimibile con uno scalare (almeno per un cristiano).
Dunque non è proprio possibile fare il confronto fra le vite interrotte dalla guida autonoma e quelle interrote senza la guida autonoma.
non so che altro dirti. Secondo me ti stai avvitando a vuoto, su qualcosa che almeno **io** non ho detto, nè intendo. Primo, perché l'UNICO confronto di cui sto parlando IO è quello fra QUANTITÀ di vite. Che è cosa enormemente diversa del "confronto fra vite". Se mi si dimostra che usando lo strumento X muoiono 1000 persone l'anno, e usando lo strumento Y ne muoiono solo 100, e non ci sono altre soluzioni, se dico "OK, allora sarei cretino a non usare Y" che senso hanno i confronti fra chi morirebbe con Y e chi muore con X? Sto forse dicendo che è meglio morire in un modo che in un altro, o che una vita vale meno di un'altra? Secondo: dove sta scritto che quanto sopra sia EQUIVALENTE a "se Y ammazza qualcuno per suoi errori di progettazione pazienza, perché senza Y sarebbero morte di sicuro molte più persone"? dove sta scritto, usando le tue parole, che promuovere la soluzione che fa perdere meno vite umane esclude che:
... se una persona si assume la responsabilità morale di mettere in circolazione auto a guida autonoma, sia solo chiaro che ne risponde penalmente come ne risponde moralmente.
Marco -- http://mfioretti.com Marco Fioretti<http://mfioretti.com/> mfioretti.com Author, trainer, popularizer, researcher ... © 1997-2016 Marco Fioretti · Powered by the Academic theme for Hugo. _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Il giorno 22 marzo 2018 17:52, Diego Giorio <dgiorio@hotmail.com> ha scritto:
In ogni caso, se si pensasse di introdurre una tecnologia solo quando è perfetta, saremmo ancora nelle caverne.
Infatti non si tratta di vietare. Si tratta di pretendere responsabilità.
Anche oggetti apparentemente innocui come il cellulare hanno già causato rare vittime per esplosioni di batterie. L'aereo è il mezzo più sicuro, ma ogni tanto qualcuno casca, nè peraltro si sarebbe potuti arrivare all'elevato standard odierno senza passare dagli incidenti e dalla successiva analisi.
Sai, anche l'amianto era apparentemente innocuo... o forse no?
Con questo non voglio dire né che non si debbano perseguire le eventuali responsabilità
Ecco esatto il punto è tutto qui. Toglierei però l'aggettivo "eventuali". Ci sono SEMPRE responsabilità quando qualcuno muore per cause non naturali. E tutte le volte che lo stato rinuncia a punire i veri responsabili di una morte, come nel caso della Thyssenkrupp o della Eternit, mostra di non detenere il monopolio dell'uso legittimo della forza. Questo tipo di ingiustizie hanno un* ruolo profondo e fondamentale* nel minare la stabilità di una Nazione e *la fiducia dei suoi cittadini nelle istituzioni*. Ma questa, come si suol dire, è un altra storia... Giacomo
Il giorno 22 marzo 2018 17:13, M. Fioretti <mfioretti@nexaima.net> ha scritto:
Secondo me ti stai avvitando a vuoto, su qualcosa che almeno **io** non ho detto, nè intendo.
Sì infatti ti ho detto che *sono d'accordo con te* (sulla stupidità di questo approccio). E avevo notato le virgolette nella tua citazione (che ho riportato). Io contestavo il contenuto della citazione.
Primo, perché l'UNICO confronto di cui sto parlando IO è quello fra QUANTITÀ di vite.
Appunto. Puoi parlare di quantità discrete solo per cose uguali: 10 pere, 5 mele e così via. Per mettere insieme mele e pere devi astrarre: 5.5 kg di frutta. Io sto dicendo che* ogni vita è unica ed irripetibile* e *non può essere dunque contata con un'altra*. Non pretendo che siamo d'accordo su questo: non voglio fare lo stesso errore del MIT, forzando tutti in una visione utilitaristica. La mia morale non è "migliore" di quella utilitaristica. Ma visto che è altrettanto degna, credo meriti la stessa considerazione. Inoltre è importante che *la moralità di riferimento sia resa esplicita*, soprattutto quando si parla di* insegnare l'etica alle macchine*: https://twitter.com/giacomotesio/status/974347546570248192
Che è cosa enormemente diversa del "confronto fra vite". Se mi si dimostra che usando lo strumento X muoiono 1000 persone l'anno, e usando lo strumento Y ne muoiono solo 100, e non ci sono altre soluzioni, se dico "OK, allora sarei cretino a non usare Y" che senso hanno i confronti fra chi morirebbe con Y e chi muore con X? Sto forse dicendo che è meglio morire in un modo che in un altro, o che una vita vale meno di un'altra?
No, stai dicendo che, nel tuo sistema morale di riferimento, le vite valgono tutte nello stesso modo. Io sto dicendo che se proietto il valore (vettoriale) di qualunque vita su qualunque altra, ottengo sempre zero. Dunque non posso decidere se le 100 uccise da Y valgono di più, di meno o uguale alle 1000 uccise da X. Il che mi costringe ad introdurre un'altro fattore nel ragionamento: la responsabilità umana, che non può essere rimossa.
Secondo: dove sta scritto che quanto sopra sia EQUIVALENTE a "se Y ammazza qualcuno per suoi errori di progettazione pazienza, perché senza Y sarebbero morte di sicuro molte più persone"?
Temo sia una conseguenza logica: se accetti di comparare le vite, si tratta di mera economia.
dove sta scritto, usando le tue parole, che promuovere la soluzione che fa perdere meno vite umane esclude che:
... se una persona si assume la responsabilità morale di
mettere in circolazione auto a guida autonoma, sia solo chiaro che ne risponde penalmente come ne risponde moralmente.
Se accetti di comprare (o permetti di diffondere) una tecnologia che uccide "solo 100 persone": puoi chiedere a chi te la vende di finire in prigione per omicidio colposo quando una di quelle 100 persone viene uccisa? Giacomo
Ciao Giacomo, IMHO sarebbe assolutamente etico metterla sul mercato dal punto di vista utilitaristico, e sarebbe pure corretto dal punto di vista kantiano. Il NON metterla sul mercato sarebbe probabilmente anche corretto per Kant 😊 Rob From: Giacomo Tesio <giacomo@tesio.it> Sent: Thursday, March 22, 2018 10:37 AM To: Roberto Dolci <rob.dolci@aizoon.us>; mfioretti@nexaima.net; Diego Giorio <dgiorio@hotmail.com> Cc: Mariella Berra <mariella.berra@unito.it>; nexa@server-nexa.polito.it Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di Uber Il 22 marzo 2018 11:36, Diego Giorio <dgiorio@hotmail.com<mailto:dgiorio@hotmail.com>> ha scritto:
Se un'auto robotica, per quanto imperfetta, dimezzasse questi incidenti, sarebbe etico non metterla sul mercato perchè i difetti causano l'altra metà?
Il 22 marzo 2018 13:12, M. Fioretti <mfioretti@nexaima.net<mailto:mfioretti@nexaima.net>> ha scritto:
"La responsabilità morale del fornitore di VA e della rete di VA sulle strade in un determinato momento non è salvare zia Ada ma raggiungere le ottimizzazioni che noi, come società, abbiamo assunto come decisione politica."
Il 22 marzo 2018 13:12, Roberto Dolci <rob.dolci@aizoon.us<mailto:rob.dolci@aizoon.us>> ha scritto:
Il filmato e' visionabile da due punti di vista: telecamera su strada e su guidatore (che mostra come questi stia guardando in basso su smartphone o tablet). E' chiaro che la vittima e' vestita di scuro/nero, attraversa una strada ad alta percorrenza ben fuori da strisce pedonali o semafori. Non si puo' pretendere che un algoritmo superi Darwin.
Durante la revisione del Libro Bianco IA, uno dei commentatori ha proposto un link di futurism che parlava della "MoralMachine" del MIT.: http://moralmachine.mit.edu/ Eseguire quel giochino è stato veramente ILLUMINANTE. Suggerisco a tutti di provare a farlo SERIAMENTE: 1) immaginate persone AMATE nei diversi ruoli prima di scegliere CHI UCCIDERE 2) segnare il responso su un foglietto 3) poi provate a scambiarle di ruolo e segnate di nuovo il responso 4) riprendete dal punto 1 fino a quando i responsi divergono 5) quando i responsi segnati sul foglietto convergono cliccate sulla opzione corrispondente e ricominciate con l'esempio successivo. Ripeto che è una esperienza ILLUMINANTE, che consiglio a tutti, per quanto LACERANTE possa essere (io ho fatto una enorme fatica a concentrarmi immaginando tutto il dolore che le diverse opzioni avrebbero causato). Per decidere fra le alternative fornite è NECESSARIO attribuire un valore "morale" relativo alle diverse vite in gioco, in modo da poter scegliere "moralmente" chi uccidere e chi salvare. Ora, la "Moral Machine" del MIT, come le frasi che ho citato, mostra due problemi macroscopici, uno psicologico/culturale e l'altro logico/matematico. Il problema psicologico in fondo accomuna il MIT e l'ISIS ma anche i crociati medioevali ed una vasta parte della popolazione occidentale. Si tratta dell'assunzione che il proprio sistema morale sia l'unico possibile, o quanto meno il migliore. Attribuire un valore scalare ad una vita è possibile in tutti i sistemi morali utilitaristici ed edonistici, quale quello che sorregge il capitalismo, in cui il MIT è immerso. La massima espressione ti questo sistema morale la troviamo espressa con eleganza in Italia, nel motto "uno vale uno". Fortunatamente il mondo è un po' più vario di così. In sistemi morali appena più raffinati, infatti, il problema così posto non ha soluzione. Per esempio il mio sistema morale, da cristiano cattolico, è multidimensionale: attribuisce a ciascuna vita un valore vettoriale su una direzione ortogonale a tutte le altre vite. Come conseguenza, io non posso letteralmente scegliere chi uccidere: vi lascio la dimostrazione (piuttosto semplice in realtà), ma per i non matematici basti notare che "non uccidere" non ammette eccezioni. ATTENZIONE! Questo non significa che il sistema morale cattolico sia inapplicabile a questo tipo di problemi pratici. Se proiettate su un asse economico ciascuna vita assume istantaneamente un valore infinito. E dunque, se il mio sistema morale non permette di decidere chi uccidere, permette invece di stabilire con chiarezza a quanta ricchezza possiamo rinunciare per salvare una vita: tutta quella che serve. Vi prego, dunque di non usare come argomento il fatto che le auto a guida autonoma possono salvare più vite di quelle che spezzano. A me non interessa. A me interessa che chi causa la morte di una persona, per azione o per omissione, ne sia responsabile penalmente come ne è responsabile moralmente. Giacomo
Certo che si può pretendere che la macchina superi l'uomo se le si affida un veicolo sulla pubblica via. Anzi lo si deve richiedere. La telecamera evidentemente opera nello spettro visibile, cioè replica i limiti della visione umana. Una telecamera a infrarossi, per non dire un radar, avrebbe certamente evitato l'incidente e salvato la vita dell'assai incauto pedone. Un veicolo automatico dotato di visione I/R oltre che ottica avrebbe potuto superare la capacità di reazione del guidatore umano. Non lo ha fatto perché è stato progettato per non farlo, o meglio non è stato progettato per farlo, pur essendo tale progetto possibile e non a un costo proibitivo. Quel veicolo, abilitato alla guida autonoma notturna, si limita a replicare i limiti della visione notturna umana pur potendo essere disegnato per rendere tale guida più sicura. Non dotare il veicolo anche di una videocamera IR è certamente una scelta di progetto, che definirei "insecure by design", almeno nella guida notturna. Per questo motivo non escludo la responsabilità, certamente morale e per omissione, del progettista o del committente. Alberto On 22/03/2018 13:12, Roberto Dolci wrote: > Il filmato e' visionabile da due punti di vista: telecamera su strada e su guidatore (che mostra come questi stia guardando in basso su smartphone o tablet). E' chiaro che la vittima e' vestita di scuro/nero, attraversa una strada ad alta percorrenza ben fuori da strisce pedonali o semafori. Non si puo' pretendere che un algoritmo superi Darwin. > > -----Original Message----- > From: nexa <nexa-bounces@server-nexa.polito.it> On Behalf Of Mariella Berra > Sent: Thursday, March 22, 2018 8:09 AM > To: nexa@server-nexa.polito.it > Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di Uber > > Cari tutti mi sembrerebbe un messaggio di responsabilità politica sociale e etica > > Mariella b > > > Il 22/03/2018 11:36, armeo@mail.nexacenter.org ha scritto: >> estremizzo la posizione di Giacomo: nell'attesa di un ulteriore >> progresso che renda i veicoli automatici più sicuri di quelli a guida >> umana (che potrebbe arrivare in un paio di anni) vietiamo l'impiego di >> veicoli automatici. >> >> Raf >> >> >> Il 22/03/2018 10:50, Giacomo Tesio ha scritto: >>> Il 22 marzo 2018 10:05, Diego Giorio <dgiorio@hotmail.com> ha scritto: >>>> Non so se quel che si legge è vero, perchè in questi giorni si è >>>> sentito di tutto, ma sembra che in realtà l'autista umano sia stato >>>> avvisato dai sensori, e nemmeno lui abbia potuto agire in tempo. >>> A quanto avevo letto, l'auto non ha frenato. >>> A quanto vedo, l'auto non ha nemmeno deviato nonostante la corsia >>> opposta fosse perfettamente libera. >>> >>> Definire il passeggero "autista" e' MOLTO DISCUTIBILE in questo caso, >>> ma anche fosse, un auto a guida autonoma non dovrebbe affidarsi ai >>> riflessi di un essere umano, non credi? >>> >>>> D'altra parte se uno si >>>> butta sotto un mezzo in movimento non c'è tecnologia che tenga: una >>>> frenata non può avvenire in tempo zero. >>> Il pedone aveva attraversato l'intera corsia opposta, c'era tempo di >>> - suonare il clacson >>> - effettuare segnalazioni luminose >>> - rallentare >>> - deviare >>> >>> Ricordiamoci che non stiamo parlando di un cervello umano, ma di >>> processori: non mi sono mai interessato di questo tipo di >>> simulazioni, sono abbastanza confidente che calcolare una traiettoria >>> per evitare il pedone data la sua velocità e direzione sarebbe stato >>> piuttosto rapido. >>> >>> Se poi hanno messo un simulatore scritto in JavaScript a guidare la >>> macchina, allora bisogna arrestare ANCHE gli ingegneri! >>> >>>> Peraltro, se fosse accertata la responsabilità del pedone, il >>>> problema penale non si porrebbe. >>> Obbiezione interessante. Probabilmente hai ragione: bisogna >>> aggiornare l'ordinamento. >>> >>> Se disponiamo di una tecnologia che può evitare una morte in caso di >>> errore umano, non possiamo dire che il suo fallimento non costituisce >>> reato solo perché l'errore umano più evidente è della vittima. >>> >>> L'errore umano principale infatti sta nella progettazione del veicolo. >>> >>> In particolare nella interfaccia utente destinata al passeggero, che >>> appunto, ha smesso di sentirsi autista dell'auto (come evidente dalla >>> parte finale del filmato). >>> La stessa definizione di "auto a guida autonoma", o "self driving car" >>> (o forse persino "intelligenza artificiale") ha causato questo enorme >>> (e facilmente evitabile) errore di progettazione. >>> >>>> Però è evidente che deve nascere una forma nuova di diritto (non ho >>>> ancora finito di leggere "the law of robots" del prof. >>>> Pollicino). E spero che includa un principio di innocenza fino a >>>> prova contraria anche per gli automi! >>> Questo temo sia impossibile. >>> Non sono MAI gli automi ad essere innocenti o colpevoli: la >>> responsabilità va sempre ricondotta alle persone che li hanno messi >>> in circolazione. >>> >>> I principio di innocenza fino a prova contraria, non si applica alle >>> cose. >>> >>> >>> Vi e poi un problema pratico: come dimostrare che la macchina ha >>> sbagliato (in uno qualsiasi dei suoi componenti) e dunque che la >>> responsabilità penale sussiste? >>> >>> Chi paga il lavoro degli esperti necessari ad analizzare ogni singolo >>> componente e ogni riga di codice per verificare l'assenza di errori? >>> Infatti, in via precauzionale, dovremmo interrompere la produzione ma >>> al contempo non potremmo mettere Uber a verificare il proprio >>> prodotto ne persone pagate da Uber. >>> >>> Avremmo bisogno di esperti indipendenti da queste multinazionali per >>> valutare il loro lavoro (e ci potrebbero volere anni). >>> >>> Nella remota ipotesi che non trovassero errori nel sistema, chi >>> facciamo pagare? la famiglia della vittima? lo stato? >>> >>> >>> In realtà comunque gli errori ci sono di sicuro, quanto meno a >>> livello software. >>> >>> Perché chiunque sviluppa software sa che l'errore non è una >>> condizione occasionale che capita a persone che per il resto non sbagliano. >>> L'errore è condizione normale della operatività umana. E questa è >>> particolarmente evidente nel software, per la natura stessa >>> dell'artefatto e per la scarsa evoluzione dell'informatica. >>> >>> >>> Dunque, per gli automi, dovremo adottare un principio di colpevolezza >>> dei costruttori fino a prova contraria. >>> >>> >>> >>> Giacomo >>> _______________________________________________ >>> nexa mailing list >>> nexa@server-nexa.polito.it >>> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >> _______________________________________________ >> nexa mailing list >> nexa@server-nexa.polito.it >> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > -- > Prof.ssa Mariella Berra > Dipartimento di Culture, Politica e Società Università di Torino > tel.+390116702606 > > _______________________________________________ > nexa mailing list > nexa@server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > _______________________________________________ > nexa mailing list > nexa@server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Tutte le auto ora in test (Volvo, Google, GM, Mercedes) hanno IR installato, e non solo. Occorre tenere presente pero' che una Mercedes ha $2800 (al costo) di sensori in piu' della Volvo XC90: la prima guida agevolmente a LosAngeles, la seconda no perche' non ci son line di mezzeria. https://techcrunch.com/2018/03/19/heres-how-ubers-self-driving-cars-are-supposed-to-detect-pedestrians/ https://www.wired.com/2017/01/volvos-cars-now-spot-moose-hit-brakes/ -----Original Message----- From: nexa <nexa-bounces@server-nexa.polito.it> On Behalf Of Alberto Cammozzo Sent: Thursday, March 22, 2018 1:28 PM To: nexa@server-nexa.polito.it Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di Uber Certo che si può pretendere che la macchina superi l'uomo se le si affida un veicolo sulla pubblica via. Anzi lo si deve richiedere. La telecamera evidentemente opera nello spettro visibile, cioè replica i limiti della visione umana. Una telecamera a infrarossi, per non dire un radar, avrebbe certamente evitato l'incidente e salvato la vita dell'assai incauto pedone. Un veicolo automatico dotato di visione I/R oltre che ottica avrebbe potuto superare la capacità di reazione del guidatore umano. Non lo ha fatto perché è stato progettato per non farlo, o meglio non è stato progettato per farlo, pur essendo tale progetto possibile e non a un costo proibitivo. Quel veicolo, abilitato alla guida autonoma notturna, si limita a replicare i limiti della visione notturna umana pur potendo essere disegnato per rendere tale guida più sicura. Non dotare il veicolo anche di una videocamera IR è certamente una scelta di progetto, che definirei "insecure by design", almeno nella guida notturna. Per questo motivo non escludo la responsabilità, certamente morale e per omissione, del progettista o del committente. Alberto On 22/03/2018 13:12, Roberto Dolci wrote: > Il filmato e' visionabile da due punti di vista: telecamera su strada e su guidatore (che mostra come questi stia guardando in basso su smartphone o tablet). E' chiaro che la vittima e' vestita di scuro/nero, attraversa una strada ad alta percorrenza ben fuori da strisce pedonali o semafori. Non si puo' pretendere che un algoritmo superi Darwin. > > -----Original Message----- > From: nexa <nexa-bounces@server-nexa.polito.it> On Behalf Of Mariella > Berra > Sent: Thursday, March 22, 2018 8:09 AM > To: nexa@server-nexa.polito.it > Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di > Uber > > Cari tutti mi sembrerebbe un messaggio di responsabilità politica > sociale e etica > > Mariella b > > > Il 22/03/2018 11:36, armeo@mail.nexacenter.org ha scritto: >> estremizzo la posizione di Giacomo: nell'attesa di un ulteriore >> progresso che renda i veicoli automatici più sicuri di quelli a guida >> umana (che potrebbe arrivare in un paio di anni) vietiamo l'impiego >> di veicoli automatici. >> >> Raf >> >> >> Il 22/03/2018 10:50, Giacomo Tesio ha scritto: >>> Il 22 marzo 2018 10:05, Diego Giorio <dgiorio@hotmail.com> ha scritto: >>>> Non so se quel che si legge è vero, perchè in questi giorni si è >>>> sentito di tutto, ma sembra che in realtà l'autista umano sia stato >>>> avvisato dai sensori, e nemmeno lui abbia potuto agire in tempo. >>> A quanto avevo letto, l'auto non ha frenato. >>> A quanto vedo, l'auto non ha nemmeno deviato nonostante la corsia >>> opposta fosse perfettamente libera. >>> >>> Definire il passeggero "autista" e' MOLTO DISCUTIBILE in questo >>> caso, ma anche fosse, un auto a guida autonoma non dovrebbe >>> affidarsi ai riflessi di un essere umano, non credi? >>> >>>> D'altra parte se uno si >>>> butta sotto un mezzo in movimento non c'è tecnologia che tenga: una >>>> frenata non può avvenire in tempo zero. >>> Il pedone aveva attraversato l'intera corsia opposta, c'era tempo di >>> - suonare il clacson >>> - effettuare segnalazioni luminose >>> - rallentare >>> - deviare >>> >>> Ricordiamoci che non stiamo parlando di un cervello umano, ma di >>> processori: non mi sono mai interessato di questo tipo di >>> simulazioni, sono abbastanza confidente che calcolare una >>> traiettoria per evitare il pedone data la sua velocità e direzione >>> sarebbe stato piuttosto rapido. >>> >>> Se poi hanno messo un simulatore scritto in JavaScript a guidare la >>> macchina, allora bisogna arrestare ANCHE gli ingegneri! >>> >>>> Peraltro, se fosse accertata la responsabilità del pedone, il >>>> problema penale non si porrebbe. >>> Obbiezione interessante. Probabilmente hai ragione: bisogna >>> aggiornare l'ordinamento. >>> >>> Se disponiamo di una tecnologia che può evitare una morte in caso di >>> errore umano, non possiamo dire che il suo fallimento non >>> costituisce reato solo perché l'errore umano più evidente è della vittima. >>> >>> L'errore umano principale infatti sta nella progettazione del veicolo. >>> >>> In particolare nella interfaccia utente destinata al passeggero, che >>> appunto, ha smesso di sentirsi autista dell'auto (come evidente >>> dalla parte finale del filmato). >>> La stessa definizione di "auto a guida autonoma", o "self driving car" >>> (o forse persino "intelligenza artificiale") ha causato questo >>> enorme (e facilmente evitabile) errore di progettazione. >>> >>>> Però è evidente che deve nascere una forma nuova di diritto (non ho >>>> ancora finito di leggere "the law of robots" del prof. >>>> Pollicino). E spero che includa un principio di innocenza fino a >>>> prova contraria anche per gli automi! >>> Questo temo sia impossibile. >>> Non sono MAI gli automi ad essere innocenti o colpevoli: la >>> responsabilità va sempre ricondotta alle persone che li hanno messi >>> in circolazione. >>> >>> I principio di innocenza fino a prova contraria, non si applica alle >>> cose. >>> >>> >>> Vi e poi un problema pratico: come dimostrare che la macchina ha >>> sbagliato (in uno qualsiasi dei suoi componenti) e dunque che la >>> responsabilità penale sussiste? >>> >>> Chi paga il lavoro degli esperti necessari ad analizzare ogni >>> singolo componente e ogni riga di codice per verificare l'assenza di errori? >>> Infatti, in via precauzionale, dovremmo interrompere la produzione >>> ma al contempo non potremmo mettere Uber a verificare il proprio >>> prodotto ne persone pagate da Uber. >>> >>> Avremmo bisogno di esperti indipendenti da queste multinazionali per >>> valutare il loro lavoro (e ci potrebbero volere anni). >>> >>> Nella remota ipotesi che non trovassero errori nel sistema, chi >>> facciamo pagare? la famiglia della vittima? lo stato? >>> >>> >>> In realtà comunque gli errori ci sono di sicuro, quanto meno a >>> livello software. >>> >>> Perché chiunque sviluppa software sa che l'errore non è una >>> condizione occasionale che capita a persone che per il resto non sbagliano. >>> L'errore è condizione normale della operatività umana. E questa è >>> particolarmente evidente nel software, per la natura stessa >>> dell'artefatto e per la scarsa evoluzione dell'informatica. >>> >>> >>> Dunque, per gli automi, dovremo adottare un principio di >>> colpevolezza dei costruttori fino a prova contraria. >>> >>> >>> >>> Giacomo >>> _______________________________________________ >>> nexa mailing list >>> nexa@server-nexa.polito.it >>> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >> _______________________________________________ >> nexa mailing list >> nexa@server-nexa.polito.it >> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > -- > Prof.ssa Mariella Berra > Dipartimento di Culture, Politica e Società Università di Torino > tel.+390116702606 > > _______________________________________________ > nexa mailing list > nexa@server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > _______________________________________________ > nexa mailing list > nexa@server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Grazie Roberto, metti giustamente in evidenza che la dotazione del veicolo influisce sulla sua intelligenza in relazione all'ambiente e su quanto vi si adatta. Quello che voglio mettere in evidenza io è che mentre non si può pretendere che un umano veda di notte, si deve pretendere che una vettura autonoma lo faccia, visto che può tecnicamente farlo con la dotazione adatta. Altrimenti non dovrà avere licenza di circolare di notte. Essendo in gioco non solo la sicurezza del conducente (è relativamente affar suo) ma soprattutto quella pubblica (che è affare del decisore pubblico), a me pare che la "dotazione adatta" non possa essere decisa dal costo dei sensori e dal budget di chi acquista l'auto, ma debba essere oggetto di regolazione. Credo che chi vuole circolare autonomamente di notte (o a los Angeles, o sulla neve,...) deve avere la dotazione che (ragionevolmente) offre la massima reazione possibile tecnicamente in relazione all'ambiente, non solo quella che offrirebbe un guidatore umano (medio). In caso contrario privilegiamo un profitto privato a discapito dell'incolumità pubblica. [Il che comunque non sarebbe una novità... Basta saperlo.] Alberto On 22/03/2018 19:23, Roberto Dolci wrote: > Tutte le auto ora in test (Volvo, Google, GM, Mercedes) hanno IR installato, e non solo. Occorre tenere presente pero' che una Mercedes ha $2800 (al costo) di sensori in piu' della Volvo XC90: la prima guida agevolmente a LosAngeles, la seconda no perche' non ci son line di mezzeria. > > https://techcrunch.com/2018/03/19/heres-how-ubers-self-driving-cars-are-supposed-to-detect-pedestrians/ > https://www.wired.com/2017/01/volvos-cars-now-spot-moose-hit-brakes/ > > -----Original Message----- > From: nexa <nexa-bounces@server-nexa.polito.it> On Behalf Of Alberto Cammozzo > Sent: Thursday, March 22, 2018 1:28 PM > To: nexa@server-nexa.polito.it > Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di Uber > > Certo che si può pretendere che la macchina superi l'uomo se le si affida un veicolo sulla pubblica via. Anzi lo si deve richiedere. > > La telecamera evidentemente opera nello spettro visibile, cioè replica i limiti della visione umana. > Una telecamera a infrarossi, per non dire un radar, avrebbe certamente evitato l'incidente e salvato la vita dell'assai incauto pedone. > > Un veicolo automatico dotato di visione I/R oltre che ottica avrebbe potuto superare la capacità di reazione del guidatore umano. > Non lo ha fatto perché è stato progettato per non farlo, o meglio non è stato progettato per farlo, pur essendo tale progetto possibile e non a un costo proibitivo. > Quel veicolo, abilitato alla guida autonoma notturna, si limita a replicare i limiti della visione notturna umana pur potendo essere disegnato per rendere tale guida più sicura. > > Non dotare il veicolo anche di una videocamera IR è certamente una scelta di progetto, che definirei "insecure by design", almeno nella guida notturna. > > Per questo motivo non escludo la responsabilità, certamente morale e per omissione, del progettista o del committente. > > > Alberto > > > On 22/03/2018 13:12, Roberto Dolci wrote: >> Il filmato e' visionabile da due punti di vista: telecamera su strada e su guidatore (che mostra come questi stia guardando in basso su smartphone o tablet). E' chiaro che la vittima e' vestita di scuro/nero, attraversa una strada ad alta percorrenza ben fuori da strisce pedonali o semafori. Non si puo' pretendere che un algoritmo superi Darwin. >> >> -----Original Message----- >> From: nexa <nexa-bounces@server-nexa.polito.it> On Behalf Of Mariella >> Berra >> Sent: Thursday, March 22, 2018 8:09 AM >> To: nexa@server-nexa.polito.it >> Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di >> Uber >> >> Cari tutti mi sembrerebbe un messaggio di responsabilità politica >> sociale e etica >> >> Mariella b >> >> >> Il 22/03/2018 11:36, armeo@mail.nexacenter.org ha scritto: >>> estremizzo la posizione di Giacomo: nell'attesa di un ulteriore >>> progresso che renda i veicoli automatici più sicuri di quelli a guida >>> umana (che potrebbe arrivare in un paio di anni) vietiamo l'impiego >>> di veicoli automatici. >>> >>> Raf >>> >>> >>> Il 22/03/2018 10:50, Giacomo Tesio ha scritto: >>>> Il 22 marzo 2018 10:05, Diego Giorio <dgiorio@hotmail.com> ha scritto: >>>>> Non so se quel che si legge è vero, perchè in questi giorni si è >>>>> sentito di tutto, ma sembra che in realtà l'autista umano sia stato >>>>> avvisato dai sensori, e nemmeno lui abbia potuto agire in tempo. >>>> A quanto avevo letto, l'auto non ha frenato. >>>> A quanto vedo, l'auto non ha nemmeno deviato nonostante la corsia >>>> opposta fosse perfettamente libera. >>>> >>>> Definire il passeggero "autista" e' MOLTO DISCUTIBILE in questo >>>> caso, ma anche fosse, un auto a guida autonoma non dovrebbe >>>> affidarsi ai riflessi di un essere umano, non credi? >>>> >>>>> D'altra parte se uno si >>>>> butta sotto un mezzo in movimento non c'è tecnologia che tenga: una >>>>> frenata non può avvenire in tempo zero. >>>> Il pedone aveva attraversato l'intera corsia opposta, c'era tempo di >>>> - suonare il clacson >>>> - effettuare segnalazioni luminose >>>> - rallentare >>>> - deviare >>>> >>>> Ricordiamoci che non stiamo parlando di un cervello umano, ma di >>>> processori: non mi sono mai interessato di questo tipo di >>>> simulazioni, sono abbastanza confidente che calcolare una >>>> traiettoria per evitare il pedone data la sua velocità e direzione >>>> sarebbe stato piuttosto rapido. >>>> >>>> Se poi hanno messo un simulatore scritto in JavaScript a guidare la >>>> macchina, allora bisogna arrestare ANCHE gli ingegneri! >>>> >>>>> Peraltro, se fosse accertata la responsabilità del pedone, il >>>>> problema penale non si porrebbe. >>>> Obbiezione interessante. Probabilmente hai ragione: bisogna >>>> aggiornare l'ordinamento. >>>> >>>> Se disponiamo di una tecnologia che può evitare una morte in caso di >>>> errore umano, non possiamo dire che il suo fallimento non >>>> costituisce reato solo perché l'errore umano più evidente è della vittima. >>>> >>>> L'errore umano principale infatti sta nella progettazione del veicolo. >>>> >>>> In particolare nella interfaccia utente destinata al passeggero, che >>>> appunto, ha smesso di sentirsi autista dell'auto (come evidente >>>> dalla parte finale del filmato). >>>> La stessa definizione di "auto a guida autonoma", o "self driving car" >>>> (o forse persino "intelligenza artificiale") ha causato questo >>>> enorme (e facilmente evitabile) errore di progettazione. >>>> >>>>> Però è evidente che deve nascere una forma nuova di diritto (non ho >>>>> ancora finito di leggere "the law of robots" del prof. >>>>> Pollicino). E spero che includa un principio di innocenza fino a >>>>> prova contraria anche per gli automi! >>>> Questo temo sia impossibile. >>>> Non sono MAI gli automi ad essere innocenti o colpevoli: la >>>> responsabilità va sempre ricondotta alle persone che li hanno messi >>>> in circolazione. >>>> >>>> I principio di innocenza fino a prova contraria, non si applica alle >>>> cose. >>>> >>>> >>>> Vi e poi un problema pratico: come dimostrare che la macchina ha >>>> sbagliato (in uno qualsiasi dei suoi componenti) e dunque che la >>>> responsabilità penale sussiste? >>>> >>>> Chi paga il lavoro degli esperti necessari ad analizzare ogni >>>> singolo componente e ogni riga di codice per verificare l'assenza di errori? >>>> Infatti, in via precauzionale, dovremmo interrompere la produzione >>>> ma al contempo non potremmo mettere Uber a verificare il proprio >>>> prodotto ne persone pagate da Uber. >>>> >>>> Avremmo bisogno di esperti indipendenti da queste multinazionali per >>>> valutare il loro lavoro (e ci potrebbero volere anni). >>>> >>>> Nella remota ipotesi che non trovassero errori nel sistema, chi >>>> facciamo pagare? la famiglia della vittima? lo stato? >>>> >>>> >>>> In realtà comunque gli errori ci sono di sicuro, quanto meno a >>>> livello software. >>>> >>>> Perché chiunque sviluppa software sa che l'errore non è una >>>> condizione occasionale che capita a persone che per il resto non sbagliano. >>>> L'errore è condizione normale della operatività umana. E questa è >>>> particolarmente evidente nel software, per la natura stessa >>>> dell'artefatto e per la scarsa evoluzione dell'informatica. >>>> >>>> >>>> Dunque, per gli automi, dovremo adottare un principio di >>>> colpevolezza dei costruttori fino a prova contraria. >>>> >>>> >>>> >>>> Giacomo >>>> _______________________________________________ >>>> nexa mailing list >>>> nexa@server-nexa.polito.it >>>> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >>> _______________________________________________ >>> nexa mailing list >>> nexa@server-nexa.polito.it >>> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >> -- >> Prof.ssa Mariella Berra >> Dipartimento di Culture, Politica e Società Università di Torino >> tel.+390116702606 >> >> _______________________________________________ >> nexa mailing list >> nexa@server-nexa.polito.it >> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >> _______________________________________________ >> nexa mailing list >> nexa@server-nexa.polito.it >> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > > _______________________________________________ > nexa mailing list > nexa@server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Perfettamente d'accordo Alberto. Peraltro il "contenuto" di un automobile continua ad aumentare a parita' di Prezzo (scontato per inflazione): quindi dalle cinture di sicurezza e poggiatesta in poi, non e' che il costo sia stato passato sulle spalle dei consumatori, ma assorbito dallo sviluppo tecnologico. -----Original Message----- From: Alberto Cammozzo <ac+nexa@zeromx.net> Sent: Thursday, March 22, 2018 2:45 PM To: Roberto Dolci <rob.dolci@aizoon.us>; nexa@server-nexa.polito.it Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di Uber Grazie Roberto, metti giustamente in evidenza che la dotazione del veicolo influisce sulla sua intelligenza in relazione all'ambiente e su quanto vi si adatta. Quello che voglio mettere in evidenza io è che mentre non si può pretendere che un umano veda di notte, si deve pretendere che una vettura autonoma lo faccia, visto che può tecnicamente farlo con la dotazione adatta. Altrimenti non dovrà avere licenza di circolare di notte. Essendo in gioco non solo la sicurezza del conducente (è relativamente affar suo) ma soprattutto quella pubblica (che è affare del decisore pubblico), a me pare che la "dotazione adatta" non possa essere decisa dal costo dei sensori e dal budget di chi acquista l'auto, ma debba essere oggetto di regolazione. Credo che chi vuole circolare autonomamente di notte (o a los Angeles, o sulla neve,...) deve avere la dotazione che (ragionevolmente) offre la massima reazione possibile tecnicamente in relazione all'ambiente, non solo quella che offrirebbe un guidatore umano (medio). In caso contrario privilegiamo un profitto privato a discapito dell'incolumità pubblica. [Il che comunque non sarebbe una novità... Basta saperlo.] Alberto On 22/03/2018 19:23, Roberto Dolci wrote: > Tutte le auto ora in test (Volvo, Google, GM, Mercedes) hanno IR installato, e non solo. Occorre tenere presente pero' che una Mercedes ha $2800 (al costo) di sensori in piu' della Volvo XC90: la prima guida agevolmente a LosAngeles, la seconda no perche' non ci son line di mezzeria. > > https://techcrunch.com/2018/03/19/heres-how-ubers-self-driving-cars-ar > e-supposed-to-detect-pedestrians/ > https://www.wired.com/2017/01/volvos-cars-now-spot-moose-hit-brakes/ > > -----Original Message----- > From: nexa <nexa-bounces@server-nexa.polito.it> On Behalf Of Alberto > Cammozzo > Sent: Thursday, March 22, 2018 1:28 PM > To: nexa@server-nexa.polito.it > Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di > Uber > > Certo che si può pretendere che la macchina superi l'uomo se le si affida un veicolo sulla pubblica via. Anzi lo si deve richiedere. > > La telecamera evidentemente opera nello spettro visibile, cioè replica i limiti della visione umana. > Una telecamera a infrarossi, per non dire un radar, avrebbe certamente evitato l'incidente e salvato la vita dell'assai incauto pedone. > > Un veicolo automatico dotato di visione I/R oltre che ottica avrebbe potuto superare la capacità di reazione del guidatore umano. > Non lo ha fatto perché è stato progettato per non farlo, o meglio non è stato progettato per farlo, pur essendo tale progetto possibile e non a un costo proibitivo. > Quel veicolo, abilitato alla guida autonoma notturna, si limita a replicare i limiti della visione notturna umana pur potendo essere disegnato per rendere tale guida più sicura. > > Non dotare il veicolo anche di una videocamera IR è certamente una scelta di progetto, che definirei "insecure by design", almeno nella guida notturna. > > Per questo motivo non escludo la responsabilità, certamente morale e per omissione, del progettista o del committente. > > > Alberto > > > On 22/03/2018 13:12, Roberto Dolci wrote: >> Il filmato e' visionabile da due punti di vista: telecamera su strada e su guidatore (che mostra come questi stia guardando in basso su smartphone o tablet). E' chiaro che la vittima e' vestita di scuro/nero, attraversa una strada ad alta percorrenza ben fuori da strisce pedonali o semafori. Non si puo' pretendere che un algoritmo superi Darwin. >> >> -----Original Message----- >> From: nexa <nexa-bounces@server-nexa.polito.it> On Behalf Of Mariella >> Berra >> Sent: Thursday, March 22, 2018 8:09 AM >> To: nexa@server-nexa.polito.it >> Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di >> Uber >> >> Cari tutti mi sembrerebbe un messaggio di responsabilità politica >> sociale e etica >> >> Mariella b >> >> >> Il 22/03/2018 11:36, armeo@mail.nexacenter.org ha scritto: >>> estremizzo la posizione di Giacomo: nell'attesa di un ulteriore >>> progresso che renda i veicoli automatici più sicuri di quelli a >>> guida umana (che potrebbe arrivare in un paio di anni) vietiamo >>> l'impiego di veicoli automatici. >>> >>> Raf >>> >>> >>> Il 22/03/2018 10:50, Giacomo Tesio ha scritto: >>>> Il 22 marzo 2018 10:05, Diego Giorio <dgiorio@hotmail.com> ha scritto: >>>>> Non so se quel che si legge è vero, perchè in questi giorni si è >>>>> sentito di tutto, ma sembra che in realtà l'autista umano sia >>>>> stato avvisato dai sensori, e nemmeno lui abbia potuto agire in tempo. >>>> A quanto avevo letto, l'auto non ha frenato. >>>> A quanto vedo, l'auto non ha nemmeno deviato nonostante la corsia >>>> opposta fosse perfettamente libera. >>>> >>>> Definire il passeggero "autista" e' MOLTO DISCUTIBILE in questo >>>> caso, ma anche fosse, un auto a guida autonoma non dovrebbe >>>> affidarsi ai riflessi di un essere umano, non credi? >>>> >>>>> D'altra parte se uno si >>>>> butta sotto un mezzo in movimento non c'è tecnologia che tenga: >>>>> una frenata non può avvenire in tempo zero. >>>> Il pedone aveva attraversato l'intera corsia opposta, c'era tempo >>>> di >>>> - suonare il clacson >>>> - effettuare segnalazioni luminose >>>> - rallentare >>>> - deviare >>>> >>>> Ricordiamoci che non stiamo parlando di un cervello umano, ma di >>>> processori: non mi sono mai interessato di questo tipo di >>>> simulazioni, sono abbastanza confidente che calcolare una >>>> traiettoria per evitare il pedone data la sua velocità e direzione >>>> sarebbe stato piuttosto rapido. >>>> >>>> Se poi hanno messo un simulatore scritto in JavaScript a guidare la >>>> macchina, allora bisogna arrestare ANCHE gli ingegneri! >>>> >>>>> Peraltro, se fosse accertata la responsabilità del pedone, il >>>>> problema penale non si porrebbe. >>>> Obbiezione interessante. Probabilmente hai ragione: bisogna >>>> aggiornare l'ordinamento. >>>> >>>> Se disponiamo di una tecnologia che può evitare una morte in caso >>>> di errore umano, non possiamo dire che il suo fallimento non >>>> costituisce reato solo perché l'errore umano più evidente è della vittima. >>>> >>>> L'errore umano principale infatti sta nella progettazione del veicolo. >>>> >>>> In particolare nella interfaccia utente destinata al passeggero, >>>> che appunto, ha smesso di sentirsi autista dell'auto (come evidente >>>> dalla parte finale del filmato). >>>> La stessa definizione di "auto a guida autonoma", o "self driving car" >>>> (o forse persino "intelligenza artificiale") ha causato questo >>>> enorme (e facilmente evitabile) errore di progettazione. >>>> >>>>> Però è evidente che deve nascere una forma nuova di diritto (non >>>>> ho ancora finito di leggere "the law of robots" del prof. >>>>> Pollicino). E spero che includa un principio di innocenza fino a >>>>> prova contraria anche per gli automi! >>>> Questo temo sia impossibile. >>>> Non sono MAI gli automi ad essere innocenti o colpevoli: la >>>> responsabilità va sempre ricondotta alle persone che li hanno messi >>>> in circolazione. >>>> >>>> I principio di innocenza fino a prova contraria, non si applica >>>> alle cose. >>>> >>>> >>>> Vi e poi un problema pratico: come dimostrare che la macchina ha >>>> sbagliato (in uno qualsiasi dei suoi componenti) e dunque che la >>>> responsabilità penale sussiste? >>>> >>>> Chi paga il lavoro degli esperti necessari ad analizzare ogni >>>> singolo componente e ogni riga di codice per verificare l'assenza di errori? >>>> Infatti, in via precauzionale, dovremmo interrompere la produzione >>>> ma al contempo non potremmo mettere Uber a verificare il proprio >>>> prodotto ne persone pagate da Uber. >>>> >>>> Avremmo bisogno di esperti indipendenti da queste multinazionali >>>> per valutare il loro lavoro (e ci potrebbero volere anni). >>>> >>>> Nella remota ipotesi che non trovassero errori nel sistema, chi >>>> facciamo pagare? la famiglia della vittima? lo stato? >>>> >>>> >>>> In realtà comunque gli errori ci sono di sicuro, quanto meno a >>>> livello software. >>>> >>>> Perché chiunque sviluppa software sa che l'errore non è una >>>> condizione occasionale che capita a persone che per il resto non sbagliano. >>>> L'errore è condizione normale della operatività umana. E questa è >>>> particolarmente evidente nel software, per la natura stessa >>>> dell'artefatto e per la scarsa evoluzione dell'informatica. >>>> >>>> >>>> Dunque, per gli automi, dovremo adottare un principio di >>>> colpevolezza dei costruttori fino a prova contraria. >>>> >>>> >>>> >>>> Giacomo >>>> _______________________________________________ >>>> nexa mailing list >>>> nexa@server-nexa.polito.it >>>> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >>> _______________________________________________ >>> nexa mailing list >>> nexa@server-nexa.polito.it >>> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >> -- >> Prof.ssa Mariella Berra >> Dipartimento di Culture, Politica e Società Università di Torino >> tel.+390116702606 >> >> _______________________________________________ >> nexa mailing list >> nexa@server-nexa.polito.it >> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >> _______________________________________________ >> nexa mailing list >> nexa@server-nexa.polito.it >> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > > _______________________________________________ > nexa mailing list > nexa@server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Ma secondo voi non c'è un problema strutturale di user interface e user experience se un passeggero al posto di guida non si percepisce come un autista? Questo problema (piuttosto ovvio) è risolvibile? O è piuttosto in diretta contraddizione con il concetto stesso di auto a guida autonoma? https://medium.com/@DonotInnovate/73-mind-blowing-implications-of-a-driverless-future-58d23d1f338d Giacomo Il Gio 22 Mar 2018 19:49 Roberto Dolci <rob.dolci@aizoon.us> ha scritto: > Perfettamente d'accordo Alberto. Peraltro il "contenuto" di un automobile > continua ad aumentare a parita' di Prezzo (scontato per inflazione): quindi > dalle cinture di sicurezza e poggiatesta in poi, non e' che il costo sia > stato passato sulle spalle dei consumatori, ma assorbito dallo sviluppo > tecnologico. > > -----Original Message----- > From: Alberto Cammozzo <ac+nexa@zeromx.net> > Sent: Thursday, March 22, 2018 2:45 PM > To: Roberto Dolci <rob.dolci@aizoon.us>; nexa@server-nexa.polito.it > Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di Uber > > Grazie Roberto, > metti giustamente in evidenza che la dotazione del veicolo influisce sulla > sua intelligenza in relazione all'ambiente e su quanto vi si adatta. > > Quello che voglio mettere in evidenza io è che mentre non si può > pretendere che un umano veda di notte, si deve pretendere che una vettura > autonoma lo faccia, visto che può tecnicamente farlo con la dotazione > adatta. > Altrimenti non dovrà avere licenza di circolare di notte. > > Essendo in gioco non solo la sicurezza del conducente (è relativamente > affar suo) ma soprattutto quella pubblica (che è affare del decisore > pubblico), a me pare che la "dotazione adatta" non possa essere decisa dal > costo dei sensori e dal budget di chi acquista l'auto, ma debba essere > oggetto di regolazione. > Credo che chi vuole circolare autonomamente di notte (o a los Angeles, o > sulla neve,...) deve avere la dotazione che (ragionevolmente) offre la > massima reazione possibile tecnicamente in relazione all'ambiente, non solo > quella che offrirebbe un guidatore umano (medio). > In caso contrario privilegiamo un profitto privato a discapito > dell'incolumità pubblica. > [Il che comunque non sarebbe una novità... Basta saperlo.] > > Alberto > > > On 22/03/2018 19:23, Roberto Dolci wrote: > > Tutte le auto ora in test (Volvo, Google, GM, Mercedes) hanno IR > installato, e non solo. Occorre tenere presente pero' che una Mercedes ha > $2800 (al costo) di sensori in piu' della Volvo XC90: la prima guida > agevolmente a LosAngeles, la seconda no perche' non ci son line di mezzeria. > > > > https://techcrunch.com/2018/03/19/heres-how-ubers-self-driving-cars-ar > > e-supposed-to-detect-pedestrians/ > > https://www.wired.com/2017/01/volvos-cars-now-spot-moose-hit-brakes/ > > > > -----Original Message----- > > From: nexa <nexa-bounces@server-nexa.polito.it> On Behalf Of Alberto > > Cammozzo > > Sent: Thursday, March 22, 2018 1:28 PM > > To: nexa@server-nexa.polito.it > > Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di > > Uber > > > > Certo che si può pretendere che la macchina superi l'uomo se le si > affida un veicolo sulla pubblica via. Anzi lo si deve richiedere. > > > > La telecamera evidentemente opera nello spettro visibile, cioè replica i > limiti della visione umana. > > Una telecamera a infrarossi, per non dire un radar, avrebbe certamente > evitato l'incidente e salvato la vita dell'assai incauto pedone. > > > > Un veicolo automatico dotato di visione I/R oltre che ottica avrebbe > potuto superare la capacità di reazione del guidatore umano. > > Non lo ha fatto perché è stato progettato per non farlo, o meglio non è > stato progettato per farlo, pur essendo tale progetto possibile e non a un > costo proibitivo. > > Quel veicolo, abilitato alla guida autonoma notturna, si limita a > replicare i limiti della visione notturna umana pur potendo essere > disegnato per rendere tale guida più sicura. > > > > Non dotare il veicolo anche di una videocamera IR è certamente una > scelta di progetto, che definirei "insecure by design", almeno nella guida > notturna. > > > > Per questo motivo non escludo la responsabilità, certamente morale e per > omissione, del progettista o del committente. > > > > > > Alberto > > > > > > On 22/03/2018 13:12, Roberto Dolci wrote: > >> Il filmato e' visionabile da due punti di vista: telecamera su strada e > su guidatore (che mostra come questi stia guardando in basso su smartphone > o tablet). E' chiaro che la vittima e' vestita di scuro/nero, attraversa > una strada ad alta percorrenza ben fuori da strisce pedonali o semafori. > Non si puo' pretendere che un algoritmo superi Darwin. > >> > >> -----Original Message----- > >> From: nexa <nexa-bounces@server-nexa.polito.it> On Behalf Of Mariella > >> Berra > >> Sent: Thursday, March 22, 2018 8:09 AM > >> To: nexa@server-nexa.polito.it > >> Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di > >> Uber > >> > >> Cari tutti mi sembrerebbe un messaggio di responsabilità politica > >> sociale e etica > >> > >> Mariella b > >> > >> > >> Il 22/03/2018 11:36, armeo@mail.nexacenter.org ha scritto: > >>> estremizzo la posizione di Giacomo: nell'attesa di un ulteriore > >>> progresso che renda i veicoli automatici più sicuri di quelli a > >>> guida umana (che potrebbe arrivare in un paio di anni) vietiamo > >>> l'impiego di veicoli automatici. > >>> > >>> Raf > >>> > >>> > >>> Il 22/03/2018 10:50, Giacomo Tesio ha scritto: > >>>> Il 22 marzo 2018 10:05, Diego Giorio <dgiorio@hotmail.com> ha > scritto: > >>>>> Non so se quel che si legge è vero, perchè in questi giorni si è > >>>>> sentito di tutto, ma sembra che in realtà l'autista umano sia > >>>>> stato avvisato dai sensori, e nemmeno lui abbia potuto agire in > tempo. > >>>> A quanto avevo letto, l'auto non ha frenato. > >>>> A quanto vedo, l'auto non ha nemmeno deviato nonostante la corsia > >>>> opposta fosse perfettamente libera. > >>>> > >>>> Definire il passeggero "autista" e' MOLTO DISCUTIBILE in questo > >>>> caso, ma anche fosse, un auto a guida autonoma non dovrebbe > >>>> affidarsi ai riflessi di un essere umano, non credi? > >>>> > >>>>> D'altra parte se uno si > >>>>> butta sotto un mezzo in movimento non c'è tecnologia che tenga: > >>>>> una frenata non può avvenire in tempo zero. > >>>> Il pedone aveva attraversato l'intera corsia opposta, c'era tempo > >>>> di > >>>> - suonare il clacson > >>>> - effettuare segnalazioni luminose > >>>> - rallentare > >>>> - deviare > >>>> > >>>> Ricordiamoci che non stiamo parlando di un cervello umano, ma di > >>>> processori: non mi sono mai interessato di questo tipo di > >>>> simulazioni, sono abbastanza confidente che calcolare una > >>>> traiettoria per evitare il pedone data la sua velocità e direzione > >>>> sarebbe stato piuttosto rapido. > >>>> > >>>> Se poi hanno messo un simulatore scritto in JavaScript a guidare la > >>>> macchina, allora bisogna arrestare ANCHE gli ingegneri! > >>>> > >>>>> Peraltro, se fosse accertata la responsabilità del pedone, il > >>>>> problema penale non si porrebbe. > >>>> Obbiezione interessante. Probabilmente hai ragione: bisogna > >>>> aggiornare l'ordinamento. > >>>> > >>>> Se disponiamo di una tecnologia che può evitare una morte in caso > >>>> di errore umano, non possiamo dire che il suo fallimento non > >>>> costituisce reato solo perché l'errore umano più evidente è della > vittima. > >>>> > >>>> L'errore umano principale infatti sta nella progettazione del veicolo. > >>>> > >>>> In particolare nella interfaccia utente destinata al passeggero, > >>>> che appunto, ha smesso di sentirsi autista dell'auto (come evidente > >>>> dalla parte finale del filmato). > >>>> La stessa definizione di "auto a guida autonoma", o "self driving car" > >>>> (o forse persino "intelligenza artificiale") ha causato questo > >>>> enorme (e facilmente evitabile) errore di progettazione. > >>>> > >>>>> Però è evidente che deve nascere una forma nuova di diritto (non > >>>>> ho ancora finito di leggere "the law of robots" del prof. > >>>>> Pollicino). E spero che includa un principio di innocenza fino a > >>>>> prova contraria anche per gli automi! > >>>> Questo temo sia impossibile. > >>>> Non sono MAI gli automi ad essere innocenti o colpevoli: la > >>>> responsabilità va sempre ricondotta alle persone che li hanno messi > >>>> in circolazione. > >>>> > >>>> I principio di innocenza fino a prova contraria, non si applica > >>>> alle cose. > >>>> > >>>> > >>>> Vi e poi un problema pratico: come dimostrare che la macchina ha > >>>> sbagliato (in uno qualsiasi dei suoi componenti) e dunque che la > >>>> responsabilità penale sussiste? > >>>> > >>>> Chi paga il lavoro degli esperti necessari ad analizzare ogni > >>>> singolo componente e ogni riga di codice per verificare l'assenza di > errori? > >>>> Infatti, in via precauzionale, dovremmo interrompere la produzione > >>>> ma al contempo non potremmo mettere Uber a verificare il proprio > >>>> prodotto ne persone pagate da Uber. > >>>> > >>>> Avremmo bisogno di esperti indipendenti da queste multinazionali > >>>> per valutare il loro lavoro (e ci potrebbero volere anni). > >>>> > >>>> Nella remota ipotesi che non trovassero errori nel sistema, chi > >>>> facciamo pagare? la famiglia della vittima? lo stato? > >>>> > >>>> > >>>> In realtà comunque gli errori ci sono di sicuro, quanto meno a > >>>> livello software. > >>>> > >>>> Perché chiunque sviluppa software sa che l'errore non è una > >>>> condizione occasionale che capita a persone che per il resto non > sbagliano. > >>>> L'errore è condizione normale della operatività umana. E questa è > >>>> particolarmente evidente nel software, per la natura stessa > >>>> dell'artefatto e per la scarsa evoluzione dell'informatica. > >>>> > >>>> > >>>> Dunque, per gli automi, dovremo adottare un principio di > >>>> colpevolezza dei costruttori fino a prova contraria. > >>>> > >>>> > >>>> > >>>> Giacomo > >>>> _______________________________________________ > >>>> nexa mailing list > >>>> nexa@server-nexa.polito.it > >>>> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > >>> _______________________________________________ > >>> nexa mailing list > >>> nexa@server-nexa.polito.it > >>> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > >> -- > >> Prof.ssa Mariella Berra > >> Dipartimento di Culture, Politica e Società Università di Torino > >> tel.+390116702606 > >> > >> _______________________________________________ > >> nexa mailing list > >> nexa@server-nexa.polito.it > >> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > >> _______________________________________________ > >> nexa mailing list > >> nexa@server-nexa.polito.it > >> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > > > > _______________________________________________ > > nexa mailing list > > nexa@server-nexa.polito.it > > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > > > _______________________________________________ > nexa mailing list > nexa@server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >
scrissi un giorno lontano che l'intelligenza artificiale è quella scienza, terribilmente difficile, che è finalizzata a progettare un robot domestico. Penso che il robot domestico che faccia entrare il gatto di casa e cacci gli altri gatti non esisterà per molto tempo. Calandomi nei panni del progettista del pilota automatico, mi domando come questo pilota automatico possa riconoscere il passante frettoloso che vuole attraversare a tutti i costi e quello che sta correndo per attraversare le altre corsie senza tagliare la strada al veicolo automatico. Il pilota utomatico può funzionare bene solo su una strada frequentata solo da altri veicoli automatici, e non da pedoni o macchine non automatiche. In conclusione, per ora, vieterei i piloti automatici. Raf Il 22/03/2018 20:02, Giacomo Tesio ha scritto:
Ma secondo voi non c'è un problema strutturale di user interface e user experience se un passeggero al posto di guida non si percepisce come un autista?
Questo problema (piuttosto ovvio) è risolvibile? O è piuttosto in diretta contraddizione con il concetto stesso di auto a guida autonoma?
https://medium.com/@DonotInnovate/73-mind-blowing-implications-of-a-driverle...
Giacomo
Il Gio 22 Mar 2018 19:49 Roberto Dolci <rob.dolci@aizoon.us <mailto:rob.dolci@aizoon.us>> ha scritto:
Perfettamente d'accordo Alberto. Peraltro il "contenuto" di un automobile continua ad aumentare a parita' di Prezzo (scontato per inflazione): quindi dalle cinture di sicurezza e poggiatesta in poi, non e' che il costo sia stato passato sulle spalle dei consumatori, ma assorbito dallo sviluppo tecnologico.
-----Original Message----- From: Alberto Cammozzo <ac+nexa@zeromx.net <mailto:ac%2Bnexa@zeromx.net>> Sent: Thursday, March 22, 2018 2:45 PM To: Roberto Dolci <rob.dolci@aizoon.us <mailto:rob.dolci@aizoon.us>>; nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di Uber
Grazie Roberto, metti giustamente in evidenza che la dotazione del veicolo influisce sulla sua intelligenza in relazione all'ambiente e su quanto vi si adatta.
Quello che voglio mettere in evidenza io è che mentre non si può pretendere che un umano veda di notte, si deve pretendere che una vettura autonoma lo faccia, visto che può tecnicamente farlo con la dotazione adatta. Altrimenti non dovrà avere licenza di circolare di notte.
Essendo in gioco non solo la sicurezza del conducente (è relativamente affar suo) ma soprattutto quella pubblica (che è affare del decisore pubblico), a me pare che la "dotazione adatta" non possa essere decisa dal costo dei sensori e dal budget di chi acquista l'auto, ma debba essere oggetto di regolazione. Credo che chi vuole circolare autonomamente di notte (o a los Angeles, o sulla neve,...) deve avere la dotazione che (ragionevolmente) offre la massima reazione possibile tecnicamente in relazione all'ambiente, non solo quella che offrirebbe un guidatore umano (medio). In caso contrario privilegiamo un profitto privato a discapito dell'incolumità pubblica. [Il che comunque non sarebbe una novità... Basta saperlo.]
Alberto
On 22/03/2018 19:23, Roberto Dolci wrote: > Tutte le auto ora in test (Volvo, Google, GM, Mercedes) hanno IR installato, e non solo. Occorre tenere presente pero' che una Mercedes ha $2800 (al costo) di sensori in piu' della Volvo XC90: la prima guida agevolmente a LosAngeles, la seconda no perche' non ci son line di mezzeria. > > https://techcrunch.com/2018/03/19/heres-how-ubers-self-driving-cars-ar > e-supposed-to-detect-pedestrians/ > https://www.wired.com/2017/01/volvos-cars-now-spot-moose-hit-brakes/ > > -----Original Message----- > From: nexa <nexa-bounces@server-nexa.polito.it <mailto:nexa-bounces@server-nexa.polito.it>> On Behalf Of Alberto > Cammozzo > Sent: Thursday, March 22, 2018 1:28 PM > To: nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> > Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di > Uber > > Certo che si può pretendere che la macchina superi l'uomo se le si affida un veicolo sulla pubblica via. Anzi lo si deve richiedere. > > La telecamera evidentemente opera nello spettro visibile, cioè replica i limiti della visione umana. > Una telecamera a infrarossi, per non dire un radar, avrebbe certamente evitato l'incidente e salvato la vita dell'assai incauto pedone. > > Un veicolo automatico dotato di visione I/R oltre che ottica avrebbe potuto superare la capacità di reazione del guidatore umano. > Non lo ha fatto perché è stato progettato per non farlo, o meglio non è stato progettato per farlo, pur essendo tale progetto possibile e non a un costo proibitivo. > Quel veicolo, abilitato alla guida autonoma notturna, si limita a replicare i limiti della visione notturna umana pur potendo essere disegnato per rendere tale guida più sicura. > > Non dotare il veicolo anche di una videocamera IR è certamente una scelta di progetto, che definirei "insecure by design", almeno nella guida notturna. > > Per questo motivo non escludo la responsabilità, certamente morale e per omissione, del progettista o del committente. > > > Alberto > > > On 22/03/2018 13:12, Roberto Dolci wrote: >> Il filmato e' visionabile da due punti di vista: telecamera su strada e su guidatore (che mostra come questi stia guardando in basso su smartphone o tablet). E' chiaro che la vittima e' vestita di scuro/nero, attraversa una strada ad alta percorrenza ben fuori da strisce pedonali o semafori. Non si puo' pretendere che un algoritmo superi Darwin. >> >> -----Original Message----- >> From: nexa <nexa-bounces@server-nexa.polito.it <mailto:nexa-bounces@server-nexa.polito.it>> On Behalf Of Mariella >> Berra >> Sent: Thursday, March 22, 2018 8:09 AM >> To: nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> >> Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di >> Uber >> >> Cari tutti mi sembrerebbe un messaggio di responsabilità politica >> sociale e etica >> >> Mariella b >> >> >> Il 22/03/2018 11:36, armeo@mail.nexacenter.org <mailto:armeo@mail.nexacenter.org> ha scritto: >>> estremizzo la posizione di Giacomo: nell'attesa di un ulteriore >>> progresso che renda i veicoli automatici più sicuri di quelli a >>> guida umana (che potrebbe arrivare in un paio di anni) vietiamo >>> l'impiego di veicoli automatici. >>> >>> Raf >>> >>> >>> Il 22/03/2018 10:50, Giacomo Tesio ha scritto: >>>> Il 22 marzo 2018 10:05, Diego Giorio <dgiorio@hotmail.com <mailto:dgiorio@hotmail.com>> ha scritto: >>>>> Non so se quel che si legge è vero, perchè in questi giorni si è >>>>> sentito di tutto, ma sembra che in realtà l'autista umano sia >>>>> stato avvisato dai sensori, e nemmeno lui abbia potuto agire in tempo. >>>> A quanto avevo letto, l'auto non ha frenato. >>>> A quanto vedo, l'auto non ha nemmeno deviato nonostante la corsia >>>> opposta fosse perfettamente libera. >>>> >>>> Definire il passeggero "autista" e' MOLTO DISCUTIBILE in questo >>>> caso, ma anche fosse, un auto a guida autonoma non dovrebbe >>>> affidarsi ai riflessi di un essere umano, non credi? >>>> >>>>> D'altra parte se uno si >>>>> butta sotto un mezzo in movimento non c'è tecnologia che tenga: >>>>> una frenata non può avvenire in tempo zero. >>>> Il pedone aveva attraversato l'intera corsia opposta, c'era tempo >>>> di >>>> - suonare il clacson >>>> - effettuare segnalazioni luminose >>>> - rallentare >>>> - deviare >>>> >>>> Ricordiamoci che non stiamo parlando di un cervello umano, ma di >>>> processori: non mi sono mai interessato di questo tipo di >>>> simulazioni, sono abbastanza confidente che calcolare una >>>> traiettoria per evitare il pedone data la sua velocità e direzione >>>> sarebbe stato piuttosto rapido. >>>> >>>> Se poi hanno messo un simulatore scritto in JavaScript a guidare la >>>> macchina, allora bisogna arrestare ANCHE gli ingegneri! >>>> >>>>> Peraltro, se fosse accertata la responsabilità del pedone, il >>>>> problema penale non si porrebbe. >>>> Obbiezione interessante. Probabilmente hai ragione: bisogna >>>> aggiornare l'ordinamento. >>>> >>>> Se disponiamo di una tecnologia che può evitare una morte in caso >>>> di errore umano, non possiamo dire che il suo fallimento non >>>> costituisce reato solo perché l'errore umano più evidente è della vittima. >>>> >>>> L'errore umano principale infatti sta nella progettazione del veicolo. >>>> >>>> In particolare nella interfaccia utente destinata al passeggero, >>>> che appunto, ha smesso di sentirsi autista dell'auto (come evidente >>>> dalla parte finale del filmato). >>>> La stessa definizione di "auto a guida autonoma", o "self driving car" >>>> (o forse persino "intelligenza artificiale") ha causato questo >>>> enorme (e facilmente evitabile) errore di progettazione. >>>> >>>>> Però è evidente che deve nascere una forma nuova di diritto (non >>>>> ho ancora finito di leggere "the law of robots" del prof. >>>>> Pollicino). E spero che includa un principio di innocenza fino a >>>>> prova contraria anche per gli automi! >>>> Questo temo sia impossibile. >>>> Non sono MAI gli automi ad essere innocenti o colpevoli: la >>>> responsabilità va sempre ricondotta alle persone che li hanno messi >>>> in circolazione. >>>> >>>> I principio di innocenza fino a prova contraria, non si applica >>>> alle cose. >>>> >>>> >>>> Vi e poi un problema pratico: come dimostrare che la macchina ha >>>> sbagliato (in uno qualsiasi dei suoi componenti) e dunque che la >>>> responsabilità penale sussiste? >>>> >>>> Chi paga il lavoro degli esperti necessari ad analizzare ogni >>>> singolo componente e ogni riga di codice per verificare l'assenza di errori? >>>> Infatti, in via precauzionale, dovremmo interrompere la produzione >>>> ma al contempo non potremmo mettere Uber a verificare il proprio >>>> prodotto ne persone pagate da Uber. >>>> >>>> Avremmo bisogno di esperti indipendenti da queste multinazionali >>>> per valutare il loro lavoro (e ci potrebbero volere anni). >>>> >>>> Nella remota ipotesi che non trovassero errori nel sistema, chi >>>> facciamo pagare? la famiglia della vittima? lo stato? >>>> >>>> >>>> In realtà comunque gli errori ci sono di sicuro, quanto meno a >>>> livello software. >>>> >>>> Perché chiunque sviluppa software sa che l'errore non è una >>>> condizione occasionale che capita a persone che per il resto non sbagliano. >>>> L'errore è condizione normale della operatività umana. E questa è >>>> particolarmente evidente nel software, per la natura stessa >>>> dell'artefatto e per la scarsa evoluzione dell'informatica. >>>> >>>> >>>> Dunque, per gli automi, dovremo adottare un principio di >>>> colpevolezza dei costruttori fino a prova contraria. >>>> >>>> >>>> >>>> Giacomo >>>> _______________________________________________ >>>> nexa mailing list >>>> nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> >>>> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >>> _______________________________________________ >>> nexa mailing list >>> nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> >>> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >> -- >> Prof.ssa Mariella Berra >> Dipartimento di Culture, Politica e Società Università di Torino >> tel.+390116702606 >> >> _______________________________________________ >> nexa mailing list >> nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> >> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >> _______________________________________________ >> nexa mailing list >> nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> >> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > > _______________________________________________ > nexa mailing list > nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
On 2018-03-22 22:39, armeo@mail.nexacenter.org wrote:
Il pilota utomatico può funzionare bene solo su una strada frequentata solo da altri veicoli automatici, e non da pedoni o macchine non automatiche.
esatto, grazie. Non è che c'è un problema strutturale di user interface se un passeggero al posto di guida non si percepisce come autista. C'è proprio,come ho già scritto, un problema "commerciale" e di logica di base, nel credere che auto fintamente autonome di quel genere debbano o comunque possano essere vendibili. Io VOGLIO NON percepirmi più come autista. Se davvero devo perdere due ore di vita al giorno in spostamenti, voglio almeno farlo nel modo meno stancante, palloso ed economico possibile. Quindi, sì a trasporti pubblici prima di tutto, poi casomai ad auto DAVVERO AUTONOME NELLE CONDIZIONI GIÀ DETTE DAL PROF. MEO, senza posto di guida, e condivise. così mentre mi sposto posso leggere,dormire, lavorare.... senza patemi. No senza appello a spendere migliaia di euro in più di sensori, per poi dovergli comunque fare da babysitter, sprecando in spostamenti lo stesso tempo di oggi. Tutto questo l'ho già descritto più in dettaglio in questo post su quale dovrebbe essere il VERO nome delle "auto a guida autonoma": http://stop.zona-m.net/2017/10/the-real-name-and-value-of-self-driving-cars/ e non mi dispiacerebbe affatto lavorarci seriamente, su questo tema. Se avete proposte,sapete come trovarmi :-) Marco
Il 22/03/2018 20:02, Giacomo Tesio ha scritto:
Ma secondo voi non c'è un problema strutturale di user interface e user experience se un passeggero al posto di guida non si percepisce come un autista?
Questo problema (piuttosto ovvio) è risolvibile? O è piuttosto in diretta contraddizione con il concetto stesso di auto a guida autonoma?
https://medium.com/@DonotInnovate/73-mind-blowing-implications-of-a-driverle...
[4]
Giacomo
Il Gio 22 Mar 2018 19:49 Roberto Dolci <rob.dolci@aizoon.us> ha scritto:
Perfettamente d'accordo Alberto. Peraltro il "contenuto" di un automobile continua ad aumentare a parita' di Prezzo (scontato per inflazione): quindi dalle cinture di sicurezza e poggiatesta in poi, non e' che il costo sia stato passato sulle spalle dei consumatori, ma assorbito dallo sviluppo tecnologico.
-----Original Message----- From: Alberto Cammozzo <ac+nexa@zeromx.net> Sent: Thursday, March 22, 2018 2:45 PM To: Roberto Dolci <rob.dolci@aizoon.us>; nexa@server-nexa.polito.it Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di Uber
Grazie Roberto, metti giustamente in evidenza che la dotazione del veicolo influisce sulla sua intelligenza in relazione all'ambiente e su quanto vi si adatta.
Quello che voglio mettere in evidenza io è che mentre non si può pretendere che un umano veda di notte, si deve pretendere che una vettura autonoma lo faccia, visto che può tecnicamente farlo con la dotazione adatta. Altrimenti non dovrà avere licenza di circolare di notte.
Essendo in gioco non solo la sicurezza del conducente (è relativamente affar suo) ma soprattutto quella pubblica (che è affare del decisore pubblico), a me pare che la "dotazione adatta" non possa essere decisa dal costo dei sensori e dal budget di chi acquista l'auto, ma debba essere oggetto di regolazione. Credo che chi vuole circolare autonomamente di notte (o a los Angeles, o sulla neve,...) deve avere la dotazione che (ragionevolmente) offre la massima reazione possibile tecnicamente in relazione all'ambiente, non solo quella che offrirebbe un guidatore umano (medio). In caso contrario privilegiamo un profitto privato a discapito dell'incolumità pubblica. [Il che comunque non sarebbe una novità... Basta saperlo.]
Alberto
On 22/03/2018 19:23, Roberto Dolci wrote:
Tutte le auto ora in test (Volvo, Google, GM, Mercedes) hanno IR installato, e non solo. Occorre tenere presente pero' che una Mercedes ha $2800 (al costo) di sensori in piu' della Volvo XC90: la prima guida agevolmente a LosAngeles, la seconda no perche' non ci son line di mezzeria.
https://techcrunch.com/2018/03/19/heres-how-ubers-self-driving-cars-ar
[1]
e-supposed-to-detect-pedestrians/
https://www.wired.com/2017/01/volvos-cars-now-spot-moose-hit-brakes/
[2]
-----Original Message----- From: nexa <nexa-bounces@server-nexa.polito.it> On Behalf Of
Alberto
Cammozzo Sent: Thursday, March 22, 2018 1:28 PM To: nexa@server-nexa.polito.it Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di Uber
Certo che si può pretendere che la macchina superi l'uomo se le si affida un veicolo sulla pubblica via. Anzi lo si deve richiedere.
La telecamera evidentemente opera nello spettro visibile, cioè replica i limiti della visione umana. Una telecamera a infrarossi, per non dire un radar, avrebbe certamente evitato l'incidente e salvato la vita dell'assai incauto pedone.
Un veicolo automatico dotato di visione I/R oltre che ottica avrebbe potuto superare la capacità di reazione del guidatore umano. Non lo ha fatto perché è stato progettato per non farlo, o meglio non è stato progettato per farlo, pur essendo tale progetto possibile e non a un costo proibitivo. Quel veicolo, abilitato alla guida autonoma notturna, si limita a replicare i limiti della visione notturna umana pur potendo essere disegnato per rendere tale guida più sicura.
Non dotare il veicolo anche di una videocamera IR è certamente una scelta di progetto, che definirei "insecure by design", almeno nella guida notturna.
Per questo motivo non escludo la responsabilità, certamente morale e per omissione, del progettista o del committente.
Alberto
On 22/03/2018 13:12, Roberto Dolci wrote:
Il filmato e' visionabile da due punti di vista: telecamera su strada e su guidatore (che mostra come questi stia guardando in basso su smartphone o tablet). E' chiaro che la vittima e' vestita di scuro/nero, attraversa una strada ad alta percorrenza ben fuori da strisce pedonali o semafori. Non si puo' pretendere che un algoritmo superi Darwin.
-----Original Message----- From: nexa <nexa-bounces@server-nexa.polito.it> On Behalf Of Mariella Berra Sent: Thursday, March 22, 2018 8:09 AM To: nexa@server-nexa.polito.it Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di Uber
Cari tutti mi sembrerebbe un messaggio di responsabilità politica sociale e etica
Mariella b
Il 22/03/2018 11:36, armeo@mail.nexacenter.org ha scritto:
estremizzo la posizione di Giacomo: nell'attesa di un ulteriore progresso che renda i veicoli automatici più sicuri di quelli a guida umana (che potrebbe arrivare in un paio di anni) vietiamo l'impiego di veicoli automatici.
Raf
Il 22/03/2018 10:50, Giacomo Tesio ha scritto: > Il 22 marzo 2018 10:05, Diego Giorio <dgiorio@hotmail.com> ha scritto: >> Non so se quel che si legge è vero, perchè in questi giorni si è >> sentito di tutto, ma sembra che in realtà l'autista umano sia >> stato avvisato dai sensori, e nemmeno lui abbia potuto agire in tempo. > A quanto avevo letto, l'auto non ha frenato. > A quanto vedo, l'auto non ha nemmeno deviato nonostante la corsia > opposta fosse perfettamente libera. > > Definire il passeggero "autista" e' MOLTO DISCUTIBILE in questo > caso, ma anche fosse, un auto a guida autonoma non dovrebbe > affidarsi ai riflessi di un essere umano, non credi? > >> D'altra parte se uno si >> butta sotto un mezzo in movimento non c'è tecnologia che tenga: >> una frenata non può avvenire in tempo zero. > Il pedone aveva attraversato l'intera corsia opposta, c'era tempo > di > - suonare il clacson > - effettuare segnalazioni luminose > - rallentare > - deviare > > Ricordiamoci che non stiamo parlando di un cervello umano, ma di > processori: non mi sono mai interessato di questo tipo di > simulazioni, sono abbastanza confidente che calcolare una > traiettoria per evitare il pedone data la sua velocità e direzione > sarebbe stato piuttosto rapido. > > Se poi hanno messo un simulatore scritto in JavaScript a guidare la > macchina, allora bisogna arrestare ANCHE gli ingegneri! > >> Peraltro, se fosse accertata la responsabilità del pedone, il >> problema penale non si porrebbe. > Obbiezione interessante. Probabilmente hai ragione: bisogna > aggiornare l'ordinamento. > > Se disponiamo di una tecnologia che può evitare una morte in caso > di errore umano, non possiamo dire che il suo fallimento non > costituisce reato solo perché l'errore umano più evidente è della vittima. > > L'errore umano principale infatti sta nella progettazione del veicolo. > > In particolare nella interfaccia utente destinata al passeggero, > che appunto, ha smesso di sentirsi autista dell'auto (come evidente > dalla parte finale del filmato). > La stessa definizione di "auto a guida autonoma", o "self driving car" > (o forse persino "intelligenza artificiale") ha causato questo > enorme (e facilmente evitabile) errore di progettazione. > >> Però è evidente che deve nascere una forma nuova di diritto (non >> ho ancora finito di leggere "the law of robots" del prof. >> Pollicino). E spero che includa un principio di innocenza fino a >> prova contraria anche per gli automi! > Questo temo sia impossibile. > Non sono MAI gli automi ad essere innocenti o colpevoli: la > responsabilità va sempre ricondotta alle persone che li hanno messi > in circolazione. > > I principio di innocenza fino a prova contraria, non si applica > alle cose. > > > Vi e poi un problema pratico: come dimostrare che la macchina ha > sbagliato (in uno qualsiasi dei suoi componenti) e dunque che la > responsabilità penale sussiste? > > Chi paga il lavoro degli esperti necessari ad analizzare ogni > singolo componente e ogni riga di codice per verificare l'assenza di errori? > Infatti, in via precauzionale, dovremmo interrompere la produzione > ma al contempo non potremmo mettere Uber a verificare il proprio > prodotto ne persone pagate da Uber. > > Avremmo bisogno di esperti indipendenti da queste multinazionali > per valutare il loro lavoro (e ci potrebbero volere anni). > > Nella remota ipotesi che non trovassero errori nel sistema, chi > facciamo pagare? la famiglia della vittima? lo stato? > > > In realtà comunque gli errori ci sono di sicuro, quanto meno a > livello software. > > Perché chiunque sviluppa software sa che l'errore non è una > condizione occasionale che capita a persone che per il resto non sbagliano. > L'errore è condizione normale della operatività umana. E questa è > particolarmente evidente nel software, per la natura stessa > dell'artefatto e per la scarsa evoluzione dell'informatica. > > > Dunque, per gli automi, dovremo adottare un principio di > colpevolezza dei costruttori fino a prova contraria. > > > > Giacomo > _______________________________________________ > nexa mailing list > nexa@server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa [3] _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa [3] -- Prof.ssa Mariella Berra Dipartimento di Culture, Politica e Società Università di Torino tel.+390116702606
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa [3] _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa [3]
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa [3]
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa [3]
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa [3]
Links: ------ [1] https://techcrunch.com/2018/03/19/heres-how-ubers-self-driving-cars-ar [2] https://www.wired.com/2017/01/volvos-cars-now-spot-moose-hit-brakes/ [3] https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa [4] https://medium.com/@DonotInnovate/73-mind-blowing-implications-of-a-driverle...
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
On 2018-03-23 06:41, M. Fioretti wrote:
... sì a trasporti pubblici prima di tutto, poi casomai ad auto DAVVERO AUTONOME NELLE CONDIZIONI GIÀ DETTE DAL PROF. MEO, senza posto di guida, e condivise... Tutto questo l'ho già descritto più in dettaglio in questo post su quale dovrebbe essere il VERO nome delle "auto a guida autonoma":
http://stop.zona-m.net/2017/10/the-real-name-and-value-of-self-driving-cars/
Per la cronaca, questo pezzo segnalato da Giacomo,che ringrazio: https://medium.com/@DonotInnovate/73-mind-blowing-implications-of-a-driverle... è,quasi punto per punto, una lista molto dettagliata delle stesse cose che hanno portato a scrivere il mio post sul "vero nome delle auto autonome". è davvero ben fatto, su 73 punti ce ne saranno 5/6 che non condivido appieno, leggetevelo! Ora vado a complimentarmi con il suo autore. Marco -- http://mfioretti.com
Secondo me trascura troppe dipendenze sistemiche che sono elementi di frizione, anche bloccanti per molte delle cose che scrive. Per molte altre, assume implicitamente che non ci saranno cambiamenti rilevanti nella tecnologia disponibile e nella regolamentazione, ipotesi discutibile. Ciao, s. In data 23 marzo 2018 6:56:09 AM "M. Fioretti" <mfioretti@nexaima.net> ha scritto:
On 2018-03-23 06:41, M. Fioretti wrote:
... sì a trasporti pubblici prima di tutto, poi casomai ad auto DAVVERO AUTONOME NELLE CONDIZIONI GIÀ DETTE DAL PROF. MEO, senza posto di guida, e condivise... Tutto questo l'ho già descritto più in dettaglio in questo post su quale dovrebbe essere il VERO nome delle "auto a guida autonoma":
http://stop.zona-m.net/2017/10/the-real-name-and-value-of-self-driving-cars/
Per la cronaca, questo pezzo segnalato da Giacomo,che ringrazio:
https://medium.com/@DonotInnovate/73-mind-blowing-implications-of-a-driverle...
è,quasi punto per punto, una lista molto dettagliata delle stesse cose che hanno portato a scrivere il mio post sul "vero nome delle auto autonome". è davvero ben fatto, su 73 punti ce ne saranno 5/6 che non condivido appieno, leggetevelo! Ora vado a complimentarmi con il suo autore.
Marco
-- http://mfioretti.com _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Il giorno 23 marzo 2018 06:56, M. Fioretti <mfioretti@nexaima.net> ha scritto:
Per la cronaca, questo pezzo segnalato da Giacomo,che ringrazio:
https://medium.com/@DonotInnovate/73-mind-blowing-implicatio ns-of-a-driverless-future-58d23d1f338d
è,quasi punto per punto, una lista molto dettagliata delle stesse cose che hanno portato a scrivere il mio post sul "vero nome delle auto autonome".
Il punto della mia segnalazione era notare l'assenza di un posto di guida nel progetto di lungo periodo delle auto autonome. A fronte di tale assenza, bisogna stabilire *a priori* chi risponde penalmente delle morti causate dagli inevitabili (per quanto rari) incidenti. E per "a priori", intendo prima di autorizzarne la circolazione. O la distribuzione, quando si parla di robot medici e così via... Giacomo
On 23/03/2018 11:01, Giacomo Tesio wrote:
A fronte di tale assenza, bisogna stabilire *a priori* chi risponde penalmente delle morti causate dagli inevitabili (per quanto rari) incidenti.
questo e' un punto chiave. il passare da ex post ad ex ante implica una definizione di categorie, difficili da immaginare esaustivamente, ed un processo di categorizzazione per ciascuna di esse, che e' difficile non abbia margini di incertezza. i benefici attesi sono per l'insieme, per il totale delle flotte, le valutazioni di correttezza sono su singoli veicoli/situazioni. difficile uscirne. "muoiono meno persone in totale" - "ok, ma questa" ? lo schema descritto nella proposta di legge (che e' una base di discussione) che abbiamo preparato con weinberger ha proprio questo tweak: dice "alcuni singoli casi possono essere non decidibili; valutiamo allora l'insieme complessivo rispetto ai dati di targa". in tale modo, in buona misura, si riporta una valutazione anche nel campo ex post. ciao, s.
Il giorno 23 marzo 2018 17:55, Stefano Quintarelli <stefano@quintarelli.it> ha scritto:
On 23/03/2018 11:01, Giacomo Tesio wrote:
A fronte di tale assenza, bisogna stabilire *a priori* chi risponde penalmente delle morti causate dagli inevitabili (per quanto rari) incidenti.
questo e' un punto chiave. il passare da ex post ad ex ante implica una definizione di categorie, difficili da immaginare esaustivamente, ed un processo di categorizzazione per ciascuna di esse, che e' difficile non abbia margini di incertezza.
Ma... lo sai o lo pensi? :-D Comunque no, se spazzi via tutto il fumo negli occhi e la propaganda la questione diventa estremamente semplice. Qualcuno realizza un artefatto. Quell'artefatto causa una morte. Quel qualcuno risponde di omicidio colposo. Tutto qui. Per "a priori" io intendevo semplicemente che deve essere chiaro che funziona così, *prima* di immettere nell'ambiente queste applicazioni robotiche. Ci deve essere sempre almeno una persona responsabile penalmente in caso di errori fatali di queste applicazioni. E se l'artefatto in questione è un software, possiamo ragionevolmente assumere la colpevolezza di chi ne ha assunto la responsabilità, perché i software senza bug non sono rari, sono fantasia.
i benefici attesi sono per l'insieme, per il totale delle flotte, le valutazioni di correttezza sono su singoli veicoli/situazioni. difficile uscirne. "muoiono meno persone in totale" - "ok, ma questa" ?
lo schema descritto nella proposta di legge (che e' una base di discussione) che abbiamo preparato con weinberger ha proprio questo tweak: dice "alcuni singoli casi possono essere non decidibili; valutiamo allora l'insieme complessivo rispetto ai dati di targa".
in tale modo, in buona misura, si riporta una valutazione anche nel campo ex post.
Senza offesa, leggendo la proposta mi pare evidente che *Weinberger ti ha proprio messo nel sacco*, approfittando della tua scarsa preparazione in materia. Cosa che purtroppo accade troppo spesso. E che trovo veramente disgustosa e disonesta, ma purtroppo viene considerata normale da certi "imprenditori". Sappi che sfruttare l'ignoranza altrui a proprio vantaggio è l'azione più terribile che una persona possa compiere secondo l'etica hacker. Molte delle premesse esplicite alla tua proposta di legge, sono semplicemente false. Inoltre alcuni ragionamenti sono basati su assunzioni implicite di cui forse non eri consapevole mentre la scrivevi, ma che se esplicitati appaiono non solo false ma ridicole. Se io ti dicessi che voglio immettere sul mercato una nuova sostanza chimica, chiamiamola NZT, che rende più intelligenti la maggioranza delle persone ma ne uccide altre. E se ti dicessi che non so esattamente come funziona, e non posso dire esattamente chi ucciderà. E se ti dicessi che non posso escludere che non uccida proprio tutte le persone che si chiamano Stefano. E se ti dicessi che non sono nemmeno capace di ricrearla sempre uguale, che la sua composizione è "probabilistica"... Tu mi risponderesti: MA SEI SCEMO? Sai perché non me lo dici se ti propongo un software che promette di fare esattamente la stessa cosa? Semplicemente perché la chimica ha almeno 3 secoli, l'informatica no. Per questo ho apprezzato *moltissimo* la tua proposta di un ministero dell'innovazione tecnologica: perché i politici hanno davvero bisogno di qualcuno che gli dica con franchezza "No guarda, stai dicendo cazzate". Il problema STRAORDINARIAMENTE COMPLESSO è selezionare tecnici *indipendenti* dalle multinazionali, *onesti* e *competenti*. Evidentemente David Weinberger non è adatto a ricoprire tale incarico. E francamente sei stato piuttosto ingenuo a farti intortare. Oggi parlavo con un amico statunitense del link che Alberto Camozzo ha condiviso sulla storia del jaywalking e lui mi ha proposto questo video https://www.youtube.com/watch?v=vxopfjXkArM La parola chiave è "propaganda", ma la chiusura è profetica: "the streets belong to the machines now". Ti cito le sue parole: Most people’s beliefs have been permanently shaped by that propaganda.
Questo è esattamente quello che sta succedendo ora. E quello che è successo a te. Analizzare nel dettaglio la tua proposta di legge, per evidenziarne uno per uno i problemi, richiederebbe molto spazio. Se ti fa piacere sono disponibilissimo a farlo. Ti chiederei però di avviare un altro thread, perché in questo risulterebbe offtopic. Sappi che non sarò breve, perché fra premesse esplicite e assunzioni implicite, di problemi ne ho visti moltissimi sin dalle prime righe. In alternativa, ti propongo queste letture su cui riflettere e su cui se vuoi possiamo discutere: https://medium.com/@giacomo_59737/the-delusions-of-neural-networks-f7085d47e... http://shamar.github.io/documents/2018_Milano_The-Delusions-of-Neural-Networ... https://medium.com/@giacomo_59737/yet-another-definition-of-intelligence-9bb... Giacomo
Il punto è stabilire "è quell'artefatto a causare la morte ?" Molti farmaci hanno tra gli effetti collaterali possibili la premorienza. Sul resto non rispondo perché traspare che la tua conoscenza dei provvedimenti legislativi e giuridici è inferiore alla mia conoscenza delle reti neutrali (e forse leggi anche con poca attenzione). Buon weekend, s. In data 23 marzo 2018 11:25:43 PM Giacomo Tesio <giacomo@tesio.it> ha scritto: Il giorno 23 marzo 2018 17:55, Stefano Quintarelli <stefano@quintarelli.it> ha scritto: On 23/03/2018 11:01, Giacomo Tesio wrote: A fronte di tale assenza, bisogna stabilire *a priori* chi risponde penalmente delle morti causate dagli inevitabili (per quanto rari) incidenti. questo e' un punto chiave. il passare da ex post ad ex ante implica una definizione di categorie, difficili da immaginare esaustivamente, ed un processo di categorizzazione per ciascuna di esse, che e' difficile non abbia margini di incertezza. Ma... lo sai o lo pensi? :-D Comunque no, se spazzi via tutto il fumo negli occhi e la propaganda la questione diventa estremamente semplice. Qualcuno realizza un artefatto. Quell'artefatto causa una morte. Quel qualcuno risponde di omicidio colposo. Tutto qui. Per "a priori" io intendevo semplicemente che deve essere chiaro che funziona così, prima di immettere nell'ambiente queste applicazioni robotiche. Ci deve essere sempre almeno una persona responsabile penalmente in caso di errori fatali di queste applicazioni. E se l'artefatto in questione è un software, possiamo ragionevolmente assumere la colpevolezza di chi ne ha assunto la responsabilità, perché i software senza bug non sono rari, sono fantasia. i benefici attesi sono per l'insieme, per il totale delle flotte, le valutazioni di correttezza sono su singoli veicoli/situazioni. difficile uscirne. "muoiono meno persone in totale" - "ok, ma questa" ? lo schema descritto nella proposta di legge (che e' una base di discussione) che abbiamo preparato con weinberger ha proprio questo tweak: dice "alcuni singoli casi possono essere non decidibili; valutiamo allora l'insieme complessivo rispetto ai dati di targa". in tale modo, in buona misura, si riporta una valutazione anche nel campo ex post. Senza offesa, leggendo la proposta mi pare evidente che Weinberger ti ha proprio messo nel sacco, approfittando della tua scarsa preparazione in materia. Cosa che purtroppo accade troppo spesso. E che trovo veramente disgustosa e disonesta, ma purtroppo viene considerata normale da certi "imprenditori". Sappi che sfruttare l'ignoranza altrui a proprio vantaggio è l'azione più terribile che una persona possa compiere secondo l'etica hacker. Molte delle premesse esplicite alla tua proposta di legge, sono semplicemente false. Inoltre alcuni ragionamenti sono basati su assunzioni implicite di cui forse non eri consapevole mentre la scrivevi, ma che se esplicitati appaiono non solo false ma ridicole. Se io ti dicessi che voglio immettere sul mercato una nuova sostanza chimica, chiamiamola NZT, che rende più intelligenti la maggioranza delle persone ma ne uccide altre. E se ti dicessi che non so esattamente come funziona, e non posso dire esattamente chi ucciderà. E se ti dicessi che non posso escludere che non uccida proprio tutte le persone che si chiamano Stefano. E se ti dicessi che non sono nemmeno capace di ricrearla sempre uguale, che la sua composizione è "probabilistica"... Tu mi risponderesti: MA SEI SCEMO? Sai perché non me lo dici se ti propongo un software che promette di fare esattamente la stessa cosa? Semplicemente perché la chimica ha almeno 3 secoli, l'informatica no. Per questo ho apprezzato moltissimo la tua proposta di un ministero dell'innovazione tecnologica: perché i politici hanno davvero bisogno di qualcuno che gli dica con franchezza "No guarda, stai dicendo cazzate". Il problema STRAORDINARIAMENTE COMPLESSO è selezionare tecnici indipendenti dalle multinazionali, onesti e competenti. Evidentemente David Weinberger non è adatto a ricoprire tale incarico. E francamente sei stato piuttosto ingenuo a farti intortare. Oggi parlavo con un amico statunitense del link che Alberto Camozzo ha condiviso sulla storia del jaywalking e lui mi ha proposto questo video https://www.youtube.com/watch?v=vxopfjXkArM La parola chiave è "propaganda", ma la chiusura è profetica: "the streets belong to the machines now". Ti cito le sue parole: Most people’s beliefs have been permanently shaped by that propaganda. Questo è esattamente quello che sta succedendo ora. E quello che è successo a te. Analizzare nel dettaglio la tua proposta di legge, per evidenziarne uno per uno i problemi, richiederebbe molto spazio. Se ti fa piacere sono disponibilissimo a farlo. Ti chiederei però di avviare un altro thread, perché in questo risulterebbe offtopic. Sappi che non sarò breve, perché fra premesse esplicite e assunzioni implicite, di problemi ne ho visti moltissimi sin dalle prime righe. In alternativa, ti propongo queste letture su cui riflettere e su cui se vuoi possiamo discutere: https://medium.com/@giacomo_59737/the-delusions-of-neural-networks-f7085d47e... http://shamar.github.io/documents/2018_Milano_The-Delusions-of-Neural-Networ... https://medium.com/@giacomo_59737/yet-another-definition-of-intelligence-9bb... Giacomo
Io sono felicissimo di imparare. ;-) Per me sarebbe uno scambio vantaggioso anche se emergesse che ne capisco di diritto o persino di informatica meno di quanto penso. Il primo strumento del mio mestiere è l'onestà intellettuale. Io devo essere in grado di dire a un collega, ad un politico o persino ad un computer "scusa, hai ragione tu, non avevo capito nulla". Dunque se per te vale lo stesso, non avere remore a smontarmi, come non ne avrei io e non ne avrebbe nessun altro hacker nei tuoi confronti. Proprio perché se i tuoi limiti culturali mi sono chiari quanto sono chiari a te i miei, altrettanto mi è chiara la tua intelligenza e la tua buona fede (e spero sia chiara a te la mia). Solo, come faccio io, mostra di sapere di cosa parli evitando paroloni e supercazzole. *Se una cosa la capisci la sai spiegare.* Questo vale per la funzione approssimata da una specifica rete neurale quanto per un sistema giuridico. Quanto al farmaco che includa "la premorienza" fra glo effetti collaterali, mi sembra un paragone azzeccato: non a caso la responsabilità penale di una prescrizione o di una vendita o di un assunzione letale ricade sempre su un essere umano: il medico, il farmacista o il morto (se per esempio ha rubato il farmaco). E se ci pensi, non potrebbe essere altrimenti in uno stato di diritto. Ma stabilire che un auto a guida autonoma (l'artefatto) che schiacci un passante è stata la causa della sua morte, è facile quanto stabilire che la tegola caduta da un tetto (l'artefatto autonomo) sulla testa di un passante è stata causa della sua morte. In entrambi i casi il punto è solo stabilire *chi* ne risponde. E nel caso di un sistema robotico autonomo in buone condizioni di manutenzione direi che è persino più facile che nel caso della tegola. Tuttavia come vedi questo è un discorso più generale rispetto all'incidente causato dalla incoscienza e incompetenza dei decisori in Uber. Dunque se ne vuoi parlare, ti chiederei di farlo in un thread dedicato. Giacomo Il 24/Mar/2018 07:42, "Stefano Quintarelli" <Stefano@quintarelli.it> ha scritto: Il punto è stabilire "è quell'artefatto a causare la morte ?" Molti farmaci hanno tra gli effetti collaterali possibili la premorienza. Sul resto non rispondo perché traspare che la tua conoscenza dei provvedimenti legislativi e giuridici è inferiore alla mia conoscenza delle reti neutrali (e forse leggi anche con poca attenzione). Buon weekend, s. In data 23 marzo 2018 11:25:43 PM Giacomo Tesio <giacomo@tesio.it> ha scritto:
Il giorno 23 marzo 2018 17:55, Stefano Quintarelli <stefano@quintarelli.it
ha scritto:
On 23/03/2018 11:01, Giacomo Tesio wrote:
A fronte di tale assenza, bisogna stabilire *a priori* chi risponde penalmente delle morti causate dagli inevitabili (per quanto rari) incidenti.
questo e' un punto chiave. il passare da ex post ad ex ante implica una definizione di categorie, difficili da immaginare esaustivamente, ed un processo di categorizzazione per ciascuna di esse, che e' difficile non abbia margini di incertezza.
Ma... lo sai o lo pensi? :-D
Comunque no, se spazzi via tutto il fumo negli occhi e la propaganda la questione diventa estremamente semplice.
Qualcuno realizza un artefatto. Quell'artefatto causa una morte. Quel qualcuno risponde di omicidio colposo.
Tutto qui.
Per "a priori" io intendevo semplicemente che deve essere chiaro che funziona così, *prima* di immettere nell'ambiente queste applicazioni robotiche. Ci deve essere sempre almeno una persona responsabile penalmente in caso di errori fatali di queste applicazioni.
E se l'artefatto in questione è un software, possiamo ragionevolmente assumere la colpevolezza di chi ne ha assunto la responsabilità, perché i software senza bug non sono rari, sono fantasia.
i benefici attesi sono per l'insieme, per il totale delle flotte, le valutazioni di correttezza sono su singoli veicoli/situazioni. difficile uscirne. "muoiono meno persone in totale" - "ok, ma questa" ?
lo schema descritto nella proposta di legge (che e' una base di discussione) che abbiamo preparato con weinberger ha proprio questo tweak: dice "alcuni singoli casi possono essere non decidibili; valutiamo allora l'insieme complessivo rispetto ai dati di targa".
in tale modo, in buona misura, si riporta una valutazione anche nel campo ex post.
Senza offesa, leggendo la proposta mi pare evidente che *Weinberger ti ha proprio messo nel sacco*, approfittando della tua scarsa preparazione in materia.
Cosa che purtroppo accade troppo spesso. E che trovo veramente disgustosa e disonesta, ma purtroppo viene considerata normale da certi "imprenditori". Sappi che sfruttare l'ignoranza altrui a proprio vantaggio è l'azione più terribile che una persona possa compiere secondo l'etica hacker.
Molte delle premesse esplicite alla tua proposta di legge, sono semplicemente false. Inoltre alcuni ragionamenti sono basati su assunzioni implicite di cui forse non eri consapevole mentre la scrivevi, ma che se esplicitati appaiono non solo false ma ridicole.
Se io ti dicessi che voglio immettere sul mercato una nuova sostanza chimica, chiamiamola NZT, che rende più intelligenti la maggioranza delle persone ma ne uccide altre. E se ti dicessi che non so esattamente come funziona, e non posso dire esattamente chi ucciderà. E se ti dicessi che non posso escludere che non uccida proprio tutte le persone che si chiamano Stefano. E se ti dicessi che non sono nemmeno capace di ricrearla sempre uguale, che la sua composizione è "probabilistica"...
Tu mi risponderesti: MA SEI SCEMO?
Sai perché non me lo dici se ti propongo un software che promette di fare esattamente la stessa cosa?
Semplicemente perché la chimica ha almeno 3 secoli, l'informatica no.
Per questo ho apprezzato *moltissimo* la tua proposta di un ministero dell'innovazione tecnologica: perché i politici hanno davvero bisogno di qualcuno che gli dica con franchezza "No guarda, stai dicendo cazzate". Il problema STRAORDINARIAMENTE COMPLESSO è selezionare tecnici *indipendenti* dalle multinazionali, *onesti* e *competenti*.
Evidentemente David Weinberger non è adatto a ricoprire tale incarico. E francamente sei stato piuttosto ingenuo a farti intortare.
Oggi parlavo con un amico statunitense del link che Alberto Camozzo ha condiviso sulla storia del jaywalking e lui mi ha proposto questo video https://www.youtube.com/watch?v=vxopfjXkArM La parola chiave è "propaganda", ma la chiusura è profetica: "the streets belong to the machines now".
Ti cito le sue parole:
Most people’s beliefs have been permanently shaped by that propaganda.
Questo è esattamente quello che sta succedendo ora. E quello che è successo a te.
Analizzare nel dettaglio la tua proposta di legge, per evidenziarne uno per uno i problemi, richiederebbe molto spazio.
Se ti fa piacere sono disponibilissimo a farlo.
Ti chiederei però di avviare un altro thread, perché in questo risulterebbe offtopic.
Sappi che non sarò breve, perché fra premesse esplicite e assunzioni implicite, di problemi ne ho visti moltissimi sin dalle prime righe.
In alternativa, ti propongo queste letture su cui riflettere e su cui se vuoi possiamo discutere:
https://medium.com/@giacomo_59737/the-delusions-of-neural-networks-f7085d47e...
http://shamar.github.io/documents/2018_Milano_The-Delusions-of-Neural-Networ...
https://medium.com/@giacomo_59737/yet-another-definition-of-intelligence-9bb...
Giacomo
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
In tutto questo, ammesso e non concesso che veicoli autonomi andranno in giro in ambienti non circoscritti senza un operatore umano (chiamatelo come volete) c'è l'idea di un nesso causale tra autonomia della guida e rinuncia al possesso. E da qui a cascata esternalità sull'arredo urbano e sulla circolazione Questa assunzione di fondo ha già fatto deragliare utopie ben più significative, nel passato, oltre ad effetti di bordo che vengono trascurati. Io sono convinto che non esista tale nesso causale e che anzi le esternalità non sarebbero positive. Ciao, s. In data 23 marzo 2018 6:41:33 AM "M. Fioretti" <mfioretti@nexaima.net> ha scritto:
On 2018-03-22 22:39, armeo@mail.nexacenter.org wrote:
Il pilota utomatico può funzionare bene solo su una strada frequentata solo da altri veicoli automatici, e non da pedoni o macchine non automatiche.
esatto, grazie. Non è che c'è un problema strutturale di user interface se un passeggero al posto di guida non si percepisce come autista. C'è proprio,come ho già scritto, un problema "commerciale" e di logica di base, nel credere che auto fintamente autonome di quel genere debbano o comunque possano essere vendibili.
Io VOGLIO NON percepirmi più come autista. Se davvero devo perdere due ore di vita al giorno in spostamenti, voglio almeno farlo nel modo meno stancante, palloso ed economico possibile. Quindi, sì a trasporti pubblici prima di tutto, poi casomai ad auto DAVVERO AUTONOME NELLE CONDIZIONI GIÀ DETTE DAL PROF. MEO, senza posto di guida, e condivise. così mentre mi sposto posso leggere,dormire, lavorare.... senza patemi. No senza appello a spendere migliaia di euro in più di sensori, per poi dovergli comunque fare da babysitter, sprecando in spostamenti lo stesso tempo di oggi.
Tutto questo l'ho già descritto più in dettaglio in questo post su quale dovrebbe essere il VERO nome delle "auto a guida autonoma":
http://stop.zona-m.net/2017/10/the-real-name-and-value-of-self-driving-cars/
e non mi dispiacerebbe affatto lavorarci seriamente, su questo tema. Se avete proposte,sapete come trovarmi :-)
Marco
Il 22/03/2018 20:02, Giacomo Tesio ha scritto:
Ma secondo voi non c'è un problema strutturale di user interface e user experience se un passeggero al posto di guida non si percepisce come un autista?
Questo problema (piuttosto ovvio) è risolvibile? O è piuttosto in diretta contraddizione con il concetto stesso di auto a guida autonoma?
https://medium.com/@DonotInnovate/73-mind-blowing-implications-of-a-driverle...
[4]
Giacomo
Il Gio 22 Mar 2018 19:49 Roberto Dolci <rob.dolci@aizoon.us> ha scritto:
Perfettamente d'accordo Alberto. Peraltro il "contenuto" di un automobile continua ad aumentare a parita' di Prezzo (scontato per inflazione): quindi dalle cinture di sicurezza e poggiatesta in poi, non e' che il costo sia stato passato sulle spalle dei consumatori, ma assorbito dallo sviluppo tecnologico.
-----Original Message----- From: Alberto Cammozzo <ac+nexa@zeromx.net> Sent: Thursday, March 22, 2018 2:45 PM To: Roberto Dolci <rob.dolci@aizoon.us>; nexa@server-nexa.polito.it Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di Uber
Grazie Roberto, metti giustamente in evidenza che la dotazione del veicolo influisce sulla sua intelligenza in relazione all'ambiente e su quanto vi si adatta.
Quello che voglio mettere in evidenza io è che mentre non si può pretendere che un umano veda di notte, si deve pretendere che una vettura autonoma lo faccia, visto che può tecnicamente farlo con la dotazione adatta. Altrimenti non dovrà avere licenza di circolare di notte.
Essendo in gioco non solo la sicurezza del conducente (è relativamente affar suo) ma soprattutto quella pubblica (che è affare del decisore pubblico), a me pare che la "dotazione adatta" non possa essere decisa dal costo dei sensori e dal budget di chi acquista l'auto, ma debba essere oggetto di regolazione. Credo che chi vuole circolare autonomamente di notte (o a los Angeles, o sulla neve,...) deve avere la dotazione che (ragionevolmente) offre la massima reazione possibile tecnicamente in relazione all'ambiente, non solo quella che offrirebbe un guidatore umano (medio). In caso contrario privilegiamo un profitto privato a discapito dell'incolumità pubblica. [Il che comunque non sarebbe una novità... Basta saperlo.]
Alberto
On 22/03/2018 19:23, Roberto Dolci wrote:
Tutte le auto ora in test (Volvo, Google, GM, Mercedes) hanno IR installato, e non solo. Occorre tenere presente pero' che una Mercedes ha $2800 (al costo) di sensori in piu' della Volvo XC90: la prima guida agevolmente a LosAngeles, la seconda no perche' non ci son line di mezzeria.
https://techcrunch.com/2018/03/19/heres-how-ubers-self-driving-cars-ar
[1]
e-supposed-to-detect-pedestrians/
https://www.wired.com/2017/01/volvos-cars-now-spot-moose-hit-brakes/
[2]
-----Original Message----- From: nexa <nexa-bounces@server-nexa.polito.it> On Behalf Of
Alberto
Cammozzo Sent: Thursday, March 22, 2018 1:28 PM To: nexa@server-nexa.polito.it Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di Uber
Certo che si può pretendere che la macchina superi l'uomo se le si affida un veicolo sulla pubblica via. Anzi lo si deve richiedere.
La telecamera evidentemente opera nello spettro visibile, cioè replica i limiti della visione umana. Una telecamera a infrarossi, per non dire un radar, avrebbe certamente evitato l'incidente e salvato la vita dell'assai incauto pedone.
Un veicolo automatico dotato di visione I/R oltre che ottica avrebbe potuto superare la capacità di reazione del guidatore umano. Non lo ha fatto perché è stato progettato per non farlo, o meglio non è stato progettato per farlo, pur essendo tale progetto possibile e non a un costo proibitivo. Quel veicolo, abilitato alla guida autonoma notturna, si limita a replicare i limiti della visione notturna umana pur potendo essere disegnato per rendere tale guida più sicura.
Non dotare il veicolo anche di una videocamera IR è certamente una scelta di progetto, che definirei "insecure by design", almeno nella guida notturna.
Per questo motivo non escludo la responsabilità, certamente morale e per omissione, del progettista o del committente.
Alberto
On 22/03/2018 13:12, Roberto Dolci wrote:
Il filmato e' visionabile da due punti di vista: telecamera su strada e su guidatore (che mostra come questi stia guardando in basso su smartphone o tablet). E' chiaro che la vittima e' vestita di scuro/nero, attraversa una strada ad alta percorrenza ben fuori da strisce pedonali o semafori. Non si puo' pretendere che un algoritmo superi Darwin.
-----Original Message----- From: nexa <nexa-bounces@server-nexa.polito.it> On Behalf Of Mariella Berra Sent: Thursday, March 22, 2018 8:09 AM To: nexa@server-nexa.polito.it Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di Uber
Cari tutti mi sembrerebbe un messaggio di responsabilità politica sociale e etica
Mariella b
Il 22/03/2018 11:36, armeo@mail.nexacenter.org ha scritto: > estremizzo la posizione di Giacomo: nell'attesa di un ulteriore > progresso che renda i veicoli automatici più sicuri di quelli a > guida umana (che potrebbe arrivare in un paio di anni) vietiamo > l'impiego di veicoli automatici. > > Raf > > > Il 22/03/2018 10:50, Giacomo Tesio ha scritto: > > Il 22 marzo 2018 10:05, Diego Giorio <dgiorio@hotmail.com> ha scritto: >> > Non so se quel che si legge è vero, perchè in questi giorni si è >> > sentito di tutto, ma sembra che in realtà l'autista umano sia >> > stato avvisato dai sensori, e nemmeno lui abbia potuto agire in tempo. > > A quanto avevo letto, l'auto non ha frenato. > > A quanto vedo, l'auto non ha nemmeno deviato nonostante la corsia > > opposta fosse perfettamente libera. > > > > Definire il passeggero "autista" e' MOLTO DISCUTIBILE in questo > > caso, ma anche fosse, un auto a guida autonoma non dovrebbe > > affidarsi ai riflessi di un essere umano, non credi? > > >> > D'altra parte se uno si >> > butta sotto un mezzo in movimento non c'è tecnologia che tenga: >> > una frenata non può avvenire in tempo zero. > > Il pedone aveva attraversato l'intera corsia opposta, c'era tempo > > di > > - suonare il clacson > > - effettuare segnalazioni luminose > > - rallentare > > - deviare > > > > Ricordiamoci che non stiamo parlando di un cervello umano, ma di > > processori: non mi sono mai interessato di questo tipo di > > simulazioni, sono abbastanza confidente che calcolare una > > traiettoria per evitare il pedone data la sua velocità e direzione > > sarebbe stato piuttosto rapido. > > > > Se poi hanno messo un simulatore scritto in JavaScript a guidare la > > macchina, allora bisogna arrestare ANCHE gli ingegneri! > > >> > Peraltro, se fosse accertata la responsabilità del pedone, il >> > problema penale non si porrebbe. > > Obbiezione interessante. Probabilmente hai ragione: bisogna > > aggiornare l'ordinamento. > > > > Se disponiamo di una tecnologia che può evitare una morte in caso > > di errore umano, non possiamo dire che il suo fallimento non > > costituisce reato solo perché l'errore umano più evidente è della vittima. > > > > L'errore umano principale infatti sta nella progettazione del veicolo. > > > > In particolare nella interfaccia utente destinata al passeggero, > > che appunto, ha smesso di sentirsi autista dell'auto (come evidente > > dalla parte finale del filmato). > > La stessa definizione di "auto a guida autonoma", o "self driving car" > > (o forse persino "intelligenza artificiale") ha causato questo > > enorme (e facilmente evitabile) errore di progettazione. > > >> > Però è evidente che deve nascere una forma nuova di diritto (non >> > ho ancora finito di leggere "the law of robots" del prof. >> > Pollicino). E spero che includa un principio di innocenza fino a >> > prova contraria anche per gli automi! > > Questo temo sia impossibile. > > Non sono MAI gli automi ad essere innocenti o colpevoli: la > > responsabilità va sempre ricondotta alle persone che li hanno messi > > in circolazione. > > > > I principio di innocenza fino a prova contraria, non si applica > > alle cose. > > > > > > Vi e poi un problema pratico: come dimostrare che la macchina ha > > sbagliato (in uno qualsiasi dei suoi componenti) e dunque che la > > responsabilità penale sussiste? > > > > Chi paga il lavoro degli esperti necessari ad analizzare ogni > > singolo componente e ogni riga di codice per verificare l'assenza di errori? > > Infatti, in via precauzionale, dovremmo interrompere la produzione > > ma al contempo non potremmo mettere Uber a verificare il proprio > > prodotto ne persone pagate da Uber. > > > > Avremmo bisogno di esperti indipendenti da queste multinazionali > > per valutare il loro lavoro (e ci potrebbero volere anni). > > > > Nella remota ipotesi che non trovassero errori nel sistema, chi > > facciamo pagare? la famiglia della vittima? lo stato? > > > > > > In realtà comunque gli errori ci sono di sicuro, quanto meno a > > livello software. > > > > Perché chiunque sviluppa software sa che l'errore non è una > > condizione occasionale che capita a persone che per il resto non sbagliano. > > L'errore è condizione normale della operatività umana. E questa è > > particolarmente evidente nel software, per la natura stessa > > dell'artefatto e per la scarsa evoluzione dell'informatica. > > > > > > Dunque, per gli automi, dovremo adottare un principio di > > colpevolezza dei costruttori fino a prova contraria. > > > > > > > > Giacomo > > _______________________________________________ > > nexa mailing list > > nexa@server-nexa.polito.it > > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa [3] > _______________________________________________ > nexa mailing list > nexa@server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa [3] -- Prof.ssa Mariella Berra Dipartimento di Culture, Politica e Società Università di Torino tel.+390116702606
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa [3] _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa [3]
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa [3]
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa [3]
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa [3]
Links: ------ [1] https://techcrunch.com/2018/03/19/heres-how-ubers-self-driving-cars-ar [2] https://www.wired.com/2017/01/volvos-cars-now-spot-moose-hit-brakes/ [3] https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa [4]
https://medium.com/@DonotInnovate/73-mind-blowing-implications-of-a-driverle...
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
-- http://mfioretti.com _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
On 2018-03-23 07:43, Stefano Quintarelli wrote:
In tutto questo, ammesso e non concesso che veicoli autonomi andranno in giro in ambienti non circoscritti senza un operatore umano (chiamatelo come volete) c'è l'idea di un nesso causale tra autonomia della guida e rinuncia al possesso. E da qui a cascata esternalità sull'arredo urbano e sulla circolazione
nel mio caso, e questo almeno in parte credo di averlo spiegato nel mio post, è esattamente il contrario. Questo non esclude affatto che le mie interpretazioni e proposte siano completamente sbagliate, lo so. Però è comunque il contrario. Io penso, nell'ordine che: - città e sistemi di trasporto vanno pesantemente ristrutturati A PRESCINDERE, per fattori esterni non più ignorabili nè rimandabili, citando a caso solo alcuni dei maggiori: inquinamento, congestione, sovrappopolazione, invecchiamento popolazione, trasformazione attività produttive e via dicendo - con quelle premesse, una delle azioni inevitabili è, usando le tue parole, la "rinuncia al possesso" dell'auto di proprietà INDIVIDUALE, di QUALUNQUE tipo e propulsione. Che fra parentesi sta già avvenendo comunque fra i giovani, sia perché non hanno soldi, sia perché in molti considerano poter smanettare senza pensieri sullo smartphone mentre si spostano molto più appagante che guidare. - Ma allora la mobilità deve per forza basarsi su mezzi di trasporto condivisi. E almeno in ambito urbano, che una parte di quei mezzi condivisi siano auto senza guidatore in ambiti CIRCOSCRITTI mi pare una soluzione molto più interessante E praticabile di tante altre, per i motivi descritti nel mio post. Marco
Questa assunzione di fondo ha già fatto deragliare utopie ben più significative, nel passato, oltre ad effetti di bordo che vengono trascurati.
Io sono convinto che non esista tale nesso causale e che anzi le esternalità non sarebbero positive.
Ciao, s.
In data 23 marzo 2018 6:41:33 AM "M. Fioretti" <mfioretti@nexaima.net> ha scritto:
On 2018-03-22 22:39, armeo@mail.nexacenter.org wrote:
Il pilota utomatico può funzionare bene solo su una strada frequentata solo da altri veicoli automatici, e non da pedoni o macchine non automatiche.
esatto, grazie. Non è che c'è un problema strutturale di user interface se un passeggero al posto di guida non si percepisce come autista. C'è proprio,come ho già scritto, un problema "commerciale" e di logica di base, nel credere che auto fintamente autonome di quel genere debbano o comunque possano essere vendibili.
Io VOGLIO NON percepirmi più come autista. Se davvero devo perdere due ore di vita al giorno in spostamenti, voglio almeno farlo nel modo meno stancante, palloso ed economico possibile. Quindi, sì a trasporti pubblici prima di tutto, poi casomai ad auto DAVVERO AUTONOME NELLE CONDIZIONI GIÀ DETTE DAL PROF. MEO, senza posto di guida, e condivise. così mentre mi sposto posso leggere,dormire, lavorare.... senza patemi. No senza appello a spendere migliaia di euro in più di sensori, per poi dovergli comunque fare da babysitter, sprecando in spostamenti lo stesso tempo di oggi.
Tutto questo l'ho già descritto più in dettaglio in questo post su quale dovrebbe essere il VERO nome delle "auto a guida autonoma":
http://stop.zona-m.net/2017/10/the-real-name-and-value-of-self-driving-cars/
e non mi dispiacerebbe affatto lavorarci seriamente, su questo tema. Se avete proposte,sapete come trovarmi :-)
Marco
Il 22/03/2018 20:02, Giacomo Tesio ha scritto:
Ma secondo voi non c'è un problema strutturale di user interface e user experience se un passeggero al posto di guida non si percepisce come un autista?
Questo problema (piuttosto ovvio) è risolvibile? O è piuttosto in diretta contraddizione con il concetto stesso di auto a guida autonoma?
https://medium.com/@DonotInnovate/73-mind-blowing-implications-of-a-driverle...
[4]
Giacomo
Il Gio 22 Mar 2018 19:49 Roberto Dolci <rob.dolci@aizoon.us> ha scritto:
Perfettamente d'accordo Alberto. Peraltro il "contenuto" di un automobile continua ad aumentare a parita' di Prezzo (scontato per inflazione): quindi dalle cinture di sicurezza e poggiatesta in poi, non e' che il costo sia stato passato sulle spalle dei consumatori, ma assorbito dallo sviluppo tecnologico.
-----Original Message----- From: Alberto Cammozzo <ac+nexa@zeromx.net> Sent: Thursday, March 22, 2018 2:45 PM To: Roberto Dolci <rob.dolci@aizoon.us>; nexa@server-nexa.polito.it Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di Uber
Grazie Roberto, metti giustamente in evidenza che la dotazione del veicolo influisce sulla sua intelligenza in relazione all'ambiente e su quanto vi si adatta.
Quello che voglio mettere in evidenza io è che mentre non si può pretendere che un umano veda di notte, si deve pretendere che una vettura autonoma lo faccia, visto che può tecnicamente farlo con la dotazione adatta. Altrimenti non dovrà avere licenza di circolare di notte.
Essendo in gioco non solo la sicurezza del conducente (è relativamente affar suo) ma soprattutto quella pubblica (che è affare del decisore pubblico), a me pare che la "dotazione adatta" non possa essere decisa dal costo dei sensori e dal budget di chi acquista l'auto, ma debba essere oggetto di regolazione. Credo che chi vuole circolare autonomamente di notte (o a los Angeles, o sulla neve,...) deve avere la dotazione che (ragionevolmente) offre la massima reazione possibile tecnicamente in relazione all'ambiente, non solo quella che offrirebbe un guidatore umano (medio). In caso contrario privilegiamo un profitto privato a discapito dell'incolumità pubblica. [Il che comunque non sarebbe una novità... Basta saperlo.]
Alberto
On 22/03/2018 19:23, Roberto Dolci wrote:
Tutte le auto ora in test (Volvo, Google, GM, Mercedes) hanno IR installato, e non solo. Occorre tenere presente pero' che una Mercedes ha $2800 (al costo) di sensori in piu' della Volvo XC90: la prima guida agevolmente a LosAngeles, la seconda no perche' non ci son line di mezzeria.
https://techcrunch.com/2018/03/19/heres-how-ubers-self-driving-cars-ar
[1]
e-supposed-to-detect-pedestrians/
https://www.wired.com/2017/01/volvos-cars-now-spot-moose-hit-brakes/
[2]
-----Original Message----- From: nexa <nexa-bounces@server-nexa.polito.it> On Behalf Of
Alberto
Cammozzo Sent: Thursday, March 22, 2018 1:28 PM To: nexa@server-nexa.polito.it Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di Uber
Certo che si può pretendere che la macchina superi l'uomo se le si affida un veicolo sulla pubblica via. Anzi lo si deve richiedere.
La telecamera evidentemente opera nello spettro visibile, cioè replica i limiti della visione umana. Una telecamera a infrarossi, per non dire un radar, avrebbe certamente evitato l'incidente e salvato la vita dell'assai incauto pedone.
Un veicolo automatico dotato di visione I/R oltre che ottica avrebbe potuto superare la capacità di reazione del guidatore umano. Non lo ha fatto perché è stato progettato per non farlo, o meglio non è stato progettato per farlo, pur essendo tale progetto possibile e non a un costo proibitivo. Quel veicolo, abilitato alla guida autonoma notturna, si limita a replicare i limiti della visione notturna umana pur potendo essere disegnato per rendere tale guida più sicura.
Non dotare il veicolo anche di una videocamera IR è certamente una scelta di progetto, che definirei "insecure by design", almeno nella guida notturna.
Per questo motivo non escludo la responsabilità, certamente morale e per omissione, del progettista o del committente.
Alberto
On 22/03/2018 13:12, Roberto Dolci wrote: > Il filmato e' visionabile da due punti di vista: telecamera su strada e su guidatore (che mostra come questi stia guardando in basso su smartphone o tablet). E' chiaro che la vittima e' vestita di scuro/nero, attraversa una strada ad alta percorrenza ben fuori da strisce pedonali o semafori. Non si puo' pretendere che un algoritmo superi Darwin. > > -----Original Message----- > From: nexa <nexa-bounces@server-nexa.polito.it> On Behalf Of Mariella > Berra > Sent: Thursday, March 22, 2018 8:09 AM > To: nexa@server-nexa.polito.it > Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di > Uber > > Cari tutti mi sembrerebbe un messaggio di responsabilità politica > sociale e etica > > Mariella b > > > Il 22/03/2018 11:36, armeo@mail.nexacenter.org ha scritto: > > estremizzo la posizione di Giacomo: nell'attesa di un ulteriore > > progresso che renda i veicoli automatici più sicuri di quelli a > > guida umana (che potrebbe arrivare in un paio di anni) vietiamo > > l'impiego di veicoli automatici. > > > > Raf > > > > > > Il 22/03/2018 10:50, Giacomo Tesio ha scritto: >> > Il 22 marzo 2018 10:05, Diego Giorio <dgiorio@hotmail.com> ha scritto: >>> > Non so se quel che si legge è vero, perchè in questi giorni si è >>> > sentito di tutto, ma sembra che in realtà l'autista umano sia >>> > stato avvisato dai sensori, e nemmeno lui abbia potuto agire in tempo. >> > A quanto avevo letto, l'auto non ha frenato. >> > A quanto vedo, l'auto non ha nemmeno deviato nonostante la corsia >> > opposta fosse perfettamente libera. >> > >> > Definire il passeggero "autista" e' MOLTO DISCUTIBILE in questo >> > caso, ma anche fosse, un auto a guida autonoma non dovrebbe >> > affidarsi ai riflessi di un essere umano, non credi? >> > >>> > D'altra parte se uno si >>> > butta sotto un mezzo in movimento non c'è tecnologia che tenga: >>> > una frenata non può avvenire in tempo zero. >> > Il pedone aveva attraversato l'intera corsia opposta, c'era tempo >> > di >> > - suonare il clacson >> > - effettuare segnalazioni luminose >> > - rallentare >> > - deviare >> > >> > Ricordiamoci che non stiamo parlando di un cervello umano, ma di >> > processori: non mi sono mai interessato di questo tipo di >> > simulazioni, sono abbastanza confidente che calcolare una >> > traiettoria per evitare il pedone data la sua velocità e direzione >> > sarebbe stato piuttosto rapido. >> > >> > Se poi hanno messo un simulatore scritto in JavaScript a guidare la >> > macchina, allora bisogna arrestare ANCHE gli ingegneri! >> > >>> > Peraltro, se fosse accertata la responsabilità del pedone, il >>> > problema penale non si porrebbe. >> > Obbiezione interessante. Probabilmente hai ragione: bisogna >> > aggiornare l'ordinamento. >> > >> > Se disponiamo di una tecnologia che può evitare una morte in caso >> > di errore umano, non possiamo dire che il suo fallimento non >> > costituisce reato solo perché l'errore umano più evidente è della vittima. >> > >> > L'errore umano principale infatti sta nella progettazione del veicolo. >> > >> > In particolare nella interfaccia utente destinata al passeggero, >> > che appunto, ha smesso di sentirsi autista dell'auto (come evidente >> > dalla parte finale del filmato). >> > La stessa definizione di "auto a guida autonoma", o "self driving car" >> > (o forse persino "intelligenza artificiale") ha causato questo >> > enorme (e facilmente evitabile) errore di progettazione. >> > >>> > Però è evidente che deve nascere una forma nuova di diritto (non >>> > ho ancora finito di leggere "the law of robots" del prof. >>> > Pollicino). E spero che includa un principio di innocenza fino a >>> > prova contraria anche per gli automi! >> > Questo temo sia impossibile. >> > Non sono MAI gli automi ad essere innocenti o colpevoli: la >> > responsabilità va sempre ricondotta alle persone che li hanno messi >> > in circolazione. >> > >> > I principio di innocenza fino a prova contraria, non si applica >> > alle cose. >> > >> > >> > Vi e poi un problema pratico: come dimostrare che la macchina ha >> > sbagliato (in uno qualsiasi dei suoi componenti) e dunque che la >> > responsabilità penale sussiste? >> > >> > Chi paga il lavoro degli esperti necessari ad analizzare ogni >> > singolo componente e ogni riga di codice per verificare l'assenza di errori? >> > Infatti, in via precauzionale, dovremmo interrompere la produzione >> > ma al contempo non potremmo mettere Uber a verificare il proprio >> > prodotto ne persone pagate da Uber. >> > >> > Avremmo bisogno di esperti indipendenti da queste multinazionali >> > per valutare il loro lavoro (e ci potrebbero volere anni). >> > >> > Nella remota ipotesi che non trovassero errori nel sistema, chi >> > facciamo pagare? la famiglia della vittima? lo stato? >> > >> > >> > In realtà comunque gli errori ci sono di sicuro, quanto meno a >> > livello software. >> > >> > Perché chiunque sviluppa software sa che l'errore non è una >> > condizione occasionale che capita a persone che per il resto non sbagliano. >> > L'errore è condizione normale della operatività umana. E questa è >> > particolarmente evidente nel software, per la natura stessa >> > dell'artefatto e per la scarsa evoluzione dell'informatica. >> > >> > >> > Dunque, per gli automi, dovremo adottare un principio di >> > colpevolezza dei costruttori fino a prova contraria. >> > >> > >> > >> > Giacomo >> > _______________________________________________ >> > nexa mailing list >> > nexa@server-nexa.polito.it >> > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa [3] > > _______________________________________________ > > nexa mailing list > > nexa@server-nexa.polito.it > > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa [3] > -- > Prof.ssa Mariella Berra > Dipartimento di Culture, Politica e Società Università di Torino > tel.+390116702606 > > _______________________________________________ > nexa mailing list > nexa@server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa [3] > _______________________________________________ > nexa mailing list > nexa@server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa [3]
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa [3]
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa [3]
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa [3]
Links: ------ [1] https://techcrunch.com/2018/03/19/heres-how-ubers-self-driving-cars-ar [2] https://www.wired.com/2017/01/volvos-cars-now-spot-moose-hit-brakes/ [3] https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa [4] https://medium.com/@DonotInnovate/73-mind-blowing-implications-of-a-driverle...
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
-- http://mfioretti.com _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
In data 23 marzo 2018 8:05:02 AM "M. Fioretti" <mfioretti@nexaima.net> ha scritto: con quelle premesse, una delle azioni inevitabili è, usando le tue parole, la "rinuncia al possesso" dell'auto di proprietà INDIVIDUALE, di QUALUNQUE tipo e propulsione. Che fra parentesi sta già avvenendo comunque fra i giovani, sia perché non hanno soldi, sia perché in molti considerano poter smanettare senza pensieri sullo smartphone mentre si spostano molto più appagante che guidare Chi mi conosce sa che una delle mie espressioni preferite è "lo pensi o lo sai?". Lo pensi perché frutto ragionamento o lo sai perché basato su dati misurati? Anche io lo pensavo finché non ho saputo da Lorenzo Sistino, che sta facendo la startup molto interessante miacar.it, già amministratore delegato di Fiat auto (10 anni con Marchionne..) che l'età media all'acquisto della prima auto nuova è stabile a 50 anni. Con questo non dico che determinati fenomeni non esistano, ma che ci sono tanti, tanti fattori per dire che, nel mercato complessivo, il non possesso (diverso dalla non proprietà) rimarrà marginale per molti decenni a venire. Ciao, s.
On 2018-03-23 08:30, Stefano Quintarelli wrote:
In data 23 marzo 2018 8:05:02 AM "M. Fioretti" <mfioretti@nexaima.net> ha scritto: con quelle premesse, una delle azioni inevitabili è, usando le tue parole, la "rinuncia al possesso" dell'auto di proprietà INDIVIDUALE, di QUALUNQUE tipo e propulsione. Che fra parentesi sta già avvenendo comunque fra i giovani, sia perché non hanno soldi, sia perché in molti considerano poter smanettare senza pensieri sullo smartphone mentre si spostano molto più appagante che guidare
Chi mi conosce sa che una delle mie espressioni preferite è "lo pensi o lo sai?". Lo pensi perché frutto ragionamento o lo sai perché basato su dati misurati?
tutte e due. é frutto di ragionamenti fatti giornalmente, per parecchi anni, a partire almeno dal 2000 quando stavo bloccato nel traffico del GRA perché costruivano la terza corsia... insieme a decine e decine di nuovi palazzi a fianco del GRA stesso, col risultato che oggi c'è più traffico di allora. Ma questo è uno fra tanti ragionamenti miei. Ma soprattutto, è anche la conclusione di decine di "misure" di terzi,in Italia e fuori,una parte delle quali ho raccolto qui: http://bookmarks.zona-m.net/tags.php/peak%20car Marco -- http://mfioretti.com
Interessante scambio, grazie! Vorrei aggiungere due spunti. Il primo, sulla questione interfaccia. Stiamo passando dall'umano "in the loop" (guida manuale) a quello "on the loop" (supervisore) mirando all'umano "off the loop" (veicolo 100% autonomo). La supervisione non semplifica la guida, ma al contrario la complica: l'uomo che controlla il veicolo "quasi-sempre-autonomo" dovrebbe non solo saper guidare ma anche saper gestire i guasti del sistema con una tempestività non umana. Ho trovato illuminante un articolo su questo "paradox of automation", basato sull'incidente aereo del volo Air France 447: <https://www.theguardian.com/technology/2016/oct/11/crash-how-computers-are-s...> Il secondo spunto, sul cambio di paradigma nella mobilità. Condivisibili e perfino auspicabili razionalmente le riflessioni sull'emergere di una nuova collettivizzazione del trasporto. Ma non illudiamoci che siano processi razionali a guidare eventuali svolte. Negli USA degli anni '20 l'industria automobilistica si è attivamente prodigata nel cambiare il senso comune a sfavore del pedone per non affrontare la responsabilità nei confronti delle vittime degli incidenti stradali, grazie all'introduzione del reato di /jaywalking/ o “attraversamento imprudente”, usando tra l'altro la retorica della libertà e della necessità dell'avanzamento tecnologico e del progresso. La strada non era ciò che è ora: da spazio comune (adatto per esempio al gioco dei bambini) è diventata sede del traffico automobilistico solo con un processo di appropriazione attivo e combattuto. Questo articolo ne parla:Norton, P. D. (2007) Street Rivals: Jaywalking and the Invention of the Motor Age Street, /Technology and Culture/48 (2) <http://muse.jhu.edu/article/215409> Divulgato qui:<https://www.vox.com/2015/1/15/7551873/jaywalking-history> Ciao, Alberto On 23/03/2018 08:38, M. Fioretti wrote:
On 2018-03-23 08:30, Stefano Quintarelli wrote:
In data 23 marzo 2018 8:05:02 AM "M. Fioretti" <mfioretti@nexaima.net> ha scritto: con quelle premesse, una delle azioni inevitabili è, usando le tue parole, la "rinuncia al possesso" dell'auto di proprietà INDIVIDUALE, di QUALUNQUE tipo e propulsione. Che fra parentesi sta già avvenendo comunque fra i giovani, sia perché non hanno soldi, sia perché in molti considerano poter smanettare senza pensieri sullo smartphone mentre si spostano molto più appagante che guidare
Chi mi conosce sa che una delle mie espressioni preferite è "lo pensi o lo sai?". Lo pensi perché frutto ragionamento o lo sai perché basato su dati misurati?
tutte e due. é frutto di ragionamenti fatti giornalmente, per parecchi anni, a partire almeno dal 2000 quando stavo bloccato nel traffico del GRA perché costruivano la terza corsia... insieme a decine e decine di nuovi palazzi a fianco del GRA stesso, col risultato che oggi c'è più traffico di allora. Ma questo è uno fra tanti ragionamenti miei.
Ma soprattutto, è anche la conclusione di decine di "misure" di terzi,in Italia e fuori,una parte delle quali ho raccolto qui:
http://bookmarks.zona-m.net/tags.php/peak%20car
Marco
Il giorno 23 marzo 2018 09:41, Alberto Cammozzo <ac+nexa@zeromx.net> ha scritto:
Il secondo spunto, sul cambio di paradigma nella mobilità. Condivisibili e perfino auspicabili razionalmente le riflessioni sull'emergere di una nuova collettivizzazione del trasporto.
Forse non tutti sanno che *a Torino* la mobilità *pubblica e privata* è già *controllata* da una *intelligenza artificiale*, da almeno una ventina di anni. Il progetto si chiama 5T: Tecnologie Telematiche per il Trasporto e il Traffico a Torino. http://www.5t.torino.it/ Cito a memoria, perché appunto 17 anni fa ho avuto il piacere di lavorare per loro, precisamente come coordinatore dei supervisori nella cosiddetta Sala Regia. La Sala Regia era quello che nella parlata della IA di moda oggi, sarebbe stato definito il "cervello" del sistema nervoso distribuito che coordina la mobilità torinese. Il lavoro di supervisione in realtà era una via di mezzo fra una attività sistemistica finalizzata a monitorare e mantenere attivo e funzionante il sistema, e una attività di segreteria volta a far comunicare le diverse aziende del consorzio in caso di anomalie e malfunzionamenti. In effetti, detto così è molto più fico di quanto non percepissi all'epoca. :-) Non credo ci fossero reti neurali implicate nel sistema, ma il sistema sarebbe stato definito "intelligente" da un osservatore nutrito per anni dal marketing della IA corrente. Moltissimi incroci semaforici di Torino sono controllati - localmente da un computer che riceve informazioni sulle code da spire sotto l'asfalto. - globalmente attraverso l'elaborazione effettuata nella sala regia che tiene conto - dei flussi di traffico misurati sull'intera rete - di quelli previsti su base delle statistiche clusterizzate per - ora - giorno della settimana - periodo dell'anno - festività - delle informazioni di inquinamento provenienti dalle centraline arpa - della posizione GPS degli autobus urbani I due sistemi (locale e globale) collaborano sulla base di pesi (che vengono a volte tarati manualmente). 15 anni fa, il sistema era bel lungi dalla perfezione (ma notate che il mio lavoro consisteva nel gestire le anomalie... quindi la mia percezione era necessariamente soggetta ad un bias negativo), ma era comunque molto molto fico sia come obbiettivi che come tecnologie utilizzate. Si può migliorare tale sistema? Sicuramente sì, e sicuramente è stato migliorato negli anni. Serve una IA moderna per migliorarlo? Non saprei... ma se fossero soldi miei (ah già... lo sono!) li spenderei PRIMA sul diffondere maggiormente sensori più efficienti ed economici e su diffondere nuovi attuatori che incrementino la sicurezza per le persone.
Ma non illudiamoci che siano processi razionali a guidare eventuali svolte.
Non mi illudo. Ma dobbiamo proprio rinunciare a guidarli?
Negli USA degli anni '20 l'industria automobilistica si è attivamente prodigata nel cambiare il senso comune a sfavore del pedone per non affrontare la responsabilità nei confronti delle vittime degli incidenti stradali, grazie all'introduzione del reato di /jaywalking/ o “attraversamento imprudente”, usando tra l'altro la retorica della libertà e della necessità dell'avanzamento tecnologico e del progresso. La strada non era ciò che è ora: da spazio comune (adatto per esempio al gioco dei bambini) è diventata sede del traffico automobilistico solo con un processo di appropriazione attivo e combattuto. Questo articolo ne parla:Norton, P. D. (2007) Street Rivals: Jaywalking and the Invention of the Motor Age Street, /Technology and Culture/48 (2) <http://muse.jhu.edu/article/215409> Divulgato qui:<https://www.vox.com/2015/1/15/7551873/jaywalking-history>
Interessantissimo, grazie! Si tratta evidentemente di una legge che esprime valori etici molto diversi da quelli espressi nel nostro ordinamento. O forse no? Giacomo
On 23/03/2018 10:36, Giacomo Tesio wrote: [...]
Ma non illudiamoci che siano processi razionali a guidare eventuali svolte.
Non mi illudo. Ma dobbiamo proprio rinunciare a guidarli?
Assolutamente no! Nei confronti delle innovazioni tecnologiche che nascono nel privato l'attore/decisore pubblico e la società civile scelgono se: A) subire le innovazioni tecnologiche *e* le conseguenze che hanno sul mercato B) subire le innovazioni tecnologiche *ma* regolare il mercato C) guidare e regolare l'innovazione e regolare il mercato Questa scelta è squisitamente *politica* e credo che le differenti posizioni post-ideologiche di politica economica si giocheranno quasi esclusivamente su queste linee. L'ideologia unica neoliberale e la mitologia della modernità inarrestabile invitano i soggetti egemoni a tenersi in C) e gli altri in A) Costi sociali e profitti privati ne derivano... Ho argomentato questo punto di vista in modo meno rozzo in un saggio pubblicato questo volume in onore dell'economista Federico Caffè: AAVV (2017), A cura di Paolo Ramazzotti, /Stato sociale, politica economica e democrazia. Riflessioni sullo spazio e il ruolo dell’intervento pubblico oggi/. Trieste: Asterios. <http://www.asterios.it/catalogo/stato-sociale-politica-economica-e-democrazi...> Posso inviare il pdf a chi interessa.
Negli USA degli anni '20 l'industria automobilistica si è attivamente prodigata nel cambiare il senso comune a sfavore del pedone per non affrontare la responsabilità nei confronti delle vittime degli incidenti stradali, grazie all'introduzione del reato di /jaywalking/ o “attraversamento imprudente”, usando tra l'altro la retorica della libertà e della necessità dell'avanzamento tecnologico e del progresso. La strada non era ciò che è ora: da spazio comune (adatto per esempio al gioco dei bambini) è diventata sede del traffico automobilistico solo con un processo di appropriazione attivo e combattuto. Questo articolo ne parla:Norton, P. D. (2007) Street Rivals: Jaywalking and the Invention of the Motor Age Street, /Technology and Culture/48 (2) <http://muse.jhu.edu/article/215409 <http://muse.jhu.edu/article/215409>> Divulgato qui:<https://www.vox.com/2015/1/15/7551873/jaywalking-history <https://www.vox.com/2015/1/15/7551873/jaywalking-history>>
Interessantissimo, grazie!
Si tratta evidentemente di una legge che esprime valori etici molto diversi da quelli espressi nel nostro ordinamento. O forse no?
Certamente, ma quanta parte della nostra Costituzione è "dead code", codice che non ha mai girato? Qualcuno vuol fare un profiling delle Costituzione in base alle sentenze della CC, come fosse una libreria di codice? Alberto
Il giorno 22 marzo 2018 22:39, armeo@mail.nexacenter.org <meo@polito.it> ha scritto:
scrissi un giorno lontano che l'intelligenza artificiale è quella scienza, terribilmente difficile, che è finalizzata a progettare un robot domestico. Penso che il robot domestico che faccia entrare il gatto di casa e cacci gli altri gatti non esisterà per molto tempo.
In effetti, quanto vale per le responsabilità penali in una self driving car deve valere anche per ogni altra applicazione robotica.
Calandomi nei panni del progettista del pilota automatico, mi domando come questo pilota automatico possa riconoscere il passante frettoloso che vuole attraversare a tutti i costi e quello che sta correndo per attraversare le altre corsie senza tagliare la strada al veicolo automatico.
Qui Chis Urmson (di Google se non erro) affronta esattamente questo problema: https://youtu.be/tiwVMrTLUWg?t=430 La sua conclusione la trovo stucchevole: perché una auto a guida *assistita *non potrebbe rallentare (che non vuol dire inchiodare) autonomamente decine di metri prima e segnalare al guidatore il potenziale attraversatore? Se l'intelligenza artificiale può rallentare per guardare meglio e capire la situazione perché mai non potrebbe farlo una intelligenza naturale?
Il pilota utomatico può funzionare bene solo su una strada frequentata solo da altri veicoli automatici, e non da pedoni o macchine non automatiche.
Beh, sì sono d'accordo. In una metropolitana suburbana avrebbe molto più senso. Ferma restando la responsabilità penale in caso di incidenti mortali.
In conclusione, per ora, vieterei i piloti automatici.
Questa è una conclusione logica. Ma cosa può la logica contro il potere del vile denaro? Qui https://youtu.be/tiwVMrTLUWg?t=413 trovi un ingegnere autorevolissimo che paragona il *delta fra la velocità fra un corridore e la luce* con gli 8 ordini di grandezza del* delta di precisione fra un uomo e una macchina*! E non scherza! Ne si odono crasse risate in sala! :-D E' la *primavera* amici! La primavera dell'intelligenza artificiale! Cosa volete che possa la logica contro gli ormoni! Giacomo
Su ArsTecnica si sostiene che il video estratto dall'auto dalla polizia di Tempe non rappresenti la reale visibilità del luogo, anche per telecamere a basso costo: https://arstechnica.com/cars/2018/03/police-chief-said-uber-victim-came-from-the-shadows-dont-believe-it/ Giacomo Il giorno 22 marzo 2018 19:23, Roberto Dolci <rob.dolci@aizoon.us> ha scritto: > Tutte le auto ora in test (Volvo, Google, GM, Mercedes) hanno IR > installato, e non solo. Occorre tenere presente pero' che una Mercedes ha > $2800 (al costo) di sensori in piu' della Volvo XC90: la prima guida > agevolmente a LosAngeles, la seconda no perche' non ci son line di mezzeria. > > https://techcrunch.com/2018/03/19/heres-how-ubers-self- > driving-cars-are-supposed-to-detect-pedestrians/ > https://www.wired.com/2017/01/volvos-cars-now-spot-moose-hit-brakes/ > > -----Original Message----- > From: nexa <nexa-bounces@server-nexa.polito.it> On Behalf Of Alberto > Cammozzo > Sent: Thursday, March 22, 2018 1:28 PM > To: nexa@server-nexa.polito.it > Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di Uber > > Certo che si può pretendere che la macchina superi l'uomo se le si affida > un veicolo sulla pubblica via. Anzi lo si deve richiedere. > > La telecamera evidentemente opera nello spettro visibile, cioè replica i > limiti della visione umana. > Una telecamera a infrarossi, per non dire un radar, avrebbe certamente > evitato l'incidente e salvato la vita dell'assai incauto pedone. > > Un veicolo automatico dotato di visione I/R oltre che ottica avrebbe > potuto superare la capacità di reazione del guidatore umano. > Non lo ha fatto perché è stato progettato per non farlo, o meglio non è > stato progettato per farlo, pur essendo tale progetto possibile e non a un > costo proibitivo. > Quel veicolo, abilitato alla guida autonoma notturna, si limita a > replicare i limiti della visione notturna umana pur potendo essere > disegnato per rendere tale guida più sicura. > > Non dotare il veicolo anche di una videocamera IR è certamente una scelta > di progetto, che definirei "insecure by design", almeno nella guida > notturna. > > Per questo motivo non escludo la responsabilità, certamente morale e per > omissione, del progettista o del committente. > > > Alberto > > > On 22/03/2018 13:12, Roberto Dolci wrote: > > Il filmato e' visionabile da due punti di vista: telecamera su strada e > su guidatore (che mostra come questi stia guardando in basso su smartphone > o tablet). E' chiaro che la vittima e' vestita di scuro/nero, attraversa > una strada ad alta percorrenza ben fuori da strisce pedonali o semafori. > Non si puo' pretendere che un algoritmo superi Darwin. > > > > -----Original Message----- > > From: nexa <nexa-bounces@server-nexa.polito.it> On Behalf Of Mariella > > Berra > > Sent: Thursday, March 22, 2018 8:09 AM > > To: nexa@server-nexa.polito.it > > Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di > > Uber > > > > Cari tutti mi sembrerebbe un messaggio di responsabilità politica > > sociale e etica > > > > Mariella b > > > > > > Il 22/03/2018 11:36, armeo@mail.nexacenter.org ha scritto: > >> estremizzo la posizione di Giacomo: nell'attesa di un ulteriore > >> progresso che renda i veicoli automatici più sicuri di quelli a guida > >> umana (che potrebbe arrivare in un paio di anni) vietiamo l'impiego > >> di veicoli automatici. > >> > >> Raf > >> > >> > >> Il 22/03/2018 10:50, Giacomo Tesio ha scritto: > >>> Il 22 marzo 2018 10:05, Diego Giorio <dgiorio@hotmail.com> ha > scritto: > >>>> Non so se quel che si legge è vero, perchè in questi giorni si è > >>>> sentito di tutto, ma sembra che in realtà l'autista umano sia stato > >>>> avvisato dai sensori, e nemmeno lui abbia potuto agire in tempo. > >>> A quanto avevo letto, l'auto non ha frenato. > >>> A quanto vedo, l'auto non ha nemmeno deviato nonostante la corsia > >>> opposta fosse perfettamente libera. > >>> > >>> Definire il passeggero "autista" e' MOLTO DISCUTIBILE in questo > >>> caso, ma anche fosse, un auto a guida autonoma non dovrebbe > >>> affidarsi ai riflessi di un essere umano, non credi? > >>> > >>>> D'altra parte se uno si > >>>> butta sotto un mezzo in movimento non c'è tecnologia che tenga: una > >>>> frenata non può avvenire in tempo zero. > >>> Il pedone aveva attraversato l'intera corsia opposta, c'era tempo di > >>> - suonare il clacson > >>> - effettuare segnalazioni luminose > >>> - rallentare > >>> - deviare > >>> > >>> Ricordiamoci che non stiamo parlando di un cervello umano, ma di > >>> processori: non mi sono mai interessato di questo tipo di > >>> simulazioni, sono abbastanza confidente che calcolare una > >>> traiettoria per evitare il pedone data la sua velocità e direzione > >>> sarebbe stato piuttosto rapido. > >>> > >>> Se poi hanno messo un simulatore scritto in JavaScript a guidare la > >>> macchina, allora bisogna arrestare ANCHE gli ingegneri! > >>> > >>>> Peraltro, se fosse accertata la responsabilità del pedone, il > >>>> problema penale non si porrebbe. > >>> Obbiezione interessante. Probabilmente hai ragione: bisogna > >>> aggiornare l'ordinamento. > >>> > >>> Se disponiamo di una tecnologia che può evitare una morte in caso di > >>> errore umano, non possiamo dire che il suo fallimento non > >>> costituisce reato solo perché l'errore umano più evidente è della > vittima. > >>> > >>> L'errore umano principale infatti sta nella progettazione del veicolo. > >>> > >>> In particolare nella interfaccia utente destinata al passeggero, che > >>> appunto, ha smesso di sentirsi autista dell'auto (come evidente > >>> dalla parte finale del filmato). > >>> La stessa definizione di "auto a guida autonoma", o "self driving car" > >>> (o forse persino "intelligenza artificiale") ha causato questo > >>> enorme (e facilmente evitabile) errore di progettazione. > >>> > >>>> Però è evidente che deve nascere una forma nuova di diritto (non ho > >>>> ancora finito di leggere "the law of robots" del prof. > >>>> Pollicino). E spero che includa un principio di innocenza fino a > >>>> prova contraria anche per gli automi! > >>> Questo temo sia impossibile. > >>> Non sono MAI gli automi ad essere innocenti o colpevoli: la > >>> responsabilità va sempre ricondotta alle persone che li hanno messi > >>> in circolazione. > >>> > >>> I principio di innocenza fino a prova contraria, non si applica alle > >>> cose. > >>> > >>> > >>> Vi e poi un problema pratico: come dimostrare che la macchina ha > >>> sbagliato (in uno qualsiasi dei suoi componenti) e dunque che la > >>> responsabilità penale sussiste? > >>> > >>> Chi paga il lavoro degli esperti necessari ad analizzare ogni > >>> singolo componente e ogni riga di codice per verificare l'assenza di > errori? > >>> Infatti, in via precauzionale, dovremmo interrompere la produzione > >>> ma al contempo non potremmo mettere Uber a verificare il proprio > >>> prodotto ne persone pagate da Uber. > >>> > >>> Avremmo bisogno di esperti indipendenti da queste multinazionali per > >>> valutare il loro lavoro (e ci potrebbero volere anni). > >>> > >>> Nella remota ipotesi che non trovassero errori nel sistema, chi > >>> facciamo pagare? la famiglia della vittima? lo stato? > >>> > >>> > >>> In realtà comunque gli errori ci sono di sicuro, quanto meno a > >>> livello software. > >>> > >>> Perché chiunque sviluppa software sa che l'errore non è una > >>> condizione occasionale che capita a persone che per il resto non > sbagliano. > >>> L'errore è condizione normale della operatività umana. E questa è > >>> particolarmente evidente nel software, per la natura stessa > >>> dell'artefatto e per la scarsa evoluzione dell'informatica. > >>> > >>> > >>> Dunque, per gli automi, dovremo adottare un principio di > >>> colpevolezza dei costruttori fino a prova contraria. > >>> > >>> > >>> > >>> Giacomo > >>> _______________________________________________ > >>> nexa mailing list > >>> nexa@server-nexa.polito.it > >>> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > >> _______________________________________________ > >> nexa mailing list > >> nexa@server-nexa.polito.it > >> https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > > -- > > Prof.ssa Mariella Berra > > Dipartimento di Culture, Politica e Società Università di Torino > > tel.+390116702606 > > > > _______________________________________________ > > nexa mailing list > > nexa@server-nexa.polito.it > > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > > _______________________________________________ > > nexa mailing list > > nexa@server-nexa.polito.it > > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > > > _______________________________________________ > nexa mailing list > nexa@server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa > _______________________________________________ > nexa mailing list > nexa@server-nexa.polito.it > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >
On 2018-03-22 10:50, Giacomo Tesio wrote:
L'errore umano principale infatti sta nella progettazione del veicolo.
In particolare nella interfaccia utente destinata al passeggero, che appunto, ha smesso di sentirsi autista dell'auto (come evidente dalla parte finale del filmato).
secondo me, invece, l'errore umano principale sta proprio nel credere, a monte, che una cosa come "sta FERMO, ma sempre pronto e capace a salvare vite" potrebbe mai funzionare nel mondo reale, con qualsiasi inerfaccia. Ho già spiegato più in dettaglio questa mia perplessità nell'altra risposta che ho appena inviato. Marco -- http://mfioretti.com
On 2018-03-22 10:05, Diego Giorio wrote:
Non so se quel che si legge è vero, perchè in questi giorni si è sentito di tutto, ma sembra che in realtà l'autista umano sia stato avvisato dai sensori, e nemmeno lui abbia potuto agire in tempo.
sul lato penale non mi pronuncio, ma....quel video mi pare una prova perfetta di una cosa che ho sempre pensato, cioè un enorme problema DI BASE nell'intera proposta di "auto che guida da sola, ma col guidatore che interviene in caso di bisogno". Ovvero, a me una cosa del genere è da subito parsa come intrinsecamente cretina, che non poteva funzionare. Dal video pare evidente che il "guidatore" stesse smanettando sullo smartphone anzichè guardare la strada. Ma è naturale. Per potere effettivamente "intervenire in caso di bisogno" il guidatore DEVE 1) stare costantemente con mani sul volante, piedi sui pedali, occhi costantemente in giro a controllare... come se guidasse lui, ma senza MAI muoversi davvero, nè toccare niente. Avete un'idea di quanto sia palloso, prima ancora che difficile? Fatevi portare a spasso per mezz'ora nel sedile del guidatore in quelle condizioni. dopo dieci minuti o cascate addormentati o vi mettete a leggere o giocare con lo smartphone pure voi. Cioè, perché dovrei pagare qualcosa che richiede lo stesso identico stress e responsabilità di quando guido davvero io, solo più difficile e più noioso? E i colpi di sonno? Quelli già vengono quando uno è DAVVERO al controllo, quindi costretto a essere sveglio, figurati quando guida "qualcun altro" 2) essere IN GRADO di fare la cosa giusta. O quantomeno di fare meno danni di quanti ne farebbe il computer di guida se lasciato a se stesso. Ma se il 90% del tempo l'auto si guida da sola, perché altrimenti che l'hai pagata a fare, come @#@##%%% fai tu a essere all'altezza di un'emergenza? Magari prendi il volante di colpo e sbandi investendo tu altre 3 persone, perché l'ultima volta che hai guidato davvero tu (la SOLA, in futuro) era a scuola guida Boh. Qui stanno tutti a farsi ginnastiche mentali sul mitico problema del trolley, ma non di come tenere un umano nel loop lo peggiorerebbe... se non facesse passare proprio la voglia di starci, in auto a quelle condizioni. Io davvero non capisco come pensano di riuscire a venderne più di qualche migliaio ai primi gonzi, di fregature così. Marco -- http://mfioretti.com
l'uomo che ha la reponsabilità di intervenire non serve da un punto id vista operativo, in realta'. ma solo ad allocare la responsabilita' (in particolare penale). se a qualcuno puo' interessare, questa e' una proposta di legge che ho presentato, https://goo.gl/ZVUVe9 , che ho scritto assieme a Weinberger, che tocca i temi della guida autonoma e della allocazione di responsabilita'. Lungi da essere una opera definitiva, e' una base per una discussione. (ovviamente non aveva alcuna pretesa di passare...) ciao, s. On 22/03/2018 12:02, M. Fioretti wrote:
On 2018-03-22 10:05, Diego Giorio wrote:
Non so se quel che si legge è vero, perchè in questi giorni si è sentito di tutto, ma sembra che in realtà l'autista umano sia stato avvisato dai sensori, e nemmeno lui abbia potuto agire in tempo.
sul lato penale non mi pronuncio, ma....quel video mi pare una prova perfetta di una cosa che ho sempre pensato, cioè un enorme problema DI BASE nell'intera proposta di "auto che guida da sola, ma col guidatore che interviene in caso di bisogno". Ovvero, a me una cosa del genere è da subito parsa come intrinsecamente cretina, che non poteva funzionare. Dal video pare evidente che il "guidatore" stesse smanettando sullo smartphone anzichè guardare la strada. Ma è naturale.
Per potere effettivamente "intervenire in caso di bisogno" il guidatore DEVE
1) stare costantemente con mani sul volante, piedi sui pedali, occhi costantemente in giro a controllare... come se guidasse lui, ma senza MAI muoversi davvero, nè toccare niente. Avete un'idea di quanto sia palloso, prima ancora che difficile? Fatevi portare a spasso per mezz'ora nel sedile del guidatore in quelle condizioni. dopo dieci minuti o cascate addormentati o vi mettete a leggere o giocare con lo smartphone pure voi. Cioè, perché dovrei pagare qualcosa che richiede lo stesso identico stress e responsabilità di quando guido davvero io, solo più difficile e più noioso? E i colpi di sonno? Quelli già vengono quando uno è DAVVERO al controllo, quindi costretto a essere sveglio, figurati quando guida "qualcun altro"
2) essere IN GRADO di fare la cosa giusta. O quantomeno di fare meno danni di quanti ne farebbe il computer di guida se lasciato a se stesso. Ma se il 90% del tempo l'auto si guida da sola, perché altrimenti che l'hai pagata a fare, come @#@##%%% fai tu a essere all'altezza di un'emergenza? Magari prendi il volante di colpo e sbandi investendo tu altre 3 persone, perché l'ultima volta che hai guidato davvero tu (la SOLA, in futuro) era a scuola guida
Boh. Qui stanno tutti a farsi ginnastiche mentali sul mitico problema del trolley, ma non di come tenere un umano nel loop lo peggiorerebbe... se non facesse passare proprio la voglia di starci, in auto a quelle condizioni. Io davvero non capisco come pensano di riuscire a venderne più di qualche migliaio ai primi gonzi, di fregature così.
Marco
On 2018-03-22 12:24, Stefano Quintarelli wrote:
l'uomo che ha la reponsabilità di intervenire non serve da un punto id vista operativo, in realta'. ma solo ad allocare la responsabilita' (in particolare penale).
ma questa è una conferma che la mia obiezione è sensata, no? Ripeto: con che faccia mi proponi di pagare di più per qualcosa che NON mi toglie nessuna responsabilità o stress, ma anzi me ne aggiunge altri? Ma a voi non vengono i crampi solo a pensare di stare ***passivi*** magari due ore ma senza poter dormire, usare lo smartphone, mangiarsi un panino...con molta MENO libertà di movimento di chi sta nel sedile del passeggero, senza sterzo e pedali a impedirgli i movimenti, ma è sempre colpa tua se qualcosa va male? Io sono uno che odia guidare, ma proprio per questo mi da' ancora più fastidio uno scenario del genere: "tranquillo, non devi più guidare, solo stare più scomodo di prima ma pronto quanto prima a prenderti ogni colpa".
se a qualcuno puo' interessare, questa e' una proposta di legge che ho presentato, https://goo.gl/ZVUVe9 , che ho scritto assieme a Weinberger, che tocca i temi della guida autonoma e della allocazione di responsabilita'.
Grazie, mi piace in particolare tutto lo sviluppo di questo concetto: "La responsabilità morale del fornitore di VA e della rete di VA sulle strade in un determinato momento non è salvare zia Ada ma raggiungere le ottimizzazioni che noi, come società, abbiamo assunto come decisione politica." Marco
Lungi da essere una opera definitiva, e' una base per una discussione. (ovviamente non aveva alcuna pretesa di passare...)
ciao, s.
On 22/03/2018 12:02, M. Fioretti wrote:
On 2018-03-22 10:05, Diego Giorio wrote:
Non so se quel che si legge è vero, perchè in questi giorni si è sentito di tutto, ma sembra che in realtà l'autista umano sia stato avvisato dai sensori, e nemmeno lui abbia potuto agire in tempo.
sul lato penale non mi pronuncio, ma....quel video mi pare una prova perfetta di una cosa che ho sempre pensato, cioè un enorme problema DI BASE nell'intera proposta di "auto che guida da sola, ma col guidatore che interviene in caso di bisogno". Ovvero, a me una cosa del genere è da subito parsa come intrinsecamente cretina, che non poteva funzionare. Dal video pare evidente che il "guidatore" stesse smanettando sullo smartphone anzichè guardare la strada. Ma è naturale.
Per potere effettivamente "intervenire in caso di bisogno" il guidatore DEVE
1) stare costantemente con mani sul volante, piedi sui pedali, occhi costantemente in giro a controllare... come se guidasse lui, ma senza MAI muoversi davvero, nè toccare niente. Avete un'idea di quanto sia palloso, prima ancora che difficile? Fatevi portare a spasso per mezz'ora nel sedile del guidatore in quelle condizioni. dopo dieci minuti o cascate addormentati o vi mettete a leggere o giocare con lo smartphone pure voi. Cioè, perché dovrei pagare qualcosa che richiede lo stesso identico stress e responsabilità di quando guido davvero io, solo più difficile e più noioso? E i colpi di sonno? Quelli già vengono quando uno è DAVVERO al controllo, quindi costretto a essere sveglio, figurati quando guida "qualcun altro"
2) essere IN GRADO di fare la cosa giusta. O quantomeno di fare meno danni di quanti ne farebbe il computer di guida se lasciato a se stesso. Ma se il 90% del tempo l'auto si guida da sola, perché altrimenti che l'hai pagata a fare, come @#@##%%% fai tu a essere all'altezza di un'emergenza? Magari prendi il volante di colpo e sbandi investendo tu altre 3 persone, perché l'ultima volta che hai guidato davvero tu (la SOLA, in futuro) era a scuola guida
Boh. Qui stanno tutti a farsi ginnastiche mentali sul mitico problema del trolley, ma non di come tenere un umano nel loop lo peggiorerebbe... se non facesse passare proprio la voglia di starci, in auto a quelle condizioni. Io davvero non capisco come pensano di riuscire a venderne più di qualche migliaio ai primi gonzi, di fregature così.
Marco
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
participants (8)
-
Alberto Cammozzo -
armeo＠mail.nexacenter.org -
Diego Giorio -
Giacomo Tesio -
M. Fioretti -
Mariella Berra -
Roberto Dolci -
Stefano Quintarelli