Sì, concordo, l'auto non ha percepito il pedone, e questo mi sorprende perchè con un sensore ottico come l'occhio umano o una telecamera appare evidente dal filmato che l'ostacolo è comparso all'improvviso, ma avrebbe
dovuto essere percepito da qualche altra forma di sensore. Nel parlare di "autista" avevo dimenticato il virgolettato, che hai giustamente aggiunto, perchè l'umano ha in questo caso una funzione di supervisione ed intervento in caso di emergenza. In ogni caso,
anche se fosse stato più attento di quanto appare dal filmato, credo che i suoi sensori umani non avrebbero potuto fare nulla, nè frenare nè deviare, esattamente come i sensori robotici, ripeto, resta da capire perchè non abbiano funzionato quelli a più lungo
raggio su parametri non meramente ottici.
Per principio di innocenza del robot non intendevo aprire un dibattito giuridico di alto livello, ma mi riferivo ai titoli dei giornali, quasi tutti del tono "auto a guida autonoma uccide pedone". Fin quando non si è
capito esattamente cos'è andato storto avrei preferito titoli più neutri - anche se fanno vendere meno - del tipo "persona muore in incidente con auto a guida autonoma". Però resto dell'idea che quando capita un incidente che coinvolge un robot non si debba
per forza pensare che la responsabilità sia di chi lo ha messo in circolazione prima di avere accertato i fatti. Può essere un problema di manutenzione (se non controllo mai i freni il sistema può funzionare perfettamente ma l'attuatore diventa inutile), un
problema di circostanze (una sede stradale non conforme o una segnaletica errata che confonde un sistema in sè correttamente progettato). Certo, i sensori del veicolo potrebbero anche estendersi al check delle buone condizioni dello stesso e rifiutarsi di
mettersi in moto se i freni non sono in ordine, in ogni caso si tratta di un'evoluzione che vedremo nei prossimi anni.
Poi c'è anche un altro punto: ogni anno muoiono o vengono ferite in modo grave milioni di persone; in larga parte perchè i guidatori si distraggono, per stanchezza o per usare il telefonino, perchè guardano a sinistra
mentre il pericolo arriva da destra, perchè i riflessi non sono sufficienti e così via. Se un'auto robotica, per quanto imperfetta, dimezzasse questi incidenti, sarebbe etico non metterla sul mercato perchè i difetti causano l'altra metà? Interessante questione
filosofica.
Quello che trovo più affascinante di questo nuovo mondo è l'interdisciplinarità: un'auto a guida autonoma è un problema giuridico, ingegneristico, filosofico...
From: Giacomo Tesio <giacomo@tesio.it>
Sent: Thursday, March 22, 2018 9:50 AM
To: Diego Giorio
Cc: nexa@server-nexa.polito.it
Subject: Re: [nexa] Video dell'incidente mortale causato dalla AI di Uber
Il 22 marzo 2018 10:05, Diego Giorio <dgiorio@hotmail.com> ha scritto:
> Non so se quel che si legge è vero, perchè in questi giorni si è sentito di
> tutto, ma sembra che in realtà l'autista umano sia stato avvisato dai
> sensori, e nemmeno lui abbia potuto agire in tempo.
A quanto avevo letto, l'auto non ha frenato.
A quanto vedo, l'auto non ha nemmeno deviato nonostante la corsia
opposta fosse perfettamente libera.
Definire il passeggero "autista" e' MOLTO DISCUTIBILE in questo caso,
ma anche fosse, un auto a guida autonoma non dovrebbe affidarsi ai
riflessi di un essere umano, non credi?
> D'altra parte se uno si
> butta sotto un mezzo in movimento non c'è tecnologia che tenga: una frenata
> non può avvenire in tempo zero.
Il pedone aveva attraversato l'intera corsia opposta, c'era tempo di
- suonare il clacson
- effettuare segnalazioni luminose
- rallentare
- deviare
Ricordiamoci che non stiamo parlando di un cervello umano, ma di
processori: non mi sono mai interessato di questo tipo di simulazioni,
sono abbastanza confidente che calcolare una traiettoria per evitare
il pedone data la sua velocità e direzione sarebbe stato piuttosto
rapido.
Se poi hanno messo un simulatore scritto in JavaScript a guidare la
macchina, allora bisogna arrestare ANCHE gli ingegneri!
> Peraltro, se fosse accertata la responsabilità del pedone, il problema
> penale non si porrebbe.
Obbiezione interessante. Probabilmente hai ragione: bisogna aggiornare
l'ordinamento.
Se disponiamo di una tecnologia che può evitare una morte in caso di
errore umano, non possiamo dire che il suo fallimento non costituisce
reato solo perché l'errore umano più evidente è della vittima.
L'errore umano principale infatti sta nella progettazione del veicolo.
In particolare nella interfaccia utente destinata al passeggero, che
appunto, ha smesso di sentirsi autista dell'auto (come evidente dalla
parte finale del filmato).
La stessa definizione di "auto a guida autonoma", o "self driving car"
(o forse persino "intelligenza artificiale") ha causato questo enorme
(e facilmente evitabile) errore di progettazione.
> Però è evidente che deve nascere una forma nuova di
> diritto (non ho ancora finito di leggere "the law of robots" del prof.
> Pollicino). E spero che includa un principio di innocenza fino a prova
> contraria anche per gli automi!
Questo temo sia impossibile.
Non sono MAI gli automi ad essere innocenti o colpevoli: la
responsabilità va sempre ricondotta alle persone che li hanno messi in
circolazione.
I principio di innocenza fino a prova contraria, non si applica alle cose.
Vi e poi un problema pratico: come dimostrare che la macchina ha
sbagliato (in uno qualsiasi dei suoi componenti) e dunque che la
responsabilità penale sussiste?
Chi paga il lavoro degli esperti necessari ad analizzare ogni singolo
componente e ogni riga di codice per verificare l'assenza di errori?
Infatti, in via precauzionale, dovremmo interrompere la produzione ma
al contempo non potremmo mettere Uber a verificare il proprio prodotto
ne persone pagate da Uber.
Avremmo bisogno di esperti indipendenti da queste multinazionali per
valutare il loro lavoro (e ci potrebbero volere anni).
Nella remota ipotesi che non trovassero errori nel sistema, chi
facciamo pagare? la famiglia della vittima? lo stato?
In realtà comunque gli errori ci sono di sicuro, quanto meno a livello software.
Perché chiunque sviluppa software sa che l'errore non è una condizione
occasionale che capita a persone che per il resto non sbagliano.
L'errore è condizione normale della operatività umana. E questa è
particolarmente evidente nel software, per la natura stessa
dell'artefatto e per la scarsa evoluzione dell'informatica.
Dunque, per gli automi, dovremo adottare un principio di colpevolezza
dei costruttori fino a prova contraria.
Giacomo