Proverò ad evidenziarti le criticità di quel testo (principalmente contraddizioni logiche) per spiegarti come sia sempre possibile (e spesso persino semplice) determinare la responsabilità legale e morale dell'effetto di uno o più movimenti compiuti da quello che impropriamente chiami fully autonomous robot.
Nota che non voglio farti le pulci sui termini, solo metterti in guardia dal significato ingannevole che alcuni termini tecnici usati correntemente nel gergo della AI assumono per chi non ha sufficientemente esperienza pratica dei sistemi di cui stiamo parlando. Ho visto diversi esperti di intelligenza artificiale farsi ingannare profondamente dal proprio linguaggio, per cui è naturale che confonda chi non è del mestiere. Purtuttavia, come leggerai, se sgomberi la mente dalla fuffa, le cose sono veramente semplici.
Nel paper di Matthias vengono riportati diversi esempi in cui, a detta dell'autore, la responsabilità di alcuni incidenti che includono dei "sistemi autonomi" non è riconducibile moralmente (e di conseguenza legalmente) ad alcuno degli esseri umani proposti.
L'errore è limitare la ricerca delle responsabilità alle persone elencate negli esempi.
Il primo esempio, quello usato come modello per tutta la costruzione teorica di Matthias, sostiene che se un robottino su Marte precipita da un dirupo, non possiamo prendercela con il povero ingegnere che dalla terra non ha dato l'halt in tempo. Perché la luce viaggia ad una certa velocità, e per quanto capace il povero ingegnere non può proprio superare questo limite.
Peccato che qualche altro ingegnere, o qualche altro manager, ha stabilito un budget ed una dotazione tecnica per il robottino.
Con un budget maggiore si sarebbe potuto dotare il robottino di sonde in grado di riconoscere il dirupo ed evitarlo.
Dunque la responsabilità non è "di nessuno": è semplicemente di qualcuno non preso in considerazione nel paper.
Il secondo esempio parla di un ascensore che ottimizza i propri spostamenti sulla base del traffico previsto, causando una grossa perdita di denaro ad un povero dirigente lasciato ad aspettare per mezz'ora. Qui si sfiora il ridicolo:
- Il dirigente è responsabile perché non ha preso le scale
- Il dirigente è responsabile perché non si è svegliato prima
- La proprietà dell'azienda è responsabile perché ha assunto un dirigente pigro o incapace
- La proprietà dell'azienda è responsabile perché non ha messo i dirigenti al primo piano
- La proprietà dell'azienda è responsabile perché non ha fatto tarare l'ascensore sulle esigenze dei suoi dirigenti
Nell'esempio del giocattolo autonomo che impara a galoppare e urta un bambino infortunandolo gravemente, la responsabilità ricade sul costruttore che non ha fornito il giocattolo di sensori di prossimità adeguati alla quantità di moto massima che il giocattolo è in grado di sviluppare. O suoi genitori, se non hanno seguito le istruzioni.
Così per tutti gli altri esempi di cui Matthias sostiene non si possa risalire ad un responsabile.
E' sempre presente un responsabile con il controllo necessario ad evitare gli incidenti proposti, basta solo avere la voglia di cercarlo.
Scarsa comprensione della tecnologia in questione
E' possibile spiegare la tecnologia in questione in modo molto più chiaro e semplice di come faccia Matthias.
Questo è particolarmente vero per le reti neurali artificiali, che vengono sempre impropriamente descritte come blackbox che imparano.
In realtà si tratta di semplice statistica.
Per spiegartelo considera il calcolo della media aritmetica: è un procedimento statistico in cui, data una serie di osservazioni (il tuo data set)
1) parti con S = 0 e N = 0
2) prendi la prima osservazione X
3) aggiorni S = S + X
4) aggiorni N = N + 1
5) se hai ancora osservazioni, prendi la prossima osservazione X e riparti da 3
6) altrimenti dividi S per N e ottieni un numero, la media aritmetica che volevi.
In altri termini la media aritmetica è un procedimento statistico che data una serie di osservazioni produce un numero che approssima quelle osservazioni.
Analogamente una rete neurale è una approssimazione di un programma che vorresti (di una funzione, per la precisione) ottenuta attraverso un procedimento statistico.
Non c'è nessuno che impara dentro una rete neurale. E non c'è nulla di inspiegabile o non riproducibile. E' solo una questione di costi.
Spiegare come uno specifico processo di calibrazione abbia prodotto una rete neurale che produce un determinato output a fronte di un determinato input richiede moltissimi dati relativi alla calibrazione, l'intero codice sorgente, ed un tempo che cresce esponenzialmente con la complessità della topologia della rete neurale e con la quantità dei dati usati durante la calibrazione.
Tuttavia non è impossibile. E' solo molto molto MOLTO costoso.
Si tratta dunque di un costo di impresa da bilanciare come gli altri. Un costo che non è lecito scaricare sulla collettività come ha fatto l'Ilva a Taranto.
Non si tratta però di una impossibilità materiale come superare la velocità della luce nel vuoto. Niente Gap, mi spiace.
Un'allucinazione artificiale collettiva
A volte a questo proposito ho l'impressione che siamo di fronte ad una sorta di
allucinazione collettiva, dovuta alla
narrazione che la AI (come comunità di ricerca) fa di se stessa ed a se stessa.
Allucinazione nutrita a fior di quattrini per fini commerciali e peggio...
Quando tu guardi un fully autonomous robot vedi una autonomia che non esiste.
Un po' come gli spettatori dei primi spettacoli cinematografici dei fratelli Lumiere, vedi un treno arrivarti addosso, ma il treno non c'è.
Il robot non si programma da solo, segue pedissequamente un programma che gli permette di reagire in modo flessibile accumulando informazioni che utilizzerà come input futuro.
Ma non c'è nessuna intelligenza lì. E nessuna capacità di darsi regole (aka autonomia).
La macchina è schiava di chi l'ha creata.
Il fatto che il suo creatore sia una sorta di apprendista stregone molto disordinato, che non tiene log appropriati e che non sa bene valutare le conseguenze del proprio operato, non rende più libera o più intelligenze la macchina.
Rende solo più patetico il suo creatore. Ma non lo esime da alcuna responsabilità.
La legge non deve ammettere ignoranza
Anche se accettassimo che una determinata tecnologia non si può spiegare (COSA CHE NON E' VERA PER LA AI), accettare che l'ignoranza sollevi dalla responsabilità è un principio estremamente pericoloso.
Eternit docet.
Al contrario, l'ignoranza deve essere trattata come aggravante!
Perché mettere in circolazione un automa (o un medicinale o una sostanza) che può uccidere senza essere in grado di spiegarne esattamente il funzionamento è da incoscienti.
Un problema di probabilità
Vi è poi un problema di probabilità che viene allegramente ignorato da Matthias.
Nel testo, parlando del Reinforcement Learning, si dice che "errors are unavoidable features of any reinforcement learning system".
Altrove si spiega come un sistema di AI possa inevitabilmente produrre errori in alcuni corner case.
Quello che non si dice è che spesso, la probabilità di un errore di progettazione o di programmazione in uno qualsiasi dei componenti che costituisce il sistema è di diversi ordini di grandezza maggiore della probabilità di errore di una rete neurale dalla bassa complessità e calibrata correttamente.
Chi propone di non ricondurre la responsabilità agli esseri umani, non sta pensando solo alla possibilità rarissima di un errore di calcolo (che può essere fatale su un automa, ma è magari poco osservabile su un suggestion system di Amazon), ma sta cercando di garantire la licenza di sbagliare a sé stesso, non alla macchina!
I dilemmi morali sono solo nella testa di chi sta a sentire questa gente.
Ma come Uber ha dimostrato, quando un automa uccide, non lo fa con i sensi di colpa.
Una falsa alternativa