Sarebbe bellissimo! D. ________________________________ From: nexa <nexa-bounces@server-nexa.polito.it> on behalf of Antonio Casilli <antonio.casilli@telecom-paris.fr> Sent: Tuesday, November 26, 2019 5:37 PM To: Ugo Pagallo <ugo.pagallo@unito.it> Cc: NEXA_lista <nexa@server-nexa.polito.it> Subject: Re: [nexa] Liability for AI and Other Digital Technologies Ottimo 👏 ----- Mail d’origine ----- De: Ugo Pagallo <ugo.pagallo@unito.it> À: NEXA_lista <nexa@server-nexa.polito.it> Envoyé: Tue, 26 Nov 2019 18:33:02 +0100 (CET) Objet: [nexa] Liability for AI and Other Digital Technologies Cari Nexiani, la Commissione Europea ha pubblicato la scorsa settimana il rapporto del suo gruppo di esperti su "Liability for AI and Other Digital Technologies" (di cui ho avuto il piacere e onore di farne parte insieme con Lillà Montagnani che saluto ;-) Qui il PDF: https://ec.europa.eu/transparency/regexpert/index.cfm?do=groupDetail.groupMe... Potremmo anche organizzare un bel mercoledì per discutere come queste proposte di modifica legislativa s'accordino alle dichiarazioni, linee guida e codici etici degli ultimi 2 anni... Che ne dite, co-direttori? Cheers, u. -- Antonio A. Casilli Associate Professor (HDR), Telecom Paris (Paris School of Telecommunications) Member, Interdisciplinary Institute for Innovation (i3 UMR 9217 CNRS) Associate Member, LACI-IIAC (EHESS) Faculty Fellow, Nexa Center for Internet & Society *We respect your right to disconnect. This email send time is due to my own workflow efficiency. You are in no obligation to take action or reply to it outside your office hours.* _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa

Grazie purtroppo sono in deficit temporale e nonr iesco a leggere tutto il doc. ho letto i bullet dell'executive summary ho una domanda: non mi pare si faccia accenno a effetti di predizioni errate di sistemi non difettosi. sbaglio ? come dovrebbero essere gestite secondo il vostro gruppo di lavoro ? Grazie!, s. On 26/11/2019 18:59, lorenzo albertini wrote:

*** grazie per l’interessante segnalazione. Magari la discusione pure in diretta streaming per gli assenti fisici…

*Da:*nexa [mailto:nexa-bounces@server-nexa.polito.it] *Per conto di *Ugo Pagallo *Inviato:* martedì 26 novembre 2019 18:33 *A:* NEXA_lista <nexa@server-nexa.polito.it> *Oggetto:* [nexa] Liability for AI and Other Digital Technologies

Cari Nexiani,

la Commissione Europea ha pubblicato la scorsa settimana il rapporto del suo gruppo di esperti su "Liability for AI and Other Digital Technologies" (di cui ho avuto il piacere e onore di farne parte insieme con Lillà Montagnani che saluto ;-)

Qui il PDF:

https://ec.europa.eu/transparency/regexpert/index.cfm?do=groupDetail.groupMe...

Potremmo anche organizzare un bel mercoledì per discutere come queste proposte di modifica legislativa s'accordino alle dichiarazioni, linee guida e codici etici degli ultimi 2 anni...

Che ne dite, co-direttori?

Cheers,

u.

<http://www.avg.com/email-signature?utm_medium=email&utm_source=link&utm_camp...>

Mail priva di virus. www.avg.com <http://www.avg.com/email-signature?utm_medium=email&utm_source=link&utm_camp...>

_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa

-- reserve your meeting with me at http://cal.quintarelli.it

grazie mmmh... non sono cosi' convinto il punto 15 a pag 42 mi pare abbastanza empblematico del fatto che non si considerano prodotti non difettosi che causano predizioni errate If it is proven that an emerging digital technology has caused harm, the burden of proving defect should be reversed if there are disproportionate difficulties or costs pertaining to establishing the relevant level of safety or proving that this level of safety has not been met. This is without prejudice to the reversal of the burden of proof referred to in [22] and [24]. se non ho capito male, se e' non difettoso ma causa harm, si inverte l'onere della prova (ovvero sta in carico al produttore). Questo e' un freno alla diffusione di sistemi di AI Ciao, s. Il 28/11/2019 09:11, Ugo Pagallo ha scritto:

Caro Stefano,

la tua domanda, dal punto di vista giuridico, va tradotta (1) in termini di eventuali danni e (2) in rapporto al settore in cui avvengono "le predizioni errate" (cambia completamente se il problema si pone ad esempio nel settore finanziario o sanitario). Dai un'occhiata a p. 16 ss. e p. 19 del documento. Per quanto riguarda le raccomandazioni, mi limito a segnalarne tre: (a) Nozione stessa di difettosità (p. 27 ss) (b) Nuovi casi di responsabilità oggettiva (p. 42 specie n. 15) (c) Colpa e "duties of care" (p. 44 al punto 7). Ergo, non dico che abbiamo risolto il problema, ma penso abbiamo posto le basi per discuterne appropriatamente. Buona giornata a tutti, Ugo

Il giorno gio 28 nov 2019 alle ore 00:03 Stefano Quintarelli <stefano@quintarelli.it <mailto:stefano@quintarelli.it>> ha scritto:

Grazie purtroppo sono in deficit temporale e nonr iesco a leggere tutto il doc. ho letto i bullet dell'executive summary

ho una domanda: non mi pare si faccia accenno a effetti di predizioni errate di sistemi non difettosi. sbaglio ?

come dovrebbero essere gestite secondo il vostro gruppo di lavoro ?

Grazie!, s.

On 26/11/2019 18:59, lorenzo albertini wrote: > *** grazie per l’interessante segnalazione. Magari la discusione pure in > diretta streaming per gli assenti fisici… > > *Da:*nexa [mailto:nexa-bounces@server-nexa.polito.it <mailto:nexa-bounces@server-nexa.polito.it>] *Per conto di *Ugo > Pagallo > *Inviato:* martedì 26 novembre 2019 18:33 > *A:* NEXA_lista <nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it>> > *Oggetto:* [nexa] Liability for AI and Other Digital Technologies > > Cari Nexiani, > > la Commissione Europea ha pubblicato la scorsa settimana il rapporto del > suo gruppo di esperti su "Liability for AI and Other Digital > Technologies" (di cui ho avuto il piacere e onore di farne parte insieme > con Lillà Montagnani che saluto ;-) > > Qui il PDF: > > https://ec.europa.eu/transparency/regexpert/index.cfm?do=groupDetail.groupMe... > > Potremmo anche organizzare un bel mercoledì per discutere come queste > proposte di modifica legislativa s'accordino alle dichiarazioni, linee > guida e codici etici degli ultimi 2 anni... > > Che ne dite, co-direttori? > > Cheers, > > u. > > <http://www.avg.com/email-signature?utm_medium=email&utm_source=link&utm_camp...> > > > > Mail priva di virus. www.avg.com <http://www.avg.com> > <http://www.avg.com/email-signature?utm_medium=email&utm_source=link&utm_camp...>

> > > > _______________________________________________ > nexa mailing list > nexa@server-nexa.polito.it <mailto:nexa@server-nexa.polito.it> > https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa >

-- reserve your meeting with me at http://cal.quintarelli.it

con lo stesso ragionamento non hai molte medicine e non voli in aereo Il 29/11/2019 23:25, Giacomo Tesio ha scritto:

Il November 29, 2019 2:13:15 PM UTC, Stefano Quintarelli <stefano@quintarelli.it> ha scritto:

...

se non ho capito male, se e' non difettoso ma causa harm, si inverte l'onere della prova (ovvero sta in carico al produttore). Questo e' un freno alla diffusione di sistemi di AI

Non sia mai! Non si può frenare il capitale^W profitto^W progresso! Non si può frenare l'AI !

Anzi, meglio fare come Uber e disabilitare i freni di emergenza.

D'altronde tutti sanno che se togli i freni dal treno arrivi prima a destinazione! :-)

Un sistema normativo che permetta di lasciare impunito chi danneggia terzi attraverso una AI non mi sembra molto... "trustworthy". ;-)

D'altronde la fiducia dei cittadini nello.stato di diritto non è poi così importante: forse dovremmo anche abrogare il secondo comma dell'articolo 41 della Costituzione.

Lasciamo alle imprese la possibilità di danneggiare impunemente la vita, la libertà e la dignità umana!

Non vorremo mica imporre "lacci e lacciuoli che spaventerebbero gli investitori!

Non pretenderemo mica che rischino i propri soldi!!

Giacomo

Buon giorno, mi scuso se mi inserisco in questo thread senza aver letto il materiale a cui si fa riferimento, ho letto solo il contenuto dei messaggi ecco il mio logorroico contributo Stefano Quintarelli <stefano@quintarelli.it> writes: [...]

If it is proven that an emerging digital technology has caused harm, the burden of proving defect should be reversed if there are disproportionate difficulties or costs pertaining to establishing the relevant level of safety or proving that this level of safety has not been met. This is without prejudice to the reversal of the burden of proof referred to in [22] and [24].

se non ho capito male, se e' non difettoso ma causa harm,

ehrm: un prodotto che causa danno (in particolare alle persone) è difettoso per definizione... e non c'è bisogno manco di richiamarsi alla prima legge fondamentale della robotica :-D

si inverte l'onere della prova (ovvero sta in carico al produttore).

ora sono fuori dal giro ma da giovane mi sono occupato di assicurazione qualità (ISO 9001 bla bla... uff) nel settore meccanico e tra quello che mi è toccato studiare c'era la norma sulla responsabilità da prodotto difettoso: confermo che è così da un sacco di anni e questo ha rappresentato un discreto passo avanti giuridico per i clienti *e* per i produttori (le ragioni sono lunghe e ci porterebbero fuori tema); il risultato di 'sto ambaradan è la famosissima marcatura CE il fatto è che con l'inversione della prova i produttori devono fare una analisi dei rischi seria per poter dimostrare, in caso di incidente, di aver fatto tutto al meglio dello stato dell'arte per eliminare il rischio o rudurlo, in funzione dell'entità del danno provocato questo significa *anche* che laddove il rischio esiste, chi usa il prodotto deve esserne informato _adeguatamente_ questo non ha fermato il mercato, lo ha rimodellato... con non pochi mugugni da parte di certi produttori ma poi se ne sono fatti una ragione, come tante altre volte nella storia del mercato

Questo e' un freno alla diffusione di sistemi di AI

sì ed è un bene, peché non vedo come il produttore di un robot da cucina "scemo" debba avere più oneri di un produttore di robot da cucina dotati di SALAMI (posto che ci sia qualcuno interessato al prodotto): signor giudice, non è colpa mia, io uso un sistema AI sofisticatissimo progettato dalla NASA e quello malauguratamente ha scambiato il dito del cliente per una carota perché in quel momento stava indossando guanti da cucina colorati di arancione... ehrm, perdonate il sarcasmo per fortuna al giorno d'oggi progettare robot da cucina che non ti taglino le dita al posto delle carote è banale, basta almeno copiare bene non ho le prove, ma _so_ che progettare un prodotto in modo tale da evitare che provochi morti, feriti o anche solo un brutto spavento è possibile con un serio processo di analisi dei rischi, le tecniche sono note da ormai 40 anni; è per questo che quando non succede mi _altero_ un filino non ho capito poi bene esattamente per quale ragione, quando in un sistema o prodotto ci metti dentro un po' di digitalizzazione, qualche sensore/attuatore in più e un software che esegue bene quello che "crede" di aver imparato in base a quello che **"crede" stia succedendo** allora sembra tutto nuovo, come se dovessimo ricominciare daccapo: questo vale per la sicurezza così come per i diritti dei lavoratori, passando per il diritto alla riservatezza delle comunicazioni, per la privacy e per la sorveglianza globale attraverso Internet se avete voglia di studiare il modo in cui sono precipitati i due Boeing 737 Max [1] dotati dell'intelligentissimo MACS [2] vi renderete conto di una impressionante galleria degli orrori progettuali che ha portato a quegli eventi, con il MACS che ha letteralmente buttato giù il muso degli aerei perché per un errore di sensing "pensava" che stessero andando in stallo; quei poveri piloti hanno avuto un sacco di tempo per rendersi conto che il MACS _sbagliava_ (ti dico io che l'aereo non sta andando in stallo!) ma non sono riusciti a far nulla perché non hanno più ripreso il controllo dell'aereo, anche grazie a un po' di panico indotto dal MACS *e* da formazione difettosa (perché tanto c'era MACS a sapere tutto); comparatela con la storia della decisione *umana* presa dal pilota nel famoso ammaraggio sul fiume Hudson [3]: siamo sicuri che certe decisioni le vorremo far prendere a un sistema AI a cui affianchiamo un umano scarsamente preparato e addestrato (costa meno) per quel compito? ...stendiamo poi un velo pietoso sul fatto che aereodinamicamente quel modello di aereo è un'offesa all'intelligenza umana e MACS è stato progettato per _sopperire_ ai difetti aerodinamici [4]: --8<---------------cut here---------------start------------->8--- Apparently the 737 Max pitched up a bit too much for comfort on power application as well as at already-high angles of attack. It violated that most ancient of aviation canons and probably violated the certification criteria of the U.S. Federal Aviation Administration. But instead of going back to the drawing board and getting the airframe hardware right (more on that below), Boeing relied on something called the “Maneuvering Characteristics Augmentation System,” or MCAS. Boeing’s solution to its hardware problem was software. --8<---------------cut here---------------end--------------->8--- non è che forse le autorità di certificazione come quella citata sopra si fanno _fregare_ un po' troppo facilmente accettando accrocchi software al posto della soluzione vera? tornando a bomba alla responsabilità da prodotto difettoso: siccome MCAS è classificato come AI vogliamo rendere giuridicamente vincolante che siano i parenti delle vittime - magari con una bella class action - ad avere l'onere della prova che è stato **un difetto** del MCAS a causare quel preciso incidente? tenendo conto del contesto illustrato sopra? provate a riportare per analogia quanto successo al Boeing 737 Max a un robot da cucina dotato di AI o a un tagliaerba robotizzato (maragi che tagli anche la siepe). Sostituire hardware progettato bene con uno fatto un po' meno bene **ma** dotato di AI... tipo sostituire il blocco meccanico delle lame con un sistema di riconoscimento dell'immagine di un dito :-S; lo so che è una provocazione, costa infinitamente meno fare un buon blocco meccanico, ma spero che comprendiate la provocazione ;-) più che un freno alla AI ci vorrebbe un freno alla "ragion pratica" :-D è da millenni che l'umanità ci sta lavorando, pian piano stiamo migliorando... non facciamoci *fregare* da SALAMI (TM Quintarelli) ...oppure (o dovrei dire "per cui?") si tratta di mettere un freno alla massimizzazione del profitto a qualsiasi costo? boh?!? --8<---------------cut here---------------start------------->8--- Most of those market and technical forces are on the side of economics, not safety. They work as allies to relentlessly drive down what the industry calls “seat-mile costs”—the cost of flying a seat from one point to another. --8<---------------cut here---------------end--------------->8--- (tratto da [4]) non è che è l'imprescindibile principio di realtà che "mette un freno" alla diffusione di sistemi AI? :-D cordiali saluti. Giovanni [1] https://en.wikipedia.org/wiki/Boeing_737_MAX#Accidents_and_incidents [2] https://en.wikipedia.org/wiki/Maneuvering_Characteristics_Augmentation_Syste... [3] https://en.wikipedia.org/wiki/US_Airways_Flight_1549 [4] https://web.archive.org/web/20190502065413/https:/spectrum.ieee.org/aerospac... [...] -- Giovanni Biscuolo Xelera IT Infrastructures

Ciao Stefano, Stefano Quintarelli <stefano@quintarelli.it> writes:

il boeing 737 era guidato da un sistema detreministico (difettoso) e' difettoso un farmaco che potrebbe generare una insufficienza renale acuta ? (la tachipirina, per dire)

non facciamo una chat dai :-) non ti chiedo di essere logorroico come me ma non riesco a capire l'insieme del tuo ragionamento se mi fai una domanda (in top quoting tra l'altro) senza almeno sviluppare una tesi, anche brevemente inoltre non capisco bene cosa c'entri la definizione di "farmaco difettoso" con l'AI e le implicazioni in merito alla responsabilità di chi la impiega nel proprio processo o prodotto ...ma ripeto, probabilmente mi sto perdendo qualcosa perché non ho letto la relazione oggetto di questo thread [...] Ciao, Gio' -- Giovanni Biscuolo Xelera IT Infrastructures

La settimana scorsa, in un convegno alla Camera sull’etica nella AI, Stefano in un suo lucido e rigoroso intervento ha offerto ai partecipanti uno spunto per me davvero molto interessante. (Lo cito a memoria e Stefano mi correggerà se dico una corbelleria) Siamo da sempre abituati, quando abbiamo a che fare con macchine, dalle più semplici alle più sofisticate, a pensare che a un errore della macchina corrisponda un suo cattivo funzionamento. Deriva da questo che se siamo capaci di riparare la macchina l’errore non si ripeterà. Con sistemi di AI non è così. Macchine perfettamente funzionanti possono generare errori. Non c’è niente da riparare. Ma forse molto da proteggere. (Quest’ultima considerazione è solo mia, non di Stefano) È di questo che si sta parlando, oppure ho capito male?

Il giorno 30 nov 2019, alle ore 17:26, Giacomo Tesio <giacomo@tesio.it> ha scritto:

Il November 30, 2019 12:32:18 PM UTC, Stefano Quintarelli <stefano@quintarelli.it> ha scritto:

...

il boeing 737 era guidato da un sistema detreministico (difettoso) e' difettoso un farmaco che potrebbe generare una insufficienza renale acuta ? (la tachipirina, per dire)

Per la verità, oltre i 3 grammi al giorno il paracetamolo è epatotossico. E stando al mio farmacista, già nel dosaggio da 1 grammo (la tachipirina da 1000) causa epatite nel 10% della popolazione perché non viene completamente metabolizzato.

In altri termini, è pericoloso. Ed a fronte di questo pericolo classifichiamo la tachipirina come farmaco invece che come caramella.

Non a caso nelle farmacie e nelle parafarmacie dove si la può acquistare trovi farmacisti qualificati (o quanto meno iscritti all'albo... ma questa è un'altra storia).

A ben guardare, si tratta di redress by design: laddove evitare un pericolo ci espone ad un danno certo, abbiamo creato un sistema di controllo umano correlato a responsabilità umane volte ad evitare che il rischio si concretizzi, abbassandone il più possibile la probabilità.

Vogliamo vendere auto a guida autonoma come la tachipirina? Perfetto: basta prendere le dovute precauzioni.

Creiamo (con soldi pubblici o privati?) l'infrastruttura necessaria: strade riservate al loro transito. E prevediamo un essere umano responsabile, in grado di evitare che uccidano qualcuno.

Questo essere umano può stare dentro il veicolo (dove di fatto ha accesso meccanico ai freni e al volante, minimizzando latenza e rischi di connessione) o su una torre di controllo. L'importante è che ci sia sempre un essere umano chiaramente identificabile da privare della libertà in caso di danni alle persone.

E questo vale per qualsiasi strumento di cui non sappiamo spiegare il comportamento ma decidiamo, da bravi fedeli del Cargo culting in questione, di applicare all'uomo.

Giacomo -- Inviato da un terminale mobile. Perdonate brevità ed orrori grammaticali. _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa