Buon giorno, mi scuso se mi inserisco in questo thread senza aver letto il materiale a cui si fa riferimento, ho letto solo il contenuto dei messaggi ecco il mio logorroico contributo Stefano Quintarelli <stefano@quintarelli.it> writes: [...]
If it is proven that an emerging digital technology has caused harm, the burden of proving defect should be reversed if there are disproportionate difficulties or costs pertaining to establishing the relevant level of safety or proving that this level of safety has not been met. This is without prejudice to the reversal of the burden of proof referred to in [22] and [24].
se non ho capito male, se e' non difettoso ma causa harm,
ehrm: un prodotto che causa danno (in particolare alle persone) è difettoso per definizione... e non c'è bisogno manco di richiamarsi alla prima legge fondamentale della robotica :-D
si inverte l'onere della prova (ovvero sta in carico al produttore).
ora sono fuori dal giro ma da giovane mi sono occupato di assicurazione qualità (ISO 9001 bla bla... uff) nel settore meccanico e tra quello che mi è toccato studiare c'era la norma sulla responsabilità da prodotto difettoso: confermo che è così da un sacco di anni e questo ha rappresentato un discreto passo avanti giuridico per i clienti *e* per i produttori (le ragioni sono lunghe e ci porterebbero fuori tema); il risultato di 'sto ambaradan è la famosissima marcatura CE il fatto è che con l'inversione della prova i produttori devono fare una analisi dei rischi seria per poter dimostrare, in caso di incidente, di aver fatto tutto al meglio dello stato dell'arte per eliminare il rischio o rudurlo, in funzione dell'entità del danno provocato questo significa *anche* che laddove il rischio esiste, chi usa il prodotto deve esserne informato _adeguatamente_ questo non ha fermato il mercato, lo ha rimodellato... con non pochi mugugni da parte di certi produttori ma poi se ne sono fatti una ragione, come tante altre volte nella storia del mercato
Questo e' un freno alla diffusione di sistemi di AI
sì ed è un bene, peché non vedo come il produttore di un robot da cucina "scemo" debba avere più oneri di un produttore di robot da cucina dotati di SALAMI (posto che ci sia qualcuno interessato al prodotto): signor giudice, non è colpa mia, io uso un sistema AI sofisticatissimo progettato dalla NASA e quello malauguratamente ha scambiato il dito del cliente per una carota perché in quel momento stava indossando guanti da cucina colorati di arancione... ehrm, perdonate il sarcasmo per fortuna al giorno d'oggi progettare robot da cucina che non ti taglino le dita al posto delle carote è banale, basta almeno copiare bene non ho le prove, ma _so_ che progettare un prodotto in modo tale da evitare che provochi morti, feriti o anche solo un brutto spavento è possibile con un serio processo di analisi dei rischi, le tecniche sono note da ormai 40 anni; è per questo che quando non succede mi _altero_ un filino non ho capito poi bene esattamente per quale ragione, quando in un sistema o prodotto ci metti dentro un po' di digitalizzazione, qualche sensore/attuatore in più e un software che esegue bene quello che "crede" di aver imparato in base a quello che **"crede" stia succedendo** allora sembra tutto nuovo, come se dovessimo ricominciare daccapo: questo vale per la sicurezza così come per i diritti dei lavoratori, passando per il diritto alla riservatezza delle comunicazioni, per la privacy e per la sorveglianza globale attraverso Internet se avete voglia di studiare il modo in cui sono precipitati i due Boeing 737 Max [1] dotati dell'intelligentissimo MACS [2] vi renderete conto di una impressionante galleria degli orrori progettuali che ha portato a quegli eventi, con il MACS che ha letteralmente buttato giù il muso degli aerei perché per un errore di sensing "pensava" che stessero andando in stallo; quei poveri piloti hanno avuto un sacco di tempo per rendersi conto che il MACS _sbagliava_ (ti dico io che l'aereo non sta andando in stallo!) ma non sono riusciti a far nulla perché non hanno più ripreso il controllo dell'aereo, anche grazie a un po' di panico indotto dal MACS *e* da formazione difettosa (perché tanto c'era MACS a sapere tutto); comparatela con la storia della decisione *umana* presa dal pilota nel famoso ammaraggio sul fiume Hudson [3]: siamo sicuri che certe decisioni le vorremo far prendere a un sistema AI a cui affianchiamo un umano scarsamente preparato e addestrato (costa meno) per quel compito? ...stendiamo poi un velo pietoso sul fatto che aereodinamicamente quel modello di aereo è un'offesa all'intelligenza umana e MACS è stato progettato per _sopperire_ ai difetti aerodinamici [4]: --8<---------------cut here---------------start------------->8--- Apparently the 737 Max pitched up a bit too much for comfort on power application as well as at already-high angles of attack. It violated that most ancient of aviation canons and probably violated the certification criteria of the U.S. Federal Aviation Administration. But instead of going back to the drawing board and getting the airframe hardware right (more on that below), Boeing relied on something called the “Maneuvering Characteristics Augmentation System,” or MCAS. Boeing’s solution to its hardware problem was software. --8<---------------cut here---------------end--------------->8--- non è che forse le autorità di certificazione come quella citata sopra si fanno _fregare_ un po' troppo facilmente accettando accrocchi software al posto della soluzione vera? tornando a bomba alla responsabilità da prodotto difettoso: siccome MCAS è classificato come AI vogliamo rendere giuridicamente vincolante che siano i parenti delle vittime - magari con una bella class action - ad avere l'onere della prova che è stato **un difetto** del MCAS a causare quel preciso incidente? tenendo conto del contesto illustrato sopra? provate a riportare per analogia quanto successo al Boeing 737 Max a un robot da cucina dotato di AI o a un tagliaerba robotizzato (maragi che tagli anche la siepe). Sostituire hardware progettato bene con uno fatto un po' meno bene **ma** dotato di AI... tipo sostituire il blocco meccanico delle lame con un sistema di riconoscimento dell'immagine di un dito :-S; lo so che è una provocazione, costa infinitamente meno fare un buon blocco meccanico, ma spero che comprendiate la provocazione ;-) più che un freno alla AI ci vorrebbe un freno alla "ragion pratica" :-D è da millenni che l'umanità ci sta lavorando, pian piano stiamo migliorando... non facciamoci *fregare* da SALAMI (TM Quintarelli) ...oppure (o dovrei dire "per cui?") si tratta di mettere un freno alla massimizzazione del profitto a qualsiasi costo? boh?!? --8<---------------cut here---------------start------------->8--- Most of those market and technical forces are on the side of economics, not safety. They work as allies to relentlessly drive down what the industry calls “seat-mile costs”—the cost of flying a seat from one point to another. --8<---------------cut here---------------end--------------->8--- (tratto da [4]) non è che è l'imprescindibile principio di realtà che "mette un freno" alla diffusione di sistemi AI? :-D cordiali saluti. Giovanni [1] https://en.wikipedia.org/wiki/Boeing_737_MAX#Accidents_and_incidents [2] https://en.wikipedia.org/wiki/Maneuvering_Characteristics_Augmentation_Syste... [3] https://en.wikipedia.org/wiki/US_Airways_Flight_1549 [4] https://web.archive.org/web/20190502065413/https:/spectrum.ieee.org/aerospac... [...] -- Giovanni Biscuolo Xelera IT Infrastructures