2018-03-27 19:56 GMT+02:00 Enrico Nardelli <nardelli@mat.uniroma2.it>:

Vi segnalo i seguente rapporto
  When Computers Decide: European Recommendations on Machine-Learned Automated Decision Making
che abbiamo prodotto congiuntamente tra Informatics Europe e ACM Europe Council

Veramente un ottimo testo, lucido, chiaro ed equilibrato.
Ne consiglio veramente la lettura a tutti!

Ne emerge chiaramente una sintesi fra competenze diverse ma radicate ed aperte al confronto.

L'unico contributo alla riflessione che posso offrire con il mio "Security Hat on", riguarda un piccolissimo passaggio che trovo rischioso:

When complex automated decision-making systems operate without human involvement, three conditions need to be satisfied: [...]
Traceability—the automated decision maker must be able to autonomously show the rationale for its decision using empirical, experimental or other evidence that rejects several other possible decisions in favour of the one chosen.


Interpretando questa definizione di tracciabilità come una specifica, mi troverei di fronte ad un albero di possibilità implementative, alcune delle quali in grado di soddisfare esattamente la specifica senza garantirne il razionale.
Macroscopicamente salta agli occhi che il sistema di decisione autonoma potrebbe generare, su richiesta, SOLO le soluzioni alternative alla decisione assunta che riesce a scartare attraverso evidenze empiriche e sperimentali compatibili con la legge.
Ovvero potrebbe essere programmato per NON generare decisioni alternative migliori di quella assunta da un punto di vista etico o legale, per proteggere i propri costruttori dalla domanda "perché non ha fatto invece così?"

Questo potrebbe essere usato per scaricare sulla collettività il costo di trovare contro esempi.

Una soluzione logica a questo problema di specifica potrebbe essere quella di sostituire nella definizione la parola "several" con "every": il sistema autonomo stesso dovrebbe valutare (e fornire in caso di necessità) tutte le possibili decisioni pertinenti al problema in essere.

Un'altra soluzione potrebbe essere lo sviluppo di strumenti in grado di analizzare e spiegare il processo decisionale (aka tool debug della intelligenza artificiale dimostrabilmente affidabili).

Si tratta comunque di muoversi lungo una linea di equilibrio: da un lato applicare all'uomo solo sistemi di ML spiegabili (regressione lineare, k-mean clustering etc..) e dall'altro ideare e sviluppare nuovi tool di debug per aumentare le possibilità applicative degli altri sistemi.



Aspetto la riflessione sulla responsabilità legale nel software (e parteciperei volentieri ad essa).

E' un tema estremamente complesso da un punto di vista etico, legale e tecnico.
Il rischio è che il software libero venga usato come scudo retorico per far evaporare la responsabilità.

Come viene chiaramente spiegato nel testo, ci deve sempre essere almeno un essere umano a rispondere degli effetti delle decisioni basate sui calcoli di una macchina.
Stabilire chi è semplice nel caso della robotica: di un pilota automatico sviluppato come software libero risponde chi lo ha montato a guida dell'hardware. Ma se il pilota automatico fosse proprietario?
Inoltre nel caso di un sistema completamente software che ad esempio suggerisca quali candidati ammettere ad un corso universitario a numero chiuso, distribuire e ricondurre le responsabilità alle persone diventa molto più complesso.



Giacomo