On lun, 2022-09-19 at 13:09 +0200, 380° wrote:

l'AI propone, l'uomo dispone: la /decisione/ finale in merito al fatto
che la determinazione (l'output) dell'AI sia sensato e debba essere
seguito deve essere sempre dell'umano

> The important thing is to take the existence of this class of attack
> into account when designing these systems. There may be systems that
> should not be built at all until we have a robust solution.

Ammettiamo che funzioni, e quindi che ci sia un AI che prende una decisione
 semplice, diciamo binaria, in modo che basti accendere una lampadina, 
 mettiamo rossa.

Ci vuole poi l'uomo nella catena di comando, che non avrà particolari
 requisiti, perché se  requisiti fossero enunciabili, non useremmo
 l'IA ma uomini addestrati.

Se l'uomo nella catena di comando non ha particolari requisiti,
 sarà ovviamente una risorsa umana dal costo più basso possibile,
 tipo esaminatori di filmati CSAM di un social, probabilmente altrettanto stressati

Ora, mettiamo che l'applicazione controlli una bussola per accedere
 all'aeroporto, dotata di IA per identificare i terroristi e di inceneritore
 incorporato per diminuirne il numero.
 
C'è l'uomo nella catena di comando, voi siete il falso positivo nella bussola
 e la luce rossa si accende.

Nessuno è mai stato licenziato per aver dato retta alla luce rossa.

Morale: se un intelligenza artificiale deve essere usata per prendere
 decisioni, deve poterlo fare in autonomia, senza  quel "controllo umano"
 che nella pratica, come tutti sanno o dovrebbero sapere, è un termine di fantasia.

Ma ci deve essere una catena di comando/responsabilità reale, e la tracciabilità
 delle decisioni dell'IA.

Lo so, è molto difficile da realizzare, ed ed è pure un pensiero eretico, ma 
 "l'uomo nella catena di comando" è una solo una pericolosa formula autoassolutoria
 di marketing.

JM2EC.   Marco