Buongiorno Marco, Marco Calamari <marcoc@marcoc.it> writes:

On lun, 2022-09-19 at 13:09 +0200, 380° wrote:

...

l'AI propone, l'uomo dispone: la /decisione/ finale in merito al fatto che la determinazione (l'output) dell'AI sia sensato e debba essere seguito deve essere sempre dell'umano

scusa ho usato male il termine decisione, intendevo /scelta/ alla Weizenbaum [1] [...]

Ammettiamo che funzioni, e quindi che ci sia un AI che prende una decisione  semplice, diciamo binaria, in modo che basti accendere una lampadina,   mettiamo rossa.

sì grazie per averlo evidenziato: la decisione è binaria, la scelta no

Ci vuole poi l'uomo nella catena di comando

no, forse mi sono spiegato male: non nella catena di comando, proprio al comando; non sto parlando di quelle povere persone chiamate "Ghost workers" [2] tra l'altro, chiunque voglia ridurre l'umano a un ingranaggio della "catena cibernetica" è un povero illuso; gli essere viventi trovano sempre modi molto creativi per /vendicarsi/, prima o poi :-D [...]

Ora, mettiamo che l'applicazione controlli una bussola per accedere  all'aeroporto, dotata di IA per identificare i terroristi e di inceneritore  incorporato per diminuirne il numero.

non c'è bisogno di ipotizzare incidenti per comprendere quanto sostituire la razionalità umana con una AI (sottolineo di nuovo /narrow/) sia **mortifero**: https://incidentdatabase.ai per esempio, l'incident 3 https://incidentdatabase.ai/cite/3 relativo al famigerrimo MCAS (Maneuvering Characteristics Augmentation System) --8<---------------cut here---------------start------------->8--- Pilots struggled against the new system, which is designed to prevent a stall by automatically pushing the nose down. Tragically, on Flight 610 it was apparently triggered by a sensor delivering a false reading. There was no stall. --8<---------------cut here---------------end--------------->8--- (https://incidentdatabase.ai/cite/3#r375) il nocciolo della questione è che il Boeing 737 MAX aerodinamicamente non reggeva (era un 737 riadattato, anzi /disadattato/, per farla breve) e il rischio di stallo era altissimo; piuttosto che rifarlo hanno introdotto MCAS: c'è bisogno di aggiungere altro? ma sì vah, carichiamo: - https://incidentdatabase.ai/cite/11 «Northpointe Risk Models» --8<---------------cut here---------------start------------->8--- An algorithm developed by Northpointe and used in the penal system is two times more likely to incorrectly label a black person as a high-risk re-offender and is two times more likely to incorrectly label a white person as low-risk for reoffense according to a ProPublica review. --8<---------------cut here---------------end--------------->8--- - https://incidentdatabase.ai/cite/35 «Employee Automatically Terminated by Computer Program» --8<---------------cut here---------------start------------->8--- An employee was laid off and blocked from access to the building and computer systems at their employer without their knowledge. The employee, Ibrahim Diallo, attributes this error (the employee was brought back into the company once realized) to an artificially intelligent system deciding to fire him. It is also reported Diallo's manager had failed to renew Diallo's contract, which was terminated once a deadline to do so was missed. --8<---------------cut here---------------end--------------->8--- ...e come dimenticare il mitico Stanislov Petrov che il 26 Settembre 1983, senza bisogno di giocare a tik-tak-toe contro il supercomputer, riuscì a evitare un contrattacco nucleare: - https://incidentdatabase.ai/cite/27 «Nuclear False Alarm» --8<---------------cut here---------------start------------->8--- An alert of five incoming intercontinental ballistic missiles was properly identified as a false-positive by the Soviet Union operator Stanislov Petrov. --8<---------------cut here---------------end--------------->8--- Se all'epoca ci fosse stato direttamente un sistema di lancio direttamente controllato da AI cosa sarebbe successo? Sarebbe successo come a quei poveri piloti del Boeing 737 MAX con MCAS? In tutti i casi che ho citato sopra è facile notare come gli errori dipendono solo da una BANALE verità: la realtà artificiale è ESTREMAMENTE semplificata e **compressa** rispetto alla complessità della realtà naturale, QUINDI qualsiasi AI avrà sempre una visione parziale e /distorta/ di quello che /accade/ davvero. Anche gli umani, certo, sbagliano... ma l'errore umano è di diversi ordini di grandezza meno "abberrato" rispetto a quello di una AI, perché noi siamo naturalmente dotati di /intelligenza emotiva/ e libero arbitrio [...]

Nessuno è mai stato licenziato per aver dato retta alla luce rossa.

Ho l'impressione di sì, invece ...comunque senza dubbio molti sono morti.

Morale: se un intelligenza artificiale deve essere usata per prendere  decisioni, deve poterlo fare in autonomia, senza  quel "controllo umano"  che nella pratica, come tutti sanno o dovrebbero sapere, è un termine di fantasia.

non ho capito nulla

Ma ci deve essere una catena di comando/responsabilità reale, e la tracciabilità  delle decisioni dell'IA.

stai scherzando vero? La "tracciabilità delle decisioni dell'IA" non esiste, una volta che passi la fase 2 di https://nooscope.ai/ (Learning Algorithm) il processo è IRREVERSIBILE detto in altro modo, dato il modello non è possibile ricavare l'algoritmo, i criteri di valutazione, l'ambiente di testing, gli iperparametri, i criteri di labeling... se per ciascun modello AI l'intero ambiente illustrato da nooscope.ai fosse pubblicato, si potrebbero analizzare e (ri)applicare - anche dopo ciascuna modifica in uno dei livelli - le consolidatissime tecniche ingegneristiche di analisi dei rischi (tipo FMEA) e informatiche di software testing ...ma non lo fosse

Lo so, è molto difficile da realizzare, ed ed è pure un pensiero eretico, ma   "l'uomo nella catena di comando" è una solo una pericolosa formula autoassolutoria  di marketing.

ma infatti io sostengo: «l'AI propone, l'uomo dispone» (che poi intendo l'umano, neh!) potrei anche dire "solo l'uomo al comando" ma da lì a "solo un uomo al comando" il qui pro quo è un passo :-O Saluti, 380° [1] https://en.wikipedia.org/wiki/Computer_Power_and_Human_Reason [2] https://nooscope.ai/ -- 380° (Giovanni Biscuolo public alter ego) «Noi, incompetenti come siamo, non abbiamo alcun titolo per suggerire alcunché» Disinformation flourishes because many people care deeply about injustice but very few check the facts. Ask me about <https://stallmansupport.org>.