Il 12 gennaio 2018 12:38, Giuseppe Attardi <attardi@di.unipi.it> ha scritto:

On 12 Jan 2018, at 12:00, nexa-request@server-nexa.polito.it wrote:

...

IMHO presto i giudici dovranno valutare cosa implica questa norma se il titolare utilizza sistemi ad apprendimento automatico. m.c.

Questa è la strada che qualcuno pensa di precorrere per bloccare i sistemi di ML.

Semplicemente, ci troviamo di fronte ad un mercato non regolamentato. E come è sempre accaduto nel passato, in un mercato non regolamentato si muovono fortissimi interessi, volti a creare e solidificare posizioni dominanti prima che la regolamentazione arrivi. E possibilmente, posizioni di potere così forti da influenzare la regolamentazione stessa, in modo da creare forti barriere di ingresso e tutelare gli interessi dei player esistenti. E come in passato, i player esistenti si oppongono con forza all'introduzione di regolamentazioni cercando di differirle il più possibile, gridando che "non si può fermare il progresso", o lodando le "magnifiche sorti e progressive". Temo sia cosa già vista, e abbondantemente studiata in economia e storia.

Ma è una strada che non porta da nessuna parte, per diverse ragioni:

- non si sono difficoltà a spiegare come funziona un sistema di ML

Affermazione non pertinente. Non si tratta di spiegare come funziona un generico sistema di ML. Si tratta di spiegare le logiche applicate da una specifica applicazione statistica per calcolare uno specifico risultato. E' sicuramente semplice per certi sistemi ML, come l'esempio del K-means clustering. Semplice, non economico. Probabilmente la società assicurativa fittizia che immaginavo nell'esempio precedente, preferirebbe nettamente pagare fior di quattrini ad un team di esperti internazionali per certificare la correttezza del proprio "algoritmo", invece di storare in un luogo sicuro, per anni, tutte le informazioni necessarie a riprodurre la cluster analysis, in caso di una causa. Fortunatamente, i computer sono ancora deterministici, ed in fondo, pretendere la riesecuzione dell'analisi non è altro che applicare il metodo scientifico. In pratica, verifichiamo una teoria. Ma se spiegare come funziona una generica rete neurale è semplice, spiegare (finanche conoscere) il processo decisionale che una specifica rete neurale sta cercando di approssimare è molto più complesso. Equivale a dire di essere in grado, data una specifica rete neurale configurata e calibrata, di determinare la sua funzione obbiettivo. Ovvero determinare, dopo la sua calibrazione, senza conoscere lo scopo per cui è stata calibrata, tale scopo. Se è così, se ne sei in grado, potresti davvero aiutarmi nel mio lavoro. Credo che avresti risolto il problema della terminazione. ;-)

- è abbastanza agevole produrre una spiegazione “comprensibile” del suo comportamento (citazione da Yan LeCun, uno dei pionieri del Deep Learning). C’è stato un panel a proposito all’ultima conferenza NIPS 2017.

Ricerca, non conoscenza consolidata su cui basare decisioni relative alle persone. Apprezzo comunque qualsiasi link relativo al reverse enginering delle reti neurali.

- i sistemi di ML forniscono soluzioni ottimali, nel senso che utilizzano una funzione di utilità per determinare la soluzione ottima, né più né meno dei sistemi che usiamo tutti i giorni: per esempio per calcolare il percorso stradale ottimale, per gestire la logistica, per ottimizzare un ciclo di produzione.

Infatti io non sostengo affatto che il ML vada bloccato. Non è pericoloso. Affatto! Non è una sorta di intelligenza aliena che potrebbe distruggerci tutti. Va solo applicato con buon senso. Avendo chiaro, come sempre, che la persona viene prima degli interessi economici.

- nessuno dei sistemi informatici che usiamo oggi può essere “spiegato” in modo convincente. È di questi giorni a vicenda della vulnerabilità Meltdown, che ha influenzato tutti i processori in uso dal oltre 10 anni. Qualcuno aveva chiesto e ottenuto spiegazioni? I sistemi informatici sono ormai troppo complessi per potere essere “spiegati”.

Questo in inglese lo chiamiamo FUD: "Fear, uncertainty and doubt". In questi giorni ho letto diversi papers relativi ai rischi di sicurezza dell'esecuzione speculativa. Uno è del 1995. Sarà sfuggito alla Intel? Chissà, magari la pericolosità del cemento amianto è davvero sfuggita a De Cartier e Schmidheiny. Come l'Intel, sono vittime del proprio successo! Io sostengo la tesi opposta: TUTTI i sistemi informatici che usiamo oggi possono essere spiegati. Ammetto che per la magia ci stiamo ancora attrezzando. Le reti neurali sono semplicemente così costose da debuggare/spiegare da diventare istantaneamente antieconomiche nel momento in cui questa attività diventa importante, come per tutelare i diritti di una persona. A meno che non si voglia stabilire che tali diritti sono meno importanti delle "magnifiche sorti e progressive" che questo nuovo mercato deregolamentato promette. O che, contrariamente a quanto viene fatto in qualsiasi altro ambito scientifico, non vogliamo adottare la fase di verifica dei risultati, che dobbiamo "fare a fidasse".

- i sistemi di ML sono in grado di indicare il livello di accuratezza che riescono ad ottenere, spesso avvicinandosi al 98-99%. Altri sistemi, cosiddetti basati sulla conoscenza, non raggiungono nemmeno lontanamente questi livelli di accuratezza, né sono in grado di specificare la loro copertura dei problemi.

Ripeto che il problema non è lo strumento, è l'uso. QUALE funzione riescono ad approssimare con una precisione del 99%?

- preferite usare uno strumento che vanta un'accuratezza del 98% e dice quali casi sa trattare, piuttosto che uno strumento che vanta un’accuratezza del 60% e non si sa quali casi tratta?

Dipende. Se guida una pistola puntata alla mia testa, preferisco avere il 40% di possibilità di sopravvivere. ;-) Battute a parte, non usiamo la complessità per giustificare l'ignoranza. Non stiamo parlando di magia, ma di matematica. In alcuni casi piuttosto semplice. Non mettiamo tutte le tecniche del ML in un calderone, dicendo o permettiamo tutto o non avremo niente. Non è così. Dobbiamo solo URGENTEMENTE regolamentare. Giacomo