How malevolent machine learning could derail AI - MIT Technology Review
Nuove frontiere del reverse engineering. Oltre a quanto suggerisce il titolo, in realtà potrebbero rivelarsi utili per testare l'affidabilità di sistemi di apprendimento automatico. https://www.technologyreview.com/s/613170/emtech-digital-dawn-song-adversari... AV == Sent from my wireless device ==
Ciao Antonio!
Artificial intelligence won’t revolutionize anything if hackers can mess with it.
Ma certo! E' sempre colpa degli hacker! Non è mica il software che è una ciofeca! Sono gli hacker che son cattivi! D'altronde lo dicono sempre le mie bimbe: "Papà... è colpa tua!" :-D
Adversarial machine learning involves experimentally feeding input into an algorithm to reveal the information it has been trained on, or distorting input in a way that causes the system to misbehave.
In pratica si tratta di debug: visto che nessuno sa quale algoritmo il software implementi (perché è stato selezionato in modo pseudo casuale attraverso un processo statistico) non si può mai dimostrare che il software funziona, solo che NON funziona trovando casi di input che ne evidenzino gli errori. Ci credo che sono preoccupati: immagina che figuracce!
“It’s a big problem,” she told the audience. “We need to come together to fix it.”
Two weeks later: "We must find a solution NOW!" "Yeah... people could realize that machines do not learn for real!" "We could... We could..." "Forbid debug! Think about it: no more bugs! People will love it!" "Well... actually... with a bit more marketing..." :-D Giacomo On 27/03/2019, antonio.vetro@polito.it <antonio.vetro@polito.it> wrote:
Nuove frontiere del reverse engineering. Oltre a quanto suggerisce il titolo, in realtà potrebbero rivelarsi utili per testare l'affidabilità di sistemi di apprendimento automatico.
https://www.technologyreview.com/s/613170/emtech-digital-dawn-song-adversari...
AV
== Sent from my wireless device == _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
Per completezza, qui c’è il video dell’intervento della ricercatrice Dawn Song a EmTech (a me sembra che la frase che apre l’articolo non rappresenti fedelmente il suo pensiero): https://www.technologyreview.com/s/613170/emtech-digital-dawn-song-adversari... (direttamente il video scaricabile: https://secure-cf-c.ooyala.com/MweDZpaDE6DE5wpg_hkjKxsmplkqmC1q/DOcJ-FxaFrRg... ) A presto (e grazie per tutte le stimolanti letture), Enrico On Thu, 28 Mar 2019 at 02:19, Giacomo Tesio <giacomo@tesio.it> wrote:
Ciao Antonio!
Artificial intelligence won’t revolutionize anything if hackers can mess with it.
Ma certo! E' sempre colpa degli hacker! Non è mica il software che è una ciofeca! Sono gli hacker che son cattivi!
D'altronde lo dicono sempre le mie bimbe: "Papà... è colpa tua!" :-D
Adversarial machine learning involves experimentally feeding input into an algorithm to reveal the information it has been trained on, or distorting input in a way that causes the system to misbehave.
In pratica si tratta di debug: visto che nessuno sa quale algoritmo il software implementi (perché è stato selezionato in modo pseudo casuale attraverso un processo statistico) non si può mai dimostrare che il software funziona, solo che NON funziona trovando casi di input che ne evidenzino gli errori.
Ci credo che sono preoccupati: immagina che figuracce!
“It’s a big problem,” she told the audience. “We need to come together to fix it.”
Two weeks later:
"We must find a solution NOW!" "Yeah... people could realize that machines do not learn for real!" "We could... We could..." "Forbid debug! Think about it: no more bugs! People will love it!" "Well... actually... with a bit more marketing..."
:-D
Giacomo
On 27/03/2019, antonio.vetro@polito.it <antonio.vetro@polito.it> wrote:
Nuove frontiere del reverse engineering. Oltre a quanto suggerisce il titolo, in realtà potrebbero rivelarsi utili per testare l'affidabilità di sistemi di apprendimento automatico.
https://www.technologyreview.com/s/613170/emtech-digital-dawn-song-adversari...
AV
== Sent from my wireless device == _______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
_______________________________________________ nexa mailing list nexa@server-nexa.polito.it https://server-nexa.polito.it/cgi-bin/mailman/listinfo/nexa
participants (3)
-
antonio.vetro＠polito.it -
Enrico Poli -
Giacomo Tesio