Fawkes - Image poisoning contro Facial recognition.
Questo mi pare il primo vero punto di svolta nella realizzazione di una protezione preventiva della privacy visuale online da quando il riconoscimento facciale è entrato nell'ecosistema digitale. Mi vengono queste domande: - questa alterazione è rilevabile e reversibile? E' l'inizio di una arms race? - La perturbazione regge anche al passaggio analogico? Che succede se stampo la foto alterata per introdurla ad es. nel passaporto elettronico? - Chi realizzerà per primo il plugin per browser che altera i volti prima dell'upload? - Quali piattaforme offriranno questa feature a chi carica le proprie foto? Ciao, Alberto Articolo: <http://sandlab.cs.uchicago.edu/fawkes/> Paper: <https://arxiv.org/pdf/2002.08327.pdf> [...] The SAND Lab at University of Chicago has developed Fawkes, an algorithm and software tool (running locally on your computer) that gives individuals the ability to limit how their own images can be used to track them. At a high level, Fawkes takes your personal images and makes tiny, pixel-level changes that are invisible to the human eye, in a process we call image cloaking. You can then use these "cloaked" photos as you normally would, sharing them on social media, sending them to friends, printing them or displaying them on digital devices, the same way you would any other photo. The difference, however, is that if and when someone tries to use these photos to build a facial recognition model, "cloaked" images will teach the model an highly distorted version of what makes you look like you. The cloak effect is not easily detectable by humans or machines and will not cause errors in model training. However, when someone tries to identify you by presenting an unaltered, "uncloaked" image of you (e.g. a photo taken in public) to the model, the model will fail to recognize you. Fawkes has been tested extensively and proven effective in a variety of environments and is 100% effective against state-of-the-art facial recognition models (Microsoft Azure Face API, Amazon Rekognition, and Face++). We are in the process of adding more material here to explain how and why Fawkes works. For now, please see the link below to our technical paper, which will be presented at the upcoming USENIX Security Symposium, to be held on August 12 to 14. The Fawkes project is led by two PhD students at SAND Lab, Emily Wenger and Shawn Shan, with important contributions from Jiayun Zhang (SAND Lab visitor and current PhD student at UC San Diego) and Huiying Li, also a SAND Lab PhD student. The faculty advisors are SAND Lab co-directors and Neubauer Professors Ben Zhao and Heather Zheng. [...]
Buongiorno Alberto, grazie mille per la segnalazione! Alberto Cammozzo via nexa <nexa@server-nexa.polito.it> writes:
Questo mi pare il primo vero punto di svolta nella realizzazione di una protezione preventiva della privacy visuale online da quando il riconoscimento facciale è entrato nell'ecosistema digitale.
Sì potrebbe essere una svolta, interessante progetto: https://github.com/Shawn-Shan/fawkes --8<---------------cut here---------------start------------->8--- Copyright This code is intended only for personal privacy protection or academic research. We are currently exploring the filing of a provisional patent on the Fawkes algorithm. --8<---------------cut here---------------end--------------->8--- In realtà è software libero (in python) con licenza BSD "3-clause" Mi auguro vivamente che decidano di NON brevettare l'algoritmo.
Mi vengono queste domande: - questa alterazione è rilevabile e reversibile? E' l'inizio di una arms race? - La perturbazione regge anche al passaggio analogico? Che succede se stampo la foto alterata per introdurla ad es. nel passaporto elettronico?
Questa giornalista ha riscontrato un problema con le immagini alterate, che erano alterate anche "a occhio nudo": https://www.nytimes.com/2020/08/03/technology/fawkes-tool-protects-photos-fr... --8<---------------cut here---------------start------------->8--- I then uploaded the originals and the cloaked images to Facebook to see if they fooled the social network’s facial recognition system. It worked: Facebook tagged me in the original photo but did not recognize me in the cloaked version. However, the changes to the photos were noticeable to the naked eye. In the altered images, I looked ghoulish, my 3-year-old daughter sprouted what looked like facial hair, and my husband appeared to have a black eye. The researchers had a few explanations for this. One is that the software is designed to match you with the face template of someone who looks as much unlike you as possible, pulling from a database of celebrity faces. That usually ends up being a person of the opposite sex, which leads to obvious problems. --8<---------------cut here---------------end--------------->8--- Inoltre, PARE che a questo punto a Clearview &C. non gliene importa più nulla perché hanno tonnellate di immagini a disposizione: --8<---------------cut here---------------start------------->8--- But Clearview’s chief executive, Hoan Ton-That, ran a version of my Facebook experiment on the Clearview app and said the technology did not interfere with his system. In fact, he said, his company could use images cloaked by Fawkes to improve its ability to make sense of altered images. “There are billions of unmodified photos on the internet, all on different domain names,” Mr. Ton-That said. “In practice, it’s almost certainly too late to perfect a technology like Fawkes and deploy it at scale.” Other experts were also skeptical that Fawkes would work. Joseph Atick, a facial recognition pioneer who has come to regret the surveillance society he helped to create, said the volume of images of ourselves that we had already made available would be too hard to overcome. --8<---------------cut here---------------end--------------->8---
- Chi realizzerà per primo il plugin per browser che altera i volti prima dell'upload? - Quali piattaforme offriranno questa feature a chi carica le proprie foto?
Cigliegina sulla torta: --8<---------------cut here---------------start------------->8--- “I’m actually interning on that exact team at Facebook right now,” said the Fawkes co-creator Mr. Shan. --8<---------------cut here---------------end--------------->8--- - Chi comprerà per primo la startup/spinoff di Fawkes per usarla come vantaggio competitivo contro gli altri? (del tipo Facebook che pubblica le versioni inquinate delle foto ma al suo interno indicizza quelle originali per creare un grafo sociale più efficace) ...soprattutto SE l'algoritmo verrà brevettato. [...] Ciao, Giovanni. -- Giovanni Biscuolo
Il August 9, 2020 3:11:21 PM UTC, Giovanni Biscuolo <giovanni@biscuolo.net> ha scritto:
But Clearview’s chief executive, Hoan Ton-That, ran a version of my Facebook experiment on the Clearview app and said the technology did not interfere with his system. In fact, he said, his company could use images cloaked by Fawkes to improve its ability to make sense of altered images.
“There are billions of unmodified photos on the internet, all on different domain names,” Mr. Ton-That said. “In practice, it’s almost certainly too late to perfect a technology like Fawkes and deploy it at scale.”
Other experts were also skeptical that Fawkes would work. Joseph Atick, a facial recognition pioneer who has come to regret the surveillance society he helped to create, said the volume of images of ourselves that we had already made available would be too hard to overcome.
Personalmente credo che vendere questo programma come protezione per la privacy sia molto discutibili. In pratica, chi lo usa, produce gratuitamente dati per calibrare una adversarial neural network in grado di migliorare gli algoritmi di facial recognition. Quanto al fatto che sia troppo tardi, non sono d'accordo: possiamo insegnare ai ragazzi a NON diffondere proprie immagini su internet. La nostra generazione è stata ingenua ed ignorante, ma la prossima non è ancora del tutto perduta. Giacomo
On 09/08/2020 17:51, Giacomo Tesio wrote:
Il August 9, 2020 3:11:21 PM UTC, Giovanni Biscuolo <giovanni@biscuolo.net> ha scritto:
But Clearview’s chief executive, Hoan Ton-That, ran a version of my Facebook experiment on the Clearview app and said the technology did not interfere with his system. In fact, he said, his company could use images cloaked by Fawkes to improve its ability to make sense of altered images.
“There are billions of unmodified photos on the internet, all on different domain names,” Mr. Ton-That said. “In practice, it’s almost certainly too late to perfect a technology like Fawkes and deploy it at scale.”
Other experts were also skeptical that Fawkes would work. Joseph Atick, a facial recognition pioneer who has come to regret the surveillance society he helped to create, said the volume of images of ourselves that we had already made available would be too hard to overcome.
Personalmente credo che vendere questo programma come protezione per la privacy sia molto discutibili.
In pratica, chi lo usa, produce gratuitamente dati per calibrare una adversarial neural network in grado di migliorare gli algoritmi di facial recognition.
Quanto al fatto che sia troppo tardi, non sono d'accordo: possiamo insegnare ai ragazzi a NON diffondere proprie immagini su internet.
La nostra generazione è stata ingenua ed ignorante, ma la prossima non è ancora del tutto perduta.
Giacomo
Gli utenti delle piattaforme social non hanno consapevolezza dell'uso delle loro foto o meglio non vogliono averne. Chi sa a cosa servono i dati che fornisce si guarda bene dall'entrarci. Pensandoci bene Fawkes è un sistema di protezione delle piattaforme contro l'appropriazione da parte di altri soggetti (come Clearview) e non un sistema di protezione per gli utenti (almeno al momento). Serve soprattutto a Facebook (che ha pagato la ricerca), ma molto meno ai suoi utenti. Le piattaforme devono proteggere le immagini degli utenti da sistemi come Clearview che se ne appropriano, perché possono inibire la propensione degli utenti a condividere immagini. In mancanza di un quadro giuridico chiaro le piattaforme installeranno sistemi tecnici di protezione dal riconoscimento facciale come Fawkes solo sulle immagini offerte in rete, lasciando pulite quelle "per uso interno". Il riconoscimento facciale degli utenti di FB funzionerà all'interno di FB ma non per Clearview. Clearview può minimizzare l'impatto sul proprio già traballante business, ma ha bisogno di dati aggiornati: se non acquisisce dati nuovi tra 3 anni è fuori mercato. Le agenze governative (molte sono clienti di Clearview) sono interessate ai dati non inquinati, per cui dove possono faranno vietare il cloacking o si garantiranno comunque accesso diretto ai dati puliti. Questo in teoria. In pratica ogni tecnologia ha conseguenze inattese. Ne vedo una che riguarda i passaporti biometrici: se il cloaking funziona anche attraverso l'analog bridge stampa-scansione, questo comporterà che le foto dei passaporti biometrici andranno scattate in questura, e non acquisite dalle stampe fornite all'utente. Ho chiesto a Ben Zhao: proverà a vedere se il cloacking resiste alla stampa: <https://twitter.com/ravenben/status/1292229125969780737> ciao! Alberto
participants (3)
-
Alberto Cammozzo -
Giacomo Tesio -
Giovanni Biscuolo