[nexa] analisi collaborativa algoritmi, un nuovo esperimento

Claudio Agosti claudio.agosti at logioshermes.org
Sun Mar 22 19:37:23 CET 2020


 Volevo aggiornarvi e cercare confronto su metodi di analisi degli
algoritmi. Negli anni passati abbiamo provato ad usare profili sotto il
nostro controllo, o gruppi di volontari in determinati momenti
(tipicamente, campagna elettorale).

Ora stiamo provando i test collaborativi. Il primo fatto, per testare per
lo più il nostro gruppo, è stato su pornhub (i link sono *safe for work*)

Tutto inizia con una chiamata a contribuire:
https://pornhub.tracking.exposed/
<https://pornhub.tracking.exposed/potest/1/>potest/1/
<https://pornhub.tracking.exposed/potest/1/>
<https://pornhub.tracking.exposed/>
Un tot di persone vengono coinvolte da un thread su reddit, partecipano,
rilasciamo i dati, e dopo un po' di settimane, una piccola analisi.
Come spiegato, si tratta di *indicatori tecnologici *ancora distanti da un
impatto sulla persone. Bene comunque. è stato un valido modo per iniziare a
vedere dove e come un algoritmo di content curation ha effetto:
https://pornhub.tracking.exposed/potest/final-1/

Visto quindi:

   - il discreto successo con potest#1
   - che sull'analisi di youtube ci fosse un dibattito in corso, sul fatto
   che le ricerche più recenti usassero profili non loggati (
   https://www.nytimes.com/interactive/2020/03/02/technology/youtube-conspiracy-theory.html
   )
   - che recentemente youtube avesse dichiarato di penalizzare le teorie
   complottiste del 70% (naturalmente senza alcun dato assoluto), ma che vero
   o non vero, a sensazione funziona molto meglio sull'inglese che in altre
   lingue [stessa fonte di sopra]
   - la situazione sanitaria critica in cui siamo e l'apparente presenza di
   disinformazione
   - alcuni comprovati esperimenti di successo nel mappare la
   diversificazione delle raccomandazioni (homepage, in basso a sx:
   https://youtube.tracking.exposed/ )

Abbiamo organizzato la prima analisi collaborativa su youtube.
il metodo consiste nel vedere un dei video in sequenza, selezionati per
essere: 1) brevi 2) recenti 3) autorevoli 4) in lingua: cinese, araba,
spagnola, portoghese, inglese.

*We announce the first collective observation of the youtube algorithm
https://youtube.tracking.exposed/wetest/1/
<https://youtube.tracking.exposed/wetest/1/> ―  We'll answer to: "How much
is effective the automatic content moderation operated by algorithms, on
covid-19 disinformation, in languages other than English?"  ―  please give
it a look. We appreciate feedback and content editing! The experiment
happens on the 25th of March. Please make it circulate 🙏*

Ci sono diverse comparazioni ed assunzioni che potremo testare. il dataset
sarà rilasciato apertamente (anonimizzato). Il dato più identificativo
possibile potrebbe essere il gruppetto di video esplicitamente (e anche
non) raccomandati per te. Questi video dipendono dal profilo che google ha
del navigatore, e sono associati ad un identificativo unico (diverso da
quello attribuito dalla piattaforma). La persona che partecipa al test può
anche non essere loggata, ed usare un browser pulito. (il fatto che
l'utente sia loggato o meno è un booleano nel dataset, e questa opzione può
essere quindi raccolta e considerata).

Per quanto riguarda le teorie del complotto o altre forme di
dis/mis/malainformation, serve un'analisi qualitativa ed un metodo. Nel
nostro team, si ha idea su questo metodo ma non è ancora documentato. Poi
c'è bisogno di un partner per ogni lingua. Per quanto riguarda la lingua
Spagnola e Portoghese, dovremmo essere coperti. Cinese e Araba, non abbiamo
ancora il video ne dei revisori. potrebbe anche darsi che non ce ne
curiamo, e semplicemente documentiamo il dataset, nell'attesa che a
qualcuno possa servire per un'analisi.

Per completare. Se vi dovesse interessare disegnare il vostro test, (ad
esempio, tra di noi qualcuno voleva controllare gruppi diversi e di
controllo), la piattaforma è a disposizione di tutti. Cresce sulla base
delle esigenze raccolte (compatibilmente con il fatto che siamo in
ristrettezza di risorse, e difficilmente possiamo sviluppare cose molto
custom).

La pagina verrà aggiornata e migliorata nelle prossime ore, e prima del 25
rilasceremo la lista dei video da guardare.

Con l'augurio che queste settimane di quarantena vi passino al meglio ❤
Claudio per il team di tracking.exposed


-- 

Claudio Agosti, https://facebook.tracking.exposed, @_vecna
PGP keybase.io/vecna - Research Associate - DATACTIVE
University of Amsterdam https://data-activism.net
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://server-nexa.polito.it/pipermail/nexa/attachments/20200322/e92b39d4/attachment.html>


More information about the nexa mailing list