Volevo aggiornarvi e cercare confronto su metodi di analisi degli
algoritmi. Negli anni passati abbiamo provato ad usare profili sotto il
nostro controllo, o gruppi di volontari in determinati momenti
(tipicamente, campagna elettorale).
Ora stiamo
provando i test collaborativi. Il primo fatto, per testare per lo più il
nostro gruppo, è stato su pornhub (i link sono safe for work)
Un tot di persone vengono coinvolte da un thread su reddit, partecipano, rilasciamo i dati, e
dopo un po' di settimane, una piccola analisi.
Come spiegato, si tratta di
indicatori tecnologici ancora distanti da un impatto sulla persone. Bene comunque. è
stato un valido modo per iniziare a vedere dove e come un algoritmo di
content curation ha effetto:
https://pornhub.tracking.exposed/potest/final-1/
Visto quindi:
- il discreto successo con potest#1
- che
sull'analisi di youtube ci fosse un dibattito in corso, sul fatto che
le ricerche più recenti usassero profili non loggati ( https://www.nytimes.com/interactive/2020/03/02/technology/youtube-conspiracy-theory.html )
- che
recentemente youtube avesse dichiarato di penalizzare le teorie
complottiste del 70% (naturalmente senza alcun dato assoluto), ma che
vero o non vero, a sensazione funziona molto meglio sull'inglese che in
altre lingue [stessa fonte di sopra]
- la situazione sanitaria critica in cui siamo e l'apparente presenza di disinformazione
- alcuni comprovati esperimenti di successo nel mappare la diversificazione delle raccomandazioni (homepage, in basso a sx: https://youtube.tracking.exposed/ )
Abbiamo organizzato la prima analisi collaborativa su youtube.
il
metodo consiste nel vedere un dei video in sequenza, selezionati per
essere: 1) brevi 2) recenti 3) autorevoli 4) in lingua: cinese, araba,
spagnola, portoghese, inglese.
We announce the first collective observation of the youtube algorithm https://youtube.tracking.exposed/wetest/1/
― We'll answer to: "How much is effective the automatic content
moderation operated by algorithms, on covid-19 disinformation, in
languages other than English?" ― please give it a look. We appreciate
feedback and content editing! The experiment happens on the 25th of
March. Please make it circulate 🙏
Ci
sono diverse comparazioni ed assunzioni che potremo testare. il dataset
sarà rilasciato apertamente (anonimizzato). Il dato più identificativo
possibile potrebbe essere il gruppetto di video esplicitamente (e anche
non) raccomandati per te. Questi video dipendono dal profilo che google
ha del navigatore, e sono associati ad un identificativo unico (diverso
da quello attribuito dalla piattaforma). La persona che partecipa al
test può anche non essere loggata, ed usare un browser pulito. (il fatto
che l'utente sia loggato o meno è un booleano nel dataset, e questa
opzione può essere quindi raccolta e considerata).
Per
quanto riguarda le teorie del complotto o altre forme di
dis/mis/malainformation, serve un'analisi qualitativa ed un metodo. Nel
nostro team, si ha idea su questo metodo ma non è ancora documentato.
Poi c'è bisogno di un partner per ogni lingua. Per quanto riguarda la
lingua Spagnola e Portoghese, dovremmo essere coperti. Cinese e Araba,
non abbiamo ancora il video ne dei revisori. potrebbe anche darsi che
non ce ne curiamo, e semplicemente documentiamo il dataset, nell'attesa
che a qualcuno possa servire per un'analisi.
Per
completare. Se vi dovesse interessare disegnare il vostro test, (ad
esempio, tra di noi qualcuno voleva controllare gruppi diversi e di
controllo), la piattaforma è a disposizione di tutti. Cresce sulla base
delle esigenze raccolte (compatibilmente con il fatto che siamo in
ristrettezza di risorse, e difficilmente possiamo sviluppare cose molto
custom).
La pagina verrà aggiornata e migliorata nelle prossime ore, e prima del 25 rilasceremo la lista dei video da guardare.
Con l'augurio che queste settimane di quarantena vi passino al meglio ❤
Claudio per il team di tracking.exposed
--