On YouTube’s Digital Playground, an Open Gate for Pedophiles
Christiane C. didn’t think anything of it when her 10-year-old daughter and a friend uploaded a video of themselves playing in a backyard pool. “The video is innocent, it’s not a big deal,” said Christiane, who lives in a Rio de Janeiro suburb. A few days later, her daughter shared exciting news: The video had thousands of views. Before long, it had ticked up to 400,000 — a staggering number for a video of a child in a two-piece bathing suit with her friend. “I saw the video again and I got scared by the number of views,” Christiane said. She had reason to be. YouTube’s automated recommendation system — which drives most of the platform’s billions of views by suggesting what users should watch next — had begun showing the video to users who watched other videos of prepubescent, partially clothed children, a team of researchers has found. YouTube had curated the videos from across its archives, at times plucking out the otherwise innocuous home movies of unwitting families, the researchers say. In many cases, its algorithm referred users to the videos after they watched sexually themed content. The result was a catalog of videos that experts say sexualizes children. “It’s YouTube’s algorithm that connects these channels,” said Jonas Kaiser, one of three researchers at Harvard’s Berkman Klein Center for Internet and Society who stumbled onto the videos while looking into YouTube’s impact in Brazil. “That’s the scary thing.” The video of Christiane’s daughter was promoted by YouTube’s systems months after the company was alerted that it had a pedophile problem. In February, Wired and other news outlets reported that predators were using the comment section of YouTube videos with children to guide other pedophiles. That month, calling the problem “deeply concerning,” YouTube disabled comments on many videos with children in them. But the recommendation system, which remains in place, has gathered dozens of such videos into a new and easily viewable repository, and pushed them out to a vast audience. YouTube never set out to serve users with sexual interests in children — but in the end, Mr. Kaiser said, its automated system managed to keep them watching with recommendations that he called “disturbingly on point.” Users do not need to look for videos of children to end up watching them. The platform can lead them there through a progression of recommendations. So a user who watches erotic videos might be recommended videos of women who become conspicuously younger, and then women who pose provocatively in children’s clothes. Eventually, some users might be presented with videos of girls as young as 5 or 6 wearing bathing suits, or getting dressed or doing a split. On its own, each video might be perfectly innocent, a home movie, say, made by a child. Any revealing frames are fleeting and appear accidental. But, grouped together, their shared features become unmistakable. [...] When The Times alerted YouTube that its system was circulating family videos to people seemingly motivated by sexual interest in children, the company removed several but left up many others, including some apparently uploaded by fake accounts. The recommendation system itself also immediately changed, no longer linking some of the revealing videos together. YouTube said this was probably a result of routine tweaks to its algorithms, rather than a deliberate policy change. [...] But YouTube has not put in place the one change that researchers say would prevent this from happening again: turning off its recommendation system on videos of children, though the platform can identify such videos automatically. The company said that because recommendations are the biggest traffic driver, removing them would hurt “creators” who rely on those clicks. It did say it would limit recommendations on videos that it deems as putting children at risk. [...] And the extraordinary view counts — sometimes in the millions — indicated that the system had found an audience for the videos and was keeping that audience engaged. Some researchers believe that when it comes to some material, engaging certain interests risks encouraging them as well. “It’s incredibly powerful, and people get drawn into that,” said Stephen Blumenthal, a London-based psychologist who treats people for deviant sexual interests and behaviors. And YouTube, by showing videos of children alongside more mainstream sexual content, as well as displaying the videos’ high view counts, risked eroding the taboo against pedophilia, psychologists said. “You normalize it,” said Marcus Rogers, a psychologist at Purdue who has done research on child pornography. YouTube says there is no rabbit hole effect. “It’s not clear to us that necessarily our recommendation engine takes you in one direction or another,” said Ms. O’Connor, the product director. Still, she said, “when it comes to kids, we just want to take a much more conservative stance for what we recommend.” # Children at Risk Most people who view sexualized imagery leave it at that, researchers say. But some of the videos on YouTube include links to the youngsters’ social media accounts. “A lot of people that are actively involved in chatting with kids are very, very adept at grooming these kids into posting more sexualized pictures or engaging in sexual activity and having it videotaped,” said Dr. Rogers. YouTube does not allow children under 13 to have channels. The company says it enforces the policy aggressively. For parents, there are no easy solutions, said Jenny Coleman, the director of Stop It Now, an organization that combats sexual exploitation of children. “Even the most careful of families can get swept into something that is harmful or criminal,” she said. In reporting this article, when The Times could find contact information for parents of children in the videos, it contacted local organizations that could help them. After one such organization contacted Christiane, the mother from Brazil, she offered to discuss her experience. Furious, she is struggling to absorb what had happened. She fretted over what to tell her husband. She expressed confusion at YouTube’s practices. And she worried over how to keep her daughter, now on display to a city-size audience, safe. “The only thing I can do,” she said, “is forbid her to publish anything on YouTube.” Tratto da https://www.nytimes.com/2019/06/03/world/americas/youtube-pedophiles.html Notare due aspetti: - guarda caso, dopo la segnalazione, Google effetua alcuni "routine tweaks to its algorithms" che cambiano il sistema di raccomandazioni (quanto meno per i reporter e per chi cerca verifiche per l'articolo) - i rischi per i bambini sono secondari rispetto ai profitti di Google^W^W dei "content creators" indifesi (:-D) Dunque le intelligenze artificiali non sono sempre black box per chi le configura, tanto da poter minimizzare l'impatto di un'articolo disgustoso sui profitti. Giacomo PS: Mai caricare video su YouTube, TikTok etc... neanche di bambini! ;-)
On Fri, Sep 11, 2020 18:48:04 PM +0200, Giacomo Tesio wrote:
Furious, she is struggling to absorb what had happened. She fretted over what to tell her husband. She expressed confusion at YouTube’s practices. And she worried over how to keep her daughter, now on display to a city-size audience, safe. “The only thing I can do,” she said, “is forbid her to publish anything on YouTube.”
"she is struggling to absorb what had happened" What happened???? quello che e' successo e' che: * lei, la madre ovviamente, e' decisamente... imperdonabile se ha lasciato la bambina pubblicare un video di QUELLO specifico genere, su una piattaforma del genere, o almeno da non averglielo fatto cancellare appena se ne e' accorta. Nel ****2020****, per la miseria. * (ancora piu' grave, in un certo senso, visto che il punto precedente dimostra il bisogno di "media education" dei genitori): i giornalisti ancora non mettono valutazioni come quella che ho fatto all'INIZIO dell'articolo, se non nel titolo. Il paragrafo che ho citato doveva essere il primo dell'articolo, non l'ultimo, ed essere accompagnato da spiegazione del tipo "ci pare incredibile doverlo ancora ricordare e spiegare, nel 2020, ma certi comportamenti non sono da genitore responsabile, per niente..." senza nulla togliere a quanto gia' detto da altri, solo in aggiunta. Marco
Tratto da https://www.nytimes.com/2019/06/03/world/americas/youtube-pedophiles.html
-- M. Fioretti http://mfioretti.com http://stop.zona-m.net Your own civil rights and the quality of your life heavily depend on how software is used *around* you
Giacomo Tesio <giacomo@tesio.it> writes: [...]
For parents, there are no easy solutions, said Jenny Coleman, the director of Stop It Now, an organization that combats sexual exploitation of children. “Even the most careful of families can get swept into something that is harmful or criminal,” she said.
Ma non è vero, è di una falsità PREOCCUPANTE. Chi pubblica video su YouTube decide se quei video sono pubblici o "nascosti", ovvero non indicizzabili: i secondi NON sono pubblici (e tanto meno entrano nelle raccomandazioni); male che vada sono gli operatori di YouTube che possono usare quei video. QUINDI i genitori hanno una soluzione: NON rendere pubblici i video dei loro figli. Santo cielo, non ci vuole un genio per capirlo: peccato che quando c'è di mezzo "il digitale" anche ai più saggi a volte gli si chiude la vena. Oppure pensiamo seriamente che sia anche solo CONCEPIBILE come regolare l'uso che viene fatto da terzi del materiale pubblicato? E poi tradurlo in norme? …ma pensa se 'mo mi tocca pure fare l'avvocato difensore di YouTube! :-( [...]
PS: Mai caricare video su YouTube, TikTok etc... neanche di bambini! ;-)
Ciascuno si prenda la responsabilità di quello che fa, ANCHE in rete. Saluti, Giovanni P.S.: rimane poi il problema delle possibili interazioni dei maggiori di 13 anni in rete, ma chi vorrebbe sostituire l'educazione e la famiglia con il combinato disposto di leggi applicate per mezzo di un MEGA controllore che verifica di quello che avviene nella comunicazione in rete non si rende conto di quello che sta proponendo. -- Giovanni Biscuolo
On September 12, 2020 10:58:50 AM UTC, Giovanni Biscuolo <giovanni@biscuolo.net> wrote:
Giacomo Tesio <giacomo@tesio.it> writes:
For parents, there are no easy solutions, said Jenny Coleman, the director of Stop It Now, an organization that combats sexual exploitation of children. “Even the most careful of families can get swept into something that is harmful or criminal,” she said.
Ma non è vero, è di una falsità PREOCCUPANTE.
Hai ragione, una soluzione semplice esiste: non affidare i propri figli ad un computer (tanto meno uno tascabile) fintanto che non sono in grado di comprenderne tutti gli aspetti del funzionamento. Magari per legge, come non si può far guidare ad un bambino un'auto che è nettamente più semplice da comprendere. Quella che descrivi invece non è una soluzione. Per tre ragioni: 1) se funziona, protegge i bambini solo da alcuni avversari 2) YouTube potrebbe tranquillamente violare quelle impostazioni, servendo solo ai pedofili meglio identificabili i filmati, senza che nessuno (tranne i pedofili in questione) se ne accorga o lo possa dimostrare 3) i default sono imposizioni più efficaci della legge
PS: Mai caricare video su YouTube, TikTok etc... neanche di bambini! ;-)
Ciascuno si prenda la responsabilità di quello che fa, ANCHE in rete.
Non ci può essere responsabilità senza conoscenza. Giacomo
Buongiorno, Giacomo Tesio <giacomo@tesio.it> writes:
On September 12, 2020 10:58:50 AM UTC, Giovanni Biscuolo <giovanni@biscuolo.net> wrote:
Giacomo Tesio <giacomo@tesio.it> writes:
For parents, there are no easy solutions, said Jenny Coleman, the director of Stop It Now, an organization that combats sexual exploitation of children. “Even the most careful of families can get swept into something that is harmful or criminal,” she said.
Ma non è vero, è di una falsità PREOCCUPANTE.
Una precisazione. Ho commentato così quel brano dell'articolo perché - per la fretta di leggere - ho male interpretato la situazione: il video da cui parte il racconto era stato caricato in autonomia dalla bimba di 10 anni e non dalla madre, come erronaemante ho interpretato io. Quindi la bimba ha usato l'account Youtube di qualcun altro, non ho ben capito se di nascosto o no… ma fa poca differenza
Hai ragione, una soluzione semplice esiste: non affidare i propri figli ad un computer (tanto meno uno tascabile) fintanto che non sono in grado di comprenderne tutti gli aspetti del funzionamento.
Sì, l'universo di discorso è quello. Devo ammettere che sono un po' troppo sucettibile al "i genitori non hanno soluzioni in situazioni del genere", che assomiglia troppo a quello che la quasi totatità degli insegnanti si sentono dire ai colloqui scolastici dai genitori: "ha ragione, glielo dico sempre, ma non so più cosa fare"… ma non andiamo OT Tornando al caso specifico, credo che qualsiasi soluzione che ruotasse attorno al concetto "genitore (o poliziotto) sintetico surrogato" implementato da qualche programma (progressivamente raffinato) che gira sui server Google per pattugliare Youtube sarebbe la peggiore che possa essere concepita; oltre che essere un vero e proprio ginepraio dal punto di vista tecnico.
Magari per legge, come non si può far guidare ad un bambino un'auto che è nettamente più semplice da comprendere.
…ma non è la stessa cosa che accedere alla rete e pubblicare contenuti del tutto leciti, sebbene fatto in modo ASSAI improvvido. Per tutto il resto c'è il GDPR (non è la soluzione a tutto ma molto meglio di quello che c'era prima): https://www.bbc.com/news/technology-52758787 «Grandmother ordered to delete Facebook photos under GDPR» Forse organizzare dei gruppi familiari nei quali si discutono queste cose potrebbe fare bene anche alla coesione familiare :-D
Quella che descrivi invece non è una soluzione.
Non ho detto che è la migliore soluzione, ma pur sempre una buona soluzione per chi vuole continuare a usare quello strumento (magari leggendone anche i termini di servizio, neh)
Per tre ragioni: 1) se funziona, protegge i bambini solo da alcuni avversari
Tutti queli che NON hanno accesso al video
2) YouTube potrebbe tranquillamente violare quelle impostazioni, servendo solo ai pedofili meglio identificabili i filmati, senza che nessuno (tranne i pedofili in questione) se ne accorga o lo possa dimostrare
Questo sarebbe quasi sicuramente un reato e mi astengo dal commentare oltre.
3) i default sono imposizioni più efficaci della legge
OK, ma questo non è in contrasto con "la mia soluzione" ;-) Sì certo, le interfacce influenzano molto come un servizio viene PERCEPITO e utilizzato… anche un bel tasto rosso con la consueta icona "Attenzione" con un avviso "Premendo questo tasto rendi pubblico e accessibile il tuo video a CHIUNQUE" farebbe sicuramente la sua bella figura.
PS: Mai caricare video su YouTube, TikTok etc... neanche di bambini! ;-)
Ciascuno si prenda la responsabilità di quello che fa, ANCHE in rete.
Non ci può essere responsabilità senza conoscenza.
Sul fatto che serva maggiore consapevoleza (che deriva dalla conoscenza) della "sfera digitale" sono totalmente d'accordo. Sulla questione filosofica di quali siano le condizioni - socialmente parlando, quindi anche giuridicamente - per considerare responsabile una persona: mi astengo :-D Ciao, Giovanni. -- Giovanni Biscuolo
participants (3)
-
Giacomo Tesio -
Giovanni Biscuolo -
M. Fioretti