YouTube consiglia ai minori contenuti che promuovono disturbi alimentari

L’algoritmo di YouTube consiglia video che esaltano i disturbi alimentari e la perdita di peso estrema a un pubblico di adolescenti. È quello che è emerso da una recente indagine condotta dal Center for Countering Digital Hate (CCDH), una ONG britannica che si occupa di contrastare i discorsi d’odio online.

Due anni fa, nel 2023, YouTube, la piattaforma video di Google, aveva annunciato un aggiornamento delle sue politiche sui contenuti relativi ai disturbi alimentari, con l’obiettivo di bilanciare la libertà di espressione e la protezione degli utenti più vulnerabili. In collaborazione con la National Eating Disorder Association (NEDA) e l’Asociación de Lucha contra la Bulimia y la Anorexia (ALUBA), la piattaforma aveva deciso di ampliare le proprie linee guida per vietare contenuti che mostrano comportamenti imitabili associati ai disturbi alimentari, come il vomito autoindotto o la restrizione calorica estrema, oltre a contrastare il bullismo legato al peso in questo contesto. Sulla piattaforma, si legge sulle linee guida, «sono vietati i contenuti che incitano [..] ad adottare comportamenti legati a disturbi alimentari che hanno lo scopo di scioccare o suscitare disgusto o che pongono un notevole rischio per gli spettatori». Se una persona si imbatte in un contenuto del genere, spiega YouTube, può segnalare il video alla piattaforma al fine di farlo rimuovere.

Piattaforme come YouTube, ha sostenuto recentemente Kent Walker, presidente degli affari globali di Google, sono dotate di sistemi di segnalazione e moderazione di contenuti molto efficaci. YouTube utilizza un sistema misto di moderazione che combina intelligenza artificiale e revisione umana. L’IA rileva automaticamente contenuti inappropriati, violazioni di copyright e disinformazione, segnalando i video sospetti per una revisione più approfondita. Gli utenti di YouTube, invece, come già accennato, possono segnalare manualmente contenuti che violano le norme della community, mentre un team di moderatori esamina le segnalazioni più critiche. 

Esiste poi un sistema di supporto per gli utenti che si imbattono in contenuti molto sensibili e potenzialmente pericolosi, come quelli legati al suicidio o all’autolesionismo. Si chiamano “crisis resource panels”, e sono dei banner azzurri che possono comparire sotto ai video con contenuti di questo tipo. 

I banner riportano il nome e i recapiti telefonici di fondazioni, enti e centri di supporto che l’utente può contattare in caso di necessità (es. servizi per la prevenzione al suicidio).

Altri sistemi di supporto prevedono l’utilizzo di “pause page”, cioè dei banner che appaiono all’utente prima che questi possa consultare i risultati della barra di ricerca di YouTube.

Di fatto il loro contenuto è lo stesso dei crisis resource panels, con la differenza che qui l’utente è “obbligato” a visionare il banner prima di poter consultare i risultati della sua ricerca. In Europa il Digital Services Act (DSA) – un regolamento entrato in vigore nel 2022 che impone obblighi alle piattaforme digitali per garantire maggiore trasparenza e responsabilità – richiede a YouTube di condurre e pubblicare regolarmente report che valutano i “rischi sistemici” per i minori e la salute degli utenti, nonché la validità delle misure adottate per mitigarli. 

L’ultimo report di valutazione presentato da Google, che copre il periodo che va da luglio 2023 a giugno 2024, sostiene che i sistemi di YouTube di moderazione dei contenuti pericolosi per la salute sono “efficaci” (pagina 121). Ma ci sono seri motivi per dubitarne.

L’indagine del CCDH

Proprio l’indagine del CCDH ha sollevato una serie di preoccupazioni su come l’algoritmo di YouTube possa amplificare contenuti pericolosi per i minori e sulle gravi mancanze del suo sistema di moderazione dei contenuti. L’ONG ha scoperto che i suggerimenti della piattaforma tendono a promuovere video che esaltano i disturbi alimentari, in particolare per gli account di giovani utenti, mettendo in discussione l’efficacia dei sistemi di moderazione dei contenuti. Non solo, il report sottolinea come i sistemi di supporto di YouTube – cioè i crisis resource panels e le pause page – spesso non entrano in azione per questo tipo di contenuti.

Il team di ricercatori del CCDH ha prima di tutto creato un nuovo account YouTube con l’età impostata a 13 anni, di genere femminile e con la posizione geografica in Irlanda, per simulare il profilo di una giovane adolescente che utilizza YouTube nell’UE. Usando questo account, i ricercatori hanno poi caricato dieci video con contenuti potenzialmente dannosi sui disturbi alimentari. La selezione dei dieci video è avvenuta prima della creazione dell’account, cercando parole chiave specifiche come “ED inspo” – un gergo che sta per “eating disorder inspiration” – e scegliendo sempre video che violassero le policy di YouTube (es. esaltazione e promozione di comportamenti anoressici, regimi dietetici estremi ecc.).

Dopo aver avviato ciascuno video nel nuovo account, i ricercatori hanno registrato i primi dieci video consigliati nella sezione “Up Next” di YouTube, quella attraverso cui la piattaforma suggerisce altri video correlati al primo. In totale, quindi, sono stati registrati 100 video (dieci video consigliati per ognuno dei dieci video di partenza).

Per garantire che i video suggeriti dall’algoritmo fossero rappresentativi di ciò che YouTube mostra a qualcuno con un interesse iniziale per i disturbi alimentari, prima di caricare un nuovo video di partenza i ricercatori azzeravano di volta in volta la cronologia di ricerca e visualizzazione e si assicuravano di non utilizzare cookies (file di testo che i siti web salvano sul dispositivo di navigazione; tra le altre cose, servono a memorizzare informazioni utili per personalizzare i contenuti che vengono mostrati all’utente, come pubblicità e suggerimenti). 

Lo scopo di questi accorgimenti era evitare che YouTube tracciasse informazioni al di fuori dell’account. In pratica, hanno cercato di replicare cosa accadrebbe a un utente che inizia a esplorare contenuti sui disturbi alimentari su YouTube per la prima volta, senza influenze da precedenti interazioni con la piattaforma.

Una volta raccolti i 100 video consigliati, questi sono poi stati classificati dai ricercatori in base alla loro “pericolosità” e affinità con i disturbi alimentari. L’ONG ha quindi diviso i contenuti apparsi fra i consigliati in quattro categorie:

1. Contenuti pericolosi sui disturbi alimentari, come i video che promuovono e/o esaltano la perdita di peso estrema, il digiuno prolungato ecc. Questi video violavano apertamente le policy di YouTube sui contenuti pericolosi per la salute.
2. Contenuti non pericolosi sui disturbi alimentari, come discussioni su anoressia/bulimia senza esaltazione.
3. Contenuti generici sulla perdita di peso (es. diete per sportivi, fitness).
4. Contenuti non legati ai disturbi alimentari o alla perdita di peso.

I ricercatori hanno trovato che dei 100 video consigliati al finto account della 13enne in Irlanda, 72 di questi (quasi 3 su 4) appartenevano alle prime tre categorie, e quindi riguardavano disturbi alimentari, mentre ben 33 (1 su 3) appartenevano alla prima categoria, quella dei contenuti dannosi. Se ci si limita a prendere in considerazione solo i video collegati direttamente o indirettamente ai disturbi alimentari, cioè le prime tre categorie, i contenuti pericolosi costituiscono il 46 per cento del totale.

Tra questi c’erano video “Thinspiration”, cioè contenuti che esaltano la magrezza estrema; altri della rubrica “What I Eat In A Day” (WIEIAD), in cui giovani ragazze spiegano agli utenti i loro regimi alimentari pericolosamente restrittivi (es. 200-500 chilocalorie al giorno; considerando che, in linea generale, il corpo di un adolescente tra i 12 e i 17 anni richiede l’assunzione di circa 2500 chilocalorie al giorno); oppure contenuti che suggeriscono agli spettatori come indurre o “procurarsi” un disturbo alimentare, come anoressia o bulimia.

I ricercatori del CCDH hanno poi provato a verificare se i sistemi di supporto di YouTube per contenuti sensibili entrassero in azione per questi video, e con che frequenza. L’indagine questa volta non si è limitata all’Irlanda, ma è stata condotta anche negli altri 26 Paesi dell’Unione europea con l’ausilio di una VPN (un servizio che crea una connessione sicura e criptata tra il proprio dispositivo e Internet, permettendo di navigare in modo anonimo e accedere a contenuti con restrizioni geografiche). Per ognuno dei 27 Paesi sono stati condotti dieci test, cinque per verificare la comparsa di crisis resource panel sotto ai video caricati, e cinque per la comparsa delle pause page; per un totale di 270 test. 

Il risultato è stato sconfortante: in entrambi i tipi di ricerca, i sistemi di supporto di YouTube sono entrati in azione solo in due Paesi UE, cioè Francia e Germania. In tutti gli altri, YouTube non ha mostrato né banner azzurri dedicati sotto ai video né pagine di interposizione durante la ricerca. Secondo le stime del CCDH, questo vuol dire che circa 224 milioni di utenti in UE, su un totale di 343 milioni, non hanno accesso a tali funzioni di supporto nei casi di video pericolosi sui disturbi alimentari (o perlomeno in quelli testati dai ricercatori). Una mancanza ancora più grave se si pensa che l’account con cui è stata effettuata la simulazione è quello di una minore.

Inoltre, il sistema di segnalazione di YouTube per contenuti di questo tipo lascia molto a desiderare. I ricercatori, infatti, hanno provato a segnalare 28 video su disturbi alimentari che violavano apertamente le policy di YouTube. Per ogni video segnalato, è stata inviata una breve descrizione che spiegava in che modo il contenuto violava tali policy. Una settimana dopo la segnalazione, tutti i video segnalati erano ancora disponibili sulla piattaforma, con l’unica eccezione di un video che era stato limitato ai maggiori di 18 anni. Trascorse due settimane, invece, altri cinque video erano stati resi indisponibili: tre erano stati resi privati dai loro creatori e due erano stati rimossi da YouTube. Tuttavia, 22 video erano ancora visibili e accessibili senza restrizioni. Ciò significa che nel 79 per cento dei casi YouTube non aveva preso alcun provvedimento dopo due settimane dalla segnalazione. 

A ciò si aggiunge le difficoltà in cui un utente si imbatte quando decide di segnalare video che esaltano o promuovono disturbi alimentari. Gli strumenti di segnalazione di YouTube infatti non includono un’opzione specifica per i contenuti sui disturbi alimentari; gli utenti devono scegliere tra categorie predefinite, come “azioni dannose o pericolose” o “disinformazione”, ma nessuna di queste opzioni è adeguata (la più plausibile è forse la sottocategoria “altre opzioni pericolose” in “azioni dannose e pericolose”).

In generale, i casi sui disturbi alimentari segnalati dal CCDH lasciano pensare che i sistemi di segnalazione e moderazione di YouTube siano ancora poco efficaci, almeno con certi tipi di contenuti. È quindi importante che i report di valutazione del rischio presentati dalle piattaforme, in ottemperanza al DSA, non si limitino a semplici giudizi qualitativi (come “efficace” o “ottimale”). È necessario invece che tali stime siano basate su dati il più possibile quantificabili e, soprattutto, verificabili. 

La risposta di YouTube

In una dichiarazione rilasciata al giornale britannico The Independent, un portavoce di YouTube ha respinto le conclusioni dello studio del CCDH, sostenendo che il rapporto è stato progettato per generare titoli sensazionalistici piuttosto che per comprendere il reale funzionamento della piattaforma. L’azienda ha poi ribadito il proprio impegno nel contrastare la diffusione di contenuti dannosi sui disturbi alimentari, evidenziando la collaborazione con esperti di salute mentale per migliorare le raccomandazioni per gli adolescenti e affinare le proprie politiche. 

Pur mettendo in dubbio la validità dello studio, YouTube ha dichiarato di essere in fase di revisione dei risultati ottenuti dal CCDH e di essere pronta a prendere provvedimenti, se necessario.