«Uno studio dice che»: consigli utili per interpretare le notizie scientifiche

L’emergenza sanitaria in corso ci ha dimostrato che i media adorano gli studi scientifici: guardando solo all’ultima settimana, scopriamo che al 5 maggio 2021 la frase «uno studio ha dimostrato che» corrisponde a circa 250.000 risultati, soprattutto articoli, anche di quotidiani nazionali, su Google. L’espressione “studio scientifico” è per molti lettori ormai diventata il timbro che certifica la veridicità di una notizia.

Ma non tutte le notizie che dicono di riferirsi a uno studio scientifico riguardano davvero nuove ricerche scientifiche o ricerche attendibili, e solo di rado gli studi scientifici dimostrano qualcosa al di là di ogni dubbio.

Capire se una notizia che parla di uno studio scientifico è attendibile non è facile e può essere sia difficile anche per gli scienziati stessi. Ci sono però, come abbiamo visto per la disinformazione in generale, alcune regole da seguire e dei semplici consigli utili ad orientarsi. Addentriamoci quindi nel mondo delle pubblicazioni scientifiche e della ricerca, e vediamo di capire come valutare le notizie di studi scientifici che appaiono (ormai regolarmente) sui media.

Che cosa è uno studio (e che cosa non lo è)

Possiamo definire studio scientifico un lavoro scientifico che raccoglie, usa e interpreta dati ed esperimenti per portare nuova conoscenza. Uno studio scientifico quindi di norma cerca di rispondere a una domanda (ad esempio, «questo vaccino serve a prevenire la malattia?») tramite l’osservazione e l’esperimento o, in alcuni casi, tramite l’analisi di dati già esistenti (ad esempio le metanalisi, che analizzano con metodi statistici le evidenze scientifiche di numerosi singoli studi precedenti). In altri casi uno studio raccoglie e descrive informazioni nuove (ad esempio, la scoperta di un nuovo astro o di un nuovo virus) o una nuova metodologia (ad esempio un nuovo metodo di sintesi chimica).

Questi resoconti vengono pubblicati sotto forma di articoli rivolti a un pubblico di specialisti e quindi poco comprensibili per il lettore medio. Pubblicazioni spesso chiamate, in gergo, paper: un termine inglese ma forse preferibile, perché meno ambiguo dell’espressione italiana «articolo scientifico» che potrebbe far pensare a un articolo giornalistico o divulgativo.

La maggior parte dei paper riguarda studi, ma non è sempre così. Su Facta ci siamo trovati spesso a discutere casi di disinformazione in cui veniva definito «studio» qualcosa che non lo era. Le riviste accademiche infatti pubblicano anche paper di rassegna o review (come questa sul long Covid) in cui si fa il punto su quanto è stato già pubblicato su un dato argomento. Vengono poi anche pubblicati articoli che descrivono ipotesi o semplici opinioni di uno o più scienziati (come questo, che creò una certa confusione sull’efficacia dei vaccini) e, anche in questo caso, non è corretto parlare di studi. Si tratta infatti di pubblicazioni pienamente legittime in ambito accademico, ma che non hanno valore di studio: non portano infatti nuovi dati o nuove analisi che avanzano lo stato delle conoscenze.

Ma come possiamo capire se uno «studio» è veramente tale? Uno studio scientifico ha contenuti ben precisi: dopo un abstract (un riassunto di poche righe) e un’introduzione, c’è un resoconto degli esperimenti effettuati con una descrizione dettagliata dei metodi, la presentazione dei risultati ottenuti e una discussione conclusiva (questo è un buon esempio). Se un paper non contiene tutto questo, molto probabilmente non è uno studio ma qualcos’altro, come una review o un pezzo di opinione. Attenzione, perché non è detto che le diverse parti siano strutturate in paragrafi o capitoli separati (ad esempio gli studi descritti in papers brevi della rivista Nature, come questo, non separano esplicitamente introduzione, risultati e discussione). Una descrizione completa dei metodi utilizzati inoltre, sempre più spesso, è contenuta in un file a parte.

Peer review: bene, ma non abbastanza

Di norma uno studio scientifico viene pubblicato su una rivista accademica dopo una cosiddetta revisione paritaria o, in inglese, peer review. Questo significa che, prima della pubblicazione, il paper viene inviato a due o tre esperti del settore scelti dalla redazione scientifica della rivista, che restituiscono un giudizio, quasi sempre in forma anonima. Sulla base dei commenti dei revisori la rivista può decidere se accettare o rifiutare il paper, o decidere di valutarlo nuovamente dopo che le critiche allo studio sono state affrontate, a volte anche esigendo dagli autori nuovi esperimenti o nuove analisi.

La peer review viene spesso considerata dai ricercatori, ma anche dal resto del pubblico, il sigillo di qualità che separa le pubblicazioni scientifiche affidabili da quelle che non lo sono. In realtà è un po’ un mito. Da sola la peer review non garantisce la veridicità e numerosi studi che si sono dimostrati del tutto errati o addirittura contraffatti avevano passato la peer review, anche su riviste di altissimo livello.

Pensiamo allo studio sulla “memoria dell’acqua” di Jacques Benveniste nel 1988, secondo cui l’acqua manterrebbe memoria di molecole che vi sono state disciolte anche dopo che queste sono scomparse: venne pubblicato su Nature e smentito solo dopo la pubblicazione. O al celebre studio di Andrew Wakefield sul rapporto tra vaccini e autismo: pubblicato su Lancet nel 1998 e ritirato solo nel 2010, viene tuttora citato a supporto delle tesi antivacciniste.

Non ci sono poi prove che la peer review faccia sistematicamente la differenza. Gli studi sulla peer review sono pochi, ma una metanalisi del 2008 della Cochrane Library  (Cochrane è la principale iniziativa di revisione indipendente dei dati scientifici in medicina) non ha trovato prove che la peer review migliori la qualità dei paper biologici e medici, mentre un altro studio dell’ottobre 2020 ha trovato solo un piccolo miglioramento nella qualità media degli articoli in seguito alla peer review. Inoltre, uno studio relativo alla peer review nella rivista Angewandte Chemie, una delle più prestigiose pubblicazioni accademiche di chimica, ha osservato che raramente i giudizi dei revisori sono in accordo tra loro, il che fa pensare che ci sia un grosso elemento soggettivo. Sempre secondo lo stesso studio, i paper rifiutati dalla rivista sono stati quasi tutti poi pubblicati in altre riviste accademiche, sia pure meno blasonate. Questo suggerisce che la peer review, almeno in alcuni campi della scienza, non impedisce del tutto la pubblicazione di studi di scarsa qualità, ma semmai li smisti tra riviste più o meno autorevoli.

In conclusione, se un articolo è stato pubblicato su una rivista peer reviewed vuol dire solo che è stato giudicato positivamente da qualche esperto selezionato: il che è un buon segno, ma non implica che sia sicuramente affidabile.

Riviste accademiche, tra autorevolezza e trappole

Abbiamo parlato di riviste «più o meno autorevoli»: ma che cosa significa? Qui si apre una parentesi spinosa su quali siano i criteri che decidono la qualità delle riviste accademiche. Il criterio più usato è il cosiddetto fattore di impatto o impact factor. Siccome ogni paper deve citare, in bibliografia, gli studi a cui fa riferimento per supportare le proprie affermazioni, si presume che uno studio molto citato sia “più importante” di uno poco citato. Il fattore di impatto non è quindi che il numero medio di citazioni ricevute dagli articoli di una rivista, di norma calcolato nei due anni precedenti.

È una misura che ha diversi problemi e non può essere usata per confrontare riviste di campi scientifici diversi (per esempio i paper di fisica sono citati in media la metà rispetto a quelli di biologia e medicina, nei due anni successivi alla pubblicazione) e il calcolo può essere distorto da pochi paper citati moltissimo. In realtà, la gerarchia delle riviste scientifiche decisa dall’impact factor è un riflesso della reputazione che la rivista ha nella comunità scientifica e di quanto sia ritenuta rigorosa la revisione degli articoli. Solo in questo senso è un indicatore, imperfetto, della qualità della ricerca pubblicata – anche se, come abbiamo visto, si possono sempre commettere scivoloni.

Questa reputazione a volte viene sfruttata in modo fuorviante. Molte riviste di alto prestigio scientifico come Nature, Lancet o Science sono accompagnate da riviste “satellite” dello stesso gruppo editoriale, con nomi come ad esempio Nature Communications, Lancet European Regional Health o Science Advances. Il nome può trarre in inganno – e accade spesso, come abbiamo visto anche su Facta: sebbene pubblicate dalla stessa casa editrice e sebbene contengano il nome della rivista «madre», sono riviste diverse con criteri di selezione differenti. Possono essere comunque di alto livello ma possono anche non esserlo (per esempio Nature Medicine è una rivista medica di primo piano; Nature Communications è una rivista generalista di livello discreto, ma non paragonabile a quello della testata madre). Quando una notizia riporta uno studio pubblicato su Lancet, è bene accertarsi che sia effettivamente così.

Esistono poi riviste scientifiche da cui stare alla larga, e sono le cosiddette “riviste predatorie”, così chiamate perché presentandosi come riviste autorevoli, a volte anche con nomi molto simili a quelli di riviste serie, ingannano ricercatori giovani o ingenui convincendoli a pagare per pubblicare con loro. Imitano la forma e le procedure di una pubblicazione scientifica reale, ma non hanno alcuna forma di peer review e pubblicano qualsiasi articolo: basta pagare (attenzione, perché esistono anche riviste autorevoli, inclusa la celebre Nature, che richiedono agli autori un pagamento per rilasciare gli articoli gratuitamente al pubblico senza bisogno di un abbonamento). È anche vero che possono essere usate da alcuni ricercatori come scorciatoia per pubblicare studi discutibili o gonfiare il proprio curriculum rapidamente.

Se la peer review, nelle riviste accademiche vere e proprie, non è un criterio sufficiente, il fatto che uno studio venga pubblicato in una rivista predatoria è un forte campanello d’allarme. Per controllare, ci sono liste di case editrici predatorie consultabili gratuitamente online.

I preprint: fidarsi o no? 

Di fronte alla pandemia di Covid-19 la velocità della ricerca scientifica è accelerata enormemente, ed è cambiato anche il modo in cui viene disseminata. In particolare abbiamo spesso sentito parlare di preprint: si tratta di una bozza preliminare del paper, pubblicata online prima della peer review, liberamente disponibile. 

I ricercatori si sono sempre scambiati gli studi sotto forma di preprint per informare i propri colleghi rapidamente, senza aspettare i tempi lunghi della revisione. Dagli anni ‘90 del secolo scorso, quando l’archivio di preprint di fisica arXiv venne messo online, i preprint sono diventati un vero e proprio canale di pubblicazione parallelo, comunissimo in una situazione – come la pandemia da Covid-19 – in cui la ricerca non può sempre aspettare i tempi delle riviste accademiche. Oggi esistono numerose piattaforme di preprint per varie discipline scientifiche, come biorXiv o medrXiv.

Alcuni ricercatori sono preoccupati dal fatto che uno strumento concepito a uso dei soli colleghi ora possa diffondere pubblicamente papers in versione preliminare e non ancora vagliati dalla comunità scientifica. D’altro canto, come abbiamo visto, la peer review non rappresenta una garanzia e la qualità dei preprint biomedici, secondo uno studio dell’ottobre 2020, non viene migliorata molto in seguito alla peer review.

Viceversa, però, la mancanza di un vaglio editoriale può essere motivo di ulteriore cautela. Va detto che non tutti gli archivi di preprint sono uguali e che ci sono forme di controllo per evitare che diventino depositi di pseudoscienza: per esempio arXiv richiede che gli autori siano membri riconosciuti della comunità scientifica, affiliati a un’istituzione accademica.

In generale, il consiglio è di approcciarsi ai preprint come a qualsiasi altro paper, con un po’ più di attenzione e di accertarsi che si tratti di una banca dati di preprint riconosciuta dalla comunità scientifica (e non, come a volte succede, di un semplice documento ospitato sul proprio sito personale).

L’ha detto il premio Nobel…

Se riviste scientifiche e peer review da sole non sono una garanzia, è legittimo pensare che allora è bene basarsi sul curriculum degli autori di uno studio. Certamente questo è un fattore importante. Ci sono ottimi motivi per cui fidarsi di più di uno studio di un esperto riconosciuto a livello internazionale rispetto a uno pubblicato da qualcuno senza esperienza in materia. Ma da solo questo criterio non basta a garantire un’informazione corretta e fondata.

Nella scienza non dovrebbe esistere, come già argomentava Blaise Pascal, il principio d’autorità. Durante la pandemia abbiamo visto come medici e ricercatori che, sulla base della propria carriere, sarebbe naturale ritenere competenti abbiano diffuso informazioni scientificamente poco fondate. Anche prima, d’altra parte, era cosa nota che perfino i premi Nobel possano cadere facilmente vittima di credenze pseudoscientifiche. Durante la situazione di emergenza e incertezza della pandemia da Covid-19 la mancanza di un chiaro consenso scientifico su molti temi ha portato alcuni esperti a lanciarsi in dichiarazioni non pienamente supportate dai dati e a polarizzare le proprie (più o meno) informate opinioni, creando un vero caos informativo, che si è sommato e ha fomentato l’infodemia in corso.

In conclusione, come in ogni altra situazione valutiamo quindi i curriculum, ma senza farne un marchio di indiscutibile autorità.

Uno studio «non fa primavera»

A decidere dell’affidabilità di uno studio scientifico è, alla fine, il consenso della comunità, ovvero l’opinione collettiva della comunità scientifica di ricercatori su quell’argomento, costruita attraverso l’analisi e la ripetizione degli esperimenti. Se più ricercatori riproducono indipendentemente lo stesso risultato, è più probabile che si tratti di un risultato reale.

Come le rondini, che annunciano la bella stagione solo quando appaiono tutte insieme in uno storno, così uno studio da solo «non fa primavera»: quasi sempre serve più di uno studio indipendente per confermare o meno un risultato. Tanto che spesso, specie in ambito biomedico, per arrivare a comprendere ad esempio se un farmaco ha un effetto positivo o meno, si usano metodi statistici per analizzare e soppesare i risultati di numerosi singoli studi sullo stesso argomento: si tratta delle cosiddette metanalisi.

Anche a questa regola ci sono eccezioni, ad esempio gli studi clinici di fase 3 – come quelli usati per validare i vaccini contro la Covid-19 – tendono a essere studi con campioni molto grandi e su cui c’è grande attenzione da parte della comunità medico-scientifica, e spesso possono essere considerati sostanzialmente affidabili.

In generale, proprio il fatto che l’affidabilità scientifica si basa sul consenso di esperimenti e ricercatori significa che è sempre bene diffidare di studi e risultati che, da soli o quasi, vanno controcorrente o promettono inattesi miracoli: senza ulteriori verifiche molto di rado saranno dei nuovi Galilei o Einstein. Più probabile che semplicemente si sbaglino. Perlomeno, prima di fidarsi è meglio aspettare le verifiche indipendenti della comunità scientifica.

Possiamo infine dare un occhio ai metodi utilizzati. Alcuni esempi: senza diventare degli esperti di statistica, è legittimo controllare che il numero di pazienti o di campioni analizzati sia abbastanza ampio (uno studio effettuato su una decina di persone, per esempio, non potrà dare quasi mai dati statisticamente validi). È bene accertarsi se vi sia un esperimento di controllo valido (ad esempio, se si afferma che un farmaco ha un effetto sui topi, c’è un esperimento in cui si controlla cosa succede ai topi che – nelle stesse condizioni – non lo hanno ricevuto?). Uno studio clinico inoltre dovrebbe essere effettuato in doppio cieco, ovvero senza che gli sperimentatori e i partecipanti conoscano a priori il tipo di trattamento assegnato ai pazienti. I dati di un esperimento dovrebbero poi fornire i margini di errore, ovvero l’intervallo entro cui si stima sia presente il dato reale: se uno studio afferma che c’è differenza tra due campioni ma tale differenza è ampiamente all’interno di questi margini, il risultato è sospetto.

In conclusione

Come abbiamo visto all’inizio, i media amano affermare che «uno studio ha dimostrato» qualcosa, ma di per sé quasi mai gli studi da soli dimostrano una verità scientifica. Inoltre abbiamo visto come molti dei criteri più semplici, come la peer review, il prestigio delle riviste o dei ricercatori, non sono completamente affidabili.

Come decidere se fidarsi di uno studio, dunque? È una valutazione difficile per uno specialista, figurarsi per il lettore comune: ma possiamo condensare quanto detto finora in qualche passaggio utile a orientarsi.

Nessuno di questi criteri, da solo, ci dice se uno studio è affidabile o meno, ma messi insieme ci consentono di andare al di là dei titoli a effetto o dei messaggi virali sui social. Ricordiamo che, tranne casi eccezionali, uno studio non «dimostra» qualcosa. Ogni studio, anche il più affidabile e rigoroso, non è che un pezzo di un puzzle molto ampio: la conoscenza scientifica deriva solo dall’unione di diversi studi che vanno nella stessa direzione. Il consiglio è quello di diffidare dagli studi che vorrebbero ribaltare, da soli, il consenso scientifico. E quando non siete sicuri ci siamo noi, a cui segnalare i contenuti su cui avete dubbi.

Photo Credit: Wendy da Flickr, licenza CC-BY-NC-ND 2.0