Il 9 giugno 2023 la redazione di Facta.news ha ricevuto una segnalazione via WhatsApp che chiedeva di verificare l’articolo intitolato “La scienza fa mea culpa e lo scrive su Nature. L’indagine assurda: ‘70% di studi non riproducibili’” pubblicato dall’emittente radiofonica Radio Radio il 7 giugno. L’articolo cita uno studio della rivista scientifica britannica Nature, intitolato “1,500 scientists lift the lid on reproducibility” (in italiano, “1.500 scienziati aprono il coperchio sulla riproducibilità”). Secondo quanto riportato da Radio Radio, più del 70 per cento dei ricercatori non riuscirebbe a riprodurre gli esperimenti condotti da altri scienziati, e più della metà fallirebbe nel riprodurre i propri esperimenti.

Si tratta di un contenuto presentato in maniera fuorviante, che veicola una notizia inesatta. Il tono dell’articolo è volto a sminuire la scienza e il metodo scientifico.

Precisiamo prima di tutto che la riproducibilità è un passaggio fondamentale del metodo scientifico che si basa su una serie di fasi. Prima di tutto gli esperti osservano un fenomeno e successivamente creano un’ipotesi che viene indagata e misurata. Una volta ottenuti i dati viene formulata una conclusione e si procede alla riproducibilità, ovvero la cosiddetta “prova del nove” che avviene replicando il fenomeno osservato secondo un protocollo specifico per ogni fenomeno che si vuole indagare.

Un protocollo è una serie di procedure specifiche da seguire passo a passo in cui è descritto ogni dettaglio dell’esperimento. Se i dati hanno un valore statistico significativo allora la teoria al centro dello studio viene confermata. Inoltre, come abbiamo già spiegato su Facta.news, agli studi scientifici viene solitamente applicato un ulteriore controllo chiamato peer review, cioè una revisione dei pari che garantisce accuratezza e obiettività delle scoperte scientifiche. Tuttavia esistono studi difficilmente riproducibili a causa delle differenze ambientali o culturali in cui viene svolto l’esperimento. 

Passiamo ora al contenuto oggetto della nostra analisi.

Lo studio a cui fa riferimento Radio Radio è stato pubblicato sulla rivista scientifica Nature il 25 Maggio 2016 ed evidenzia realmente una mancanza significativa di riproducibilità nella scienza, con oltre il 70 per cento dei ricercatori che non riesce a replicare gli esperimenti di altri e più della metà che non riesce a riprodurre i propri esperimenti. Nonostante ciò, è importante evidenziare che nello stesso articolo si legge che meno del 31 per cento ritiene che i risultati non riproducibili siano probabilmente errati, mentre la maggior parte continua a fidarsi della letteratura scientifica pubblicata. Questo potrebbe essere interpretato come un segno di fiducia del metodo scientifico,  nella comunità scientifica e nel processo di revisione, la cosiddetta peer review, piuttosto che come una negazione del problema della riproducibilità.

Per quanto riguarda la riproduzione degli esperimenti di altri scienziati, infatti, è necessario considerare innanzitutto che la riproduzione esatta di un esperimento può essere influenzata da numerosi fattori. Le procedure devono essere soggette a degli standard, definiti SOPs, ovvero un elenco molto dettagliato dei passaggi da seguire e degli strumenti da utilizzare nel modo più preciso e organizzato possibile. 

Differenti attrezzature di laboratorio potrebbero portare a risultati differenti a causa dell’errore sperimentale, cioè imprecisioni che si accumulano mano a mano che si procede nell’esperimento. Ciò dipende  dalla differente taratura degli strumenti e, in secondo luogo, dall’imprecisione dell’operatore.

Il fallimento nella riproduzione di un esperimento non significa necessariamente che i risultati originali siano errati, ma può indicare la complessità della ricerca scientifica. Inoltre, bisogna considerare che i laboratori e gli operatori che ripetono gli esperimenti sono diversi e ciò porta a risultati differenti. In linea di massima, i laboratori accreditati che rispettano gli standard di qualità descritti nella normativa ISO 17025 sono più propensi a riprodurre i risultati ottenuti da altri laboratori.

L’articolo di Nature, inoltre, specifica come la psicologia e la biologia del cancro hanno riportato rispettivamente tassi di riproducibilità del 40 per cento e del 10 per cento. Tuttavia, questi risultati non possono essere generalizzati a tutte le discipline scientifiche, contrariamente a quanto fatto da Radio Radio nell’articolo che stiamo analizzando.

Infine, lo studio condotto da Nature si basa su 1.576 ricercatori. Mentre questo potrebbe sembrare un numero significativo, è importante notare che il campione non rappresenta l’intera comunità scientifica, bensì solo una piccola parte. Inoltre, il sondaggio è stato condotto online senza nessuna selezione dei partecipanti e questo non permette di avere risultati realmente rappresentativi.