Meta-analisi: cosa sono, da dove viene il nome e quanto puoi fidarti

Capita spesso, leggendo un articolo su un integratore o su un'abitudine di salute, di imbattersi nella frase "una meta-analisi ha dimostrato che...".

È una delle espressioni più usate, e anche più abusate, nella comunicazione scientifica divulgativa. 

Vale la pena capire cosa ci sia davvero dietro quella parola:

• cosa significa
• da dove arriva
• come funziona
• e, soprattutto, quanto puoi fidarti di quello che dice

Cos'è, in parole semplici, una meta-analisi

Una meta-analisi è uno studio che non raccoglie dati originali su persone o pazienti, ma raccoglie i risultati di altri studi già pubblicati sullo stesso argomento e li combina in un unico risultato numerico, più solido di quello di ciascuno studio preso singolarmente.

Immagina dieci piccoli studi che hanno testato lo stesso integratore su gruppi di 40-50 persone ciascuno:

• alcuni trovano un effetto positivo
• altri un effetto minimo
• uno addirittura nessun effetto

Preso da solo, ciascuno di questi studi dice poco: i numeri sono piccoli e il caso gioca un ruolo importante. 

Una meta-analisi mette insieme tutti questi dati, li pesa in base alla qualità e alla dimensione di ciascuno studio, e calcola una stima complessiva molto più affidabile di quella di un singolo studio isolato.

Perché si chiama "meta-analisi": una storia che parte dal 1976 (con un precursore nel 1904)

Il termine "meta-analisi" non è antico quanto si potrebbe pensare.

Lo ha coniato nel 1976 lo psicologo statunitense Gene V. Glass, in un discorso tenuto da presidente dell'American Educational Research Association e poi pubblicato sulla rivista Educational Researcher con il titolo "Primary, secondary, and meta-analysis of research". 
Glass lo ha definito così: "meta-analisi si riferisce all'analisi delle analisi", cioè un'analisi statistica condotta non su dati grezzi, ma sui risultati già elaborati di altri studi.

Il prefisso "meta" viene dal greco e significa "oltre, al di là di": una meta-analisi è, letteralmente, un'analisi che va oltre il singolo studio, guardando l'insieme della ricerca disponibile su un tema.

Il primo esempio di meta-analisi, applicato alla psicoterapia, lo pubblicò lo stesso Glass insieme alla collega Mary Lee Smith poco dopo aver introdotto il termine.
L'accoglienza, all'epoca, non fu affatto entusiasta: lo psicologo Hans Eysenck la liquidò come un "esercizio di mega-sciocchezza".
Da allora il metodo si è affermato e diffuso enormemente: nel 1991 venivano pubblicate circa 334 meta-analisi all'anno nella sola letteratura indicizzata, un numero salito a oltre 9.000 nel 2014.

C'è però un precedente molto più antico, anche se nessuno lo chiamava ancora "meta-analisi".

Nel 1904 lo statistico britannico Karl Pearson pubblicò sul British Medical Journal un lavoro in cui metteva insieme i dati di undici diversi gruppi di soldati, per valutare l'efficacia dell'inoculazione contro il tifo.
Pearson calcolò una correlazione per ciascun gruppo, notò che i risultati erano molto diversi tra loro (quella che oggi chiameremmo "eterogeneità") e concluse che le prove disponibili non erano abbastanza solide da dimostrare l'efficacia del trattamento.

È considerato, con settant'anni di anticipo sul nome, il primo vero tentativo di combinare statisticamente i risultati di più studi sullo stesso quesito.

Meta-analisi e revisione sistematica non sono la stessa cosa

I due termini vengono spesso usati come sinonimi, ma descrivono due cose diverse e complementari.

Una revisione sistematica è un lavoro che cerca, seleziona e valuta in modo organizzato e riproducibile tutti gli studi disponibili su una domanda di ricerca, seguendo criteri dichiarati in anticipo.

Una meta-analisi è il passo successivo, quando possibile: prendere i dati numerici di quegli studi e combinarli statisticamente in un unico risultato.

Non tutte le revisioni sistematiche arrivano a una meta-analisi: a volte gli studi inclusi sono troppo diversi tra loro, per metodo o per popolazione studiata, perché abbia senso sommarne i numeri.

In quel caso la revisione resta "qualitativa", descrive cosa dicono gli studi senza fonderli in un unico dato.

Come si costruisce una meta-analisi, in breve

Dietro ogni meta-analisi seria c'è un percorso definito in anticipo, non una raccolta casuale di studi che confermano una tesi già decisa.

Si parte da una domanda di ricerca precisa e da una ricerca sistematica della letteratura su più database scientifici, con criteri di inclusione ed esclusione fissati prima di guardare i risultati (così da non scegliere solo gli studi che confermano l'ipotesi di partenza).

Gli studi selezionati vengono poi valutati per qualità metodologica, e i loro dati vengono estratti e combinati con un modello statistico: a effetti fissi, se si assume che tutti gli studi stimino lo stesso identico effetto reale, oppure a effetti casuali, più prudente, se si considera plausibile che l'effetto vero vari leggermente da popolazione a popolazione.

Il risultato finale viene spesso mostrato in un grafico chiamato "forest plot": ogni riga rappresenta uno studio, con il suo effetto stimato e il relativo margine di incertezza, e in fondo un rombo rappresenta il risultato combinato di tutti gli studi insieme.

Un secondo grafico, il "funnel plot", serve a controllare se manchino all'appello studi piccoli con risultati negativi, un segnale tipico di quello che si chiama "publication bias", cioè la tendenza a pubblicare più facilmente gli studi con risultati positivi.

Perché una meta-analisi pesa più di un singolo studio, ma non è infallibile

Il vantaggio principale è la potenza statistica: mettendo insieme centinaia o migliaia di partecipanti provenienti da studi diversi, una meta-analisi riduce il peso del caso e permette di cogliere effetti reali ma piccoli, che un singolo studio troppo piccolo rischierebbe di non vedere.

Per questo le meta-analisi sono diventate uno strumento centrale nella costruzione delle linee guida cliniche e nelle valutazioni delle autorità regolatorie.

Anche l'EFSA, l'autorità europea per la sicurezza alimentare che valuta i claim sui nutrienti autorizzati in etichetta, non si basa mai su un singolo studio isolato.
Considera la totalità delle prove disponibili su un nutriente, dando un peso particolare proprio alle revisioni sistematiche e alle meta-analisi di studi controllati condotti sull'uomo.

È uno dei motivi per cui, quando in questo blog citiamo un claim autorizzato su una vitamina o un minerale, quel claim riflette anni di letteratura scientifica aggregata, non il risultato isolato di una singola ricerca.

Detto questo, "meta-analisi" non è una parola magica che rende un'affermazione automaticamente vera.

Una meta-analisi costruita su studi piccoli, mal disegnati o con conflitti di interesse non dichiarati resta debole, anche se il numero totale di partecipanti sembra impressionante: mette semplicemente insieme più dati di bassa qualità, non li trasforma in dati di alta qualità.

I limiti che vale la pena conoscere

Esiste un principio informale molto citato tra chi lavora con le meta-analisi: "garbage in, garbage out".

Se gli studi inclusi sono di scarsa qualità, nessuna formula statistica può trasformarli in una prova solida: la meta-analisi eredita i limiti dei materiali di partenza.

Un secondo limite riguarda proprio il publication bias accennato sopra: se gli studi con risultati negativi o poco interessanti restano più spesso nel cassetto, la letteratura disponibile online risulta sbilanciata verso i risultati positivi, e la meta-analisi rischia di ereditare quello sbilanciamento.

Un terzo limite è l'eterogeneità: quando gli studi inclusi differiscono molto tra loro per popolazione, dosaggio, durata o metodo di misurazione, sommarli in un unico numero può essere fuorviante più che chiarificatore. Le meta-analisi serie dichiarano sempre il grado di eterogeneità misurato e ne discutono le implicazioni, invece di nasconderlo.

Per questo motivo, dal 2009 esiste uno standard internazionale chiamato PRISMA (evoluzione del precedente QUOROM del 1999, poi aggiornato nel 2021), che fissa i criteri minimi che una revisione sistematica o una meta-analisi deve dichiarare per essere considerata trasparente e verificabile: come è stata condotta la ricerca, quanti studi sono stati esclusi e perché, come sono stati valutati i conflitti di interesse.

È uno dei motivi per cui la vecchia "piramide delle evidenze", che metteva le meta-analisi automaticamente al vertice sopra agli studi randomizzati controllati, viene oggi considerata troppo semplicistica dalla stessa comunità scientifica: una meta-analisi di studi randomizzati ben condotti vale molto più di una meta-analisi di studi osservazionali deboli, anche se formalmente sono entrambe "meta-analisi".

Come leggiamo le meta-analisi quando scriviamo per te

Quando in un articolo di questo blog citiamo una meta-analisi o una revisione sistematica, cerchiamo sempre la fonte originale, verifichiamo che sia stata pubblicata su una rivista scientifica sottoposta a revisione paritaria (peer review) e la segnaliamo in modo verificabile nella sezione Bibliografia in fondo all'articolo, con il titolo collegato alla fonte.

Non è un dettaglio formale: è il modo in cui proviamo a darti qualcosa di più solido di un singolo studio isolato, senza però fartelo passare per una verità definitiva e immutabile.

Cinque domande da farti prima di fidarti di una meta-analisi

• Quanti studi include, e su quante persone in totale
• Gli studi inclusi sono randomizzati controllati o solo osservazionali
• L'eterogeneità tra gli studi viene dichiarata e discussa, non nascosta
• È pubblicata su una rivista scientifica con revisione paritaria, non solo su un sito divulgativo
• Gli autori dichiarano eventuali conflitti di interesse, ad esempio finanziamenti da aziende del settore

Bibliografia

1. Glass GV, "Primary, secondary, and meta-analysis of research", Educational Researcher, 1976
2. Pearson K., "Report on certain enteric fever inoculation statistics", British Medical Journal, 1904 (analisi storica su James Lind Library)
3. History and development of PRISMA, PRISMA Statement
4. Our story, Cochrane Collaboration

Le informazioni di questo articolo hanno scopo puramente divulgativo e non sostituiscono il parere del medico o del farmacista. Gli integratori alimentari non sono farmaci.