Articles

Introduzione di Mega-analysis

X

Privacy & Cookie

Questo sito utilizza cookie. Continuando, accetti il loro utilizzo. Ulteriori informazioni, tra cui come controllare i cookie.

Capito!

Pubblicità

Come trovare la verità in un oceano di correlazioni – con interruttori, acque ferme, onde di marea e correnti sotterranee? Nella vecchiaia della ricerca e della pubblicazione responsabili, raccoglieremmo le stime riportate nella ricerca precedente e calcoleremmo una correlazione tra le correlazioni. Quei giorni sono ormai lontani.

Nell’era della ricerca e della pubblicazione della razza del ratto è diventato sempre più difficile fare una meta-analisi. È un’esperienza frustrante per chiunque ne abbia condotto uno: ricerche infinite sul Web of Science e Google Scholar per raccogliere tutte le ricerche pubblicate, inserire le stime in un database, scoprire che un sacco di campi sono vuoti, autori di posta elettronica per correlazioni di ordine zero e altre statistiche che non erano riusciti a segnalare nelle loro pubblicazioni e ottenere molto poco risposta.

La meta-analisi non è solo un’esperienza frustrante, è anche una cattiva idea quando i risultati che gli autori non amano non vengono pubblicati. Una serie di tecniche sono state sviluppate per trovare e correggere bias pubblicazione, ma il problema che non conosciamo i risultati che non vengono segnalati non è risolto facilmente.

Mentre entriamo nell’era della scienza aperta, non dobbiamo più fare affidamento sulla cooperazione tutt’altro che perfetta da parte di colleghi che si sono trasferiti in un’università diversa, hanno lasciato il mondo accademico, sono morti, o pensano che tu stia cercando di dimostrare loro torto e distruggere la loro carriera – e la tua in punizione. Possiamo semplicemente scaricare tutti i dati grezzi e analizzarli.

Inserisci mega-analisi: includere tutti i punti dati rilevanti per una certa ipotesi, raggrupparli per pubblicazione originale, data, paese o qualsiasi proprietà potenzialmente rilevante del progetto di ricerca e aggiungere i predittori sostanziali che si trovano documentati in letteratura. I risultati rivelano non solo le correlazioni sottostanti tra variabili sostanziali, ma anche le differenze tra studi, periodi, paesi e proprietà di progettazione che influenzano queste correlazioni.

Il metodo in sé non è nuovo. In epidemiologia, Steinberg et al. (1997) l’ha etichettato come “meta-analisi dei dati dei singoli pazienti”. In genetica umana, genome wide association studies (GWAS) da grandi consorzi internazionali sono esempi comuni di mega-analisi.

Mega-analisi include il file-cassetto di carte che non ha mai visto la luce del giorno dopo che sono stati messi in. Include anche l’universo di documenti che non sono mai stati scritti perché i risultati non erano pubblicabili.

Se la meta-analisi fornisce una stima per l’universo della ricerca pubblicata, la mega-analisi può essere utilizzata per rilevare quanto sia unico quell’universo nella via lattea. La mia previsione sarebbe che le correlazioni nella ricerca pubblicata sono per lo più più lontane da zero rispetto alla stessa correlazione in una mega-analisi.

Mega-analisi porta grande promessa per le scienze sociali. I campioni per le indagini sulla popolazione sono grandi, il che consente un apprendimento ottimale dalle variazioni nelle procedure di campionamento, nella modalità di raccolta dei dati e nella progettazione del questionario. È tempo di un consorzio globale di scienze sociali che riunisca tutti i suoi dati. A titolo illustrativo, ho iniziato un progetto sul framework Open Science che analizza mega la fiducia sociale generalizzata. È un progetto pubblico: chiunque può contribuire. Abbiamo raggiunto il segno di 1 milione di osservazioni.

L’idea alla base della mega-analisi è nata da due diversi progetti. Nel primo progetto, Erik van Ingen e io abbiamo analizzato gli effetti del volontariato sulla fiducia, per verificare se i risultati di un’analisi del Giving in the Netherlands Panel Survey (Van Ingen & Bekkers, 2015) si replicherebbero con i dati di altri studi del panel. Abbiamo trovato essenzialmente gli stessi risultati in cinque studi di panel, sebbene siano emerse sottili differenze nelle stime quantistiche. Nel secondo progetto, con Arjen de Wit e colleghi del Centro per gli studi filantropici di VU Amsterdam, abbiamo analizzato gli effetti del volontariato sul benessere condotto come parte dello studio ITSSOIN finanziato dalla CE-FP7. Abbiamo raccolto 845.733 risposte al sondaggio da 154.970 diversi intervistati in sei studi panel, che coprono 30 anni (De Wit, Bekkers, Karamat Ali & Verkaik, 2015). Abbiamo scoperto che il volontariato è associato a un aumento dell ‘ 1% del benessere.

In questi progetti, i dati provenienti da diversi studi sono stati analizzati separatamente. Mi sono reso conto che potremmo imparare molto di più se i dati sono raggruppati in un’unica analisi: una mega-analisi.

Pubblicità