Comment on "Estimating the reproducibility of psychological science" - Gilbert, King, Pettigrew & Wilson - 2016 - Artikel

Wat is een replicatiecrisis?

Het reproduceren van empirisch onderzoek is een belangrijk onderdeel van de wetenschap. De Open Science Collaboration (OSC) heeft een onderzoek gedaan naar de reproduceerbaarheid van onderzoeken binnen de psychologie. Op basis van hun onderzoek concludeerden zij dat er sprake is van een replicatiecrisis. Een zeer laag percentage van de onderzoeken zouden succesvol zijn gereproduceerd. De auteurs van dit artikel stellen echter dat er verschillende dingen mis zijn met het onderzoek van de OSC, en dat de reproduceerbaarheid van de psychologische wetenschap juist heel groot is.

Wanneer is er sprake van error?

Wanneer een replicatiestudie een onderzoek herhaalt en daarbij een steekproef trekt uit de originele populatie, kan een replicatiefout soms simpelweg het gevolg zijn van een steekproeffout. De OSC gaat er van uit dat het enige verschil tussen hun onderzoeken en de originele onderzoeken te maken heeft met zo’n steekproeffout, terwijl er veel meer belangrijke verschillen zijn. Zo hebben zij soms een steekproef getrokken uit een compleet andere populatie. Ook hebben zij in sommige onderzoeken volledig andere vragen gesteld aan participanten die vrijwel niks met dat onderwerp te maken hebben (bijvoorbeeld vragen stellen over de studie aan participanten die nooit hebben gestudeerd, en vragen over reistijden aan participanten die niet naar school heen en weer hoeven te reizen). Op deze manier zijn er zeel veel verschillen aan te wijzen die de resultaten van het onderzoek van de OCS in twijfel doen brengen.

Wat is power?

De OSC heeft elk onderzoek slechts eenmaal gereproduceerd. Zij hebben dus niet elk onderzoek vaker gereproduceerd en vervolgens deze resultaten samengenomen en het gemiddelde genomen. De power van hun onderzoek is daardoor zeer laag. Een ander onderzoeksproject genaamd het Many Labs Project (MLP) heeft dat wel gedaan. Het onderzoek van MLP heeft veel meer power en zij concluderen een veel hogere reproduceerbaarheid dan het onderzoek van OSC.

Wanneer is er sprake van bias?

Error betreft verschillen die zich op basis van toeval voordoen, maar het onderzoek van de OSC heeft ook te maken met bias. De auteurs hebben kunnen vaststellen dat het onderzoek van de OSC een bias heeft die er toe leidt dat de replicaties voornamelijk onsuccesvol zijn.

Wat kan er worden vastgesteld?

Er kan worden vastgesteld dat, in tegenstelling tot de conclusie van de OSC, er binnen de psychologische wetenschap, geen probleem is met de reproduceerbaarheid van de onderzoeken. Het omgekeerde is juist waar, en de reproduceerbaarheid blijkt groot te zijn.