Publicatiebias in de Sociale Wetenschap - Franco et.al.(2014) - Artikel

Publicatiebias

Een publicatiebias is een vertekening die ontstaat wanneer positieve resultaten wel, maar negatieve of onduidelijke resultaten niet worden gepubliceerd. Dit noemt men ook wel het “file-drawer” effect (of het bureaulade-effect). Hierdoor vergroot de kans dat de gepubliceerde resultaten eerder een type 1 fout weergeven, in plaats van de werkelijke parameters van de populatie. Tevens bemoeilijkt deze publicatiebias het verkrijgen van de daadwerkelijke kennis binnen een gebied, doordat de negatieve resultaten ongeobserveerd blijven door de wetenschappelijke gemeenschap.

Het onderzoeken van publicatiebias

Er zijn verschillende methoden om te onderzoeken of er sprake is van een publicatiebias. Een veelgebruikte methode is het doen van een meta-analyse waarin zowel gepubliceerde als ongepubliceerde literatuur wordt betrokken. Deze methode is echter gelimiteerd, doordat ongepubliceerde literatuur ook vaak ongezien blijft. Een andere methode betreft het onderzoeken van de gepubliceerde literatuur. Daarbij maakt men dan assumpties over de distributie van de ongepubliceerde literatuur, bijvoorbeeld door het vergelijken van de nauwkeurigheid en effectgroottes van een aantal studies.

Publicatiebias in de sociale wetenschap

Een van de redenen waardoor het lastig is om een publicatiebias binnen de sociale wetenschappen vast te stellen, is het feit dat er grote kwaliteitsverschillen bestaan tussen gepubliceerde en ongepubliceerde onderzoeken. Hierdoor zijn de onderzoeken lastig met elkaar te vergelijken. In het huidige onderzoek wordt gekeken naar de huidige populatie van uitgevoerde onderzoeken, waarbij alle onderzoeken voldoen aan een hoge kwaliteitseis.

Het gebruik van Time-Sharing Experiments

Time-Sharing Experiments in the Social Sciences wordt gesponsord door de National Science Foundation. Het biedt onderzoekers de kans om experimentele voorstellen te doen die kunnen worden uitgevoerd op een nationale en representatieve groep. In dit onderzoek worden de gepubliceerde statistische resultaten van de TESS experimenten vergeleken met de ongepubliceerde resultaten. Deze aanpak heeft diverse voordelen. Ten eerste is er bekend welke resultaten er zijn gepubliceerd en welke resultaten niet. Ten tweede hebben zelfs de ongepubliceerde onderzoeken voldaan aan een hoge kwaliteitseis. Ten derde zijn vrijwel alle survey experimenten uitgevoerd door hetzelfde bedrijf, waardoor de onderzoeken goed te vergelijken zijn. Tot slot vereist TESS dat de onderzoeken sterke statistische power hebben, waardoor een onsignificant resultaat niet simpelweg het gevolg is van een kleine steekproef.

Resultaten

Er blijkt een sterke relatie te bestaan tussen de resultaten van een onderzoek en of deze wel of niet gepubliceerd worden. Het patroon wijst op het bestaan van een publicatiebias. Behalve dit resultaat is tevens interessant dat niet alleen weinig onsignificante resultaten worden gepubliceerd, maar dat een groot aantal van hen niet eens wordt opgeschreven.

Negatieve effecten van de publicatiebias

Het niet opschrijven van onsignificante resultaten is zeer problematisch. Ten eerste weten wetenschappers dan niet dat een onderzoek al is uitgevoerd en er een onsignificant resultaat is gevonden. Als onderzoekers het onderzoek dan uitvoeren, worden zowel tijd, moeite en hulpbronnen verspild. Ten tweede zouden toekomstige onderzoekers bij toeval een significant resultaat kunnen vinden. Dit zou binnen het veld dan een enorme ontdekking zijn en relatief heel veel invloed hebben, omdat negatieve resultaten nooit gepubliceerd en dus onbekend zijn. Het effect van het bij toeval gevonden significante resultaat is dan relatief sterker. Op deze manier beïnvloedt ook het niet opschrijven van onsignificante resultaten het wetenschappelijke kennisveld.