Artikelsamenvatting van Replication, falsification and the crisis of confidence in social psychology van Earp & Trafimow - Chapter

Wat is repliceren en falsificatie?

Repliceren is een van de belangrijkste onderdelen in empirisch onderzoek. Volgens sommigen is repliceren zelfs datgene wat het onderscheid maakt tussen wetenschap en pseudowetenschap. Hetzelfde wordt door sommigen gezegd over falsificatie. Psychologen zijn er van overtuigd dat de kennis ontstaat door de accumulatie van (repliceerbare) experimentele bevindingen. Er zijn in deze context echter ook een aantal problemen te noemen.

Wat voor problemen zijn er?

Ten eerste ontstaat er een soort paniek (crisis) onder psychologen als er niet gerepliceerd wordt. Dit komt gedeeltelijk doordat onderzoek doen om ander onderzoek te repliceren bij de meeste onderzoekers niet hoog in het vaandel staat. In de velden van onderzoek waar het dus juist nodig is om replicaties te hebben, wordt het niet (genoeg) gedaan omdat er op neergekeken wordt. Ten tweede is er een probleem met het vertrouwen op Popper. Sinds 1960 lijkt zijn idee van falsificatie of zijn idee van experimenteel repliceren niet toepasbaar in de praktijk. Beschouw het volgende voorbeeld. Stel dat onderzoeker B het onderzoek van onderzoeker A precies nadoet en tegenstrijdige resultaten vindt: is het onderzoek dan gefalsifieerd? Het antwoord is “nee”, omdat men niet weet of onderzoeker B geen fouten gemaakt heeft, of het lab geen fouten gemaakt heeft, etc. Stel dat het effect inderdaad niet bestaat, dan kunnen er alsnog allerlei andere factoren meespelen. Onderzoeker A kan op zoek gaan naar andere achtergrondinformatie of een creatievere hypothese opstellen zodat er nog steeds een logisch resultaat uitkomt. Popper zelf gaf ook toe dat er geen uitsluitende weerlegging van een theorie kan zijn, omdat men altijd kan zeggen dat resultaten niet betrouwbaar zijn bijvoorbeeld. Popper was echter van mening dat met name theorieën in de sociale wetenschappen te losjes geformuleerd zijn, zodat ze eigenlijk toegepast kunnen worden in elk soort experiment. Als de theorieën niet sterk geformuleerd zijn, dan is er dus ook meer ruimte voor onenigheid over wat dan precies replicatie is. Men moet ook overwegen in welke in iets telt als goede replicatie (wat is “hetzelfde” als het origineel?). Men krijgt namelijk nooit een onderzoek helemaal hetzelfde: er is tijd overheen gegaan, de deelnemers zijn nieuw, etc. Bovendien weet je niet welke variabelen relevant zijn voor verschillen. Wanneer je dat niet weet kan je er ook niet voor controleren. Het probleem met een veld zoals de psychologie is dat men niet weet welke verschillen relevant zijn voor de theorie.

Wat voor praktijkvoorbeelden zijn er?

Zo kwam bijvoorbeeld Collins tot de conclusie dat onenigheden in de natuurwetenschappen over wat waarschijnlijker waar was vaak opgelost werden door middel van sociale onderhandelingen en onderhandelingen over reputatie. Volgens Meehl verliezen onderzoekers in de sociale wetenschappen hun interesse en worden theorieën daarom niet gefalsifieerd. Replicaties hoeven echter geen uitsluitsel te bieden om informatief te zijn. Hetzelfde geldt voor falsificatie: men moet openstaan voor het feit dat de eerder opgestelde theorie wellicht niet helemaal klopt, maar een eenmalige weerlegging betekent niet dat de theorie in zijn geheel verworpen moet worden. Er is een onderscheid tussen conceptuele/reproductieve replicaties (extra zekerheid voor een bepaalde theorie) en directe/nabije replicaties (extra zekerheid voor de bevinding).

Was er een crisis in sociale psychologie?

Het idee van zelfcorrectie binnen het wetenschappelijk onderzoek is een mythe. Dit wordt duidelijk als men kijkt naar verhalen van wetenschappers die fraude hebben gepleegd. Er is echter nog een verschil tussen fraude en twijfelachtige onderzoekspraktijken. Zo geeft een aantal onderzoekers toe dat ze soms niet alle afhankelijke variabelen meenemen en extra analyses uitvoeren als ze er achter komen dat hun voorlopige resultaten significant zijn. Dit soort onderzoekspraktijken zijn gebruikelijker dan fraude plegen. Een probleem in de wetenschap is dat tijdschriften geneigd zijn om alleen significante of nieuwe effecten te publiceren. Replicatie-onderzoeken of niet-significante effecten worden niet gepubliceerd. Dit heet de publicatiebias. Daarbij lijkt het heel makkelijk te zijn voor onderzoekers om een statistisch significant effect te vinden voor in feite elke hypothese. Dit fenomeen wordt aangeduid met de term vrijheidsgraden van de onderzoeker. De onderzoeker kan keuzes maken in welke condities hij bijvoorbeeld gaat vergelijken om zo bewijs te vinden voor zijn hypothese. Dit zorgt er voor dat de kans op een false positive (Type I fout) groter wordt. Aangezien dit hoogstwaarschijnlijk vaak gebeurt, bestaat er dus veel twijfel over de waarheid van onderzoeken. Het is niet de eerste keer dat zo’n crisis zich heeft voorgedaan. In 1970 werden de standaardmethodes en strategieën binnen het onderzoek herzien en concludeerde men dat replicatie de enige oplossing was. Vandaag de dag wordt dezelfde conclusie getrokken.

Wat is het verschil tussen directe replicatie versus conceptuele replicatie?

Om een replicatie informatief te maken is het belangrijk om te beslissen waar het voor bedoeld is. Een directe replicatie moet zo gelijk mogelijk zijn aan het originele onderzoek: het valideert een bepaald feit. Een conceptuele replicatie verandert expres een aantal elementen van het originele experiment, om te zien of de effecten terug te vinden zijn in verschillende condities: het valideert een onderliggende theorie. Het probleem hiermee is dat een conceptuele replicatie geen uitsluitsel geeft over de effecten. Wanneer er geen significante resultaten worden gevonden, kan dit toegeschreven worden aan de verschillende condities. Men moet beginnen met de directe replicaties, om er achter te komen welke aspecten van het onderzoeksdesign theoretisch relevant zijn.

Zijn er andere aandachtspunten?

Een ander punt om replicaties meer informatief te maken is dat het onderzoek buiten het originele laboratorium uitgevoerd moet worden. Dit wijkt af van de strenge regels van directe replicatie, maar is nodig omdat replicatie door dezelfde onderzoekers beïnvloed kan worden door de allegiance bias en confirmatiebias. De originele onderzoeker betrekken bij de replicatie kan daarentegen ook nuttig zijn, omdat de onderzoeker precies weet hoe het onderzoek gegaan is. Verder is het belangrijk om de effecten en methoden nauwkeurig te definiëren, de methode zo exact mogelijk te volgen, een hoge statistische power te hebben en de details van de replicatie beschikbaar maken.

Wat zijn replicatie, falsificatie en behulpzame aannames?

Onderzoekers baseren hun voorspellingen meestal niet op een theorie, maar er is een combinatie tussen de theorie en behulpzame aannames (auxiliary assumptions). Deze aannames helpen de onderzoeker om de link tussen de uitkomsten die een onderzoeker kan observeren en abstracte inhoud van de theorie. Een voorbeeld is dat de onderzoeker er van uit gaat dat wanneer iemand aankruist wat zijn motivatie is, dit ook daadwerkelijk zijn motivatie is. Met behulpzame aannames doe je dan de volgende uitspraak: “Wanneer de theorie waar is en de behulpzame aannames waar zijn, moet een bepaalde observatie zich voordoen.”. Als de behulpzame aannames niet waar blijken te zijn, maar deze zijn niet bekend, dan kan de theorie onterecht afgewezen worden. Wil men repliceren, moet men zich houden aan de ceteris paribus aanname (de-rest-is-gelijk aanname): als de replicatie valide geacht moet worden, moeten de behulpzame aannames gelijk genoeg zijn aan die van het originele experiment. Tenslotte is een replicatie niet per definitie definitief, maar stel dat er een miljoen replicaties zijn die een bepaald onderzoek niet kunnen bevestigen, is het beter om aan te nemen om dat eerste onderzoek onwaar is.

Wat is het Bayesiaanse kader?

De mate waarin iemand zeker kan zijn van een bepaald resultaat hangt af van verschillende factoren. Ten eerste moet men aannemen dat de kans op niet repliceren kleiner is als het origineel waar is dan wanneer het niet waar is. De kans gaat dan verder weg van 1. Ten tweede is dit afhankelijk van de kwaliteit van de replicatie: hoe dichter de replicatie bij de ceteris paribus conditie zit, hoe verder weg de kans is van 1. Het aantal replicaties speelt ook een rol.

Wat voor conclusie kan je trekken?

Replicaties zullen nooit op zichzelf uitsluitsel geven, maar een replicatie afwijzen omdat het niet de “juiste” resultaten laat zien is ook te makkelijk. Replicaties moeten gezien worden als onderzoeken die extra informatie leveren. Binnen de experimentele sociale psychologie, moet dit gebeuren. De betrouwbaarheid van het veld hangt er van af.