Wat zijn onderzoeksmethoden in toegepaste sociale psychologie? - Chapter 4

Wat zijn verschillende onderzoeksdesigns?

Er bestaan verschillende benaderingen om toegepast sociaal gedrag te onderzoeken, met ieder hun eigen voor- en nadelen. Geen enkele is de beste. De meeste benaderingen verschillen in drie wenselijke kwaliteiten (“three-horned dilemma”), namelijk precisie, generalisatie van situaties en generalisatie van mensen. Het maximaliseren van een van deze kwaliteiten resulteert in een reductie van de anderen twee.

Een onderzoeker moet:

1. De unieke voor- en nadelen van elk design weten.
2. Een onderzoeksprogramma gebruiken met multipele designs om de zwakke kanten van elke methode te compenseren.
3. Onderzoek uitvoeren die het meest gebruik maakt van de voordelen van elk design en de nadelen ervan minimaliseert.

Wat zijn de meest gebruikte onderzoeksmethodes? 

Vier designs die het meest gebruikt worden zijn experimenteel, quasi-experimenteel, correlationeel en survey.

Experimentele designs worden vaak in fundamenteel onderzoek gebruikt om algemene theorieën te testen. Daarnaast is het een gunstig instrument omdat oorzaak-gevolg relaties gemaakt kunnen worden. Sommigen pleiten voor een experimentele samenleving, waarin experimentele methoden gebruikt worden om weloverwogen beslissingen over publiek beleid te maken. Manipulatie (het niveau van een of meer variabelen systematisch veranderen terwijl andere variabelen gelijk worden gehouden) en willekeurige (random) toewijzing (elke deelnemer evenveel kans om aan elke conditie te worden toegewezen) zijn twee componenten die het mogelijk maken een causale relatie tussen twee variabelen te testen. Er wordt vastgesteld of veranderingen in de onafhankelijke variabelen (manipulatie) tot vergelijkbare veranderingen in de afhankelijke variabele leiden. Random toewijzing is belangrijk omdat het deelnemers in groepen verdeeld die gelijk zijn op elke denkbare dimensie (leeftijd, intelligentie enz.). Daardoor kan verschil in resultaat toegeschreven worden aan de conditie en niet aan individuele verschilvariabelen.

Een voordeel is dat de precisie hoger is. Dit kan bereikt worden op verschillende manieren:

1. Experimenten nemen de invloed weg van confounds (variabele die systematisch varieert met de onafhankelijke variabele en de afhankelijke variabele beïnvloed). Het is moeilijk om de invloed ervan vast te stellen. Twee soorten confounds zijn persoonlijke (een individueel verschil beïnvloedt de afhankelijke variabele) en procedurele confounds (als onderzoeker onwetend twee variabelen of meer laat variëren per keer). Persoonlijke confounds worden tegengegaan door middel van random toewijzing en procedurele confounds worden tegengegaan doordat experimenten vaak in onderzoekslaboratoria worden toegepast (onderzoekers kunnen alle ervaringen van deelnemers regelen).
2. Een ander voordeel van het uitvoeren van onderzoeken in laboratoria is dat ze ruis (variabelen die in tegenstelling tot confounds gelijkmatig zijn verdeeld over conditie en de afhankelijke variabele beïnvloeden, bijvoorbeeld tijd of temperatuur) kunnen minimaliseren door de setting of variabelen constant te houden.
3. Door een hogere precisie kunnen er complexere voorspellingen getest worden. Bij het onderzoeken van statistische interacties wordt gekeken naar het effect dat een of meer onafhankelijke variabelen hebben op de afhankelijke variabelen, het hangt van een andere onafhankelijke variabele af (causale factoren combineren vaak op verschillende manieren om gedrag te beïnvloeden). Het 2x2 factordesign wordt het meest gebruikt om sociaal gedrag te onderzoeken. Onafhankelijke en gecombineerde effecten (simpele interacties) van twee onafhankelijke variabelen (elk met 2 niveaus) worden onderzocht. Zo wordt een complex causaal verhaal in simpele delen afgebroken. Afzonderlijke en simpele interacties die in verschillende onderzoeken gevonden zijn kunnen een enkele theorie steunen. Statistische interacties zijn ook handig bij het identificeren van grenscondities van een theorie. Dit laat zien wanneer een theorie wel of niet van toepassing is, een theorie is namelijk niet onder alle omstandigheden correct. Het verbetert niet alleen de toepasbaarheid van een theorie, het verschaft ook informatie over de aard en grenzen van het onderwerp dat wordt bestudeerd.

Een nadeel is dat de toegenomen precisie ten koste gaat van de generaliseerbaarheid. Het gebrek van de generaliseerbaarheid naar andere mensen komt doordat er gemakkelijke steekproeven worden getrokken uit homogene populaties (bijvoorbeeld studenten gebruiken). Smalle steekproeven komen door bijkomstige redenen, onderzoekslaboratoria op college campussen zijn bijvoorbeeld makkelijk en kosteneffectief om te gebruiken. Door redenen met een bepaald doel, homogene steekproeven verminderen bijvoorbeeld ruis, veel factoren zijn constant en maximaliseren van precisie maar begrenzen generalisatie voor verschillende populaties. Onthulde resultaten gelden slechts voor een klein gedeelte van de mensen. Dit probleem kan opgelost worden door een programma van gerelateerde onderzoeken te gebruiken die veel homogene steekproeven gebruiken.

Door deze steekproeven in gecalculeerde stappen uit te voeren kunnen onderzoekers zien hoe hun uitkomsten toegepast kunnen worden op elke groep. Het gebrek aan generalisatie naar verschillende situaties komt doordat de pogingen om ruis te verwijderen zorgen dat causale dynamiek worden onderzocht in een setting die meer ‘steriel’ is dan die in het ‘echte’ leven. Ook worden onnatuurlijke of gepatenteerde kunstmatige situaties gecreëerd. Dit probleem kan opgelost worden door experimenten uit te voeren in toegepaste situaties.

Het moeilijke aan de gegeven oplossingen is dat een onderzoeker nooit een ideale aanvulling van steekproeven heeft die de mate definieert waarin een effect gegeneraliseerd wordt aan verschillende mensen of een ‘perfecte’ situatie kan vinden die alle situaties heeft waarin men geïnteresseerd is.

Elke nieuwe steekproef of situatie zorgt voor beperkingen. Kunstmatige situaties en makkelijke steekproeven zijn vaak makkelijker en geven controle.

Onderzoekers hebben het generalisatieprobleem echter niet opgegeven. Vaak zijn er manieren gevonden om dit logisch aan te spreken (in tegenstelling tot empirisch). Generalisatie komt voort uit het idee dat laboratoriumonderzoeken realistisch moeten zijn. Dit heet ook wel mondain  realisme (fysieke setting van onderzoek is gelijk aan de setting waarin het fenomeen voorkomt) en psychologisch/experimenteel realisme (beoordeling van obstakels die voorkomt dat onderzoekers de mondaine kwaliteiten van het leven van elke dag in laboratoria herhaald, het laboratorium verandert hoe deelnemers zich gedragen en voelen). Psychologen voelen zich vaak gedwongen om mondain realisme uit te oefenen om te laten zien dat hun onderzoek toegepaste implicaties heeft. Op toegepaste psychologen wordt een beroep gedaan om te onthullen hoe specifieke factoren er voor zorgen dat specifieke individuen specifiek gedrag vertonen. Laboratoriumonderzoeken kunnen deze specifieke dingen nooit omvatten. Wel zijn laboratoriumonderzoeken zinvol als onderzoekers over meer algemene psychologische processen denken die specifieke fenomenen beïnvloed: realisme vinden en daardoor precisie en controle winnen. Echter soms hebben onderzoekers specifieke vragen en twijfelen ze over mondain realiteit.

Wat is correlationeel onderzoek?

Een correlatie is een relatie tussen verschillende gemeten variabelen in natuurlijke situaties. Correlaties zijn vooral bruikbaar als er geen manipulaties uitgevoerd kunnen worden of als dit om ethische redenen niet kan, als het bijvoorbeeld fysiek gevaar meebrengt voor de deelnemer. Ze hebben een fenomeen en een situatie die intrinsiek belangrijk zijn. Een onderzoeker moet een bepaalde set van observaties genereren, onderzoeksvraag opstellen en daarna meten. Onderzoek van variabiliteit is een meer passieve benadering, alle variabelen mogen ‘natuurlijk’ variëren en onderzoeker beoordeeld de variabelen. Als data is verzameld wordt de relatie tussen gemeten variabelen statistisch geanalyseerd om vast te stellen of die consistent zijn met de hypothese.

De simpelste manier is om de correlatiecoëfficiënt te berekenen (loopt van -1 tot +1). De absolute numerieke waarde geeft de grootte van de relatie aan (hoe groter het getal, hoe sterker de connectie), het teken geeft de richting van het verband aan (+ als de waarde van een variabele toeneemt, neemt de waarde van de andere ook toe; - als de waarde van een variabele toeneemt, neemt de waarde van de andere af). Het is belangrijk een correlatie statistiek niet te verwarren met correlationeel onderzoek.

Het heeft een aantal voordelen.  Het maximaliseert generalisatie voor situaties, gedrag kan zo gemeten worden in natuurlijke situaties (verhoogt representativiteit voor ‘echte’ wereld). Goed uitgevoerde correlationele onderzoeken zijn hier kundig. Het wordt vaak gebruikt als startpunt van een onderzoeksprogramma. Het kan ook na een experiment gebruikt worden om te testen of een effect dat vastgesteld is in lab ook in echte wereld voorkomt.

De nadelen zijn dat er een gebrek is aan controle over de resultaten doordat de precisie laag is. Dat heeft als gevolg dat de causaliteit niet bepaald kan worden. Drie mogelijke verklaringen voor een significante correlatie zijn omgekeerde causaliteit (de echte richting van de relatie kan andersom zijn), het derde variabele probleem (een toegevoegde variabele kan verantwoordelijk zijn voor de relatie tussen twee variabelen) en causaliteit. We kunnen concluderen dat er een relatie bestaat, maar we kunnen niks zeggen over aard en richting van de relatie. Daarnaast is er geen generalisatie van andere mensen, ook bij deze onderzoeken gebruikt men gemakkelijke steekproeven (maar ze gebruiken minder snel alleen studenten in vergelijking met experimenten).

Het derde variabele probleem en omgekeerde causaliteit kunnen opgelost worden door covariaten te gebruiken (proberen een mogelijke set van derde variabelen, confounds, aan de orde te stellen en de effecten van hen statistisch te verwijderen).

Wanneer onderzoekers sterke theorieën hebben die suggereren dat er een mogelijke derde variabele is, moeten ze valide metingen van deze constructen in het onderzoek opnemen. Een onderzoek kan echter nooit alle derde variabelen testen en daarom is er nooit sprake van causaliteit. Ook een verandering in het design kan een oplossing zijn. Longitudinale designs kunnen gebruikt worden, waarbij de variabelen op twee of meer momenten gemeten worden en correlaties tussen de variabelen tussen momenten en gekruiste momenten geanalyseerd worden. Hierbij leiden veranderingen in de predictorvariabele op één punt tot veranderingen in de uitkomstvariabele op volgende punten in tijd. Bij het gebruik van longitudinale designs is het belangrijk dat ook relevante covariaten worden meegenomen. Metingen op moment 1 kunnen dienen als indirecte indicatoren van omgekeerde causaliteit.

Een oplossing is ‘predictorvariabele’ en ‘voormeting van uitkomstvariabele’ meten op tijdstip 1, daarna ‘uitkomstvariabele’ op tijdstip 2 meten. Als de predictor de uitkomst voorspelt op tijdstip 2, gecontroleerd voor ‘voormeting uitkomst’, dan is er hoogstwaarschijnlijk geen omgekeerde causaliteit. Echter, ‘voormetingen van uitkomst’ zullen falen als verkeerde metingen worden gebruikt, daarnaast is het belangrijk om belangrijke tijdsperiodes te vinden. Het is dus belangrijk om eerdere niveaus van de uitkomstvariabele te controleren.

Wat zijn quasi-experimenten?

Bij quasi-experimenten is er sprake van een combinatie van voordelen van experiment (grote controle) en correlationeel onderzoek (geen random toewijzing). De onderzoeker heeft gedeeltelijke controle over de onafhankelijke variabelen en toewijzing condities door middel van een natuurlijk voorkomend criterium. Er is een hoog niveau van controle over afhankelijke en externe variabelen. Van de vele typen quasi-experimentele designs wordt de person-by-treatment quasi-experiment het meest gebruikt in de sociale psychologie. De behandelingsvariabele wordt gemanipuleerd en de persoonsvariabele wordt gemeten

De structuur is gelijk aan een experiment, maar met de toevoeging van een tweede natuurlijk voorkomende onafhankelijke variabele. Populair onder toegepaste psychologen is onderzoek naar hoe verschillende mensen anders reageren op verschillende behandelingen of situaties (voor beter begrip van deze twee invloeden). Er zijn verschillende meetprocedures om precisie (controle) te verhogen, door middel van statistische methoden zoals covariaten (vanwege geen gebruik van random toewijzing bieden covariaten ook enig vertrouwen bij interpretatie). Als confounds bekend zijn wordt er gemeten en wordt de invloed weggenomen. Men is nooit zeker dat alle relevante (persoonlijke) confounds gemeten zijn, covariaten zijn dus niet zo krachtig als random toewijzing om vertrouwen te geven m.b.t. causale interpretaties. Het is beter om een gekwalificeerde zekerheid te hebben dat confounds geen effect hebben, dan geen zekerheid te hebben(daarom meer gebruik covariaten in quasi-experimenten dan in experimenten).

Wat zijn de voor- en nadelen?

Er zijn een aantal voordelen. Zo is het een compromis tussen experiment (strikt) en correlationeel onderzoek (vrij). Het zorgt voor veel controle over confounds en externe variabelen die in experimenten voorkomen, het zijn natuurlijke metingen van gedrag (in tegenstelling tot experimenten) en het kan gebruikt worden om onafhankelijke variabelen te meten die niet gemanipuleerd kunnen worden of waarbij het niet-ethisch is.

Het neemt de middenmoot (gemiddeld niveau precisie en enige zekerheid generalisatie voor andere situaties) en het maximaliseert een kwaliteit niet ten koste van de andere twee.

Er zijn echter ook een aantal nadelen. Elk quasi-experiment kan de nadelen van experimenteel en correlationeel onderzoek hebben (weinig precisie, geen generalisatie naar situaties). De mate waarin een nadeel voorkomt hangt af van waar het quasi-experiment zich bevindt in het continuüm van ‘experiment-naar-correlationeel’. Dichtbij experiment is kunstmatigheid (door laboratoriamethoden). Dichtbij correlationeel is confounds, noise (onderzoek in het veld). Generalisatie naar mensen wordt niet besproken bij begrenzingen van quasi-experiment.

Wat zijn surveys?

Alle onderzoeksvragen zijn bedoeld om een bepaalde populatie te generaliseren. De populatie kan smal of breed zijn en uit de populatie wordt een steekproef getrokken (tenzij populatie klein is). De mate van generalisatie hangt af van hoe representatief de steekproef is voor de populatie. Surveyonderzoek is het verzamelen van informatie van een steekproef van mensen die systematisch geselecteerd zijn om een grotere populatie te vertegenwoordigen (en niet het gebruik van vragenlijsten). Door procedures uit te voeren om representativiteit te garanderen krijgt de onderzoeker een mate van betrouwbaarheid. Allereerst moet een steekproef geselecteerd worden, hiervoor zijn er verschillende procedures zoals random sampling (meest gangbare methode, op willekeurig manier, iedereen even grote kans, random digit dialing) en cluster sampling (alternatieve manier van random sampling, creëren van populatielijst van locaties, het minimaliseert de logistieke problemen in het uitvoeren van surveys). Een survey geeft redelijke accurate informatie over trends die in een populatie voorkomen. Het voordeel random sampling is dat  ingeschat kan worden hoeveel error er in de steekproef bestaat. Sampling error (margin of error) is de discrepantie tussen de resultaten in een representatieve steekproef en de resultaten die verkregen zouden worden als iedereen van de populatie was onderzocht. Populatiesurveys kunnen een hoge mate van zekerheid geven door een kleine 'margin of error' bij het gebruik van kleine steekproeven van grote populaties.

Waar worden surveys voor gebruikt?

Surveys zijn het meest geschikt voor het beschrijven en representeren van informatie voor een grote populatie. Daarom worden ze veel gebruikt door de media, de overheid en door toegepaste sociale wetenschappers. Het is efficiënt en flexibel en kan op een breed gebied gebruikt worden (om bijvoorbeeld stemgedrag te voorspellen, nieuwe producten op de markt te brengen of nieuwe psychologische theorieën te testen).

Wat zijn de nadelen en hoe kunnen ze opgelost worden?

Er zijn verschillende nadelen. Zo is geen precisie en generalisatie naar situaties en kost het mogelijk veel tijd en geld. Het sampling proces heeft complexe en technische procedures die gebruik vereist van betaalde consultanten. Er moet zorgvuldig aandacht besteed worden aan de aspecten van het design (woordkeuze, context, volgorde, formaat). Daarnaast moeten vragenlijsten kort zijn in verband met begrensde tijd of begrensde ruimte in mailtjes. Daarom worden surveys voor beschrijvende doelen gebruikt. Verbanden tussen variabelen kunnen bepaald worden, dit is moeilijker als de heterogeniteit van een steekproef wordt onderzocht.

Er zijn verschillende oplossingen mogelijk. Bijvoorbeeld het combineren van een sampling procedure met een experiment of een correlationeel design. De financiële en praktische kosten zijn groot om een representatieve steekproef naar het lab te brengen. Laboratoriumonderzoekers stellen daarom hun vragen breder. Dezelfde bezwaren spelen ook mee wanneer men het trekken van grotere en meer representatieve steekproeven door de tijd heen in een longitudinaal onderzoek beschouwd.

Hoe kies je het beste onderzoeksdesign?

Alle onderzoeksdesigns of methoden hebben voor- en nadelen. Daarom is er niet direct één goed design en ook niet één slecht design. Er zijn verschillende vuistregels opgesteld om te kiezen voor het beste design in bepaalde situaties:

Regel 1: Doe programmatisch onderzoek

Vanwege het feit dat verschillende onderzoeksdesigns verschillende eigenschappen hebben, is het goed om deze verschillende designs te combineren. Dus, wanneer jij een onderzoek uitvoert, denk dan na over hoe jij verschillende methoden kan combineren! 

Regel 2: Doe wat nog niet eerder is gedaan

Vaak hebben studenten en professoren niet veel tijd om meerdere studies uit te voeren. In het geval dat je maar één studie kan uitvoeren, zorg dan dat jouw studie uniek is. Als het overgrote deel van onderzoek in jouw gebied experimenteel is, doe dan een keer een correlationeel onderzoek. In andere woorden, voer een studie uit die de reeds bestaande studies aanvult.

Regel 3: Zorg voor een goed team van onderzoekers

Vaak zijn onderzoekers getraind of gespecialiseerd in één specifiek gebied. Dit is niet erg. Een 'slimme onderzoeker' stelt een team op dat bestaat uit verschillende onderzoekers die elk op andere gebieden gespecialiseerd zijn. Het gaat dus weer om complementatie, zorg dat jouw teamleden elkaar aanvullen. In andere woorden, er moet sprake zijn van collaboratie. Dit is de norm in psychologisch onderzoek, een team van onderzoekers bestaat vaak uit verschillende onderzoekers met elk een eigen expertise of specialisatie.