Hoe worden participanten geselecteerd? - Chapter 5

Hoe werkt het trekken van steekproeven?

Psychologen gebruiken beschrijvende onderzoeken minder vaak dan correlationele en (quasi-) experimentele onderzoeken. Toch blijven beschrijvende onderzoeken belangrijk en het is daarom nodig om op een betrouwbare manier steekproeven te trekken. Een steekproef (‘sample’) bestaat uit een aantal mensen uit een populatie, waar de onderzoeker uitspraken over wil doen. Bij het trekken van steekproeven (‘sampling’) selecteert een onderzoeker een representatieve steekproef van deelnemers uit een populatie.

Op welke manieren kunnen steekproeven getrokken worden?

Een representatieve steekproef is een steekproef waarmee accurate en foutloze schattingen gemaakt kunnen worden over de populatie. Een steekproef is representatief als een bepaald aspect net zo vaak voorkomt in de steekproef zelf als in de populatie. Vaak is een steekproef echter geen perfecte weerspiegeling van de populatie. Het verschil tussen een steekproef en de bijbehorende populatie wordt ‘sampling error’ genoemd. Als een onderzoeker bijvoorbeeld het cijfergemiddelde van 100 studenten op een universiteit bekijkt, dan kan dat gemiddelde afwijken van het gemiddelde van alle studenten op een universiteit. Gelukkig kunnen onderzoekers inschatten in hoeverre hun steekproefresultaten beïnvloed zullen worden door sampling error. De foutenmarge (‘error of estimation’/ ‘margin of error’) geeft een indicatie voor de mate waarin verwacht wordt dat de data van een steekproef afwijken van de gehele populatie. In een verkiezingspoll kan de foutenmarge die hoort bij het kiezen van president X (45%) bijvoorbeeld 3% zijn, wat betekent dat we met 95% zekerheid kunnen stellen dat president X tussen de 42 en 48% van de stemmen zal krijgen. Hoe kleiner de foutenmarge, hoe meer de resultaten uit de steekproef lijken op de populatiegegevens. De foutenmarge wordt beïnvloed door drie factoren: (1) de grootte van de steekproef, (2) de grootte van de populatie en (3) de spreiding in de data:

• Hoe groter een kanssteekproef is, hoe meer deze lijkt op de populatie en hoe representatiever deze dus is voor de populatie. Dus hoe groter de kanssteekproef, hoe kleiner de foutenmarge. Wetenschappers kiezen echter niet voor de grootst mogelijke steekproef. Ze kiezen voor een economische steekproef (‘economic sample’): deze geeft een redelijk accuraat beeld van de populatie en kost zo min mogelijk inspanning en geld.

• De grootte van de populatie is natuurlijk ook van belang. Een steekproef van 100 man uit een populatie van 500 mensen is meer representatief dan een steekproef van 100 man uit een populatie van 100.000 mensen.

• Tot slot geldt dat hoe meer spreiding de data bevat, hoe moeilijker het wordt om op accurate wijze de populatiewaarden te schatten.

Een foutenmarge is alleen betekenisvol wanneer we een kanssteekproef (‘probability sample’) gebruiken. Dit is een steekproef waarvan de onderzoeker weet wat de rekenkundige kans is dat een bepaald individu uit de populatie voor de steekproef geselecteerd zal worden. Als er geen kanssteekproef gebruikt wordt, dan is het niet duidelijk of de steekproefdata echt iets zeggen over de populatie. Kanssteekproeven kunnen op drie manieren geselecteerd worden: (1) ‘simple random sampling’, (2) ‘stratified random sampling’ en (3) ‘cluster sampling’.

Simple random sampling

Bij ‘simple random sampling’ wordt de steekproef zo gekozen dat elke mogelijke sample evenveel kans heeft om geselecteerd te worden uit de populatie. Als een onderzoeker bijvoorbeeld een steekproef van 100 man wil selecteren uit een populatie van 5000 man en elke combinatie van 100 man heeft dezelfde kans om geselecteerd te worden, dan is er sprake van een ‘simple random sample’. Om zo’n steekproef te selecteren, moet een onderzoeker een ‘sampling frame’ gebruiken. Dit is een lijst met daarop de hele populatie waaruit de steekproef getrokken zal worden. Vervolgens worden de proefpersonen willekeurig gekozen van de lijst. Met grote populaties is het lastig om een lijst te maken van alle mogelijke deelnemers. In dat geval kan gebruikgemaakt worden van een tabel met willekeurige getallen (‘table of random numbers’). Een nadeel van de ‘simple random sampling’ is dat we vooraf informatie moeten hebben over hoeveel individuen er in een populatie zitten en we een ‘sampling frame’ nodig hebben. In sommige situaties is het opstellen van een ‘sampling frame’ namelijk niet mogelijk. In zulke gevallen wordt er gekozen voor ‘systematic sampling’. Bij ‘systematic sampling’ kan er niet van tevoren een lijst (sampling frame) worden opgesteld. Daarom wordt tijdens het onderzoek zelf pas gebruik gemaakt van het random selecteren van proefpersonen. Elke zoveelste persoon wordt gekozen om deel te nemen aan de steekproef. Er kan bijvoorbeeld gezegd worden dat elke achtste persoon die binnenkomt mee mag doen met het onderzoek.

Stratified random sampling

Stratified random sampling is een variatie op simple random sampling. In dit geval worden mensen echter niet direct uit de populatie geselecteerd, maar wordt de populatie eerst verdeeld in meerdere strata. Een stratum is een deel van de populatie dat overeenkomt op een bepaald kenmerk.

We kunnen de populatie bijvoorbeeld verdelen in mannen en vrouwen of in drie leeftijdsgroepen (20-29, 30-39 en 40-49). Vervolgens worden proefpersonen random gekozen uit elk van de strata. Door deze procedure kunnen onderzoekers er zeker van zijn dat er uit elk stratum evenveel mensen geselecteerd worden. Vaak gebruiken onderzoekers een ‘proportionate sampling method’. Hierbij worden individuen uit elk stratum geselecteerd naar proportie. Dat houdt in dat het percentage mensen dat meedoet aan het onderzoek (uit een bepaald stratum) overeenkomt met hoe vaak deze mensen in de populatie voorkomen. Als 55% van de mensen in een populatie man is en 45% vrouw is, dan is het de bedoeling dat in de steekproef deze zelfde percentages terug te vinden zijn.

Cluster sampling

Het grote nadeel van simple en stratified random sampling is dat eerst informatie moet bestaan over hoeveel (en welke) individuen in een populatie voorkomen voordat een selectie gemaakt kan worden. Dit is vooral een probleem bij populaties die ontzettend groot zijn (bijvoorbeeld bij een onderzoek naar ‘de Nederlandse burger’). Wanneer het moeilijk is om van tevoren aan de benodigde informatie te komen, wordt er vaak gebruik gemaakt van ‘cluster sampling’. In dit geval trekt de onderzoeker niet eerst individuen uit de populatie, maar juist clusters van mogelijke proefpersonen. Deze clusters zijn vaak gebaseerd op natuurlijk bestaande clusters, zoals gebieden in een land. Vaak wordt het bij cluster sampling gebruik gemaakt van ‘multistage sampling’. Hierbij worden eerst grote clusters vastgesteld. Vervolgens worden kleinere clusters binnen deze grotere clusters vastgesteld. En zo gaat het door totdat er een steekproef ontstaat, met random gekozen proefpersonen uit elk cluster. Cluster sampling heeft twee voordelen: (1) er is geen sampling frame voor nodig (maar alleen een lijst met clusters, die veel makkelijker vast te stellen is en (2) elk cluster bestaat uit een groep van deelnemers die geografisch gezien dicht bij elkaar leven. Hierdoor kost het minder tijd en moeite om contact op te nemen met de proefpersonen.

Wat wordt verstaan onder non-respons en misgeneralisatie?

Het non-respons probleem ontstaat wanneer individuen die voor een steekproef geselecteerd zijn niet reageren. Denk bijvoorbeeld aan het telefonisch benaderen van de geselecteerde proefpersonen. Niet iedereen die dit telefoontje krijgt, wil daadwerkelijk deelnemen aan het onderzoek. In dit geval is de kans groot dat zij de telefoon ophangen. Non-respons is een probleem, omdat de mensen die niet willen deelnemen aan het onderzoek, op bepaalde eigenschappen significant kunnen verschillen van mensen die wel willen deelnemen. De mensen die niet willen deelnemen worden niet onderzocht, dus met hun eigenschappen wordt geen rekening gehouden in het onderzoek. Dit vermindert de voordelen van het probability sample. Het non-respons probleem kan op twee manieren opgelost worden: (1) Onderzoekers kunnen ervoor zorgen dat de respons toeneemt. Dit kunnen zij bijvoorbeeld doen door de proefpersonen na afloop van het eerste onderzoek persoonlijk op te bellen, en hen te vragen om ook deel te nemen aan het vervolgonderzoek. (2) Onderzoeken of de mensen die wel en niet reageren systematisch van elkaar verschillen. Bij het rekruteren van proefpersonen kunnen onderzoekers bijvoorbeeld gebruik maken van de belofte van een klein geldbedrag als beloning voor deelname. Mensen met weinig geld zullen hier gevoeliger voor zijn dan mensen met veel geld. In dit onderzoek zullen waarschijnlijk relatief veel armere mensen meedoen.

Zelfs wanneer een kanssteekproef gebruikt is, kunnen de resultaten misleidend zijn en kan de onderzoeker dus foutieve uitspraken doen. In zo een geval is sprake van misgeneralisatie. Een voorbeeld van misgeneralisatie is een onderzoek naar kinderen op basisscholen. Om een representatief beeld te krijgen, zouden zowel arme als rijke kinderen moeten worden opgenomen in het onderzoek. Als er in dit geval alleen kinderen op privéscholen zouden worden onderzocht (en er wel een uitspraak wordt gedaan over de hele populatie van basisschoolkinderen), dan is er sprake van misgeneralisatie.

Welke andere steekproeven zijn er?

In sommige situaties is het onhandig of onmogelijk om een kanssteekproef te selecteren. In dat geval wordt een ‘non-probability sample’ getrokken. Onderzoekers weten dan niet wat de kans is dat een individu voor de steekproef wordt gekozen. Om deze reden kan de foutenmarge ook niet berekend worden. Ze weten daardoor niet hoe representatief hun steekproef is. Veel psychologisch onderzoek wordt gedaan aan de hand van steekproeven die niet representatief zijn voor de populatie. Toch zijn dit soort steekproeven erg geschikt voor bepaalde onderzoeken. Non-probability samples zijn geschikt voor onderzoeken waarbij het toetsen van hypothesen van belang is, en waarbij de populatie niet beschreven wordt. De generaliseerbaarheid van non-probability samples, kan bij experimentele studies ontdekt worden door dezelfde onderzoeken steeds opnieuw te repliceren. Hetzelfde experiment kan worden uitgevoerd met individuen die verschillen in leeftijd, opleidingsniveau en/of sociaaleconomische status. Er is meer vertrouwen in de validiteit wanneer verschillende steekproeven (over hetzelfde onderwerp) soortgelijke resultaten opleveren. Er zijn drie soorten non-probability steekproeven:

1. Convenience sampling: een ‘convenience sample’ is een steekproef waarbij onderzoekers gebruik maken van de deelnemers die meteen beschikbaar zijn. Een onderzoeker kan bijvoorbeeld de eerste 150 mensen op straat aanspreken en vragen of ze mee willen doen aan zijn of haar onderzoek. Het is dus zeker niet zo dat iedereen op straat dezelfde kans heeft om geselecteerd te worden. Een groot voordeel van de convenience sample is dat het bij deze methode veel makkelijker is om proefpersonen te rekruteren dan bij representatieve steekproeven.

2. Quota sampling: bij een ‘quota sample’ stelt de onderzoeker van tevoren vast aan welke percentages moet worden voldaan. Op basis van deze percentages wordt de steekproef uiteindelijk geselecteerd. Een onderzoeker kan zeggen dat hij precies 20 mannen en 20 vrouwen voor het onderzoek wil selecteren in plaats van willekeurig 40 mensen te selecteren zonder te letten op sekse.

3. Purposive sampling: bij een ‘purposive sample’ hebben onderzoekers een bepaald beeld in hun hoofd van proefpersonen die volgens hen typisch zijn voor de populatie. Op basis van dit beeld selecteren zij welke personen mee mogen doen aan hun onderzoek. Het probleem van purposive sampling is echter dat dit proces erg subjectief is. Daarom kan het over het algemeen beter niet gebruikt worden voor wetenschappelijk onderzoek.

Welke rol speelt power?

Power verwijst naar de mate waarin een onderzoek in staat is de effecten van de onderzochte variabelen te detecteren. Een onderzoek met veel power ontdekt welke effecten aanwezig zijn, terwijl een onderzoek met weinig power deze effecten niet opmerkt. De power wordt door veel zaken beïnvloed. Eén van deze zaken is het aantal proefpersonen. In het algemeen geldt dat hoe meer proefpersonen er zijn, hoe groter de power is.

Sterke effecten zijn makkelijker op te merken dan zwakke. Een onderzoek met een lage power herkent dan ook vaak wel de sterkte effecten, maar de zwakke niet. De power neemt toe naarmate er meer proefpersonen zijn. Om zwakke effecten te herkennen is er een grote power nodig. Bij het herkennen van zwakke effecten is het dan ook nuttig om veel proefpersonen te hebben.

Psychologen gebruiken beschrijvende onderzoeken minder vaak dan correlationele en (quasi-) experimentele onderzoeken. Toch blijven beschrijvende onderzoeken belangrijk en het is daarom nodig om op een betrouwbare manier steekproeven te trekken. Een steekproef (‘sample’) bestaat uit een aantal mensen uit een populatie, waar de onderzoeker uitspraken over wil doen. Bij het trekken van steekproeven (‘sampling’) selecteert een onderzoeker een representatieve steekproef van deelnemers uit een populatie.