Hoe worden steekproeven gebruikt in kwantitatief onderzoek? - Chapter 8

In dit hoofdkijk bekijken we de rol van steekproeven (sampling) in het kader van surveyonderzoek. 'Sampling' betreft het selecteren van individuen voor deelname aan onderzoek. Steekproeven kunnen ook voorkomen in andere vormen van kwantitatief onderzoek (bijvoorbeeld bij het selecteren van documenten voor een inhoudsanalyse) en vereist zijn in kwalitatief onderzoek. Hoe selecteer je participanten die je vragen wilt stellen door middel van een vragenlijst of interview?

De stappen van surveyonderzoek:

1. De kwestie die je wilt onderzoeken identificeren

2. Theorie- en literatuuronderzoek

3. Onderzoeksvragen formuleren

4. Overweeg of een sociale survey gepast is (zo niet, kies een ander onderzoeksontwerp)

5. Overweeg welk soort populatie gepast is en welke steekproef gebruikt zal worden

6. Zoek uit of er een steekproefkader is dat gebruikt kan worden en bepaal de steekproefgrootte

7. Bepaal de wijze van uitvoering

8. Ontwikkel vragen en beoordeel de indruksvaliditeit (face vailidity)

9. Doe een pilot met de vragen en herzie de vragen indien nodig

10. Leg de vragen voor aan de geselecteerde personen

11. Stuur de personen die nog niet hebben geantwoord minstens één keer een reminder

12. Zet de voltooide vragenlijsten om in 'computertaal' (coderen)

13. Data-analyse en interpreteren van de bevindingen, overweeg welke gevolgen deze hebben voor de onderzoeksvragen

Stappen 5, 6 en en 11 zijn 'sampling' stappen. 

Wat zijn steekproeven?

Als je het gedrag, de houding of achtergrond van individuen wilt onderzoeken en daarvoor nieuwe data wilt verzamelen, kun je gestructureerde interviews afnemen of vragenlijsten versturen. Voordat je deze gaat ontwerpen, moet je nadenken over het 'sampling' proces. Een sample (geselecteerde deel van de populatie dat je gaat onderzoeken) is idealiter een klein, representatief deel van een groter geheel of populatie. Hier wordt gebruik van gemaakt als de totale populatie die aan je onderzoekscriteria voldoet te groot is. Je wilt bijvoorbeeld onderzoek uitvoeren onder universiteitsstudenten, maar jouw universiteit heeft er ruim 10.000. Vaak ontbreken de tijd en middelen om deze allemaal te ondervragen.

Als je generaliseerbaarheid van de resultaten (voorspellingen doen over een ruimere populatie dan je sample) nastreeft, moet je sample representatief zijn: de populatie zodanig vertegenwoordigen dat het een soort miniatuurpopulatie is met dezelfde kenmerken.

Een steekproef heeft niet alleen betrekking op primaire data (data door de onderzoeker zelf verzameld), maar ook op secundaire data. Je moet nagaan hoe de andere onderzoeker de selectie heeft gedaan en welke gevolgen dit heeft voor jouw gebruik van de data. 

Een 'biased sample' (bevooroordeelde steekproef) doet zich voor wanneer sommige leden van de populatie weinig of geen kans hebben om geselecteerd te worden. Je moet eventuele bias zo goed als mogelijk verwijderen uit je selectieproces. Het helemaal voorkomen is erg lastig, maar het nemen van bepaalde stappen kan het wel minimaliseren. Drie bronnen van een steekproef bias:

1. Non-respons (sommige leden weigeren deel te nemen of reageren niet, wat kan zorgen voor een niet-representatieve steekproef).

2. Een inadequaat steekproefkader (een steekproef die niet uitgebreid of accuraat genoeg is kan de gehele populatie niet representeren). 

3. Het gebruik van een niet-waarschijnlijkheidssteekproef (onwillekeurige methode). Als de selectiemethode niet willekeurig is, is het aannemelijk dat een menselijk oordeel van invloed is op het selectieproces (sommige leden van de populatie hebben meer kans om geselecteerd te worden). Dit kan voorkomen worden door het gebruik van een kanssteekproef (ook wel: willekeurige steekproef). 

In sommige gevallen kunnen onderzoekers problemen met bias oplossen door 'weging' ('weighting'). Vaak is een steekproef geen mininatuurversie van de populatie door non-repons. Sommige groepen zijn daardoor onder- of overgerepresenteerd. Weging is een statistische aanpassingsmethode. Elke respondent krijgt een bepaald gewicht toegekend: de ondergerepresenteerde een cijfer groter dan 1 en een overgepresenteerde kleiner dan 1. Dit verbetert de nauwkeurigheid van de verzamelde data. 

Welke fouten komen voor in steekproeven?

Stel, we hebben een populatie van 200 personen en willen een steekproef van 50 personen. Een variabele is of mensen talkshows kijken. De populatie is gelijkelijk verdeeld in mensen die hier wel en niet naar kijken. De steekproef is representatief wanneer deze 50 personen ook gelijkelijk zijn verdeeld. Er is sprake van een kleine steekproeffout wanneer er in verhouding twee mensen meer zijn die wel talkshows kijken (en dus twee niet-kijkers minder zijn). Er is sprake van een behoorlijke fout (overrepresentatie) wanneer de verdeling 35 om 15 is.

Ook in geval van waarschijnlijkheidssteekproeven kan een steekproeffout voorkomen. De kans hierop is wel een stuk kleiner. ‘Errors’ zijn onder te verdelen in twee categorieën:

1. ‘Sampling error’ (steekproeffout): fout in de onderzoeksresultaten vanwege een verschil tussen de steekproef en de populatie. De fout is niet het gevolg van onzorgvuldigheid, maar van de gebruikte selectiemethode. 

2. ‘Non-sampling error’: fout in de onderzoeksresultaten door verschillen tussen de populatie en de steekproef die voortkomen uit tekortkomingen in de benadering (inadequaat steekproefkader of non-respons) of door een slechte vraagstelling, interviewstijl of foutieve dataverwerking).

Wat zijn waarschijnlijkheidssteekproeven ('probability samples')?

Stel, je bent geïnteresseerd in het alcoholgebruik onder (fulltime) universiteitsstudenten en wilt de variabelen die gerelateerd zijn aan de verschillen in drinkniveaus onderzoeken. Je doet onderzoek binnen één universiteit. Populatie: alle studenten van die universiteit. De resultaten zijn dus alleen te generaliseren naar die studenten. Je kunt niet aannemen dat het alcoholgebruik onder andere universiteitsstudenten hetzelfde is. Er zijn 6.000 fulltime studenten. Je kunt kiezen uit vier typen waarschijnlijkheidssteeksproeven:

1. De simpele willekeurige steekproef.

2. De systemstische steekproef.

3. De gestratificeerde (willekeurige) steekproef.

4. Multilevel clustersteekproef (getrapte steekproef).

De basisvorm van een waarschijnlijkheidssteekproef is de simpele willekeurige steekproef waarbij elke unit in de populatie een even grote kans heeft om deel uit te maken van de steekproef. Deze kans wordt uitgedrukt in de zogenoemde steekproeffractie en wordt geformuleerd als: n / N (n is de steekproefgrootte en N de populatiegrootte). Dus: als je 300 studenten wilt ondervragen van de totaal 6.000 studenten, is de steekproeffractie (300/6000) 1 op 20. De stappen die hier opgevolgd moeten worden zijn als volgt: bepaal de populatie (N), in dit geval 6.000 fulltime studenten. Creëer een steekproefkader (gebruik de gegevens van de universiteit en de selectiecriteria zodat parttime studenten buiten het onderzoek blijven). Bepaal vervolgens je steekproefgrootte (n), in dit geval 300. Geef al de studenten uit je steekproefkader een nummer van 1 tot N (6.000) en gebruik een tabel met willekeurige cijfers of een computerprogramma waarmee je n aantal (300) studenten selecteert. De 300 willekeurige nummers vormen je steekproef. Hierdoor is bijna geen kans op menselijke bias en het proces is niet afhankelijk van de beschikbaarheid van studenten. Dit soort waarschijnlijkheidssteekproef wordt als het meest betrouwbaar en eenvoudig gezien, maar soms kiezen onderzoekers voor een systematische procedure.

Een variatie op de simpele willekeurige steekproef is de systematische steekproef. Hierbij selecteer je units direct uit het steekproefkader, dus zonder ze een willekeurig nummer toe te kennen. De gekozen steekproefgrootte betekent dat we 1 op de 20 studenten selecteren. We kiezen een willekeurig nummer tussen de 1 en 20 als startpunt en daarna de volgende met een interval van 20. Dus als je nummer 7 hebt gekozen, dan is je volgende nummer 27, daarna 47 etc. Door deze procedure hoef je niet aan alle studentnamen nummers toe te kennen en vervolgens de namen op te zoeken van de getrokken nummers. Je moet echter verzekeren dat het kader geen ordening van studenten bevat (bijvoorbeeld als de eerste 150 studenten allemaal hetzelfde vak volgen). 

In geval van een gestratificeerde willekeurige steekproef worden leden willekeurig geselecteerd uit een populatie die opgedeeld is in categorieën ('strata'). Hiervoor kun je kiezen als je bijvoorbeeld wilt dat de studenten de verschillende faculteiten proportioneel vertegenwoordigen. De studierichting kan van invloed zijn op relevante gedragskenmerken. Het is dus mogelijk om de populatie te selecteren op basis van een criterium, in dit geval was dat studenten die een bepaalde studierichting volgen. Vervolgens kan uit die populatie een simpele willekeurige steekproef of een systematische steekproef worden genomen. Twee punten zijn relevant. Ten eerste is het gebruik van deze methode alleen verstandig als het eenvoudig is om de 'strata' te identificeren en personen hiernaar te verdelen. Als je nationaliteit als criteria wilt, moet je wel toegang tot deze informatie hebben. Ten tweede is het zo dat je meerdere stratificerende factoren kunt gebruiken, bijvoorbeeld faculteit en geslacht. 

Als we een nationale steekproef van studenten willen (van bijvoorbeeld n is 5.000), kunnen we gebruikmaken van een clustersteekproef. Het nadeel van een nationale of andere wijdverspreide steekproef, is dat onderzoekers het hele land door zouden moeten reizen voor het ondervragen van studenten. Bij cluster ‘sampling’ wordt eerst geclusterd (groepen van personen die geselecteerd zijn op basis van een waarschijnlijkheidssteekproef, in dit geval per universiteit). De onderzoeker trekt vervolgens steekproeven uit deze clusters. Zo kan een steekproef worden getrokken uit alle universiteiten en vervolgens een steekproef uit de studenten van elke geselecteerde universiteit. Er kunnen willekeurig 10 universiteiten worden getrokken (10 clusters) en hiervan worden 500 willekeurig geselecteerde studenten ondervraagd. Die universiteiten kunnen ver uit elkaar liggen, dus het is ook mogelijk om universiteiten onder te verdelen in regio's en een steekproef te trekken van twee regio's. Uit elke regio kunnen vijf universiteiten worden getrokken en vervolgens 500 studenten. Dit is een drietrapssteekproef. Veel multi-level steekproeven maken gebruik van stratificatie, denk aan 'oude', 'nieuwe' of 'technische' universiteiten.

Hoe worden resultaten van een willekeurige steekproef gegeneraliseerd?

De belangrijkste reden om gebruik te maken van een waarschijnlijkheidssteekproef betreft de generaliseerbaarheid van de onderzoeksdata. Dit betekent niet dat de steekproefdata en de populatiedata gelijk moeten worden behandeld.

Stel, we kijken naar het alcoholgebruik onder universiteitsstudenten en kiezen een steekproef van 450 studenten. We verzamelen informatie over het aantal alcoholische units dat de afgelopen zeven dagen is geconsumeerd en berekenen het gemiddelde. Dit gemiddelde kan gebruikt worden om het gemiddelde van de hele populatie te schatten, rekening houdend met foutmarges. Stel, het gemiddelde in de steekproef is 9.4 units. Hoe zeker kunnen we zijn dat dit gemiddelde ook zal worden gevonden in de hele populatie, ondanks dat een waarschijnlijkheidssteekproef is gebruikt? Als we een oneindig aantal verschillende steekproeven nemen, zullen de resultaten verschillen. Dit kan worden weergegeven door middel van een curve die eruitziet als een kerstklok ('normale distributie'). De meeste resultaten concentreren zich in het midden hiervan, met aan elke zijde de afwijkende resultaten. Data inzake gewicht of lengte bevinden zich meestal in het midden, omdat veel mensen rond de gemiddelde lengte zitten en slechts enkele bijzonder lang of kort zijn. De verschillen in steekproefgemiddelden wordt gemeten door de 'standaardfout van het gemiddelde'. Dit is het geschatte aantal dat een steekproefgemiddelde zal verschillen van het populatiegemiddelde. Hoe groter de steekproef, hoe kleiner de standaardfout. Volgens steekproeftheorie ligt 68% van alle steekproefgemiddelden ongeveer 1.00 standaardfout van het populatiegemiddelde. 95% van alle steekproefgemiddelden ligt ongeveer +1.96 of -1.96 standaardfouten van het populatiegemiddelde. Als het gemiddelde alcoholgebruik 9.4 units is en de standaardfout van het gemiddelde 1.2, dan weten we voor 95% zeker dat het populatiegemiddelde ligt tussen 9.4 + (1.96 x 1.2) = 11.75 en 9.4 - (1.96 x 1.2) = 7.05.

Welke soorten ‘non-probability’ steekproeven zijn er?

Non-probability steekproeven omvatten alle steekproeven die worden uitgevoerd zonder gebruik te maken van willekeurige toewijzing. Één van deze soorten, de quotasteekproef, is volgens sommige onderzoekers even nauwkeurig als een waarschijnlijkheidssteekproef. Twee andere soorten steekproeven die we bespreken zijn de ‘convenience’ steekproef (gemakssteekproef) en de sneeuwbalsteekproef.

Wat is een gemakssteekproef?

Een ‘convenience’ steekproef is een steekproef geselecteerd op basis van de toegankelijkheid voor de onderzoeker (bijv. een steekproef waarvan de respondenten allemaal uit dezelfde klas komen als jij). Het probleem met deze steekproefstrategie is dat de gegevens per definitie niet generaliseerbaar zijn. De groep studenten was toevallig beschikbaar, maar zal niet representatief voor alle studenten zijn. Het voordeel is natuurlijk dat deze manier van steekproef trekken geschikt (niet ideaal) kan zijn als een pilot. Het uitvoeren van de steekproef met een groep die geen onderdeel zal zijn van de hoofdstudie kan handig zijn voor het uitbrengen van een voorlopige analyse. Daarnaast kan voor deze strategie worden gekozen als zich een zeldzame kans voordoet om data te verzamelen. Je hebt plots toegang tot een populatie die normaliter lastig te bereiken is en wilt deze mogelijkheid niet voorbij laten gaan. Alhoewel dit geen definitieve data oplevert (want niet generaliseerbaar), kan het wel een springplank vormen voor verder onderzoek of verbanden leggen tussen bestaande resultaten. Deze steekproef wordt regelmatig gebruikt in organisatiestudies, omdat waarschijnlijkheidssteekproeven veel voorbereiding en kosten met zich mee brengen.

Wat is een sneeuwbalsteekproef?

Een sneeuwbalsteekproef is wat bepaalde aspecten betreft een vorm van een gemakssteekproef, maar in dit geval legt de onderzoeker contact met een kleine groep mensen die relevant zijn voor het onderzoeksgebied en gebruikt hen om contacten met anderen te leggen. Het probleem is dat de steekproef vaak niet representatief is voor de populatie. Dit type steekproef wordt bijna nooit binnen de kwantitatieve onderzoeksstrategie gebruikt, maar wel binnen de kwalitatieve strategie omdat daarbij minder zorgen bestaan omtrent de externe validiteit en generaliseerbaarheid. In kwalitatief onderzoek heeft een doelgerichte steekproef de voorkeur (selecteren van mensen die het beste passen bij de vereisten van de studie op basis van vooraf gedefinieerde kenmerken). Er is een betere ‘fit’ tussen sneeuwbalsteekproeven en doelgerichte steekproeven in vergelijking met de statistische steekproeven waarvoor kwantitatieve onderzoekers kiezen. Dit wilt niet zeggen dat sneeuwbalsteekproeven niet relevant zijn voor kwantitatief onderzoek. Als een onderzoeker zich bijvoorbeeld focust op relaties tussen mensen, is het opsporen van connecties via een sneeuwbalsteekproef beter geschikt dan de gebruikelijke waarschijnlijkheidssteekproef. 

Wat is een quotasteekproef?

Een quotasteekproef komt zelden voor in academisch sociaal onderzoek. Het wordt meestal gebruikt in marktonderzoek en politieke opiniepeilingen. Een quotasteekproef is een steekproef waarbij de respondenten worden gekozen op basis van een quota, bijvoorbeeld: de steekproef moet negen mannen van 65+ hebben met minimaal een afgerond HBO diploma (waarbij het geslacht, de leeftijd en de opleiding allemaal een apart quota zijn). Op deze manier wordt een steekproef verkregen die de populatie representeert in termen van de relatieve verhoudingen tussen mensen in bepaalde categorieën, zoals geslacht, leeftijd, sociaaleconomische klasse etc. Dit lijkt op een gestratificeerde steekproef, maar in geval van een quotasteekproef worden de personen niet willekeurig geselecteerd. De keuze voor de uiteindelijke respondenten in de steekproef is helemaal afhankelijk van de onderzoeker.

​​​​​Enkele kritiekpunten:

1. De steekproef is niet representatief (ondanks de quota’s), omdat de onderzoeker uiteindelijk zelf kiest wie wel en wie niet deelneemt op basis van bijvoorbeeld hoe vriendelijk iemand is;

2. Hierop aansluitend gebruikt de onderzoeker vaak personen in zijn omgeving en mensen die parttime werken zijn toegankelijker voor de onderzoeker (die van deur tot deur gaat).

3. Ook maakt de onderzoeker soms foutieve aannames met betrekking tot de persoon in verhouding tot de quota’s (zoals leeftijd) waardoor besloten wordt om iemand niet te ondervragen;

4. Er kan geen standaardfout van het gemiddelde worden berekend.

Deze manier van steekproef trekken heeft ook voordelen: het is goedkoper en sneller dan een survey en is makkelijker te managen (de respondenten hoeven bijvoorbeeld niet teruggebeld te worden wanneer ze de eerste keer niet beschikbaar waren).

Hoe bepaal je de steekproefgrootte?

De grootte van de steekproef is afhankelijk van meerdere factoren. Allereerst moet in het achterhoofd gehouden worden dat de absolute grootte van de steekproef belangrijker is dan de relatieve steekproefgrootte: een steekproef van 1000 respondenten in de VS is even valide als een steekproef van 1000 in Nederland. Daarnaast wordt de waarschijnlijke precisie van de steekproef groter naarmate de steekproefgrootte groter wordt, omdat de ‘sampling error’ kleiner wordt. De mate van ‘sampling error’ die de onderzoeker tolereert in het onderzoek bepaalt dus mede de steekproefgrootte. 

Daarnaast zijn tijd en kosten belangrijke aspecten om rekening mee te houden. Bij het samenstellen van een steekproef moet ook gelet worden op de verwachte non-respons en de heterogeniteit of homogeniteit van de populatie (bij een sterk heterogene populatie zal een grotere steekproef nodig zijn om de populatie te representeren). Ten slotte speelt de manier van data-analyse mee, aangezien voor sommige soorten data-analyse een grotere steekproef is vereist (hoe meer vergelijkingen je wilt maken tussen groepen, hoe groter de steekproef moet zijn).

Welke problemen doen zich voor bij steekproeven in online surveys?

In de laatste decennia is het gebruik van online surveys enorm toegenomen. In de context van steekproeven levert dit enkele uitdagingen op. Zo is niet iedereen in elke natie online actief. Problemen voor de onderzoeker zijn:

• Veel mensen hebben meerdere e-mailadressen (het is belangrijk dat iemand slechts eenmalig deelneemt).

• Binnen een huishouden wordt apparatuur waarmee je online kunt gaan soms door meerdere personen gebruikt (het is belangrijk dat de juiste persoon reageert).

• Internetgebruikers worden gezien als een biased steekproef (zijn meestal hoger opgeleid, welvarender, jonger en niet representatief wat betreft etniciteit).

• Er zijn erg weinig steekproefkaders voor de algemene online populatie en het is kostbaar om deze te verkrijgen.

Deze kwesties bemoeilijken de mogelijkheid om online surveys uit te voeren met gebruikmaking van waarschijnlijkheidssteekproeven, maar het blijft een erg nuttige steekproefmethode en soms zijn de problemen te omzeilen. Als je bijvoorbeeld een online survey wilt voorleggen aan studenten, kun je deze sturen naar de universitaire e-mailadressen.

De meest voorkomende vorm van online surveys die gebaseerd zijn op waarschijnlijkheidssteekproeven betreft het online panel dat vooraf gerekruteerd is. Deze groep personen heeft vooraf toegestemd deel te zullen nemen aan online surveys. Een onderzoeker is zo geen tijd kwijt aan het werven van personen. Het nadeel ervan is dat leden die al langer deelnemen aan het panel anders kunnen reageren dan nieuwe leden.

Daarnaast is bewezen dat online surveys minder reacties opleveren (non-respons) dan schriftelijke vragenlijsten die per post worden verzonden. Je kunt de respons boosten door van te voren contact op te nemen met potentiële respondenten, degenen die nog niet hebben gereageerd een reminder te sturen of te zorgen voor een prikkel (toegang tot de resultaten, vouchers, een prijsverloting etc.). Andere factoren die deelname beïnvloeden zijn de interesse voor het onderwerp, de tijd die nodig is voor het invullen van de online survey en de hoeveelheid open vragen. Als respondenten kunnen zien hoe ver zij zijn in de vragenlijst, is de kans op afronding groter. Een 'mixed mode' survey is in de praktijk de standaard. Als potentiële respondenten de survey op meerdere manieren kunnen invullen, is de kans op een goede respons groter (denk aan toegang tot de survey op de mobiele telefoon).

Als er geen steekproefkader bestaat, kan een geschikte steekproef worden gegenereerd door een uitnodiging tot deelname aan een vragenlijst te plaatsen op een relevant prikbord, deze te mailen naar geschikte mailingslijsten of te delen op websites of social media kanalen.

Welke beperkingen zijn er omtrent de generaliseerbaarheid?

Los van de methode die gebruikt is voor het verzamelen van data en het trekken van een steekproef, zijn onderzoeksresultaten alleen van toepassing op de populatie waar de steekproef uit genomen is (generaliseerbaarheid). Beperkingen om rekening mee te houden: zijn de bevindingen te generaliseren buiten de stad of het land waarin ze verkregen zijn (invloed van cultuur en gewoontes)? Zijn bevindingen van vroeger vandaag de dag nog geldig (invloed van verleden en heden)?

Terugkijkend naar het voorbeeld over alcoholgebruik onder universiteitsstudenten, zijn de resultaten alleen van toepassing op die universiteit en niet op andere universiteiten. Er zijn meerdere factoren die invloed kunnen hebben op de drinkgewoonten van studenten (aantal cafés in de omgeving, cultuur op de universiteit, besteedbaar inkomen van de studenten etc.). Daarnaast kan de generaliseerbaarheid ook beperkt worden door een tijdslimiet van de bevindingen. Het alcoholgebruik onder studenten in 1970 is nu niet meer relevant.

Welke fouten doen zich voor in surveyonderzoek?

1. ‘Sampling error’ (steekproeffout, doet zich voor omdat het extreem onwaarschijnlijk is dat de onderzoeker met een werkelijk representatieve steekproef komt, zelfs wanneer ‘probability sampling’ wordt gebruikt).

2. ‘Data-collection error’ komt door fouten in het dataverzamelingproces (bijvoorbeeld een slechte vraagstelling, slechte interviewtechnieken of gebreken in het gebruik van de onderzoeksinstrumenten).

3. ‘Data-processing error’ komt door het foutief managen (vooral coderen) van de data.