Welk rol speelt de 'zelf in te vullen' vragenlijst in sociaal onderzoek? - Chapter 10

Een gestructureerd interview betreft een vragenlijst die wordt voorgelegd door een interviewer. Er zijn ook vragenlijsten, meestal met gesloten vragen, die door de respondenten zelf worden ingevuld. 

Welke soorten 'zelf in te vullen' vragenlijsten zijn er?

Zelf in te vullen vragenlijsten kunnen aan respondenten worden voorgelegd per post of e-mail. E-mail en online surveys vormen vanwege het gemak de meest gebruikte methode. In het eerste geval wordt een vragenlijst gemaild naar de respondent en in het tweede wordt de respondent verwezen naar een website waar de vragenlijst kan worden ingevuld. Dit is een stuk sneller en goedkoper vergeleken met het versturen van een vragenlijst per post. Een zelf in te vullen vragenlijst kan ook uitgedeeld worden in bijvoorbeeld een klaslokaal om na afronding ingeleverd te worden.

Wat zijn de overeenkomsten en verschillen tussen gestructureerde interviews en zelf in te vullen vragenlijsten?

De zelf in te vullen vragenlijst kent veel overeenkomsten met het gestructureerde interview. Het vanzelfsprekende en centrale verschil is dat er bij de vragenlijst geen interviewer is die de vragen stelt, je moet deze zelf lezen en beantwoorden. Dit onderzoeksinstrument moet daarom ook makkelijk te volgen zijn: de vragen moeten extreem duidelijk en makkelijk te beantwoorden zijn. Dit betekent dat vragenlijsten in vergelijking met interviews meestal minder open vragen bevatten (gesloten vragen zijn namelijk makkelijker te beantwoorden), makkelijk te volgen designs hebben (zodat de respondent niet kan falen in het opvolgen de instructies of per ongeluk vragen overslaat), korter zijn (zodat respondenten niet halverwege 'antwoordmoe' worden, het wegklikken- of gooien van een vragenlijst is makkelijker dan het beëindigen van een interview).

Wat zijn de voordelen van zelf in te vullen vragenlijsten?

1. Het is goedkoper (bespaart reistijd- en kosten).

2. Het is sneller af te nemen (grote hoeveelheid kan op hetzelfde moment worden verzonden, al kan de respons verschillen en reminders versturen vereist zijn). 

3. Er is geen invloed van de interviewer (bijvoorbeeld door de karakteristieken van de interviewer en de neiging om sociaal wenselijk te antwoorden in zijn of haar bijzijn).

4. Er is geen interviewer variabiliteit (probleem dat interviewers vragen op verschillende wijze of volgorde stellen doet zich niet voor). 

5. Het is heel gemakkelijk voor de respondenten (aangezien ze het kunnen invullen wanneer ze willen en op hun eigen tempo).

Wat zijn de nadelen van zelf in te vullen vragenlijsten?

1. Er kan niet niet ge-‘prompt’ (geholpen) worden wanneer iets niet wordt begrepen

2. Er kan niet ge-‘probed’ worden (interventie is niet altijd wenselijk, maar kan wel nuttig zijn om een vollediger antwoord te krijgen)

3. Er kunnen niet teveel vragen gesteld worden die niet interessant zijn voor de respondent opdat hij/zij zich dan zal vervelen en zal stoppen.

4. Respondenten worden sneller moe van het beantwoorden van vragen als deze voor hen niet relevant zijn.

5. Het is lastig om andere soorten vragen te stellen. Open vragen worden weinig gebruikt (respondenten hebben vaak geen zin om veel te schrijven) en vragen met een complexe structuur, zoals filtervragen, moeten ook zoveel mogelijk vermeden worden, omdat ze vaak lastig te volgen zijn (dit kan opgelost worden door 'springen' naar de eerstvolgende relevante vraag mogelijk te maken).

6. De vragenlijst kan helemaal doorgelezen worden voordat begonnen wordt, waardoor geen enkele vraag echt losstaat van een andere. Dit betekent ook dat jij er niet zeker van kan zijn dat alle vragen in dezelfde volgorde zijn ingevuld (dit kan voorkomen worden bij het ontwerpen van een online vragenlijst).

7. De onderzoeker weet nooit zeker of de beoogde respondent de vragenlijst heeft ingevuld.

8. Er kan geen extra data worden verzameld.

9. Het aantal vragen moet beperkt blijven, met het oog op 'antwoordmoeheid'. Lange vragenlijsten moeten vermeden worden, omdat respondenten deze sneller staken of gehaast invullen.

10. Mensen die moeite hebben met de geschreven taal of mensen met een beperkte woordenschat kunnen moeite hebben met het invullen.

11. Er is een groter risico op missende data (respondenten geven op niet alle vragen een antwoord).

12. Er zijn lagere ‘response rates’. Dit is van belang gelet op het risico op bias. Hoe lager de respons rate, hoe twijfelachtiger het is dat sprake is van representativiteit (raakt de externe validiteit van je bevindingen). In de literatuur wordt overwegend gepleit voor een response rate van minstens 50%. Tijdschriften zijn meestal echter bereid om ook onderzoeken met een lagere response rate te publiceren. Je kunt de response rate verbeteren door duidelijk uit te leggen wat je redenen voor het onderzoek zijn, waarom het belangrijk is en waarom de respondent geselecteerd is. Als je een vragenlijst per post verstuurd, voeg dan een geadresseerde envelop met postzegel toe. Stuur mensen die nog niet gereageerd hebben een reminder. Stuur zo’n twee weken na de eerste contactpoging een herinneringsbrief met vragenlijst en twee weken daarna desnoods nog één als de respondent nog niet heeft gereageerd. Kortere vragenlijsten hebben vaak een betere ‘response rate’ dan langere vragenlijsten. Laat de vragenlijst er niet onnodig volumineus uitzien. Verschaf duidelijke instructies en een aantrekkelijke vormgeving. Begin met vragen die waarschijnlijk interessant zijn voor respondenten en gebruik zo min mogelijk open vragen. Indien mogelijk en toegestaan, overweeg een beloning (klein geldbedrag). 

Hoe ontwerp je een zelf in te vullen vragenlijst?

Het is belangrijk om na te denken over de uitstraling van je vragenlijst, omdat de aantrekkelijkheid en duidelijkheid van het ontwerp een belangrijke impact hebben op de response rate en dus de kwaliteit van de verzamelde data. De vragenlijst mag niet onnodig omvangrijk lijken en dus kiezen de meeste onderzoekers ervoor om de vragenlijst zo kort mogelijk te presenteren.

Volgens Dillman en collega’s (2014) is een aantrekkelijke lay-out belangrijk om de ‘response rate’ te verhogen. De vragen moeten op een duidelijke manier gepresenteerd zijn, bijvoorbeeld: een donkere of grotere print voor de vraagstelling en een lichtere of kleinere print voor de antwoorden. Dit moet natuurlijk wel met mate gebruikt worden. De meeste vragen zijn gesloten van aard en dus doemt de vraag op of de antwoorden verticaal of horizontaal gepresenteerd moeten worden. Heel vaak wordt er gebruikgemaakt van een verticale ordening, aangezien een horizontale ordening voor verwarring kan zorgen. Daarnaast is er bij een verticale ordening ook een beter onderscheid te maken tussen vragen en antwoorden en is de coderingstaak makkelijker.

Verschaf ook duidelijke instructies over hoe er geantwoord moet worden. Als je kiest voor de Likert-schaal (serie vragen met telkens dezelfde antwoordmogelijkheden), dan kan een verticale indeling veel ruimte in beslag nemen. Je kunt dit oplossen door afkortingen te gebruiken die je aan het begin van de vragenlijst uitlegt. Als je bijvoorbeeld een reeks stellingen voorlegt die beantwoord kunnen worden met 'sterk oneens (SO), oneens (O), neutraal (N), eens (E), sterk eens (SE), dan hoef je alleen de afkortingen per stelling weer te geven welke de respondent kan omcirkelen.

Zorg er bovendien voor dat je vraag en antwoordopties bij elkaar houdt. Deze horen niet op aparte pagina's te staan, omdat dit het risico vergroot dat respondenten de antwoordmogelijkheden vergeten en het verkeerde antwoord geven.

Waar moet je rekening mee houden in geval van een online of e-mail survey?

Sommige kwesties hebben enkel betrekking op digitale vragenlijsten. Onderzoekers geven steeds vaker de voorkeur aan online surveys, met name omdat er veel handige online survey websites zijn voor het ontwerpen van deze vragenlijsten.

Wat geldt ten aanzien van e-mail surveys?

Er bestaat een onderscheid tussen ingesloten en bijgevoegde vragenlijsten. In het eerste geval staan de vragen in het e-mailbericht zelf. Respondenten klikken op 'beantwoorden' en geven hun antwoorden in het e-mailbericht. Meestal kan worden geantwoord door een 'x' te gebruiken of antwoordopties te verwijderen. Antwoorden op open vragen kunnen uitgetypt worden. De vragenlijst wordt ingeleverd door op 'verzenden' te klikken.

Een bijgevoegde vragenlijst heeft veel dezelfde aspecten, maar moet worden geopend vanuit de bijlage. De antwoorden worden verstrekt in het bijgevoegde document, welke wordt teruggestuurd als bijlage. Ingesloten vragenlijsten zijn toegankelijker voor respondenten, omdat er niets gedownload hoeft te worden. Sommige mensen weigeren dit te openen of een softwareprogramma voorkomt dit. Een nadeel is echter dat de uitlijning van de vragen en antwoorden verloren kan gaan, wat de overzichtelijkheid aantast. De onderzoeker is hiermee de controle over de presentatie van de vragenlijst kwijt. 

Wat geldt ten aanzien van online surveys?

Bij online surveys ontvangen respondenten een url waarmee zij toegang verkrijgen tot de vragenlijst. Het voordeel van online surveys ten opzichte van e-mail surveys is dat de verschijningsvorm makkelijker aangepast kan worden, diverse handige hulpmiddelen ingezet kunnen worden en de vele functionaliteiten het gebruiksgemak verhogen. Zo kan er na een filtervraag automatisch worden doorgegaan naar de eerstvolgende relevante vraag. Ook kun je de vragenlijst zo ontwerpen dat vraag voor vraag wordt getoond. Een groot voordeel voor onderzoekers is dat antwoorden automatisch in een database terechtkomen, dit scheelt erg veel codeerwerk, met name als er sprake is van een grote hoeveelheid reacties. Sommige surveyprogramma's helpen zelfs bij het analyseren van antwoorden op open vragen. Dit bespaart tijd en beperkt het risico op errors. Een bruikbare tool is bijvoorbeeld SurveyMonkey.

Een potentieel nadeel is dat de onderzoeker niet zeker weet of de beoogde respondent de survey heeft ingevuld. Ook met technische aspecten moet rekening worden gehouden. Zo kan het zijn dat eerder gegeven antwoorden verloren gaan wanneer iemand de survey voltooid in meerdere sessies.

Wat zijn de voordelen van gemengde surveys?

Het is mogelijk om twee of meerdere survey modellen te gebruiken ('mixed mode surveys'). Er is een aantal studies waarin daarmee is geëxperimenteerd en daaruit blijkt dat de verschillen in resultaat niet significant zijn. Zo werd in een onderzoek gebruikgemaakt van zowel een online als een schriftelijke vragenlijst en waren de bevindingen vergelijkbaar. In een andere studie werden echter meer inconsistente antwoorden en onvolledigheden ontdekt met betrekking tot een vragenlijst op papier.

Wat betreft open vragen, die niet vaak gebruikt worden in zelf in te vullen vragenlijsten, werd ontdekt dat de kwantiteit en kwaliteit van antwoorden op deze vragen in zowel online als in schriftelijke vragenlijsten overeenstemden. De kwaliteit van antwoorden op open vragen in online surveys kan bevorderd worden door het tekstvak waarin het antwoord getypt moet worden te vergroten, duidelijke instructies te verschaffen over wat verwacht wordt en de respondent te motiveren door op het belang van het antwoord te wijzen.

Waar de resultaten van online en schriftelijke vragenlijsten weinig verschillen aantonen, is dit anders als de vergelijking wordt gemaakt tussen een online vragenlijst en een gestructureerd interview (in persoon). Online respondenten hebben de neiging om vaker 'weet ik niet' te antwoorden en geven minder antwoorden. Datakwaliteit kan dus lager zijn in geval van een online survey. Laat dit je er echter niet van weerhouden online surveys te gebruiken: de voordelen zijn groot en het bewijs dat online survey slechtere datakwaliteit opleveren is flinterdun. Het is wel goed om bewust te zijn van de mogelijke beperkingen, zoals dat geldt voor elke manier van dataverzameling. Je kunt het meeste halen uit zelf in te vullen vragenlijsten door een combinatie van online vragenlijsten en per post verstuurde vragenlijsten. Zo kun je bijvoorbeeld ook de mensen bereiken die geen toegang tot internet hebben en anderzijds zorgen voor een betere response rate (wie geen zin heeft om een vragenlijst via de post in te vullen, zal meer openstaan voor een online survey).

Kortom: het is niet met zekerheid te zeggen of online surveys, vragenlijsten per post, telefonische interviews of gestructureerde interviews de meeste effectieve manier van dataverzameling zijn. Wel kun je de praktische implicaties van bepaalde methodes in gedachte houden. Zo zijn geschreven antwoorden minder makkelijk, omdat deze uitgetypt moeten worden voor een analyse. 

Hoe kies je welke modus je gebruikt voor het uitvoeren van een survey?

Het kan lastig zijn om te kiezen welke modus je gaat gebruiken voor het verzamelen van data, maar duidelijk is dat online en e-mail surveys tegenwoordig de voorkeur krijgen boven postale surveys. Ook het gestructureerde interview blijft populair.

De voordelen van online en e-mail survey in vergelijking met post-vragenlijsten:

• Ze kosten minder geld en tijd. 

• Je krijgt sneller respons. 

• Keuze uit een groot aantal aantrekkelijke en gebruiksvriendelijke formats.

• De antwoorden worden automatisch opgeslagen in een database.

• Minder onbeantwoorde vragen. 

• Betere respons op open vragen (grotere kans op een antwoord en meer gedetailleerd).

• Betere datanauwkeurigheid, met name in online surveys.

De nadelen online en e-mail survey in vergelijking met post-vragenlijsten zijn:

• Lagere respons rate. 

• Je bent beperkt tot de online populatie (alleen mensen met toegang tot internet kunnen meedoen).

• Vertrouwelijkheid en anonimiteit. Met name in geval van e-mail surveys zijn respondenten voorzichtiger omdat zij hieraan twijfelen.

• Meerdere reacties. Sommige mensen vullen de vragenlijst meerdere keren in. Hierop is minder kans in geval van een e-mail survey.

Hoe kunnen dagboeken dienen als zelf in te vullen vragenlijst?

Met een dagboek wordt binnen deze context het type dagboek bedoeld dat Elliot (1997) het ‘researcher-driven diary’ noemt: de onderzoeker ontwikkelt een structuur voor het dagboek en het is de bedoeling dat de respondenten hun activiteiten gelijk op dat moment invullen (zoals zelfverzorging) samen met de hoeveelheid tijd die ze hieraan besteden (zoals 60 minuten). Deze methode kan gebruikt worden als de onderzoeker specifiek geïnteresseerd is in preciezere schattingen van verschillende soorten gedrag. Deze methode wordt niet vaak gebruikt, maar kan bij zowel kwantitatief als kwalitatief onderzoek ingezet worden. Het kan gezien worden als het equivalent van gestructureerde observatie bij kwantitatief onderzoek, hoewel de observatie geschiedt door de ‘actor’ zelf.

Corti (1993) maakt onderscheid tussen gestructureerde dagboeken en vrije-tekst dagboeken. Het bijhouden van vrije-tekst dagboeken kost echter veel tijd en het coderen van antwoorden is een lastig karwei. Corti (1993) suggereert dat degene die de structuur voor het dagboek ontwikkelt onder andere (1) expliciete instructies meegeeft voor het invullen van het dagboek, (2) duidelijk is over de tijdsperiode waarbinnen gedrag genoteerd moet worden en (3) checklijsten meegeeft zodat de respondent extra houvast heeft.

Wat zijn de voordelen van het gebruik van dagboeken?

• Dagboeken geven de mogelijkheid om een precieze schatting te maken van de frequentie of de hoeveelheid tijd die gespendeerd wordt aan verschillende vormen van gedrag. Het dagboek genereert in dit geval meer valide en betrouwbaardere data dan vragenlijsten.

• Wanneer informatie nodig is over de volgorde van verschillende vormen van gedrag, bieden dagboeken meer inzicht dan vragenlijsten of interviews.

De voordelen kunnen suggereren dat gestructureerde observatie even geschikt zou zijn, maar dit is niet het geval wanneer het gaat om het produceren van data over erg persoonlijk gedrag, zoals seksueel gedrag.

Wat zijn de nadelen van het gebruik van dagboeken?

• Ze zijn duurder dan persoonlijke interviews.

• De methode is gevoelig voor uitval van respondenten.

• Respondenten worden minder gewillig om hun dagboek bij te houden naarmate de tijd verstrijkt.

• Het is soms moeilijk om alle details van het gedrag zo snel mogelijk op te schrijven waardoor geheugenproblemen invloed kunnen hebben op de rapportage.

Wat houdt de 'experience sampling' methode in?

Experience sampling betreft een variant op de dagboekmethode, dus ook een alternatief voor de 'zelf in te vullen vragenlijst'. Het is een methode waarmee je de gevoelens, emotionele gemoedstoestand of het gedrag van respondenten vastlegt op het moment waarop hen dit wordt gevraagd. Ze moeten bijvoorbeeld aan het einde van de werkdag of direct na het ontbijt vragen beantwoorden of zodra zich iets voordoet (ze loggen in op social media of krijgen een telefoontje). Ook kunnen ze een geluidssignaal op hun mobiele telefoon ontvangen waarna ze direct vragen moeten beantwoorden. Onderzoekers kunnen zo nauwkeurige realtime data verzamelen. Het is in feite een gestructureerde dagboekmethode waarmee persoonlijke ervaringen bestudeerd kunnen worden. 

Zo onderzochten Kross en anderen (2013) in hoeverre Facebook-gebruik invloed heeft op het subjectieve welzijn. Respondenten moesten eerst vragenlijsten invullen over hun tevredenheid met het leven, depressie, zelfvertrouwen en Facebook-gebruik. In een tijdsbestek van 14 dagen ontvingen zij dagelijks op vijf willekeurige momenten berichtjes met daarin een link naar een vragenlijst. Hierin werd gevraagd hoe zij zich voelden op dat moment (piekeren, eenzaamheid en in welke mate zij Facebook hadden gebruikt en persoonlijke interactie hebben gehad sinds het laatste berichtje). De onderzoekers ontdekten dat Facebook-gebruik geassocieerd was met hoe mensen zich voelen van het ene op het andere moment en in hoeverre zij tevreden zijn met hun leven.

Voordelen van deze methode zijn de onmiddellijkheid van de data (participanten reageren terwijl ze bezig zijn met hun dagelijkse bezigheden), data is minder algemeen (antwoorden zijn gebaseerd op hoe men zich op dat moment voelt, niet hoe men zich voelde gedurende een bepaalde periode) en data is minder gevoelig voor geheugenissues. Deze methode wordt regelmatiger gebruikt voor het verzamelen van data omtrent gevoelens en stemmingen dan het dagboek. Beide methoden worden gebruikt voor het vergaren van data over gedrag. Dankzij smartphones zijn participanten continu te contacteren en kunnen zij overal en direct een vragenlijst invullen.