Welke soorten vragen kunnen worden gebruikt in sociaal onderzoek? - Chapter 11

De manier waarop we vragen stellen in sociale survey instrumenten, zoals het gestructureerd interview en de zelf in te vullen vragenlijst, heeft invloed op de kwaliteit en bruikbaarheid van de verzamelde data. Naast het ontwerp en de uitvoering van deze instrumenten is het ook belangrijk hoe de vragen geformuleerd zijn. Er zijn enkele regels en overwegingen met betrekking tot het ontwerpen en formuleren van vragen, welk type vraag je gaat gebruiken en het belang van het testen van vragen (pilot).  

Wanneer kies je voor open dan wel gesloten vragen?

Een van de belangrijkste overwegingen voor veel onderzoekers is of de survey open of gesloten vragen moet bevatten. In geval van een open vraag mag de respondent reageren hoe hij of zij wenst. In geval van een gesloten vraag moet de deelnemer uit een aantal vaste antwoordmogelijkheden het passende antwoord kiezen. Een voorbeeld hiervan is de Likert-schaal. Beide type vragen hebben een aantal voor- en nadelen.

Wat zijn de voordelen en nadelen van open vragen?

Alhoewel open vragen ook voordelen hebben, neigt de voorkeur van onderzoekers naar gesloten vragen. Deze leveren minder problemen wat betreft het verwerken van de antwoorden. Open vragen worden meer gebruikt in kwalitatieve interviews. De voordelen:

• De respondenten antwoorden in hun eigen bewoordingen.

• Er is ruimte voor ongewone antwoorden (waar de onderzoeker zelf niet aan had gedacht, waardoor je een accurater beeld krijgt van de houding of het gedrag van de respondent).

• De vragen suggereren niet bepaalde antwoorden, waardoor er een kans geboden wordt om de kennis en het begrip van de respondenten met betrekking tot onderwerpen te meten.

• Ze kunnen inzicht bieden in nieuwe onderzoeksgebieden of in gebieden waar de onderzoeker beperkte kennis van heeft (de respondent kan de punten aankaarten die hij of zij relevant vindt en de onderzoekers hoeft geen tijd te spenderen aan het uitzoeken van mogelijke antwoordopties).

• Ze zijn geschikt voor het genereren van mogelijke antwoorden op gesloten vragen die in een latere onderzoekfase gebruikt kunnen worden.

• Ze kunnen behulpzaam zijn bij het inductieve proces van theorievorming (daarom worden ze vaak gebruikt in kwalitatief onderzoek, dit is normaliter niet mogelijk in geval van gesloten vragen).

De nadelen:

• Ze zijn tijdrovend voor zowel onderzoeker als respondent. De respondent is meer tijd kwijt aan het opschrijven of mondeling geven van het antwoord in vergelijking met gesloten vragen. Ze worden vermeden in zelf in te vullen vragenlijsten, omdat het voor een lagere respons rate kan zorgen.

• Antwoorden moeten gecodeerd worden wat ook veel tijd kost. Het proces is identiek aan het coderingsproces dat gebruikt wordt voor een inhoudsanalyse en wordt ook wel ‘post-coding’ genoemd om het zo te differentiëren van ‘pre-coding’. De onderzoeker moet eerst alle antwoorden doorlezen, daarna thema's identificeren die de basis zullen vormen van de codes, de data coderen en vervolgens de data invoeren in een softwareprogramma. In geval van 'pre-coding' ontwerpt de onderzoeker het codeerkader voordat hij de survey uitvoert en vaak zijn de codes reeds verwerkt in de vragenlijst.

• Post-coding kan naast tijdrovend ook onbetrouwbaar zijn, omdat het variabiliteit en dus een meetfout (en een gebrek aan validiteit) kan opleveren.

• In onderzoek dat gebaseerd is op gestructureerde interviews is ook variabiliteit mogelijk in de manier waarop interviewers de antwoorden noteren. Dit kan verholpen worden door het opnemen en transcriberen van de interviews.

Hoe worden antwoorden gecodeerd?

Coderen is een kernonderdeel van veel kwantitatief onderzoek, omdat veel vormen van data ongestructureerd zijn (zoals antwoorden op open vragen, gedrag in klaslokalen en dagbladartikelen). Deze data moet gecodeerd worden om het te kunnen kwantificeren en analyseren. Coderen bestaat uit twee fasen: het categoriseren van de data en het toekennen van nummers aan de categorieën. Er zijn drie basisprincipes van belang: de categorieën mogen elkaar niet overlappen, de lijst categorieën moet volledig zijn en alle mogelijkheden omvatten en er moeten duidelijke toepassingsregels zijn. Er is sprake van overlap als je bijvoorbeeld onderzoek doet naar de gemiddelde dagelijkse consumptie van fruit en groenten en als volgt codeert: 1: 1-2, 2: 3-4, 3: 5-6 en 4: 6 of meer. Iemand die gemiddeld 6 units eet per dag kan onder zowel code 3 als 4 vallen. Volledigheid is vereist, omdat bepaald materiaal anders niet gecodeerd kan worden. Daarom wordt vaak de categorie 'anders' toegevoegd. Duidelijke codeerregels zijn nodig om te zorgen voor consistentie in tijd en onderling wanneer meerdere mensen coderen. In het codeerkader (of codeerhandleiding) kan de lijst van codes worden beschreven die toegepast kunnen worden op ongestructureerde data en de regels voor de toepassing van die codes. Kwantitatieve data kan ook 'hergecodeerd' worden, bijvoorbeeld als data bestaat uit de exacte leeftijden van deelnemers en je deze wilt onderverdelen in groepen met leeftijdscategorieën (zoals 30-35 jaar).

Wat zijn de voordelen en nadelen van gesloten vragen?

De voordelen:

• Het is makkelijk om de antwoorden te verwerken.

• De antwoorden kunnen eenvoudiger met elkaar vergeleken worden.

• De vaste antwoordopties kunnen de respondent helpen om de vraagstelling beter te begrijpen.

• Deze vragen zijn sneller en makkelijk te doorlopen voor de interviewers en respondenten.

• Gesloten vragen verminderen de kans op variabiliteit in het vastleggen van de antwoorden.

De nadelen:

• Er is minder spontaniteit in de antwoorden van de respondent. Respondenten kunnen een interessant antwoord op een vraag hebben die niet onder de antwoordopties valt. Dit kan opgelost worden door een open vraag toe te voegen en de antwoordcategorie ‘anders’ toe te voegen).

• Het kan lastig zijn om overlap tussen de antwoordopties te voorkomen. Een veelgemaakte fout heeft betrekking op leeftijdscategorieën. Als een respondent 40 jaar is en de antwoordopties zijn als volgt: '30-40' en '40-50', dan weet de respondent niet welke gekozen moet worden. Beide selecteren leidt tot uitsluiting van de vraag (missende data). 

• Het is moeilijk om de antwoordopties alomvattend te maken. Idealiter moeten deze opties alle mogelijke antwoorden beslaan, maar dat kan een enorm lange lijst opleveren. Dit kan opgelost worden door te kiezen voor 'anders' als categorie.

• Er kan variatie zijn tussen de respondenten in de interpretatie van de antwoordopties.

• Gesloten vragen kunnen frustraties opwekken bij respondenten wanneer ze vinden dat de antwoordopties niet goed bij hun antwoord passen.

• Een groot aantal gesloten vragen gebruiken in een interview kan het opbouwen van een verstandhouding tussen interviewer en respondent bemoeilijken, omdat de uitwisseling onpersoonlijk voelt en er geen gesprek op gang komt (alhoewel een interview professioneel moet blijven). 

Welke soorten vragen zijn er?

De meest voorkomende soorten vragen zijn:

• Persoonlijke feitelijke vragen (zoals vragen over eigen leeftijd, opleiding, beroep, gedrag etc.)

• Feitelijke vragen over anderen (zoals vragen naar het huishoudinkomen of de leeftijd en geslacht van je partner)

• Informant feitelijke vragen (vragen over de grootte van het bedrijf waar ze werken, wie de eigenaar is, hoe ze behandeld worden door hun leidinggevende of er specialistische functies zijn, etc.)

• Vragen over houdingen (alledaags oordeel of normatieve visie omtrent een specifieke kwestie, wordt vaak verward met overtuigingen en waarden, de Likert-schaal wordt hier het meest gebruikt)

• Vragen over overtuigingen (zowel religieuze als politieke overtuigingen of inzake bepaalde gebeurtenissen, zoals klimaatprotesten. In een survey over criminaliteit kun je vragen of de respondenten geloven dat bepaalde misdrijven vaker voorkomen.)

• Vragen over normen en waarden

• Vragen over kennis

De meeste gestructureerde interviews en vragenlijsten bevatten meer dan één van bovenstaande soorten vragen. Het is belangrijk om het onderscheid hiertussen niet uit het oog te verliezen, zodat het voor jezelf helder blijft waar je vragen over stelt (ben je geïnteresseerd in louter persoonlijke informatie over de respondent of wil je ook iets over anderen weten?). Daarnaast helpt het voorkomen dat je een ongeschikte vraagstelling gebruikt (de Likertschaal is bijvoorbeeld geen goede keuze voor het stellen van feitelijke vragen over gedrag). Tevens moet je vermijden dat bij het gebruik van de Likert-schaal verschillende soorten vragen door elkaar gebruikt. Houding en overtuiging klinkt vergelijkbaar, maar het is verstandig om hiervoor afzonderlijke schalen te gebruiken gelet op de meetvariabiliteit.

Wat zijn vignet vragen?

Vignet vragen zijn een type gesloten vragen waarbij gevraagd wordt naar de normen en waarden van de respondent. Deze techniek wordt vaak gebruikt in experimenten. De interviewer presenteert één of meer scenario’s en vraagt aan de respondent hoe hij/zij hierbinnen zou reageren (waarbij gekozen moet worden uit één van de antwoordopties). 

Zo kan in een onderzoek naar de normen over familieverplichtingen het volgende scenario worden geschetst: "Bob en Marie, beiden 41 jaar, zijn een getrouwd stel. De ouders van Bob wonen honderden kilometers van hen af en krijgen een ernstig auto-ongeluk. Ze hebben langdurig dagelijkse zorg en hulp nodig. Bob is hun enige zoon. Bob en Marie werken allebei en kunnen allebei overgeplaatst worden naar een werklocatie in de buurt van Bob's ouders. Wat moeten Bob en Marie doen?" De antwoordopties: A: Verhuizen zodat ze vlakbij Bob's ouders kunnen wonen B: De ouders van Bob in huis nemen C: Bob's ouders geld geven voor de dagelijkse zorg D: Bob's ouders zelf regelingen laten treffen E: Iets anders doen, namelijk.. F: Weet het niet. "Ze besluiten nabij de ouders van Bob te gaan wonen. De moeder van Bob overlijdt en de toestand van zijn vader verslechtert, waardoor hij fulltime zorg nodig heeft. Moeten Bob of Marie hun baan opgeven om hem te kunnen verzorgen? Zo ja, wie moet stoppen met werken: Bob of Marie?". A: Ja, Bob B: Ja, Marie. C: Nee, geen van beiden D: Weet niet / ligt eraan. In dit vignettenonderzoek zitten verschillende factoren: de aard van de zorg (lang- of kortdurend, zelf bij betrokken zijn of financieel ondersteunen), het belang van geografische nabijheid, het hebben van betaald werk, geslacht. Deze kwesties kunnen ook worden voorgelegd in de vorm van houding-vragen. "Als een werkend stel besluit dat één van hen de zorg op zich moet nemen, zou de vrouw degene moeten zijn die haar baan opzegt." Antwoordopties: Sterk mee eens, mee eens, neutraal, oneens, sterk mee oneens. Het voordeel van de vignettentechniek is dat dit een meer realistische situatie schept voor het maken van de keuze. In geval van een gevoelig onderwerp kunnen directe vragen ('Wat zou  jij..") intimiderend overkomen (als een persoonlijke aanval), dit is minder als je gebruikmaakt van andere (denkbeeldige) mensen die in een bepaalde situatie verkeren ("Wat zou Marie..?"). 

Bij het ontwerpen van een vignettenonderzoek is het belangrijk dat je een geloofwaardig scenario schetst. Daarnaast moet in overweging worden genomen dat onduidelijk is in hoeverre respondenten aannames doen over de personen in het scenario (bijvoorbeeld over hun etniciteit) en welke invloed deze aannames hebben op de validiteit en vergelijkbaarheid van de antwoorden. Ook is het lastig na te gaan in hoeverre de antwoorden representatief zijn voor de eigen normen en hoe men zich zelf zou gedragen in de geschetste omstandigheden. Desondanks is de vignettentechniek het overwegen waard wanneer het onderzoeksgebied zich hiertoe leent.

Welke regels gelden bij het opstellen van vragen?

Dit is een van de onderdelen van het onderzoek waarin de meeste fouten worden gemaakt. Er zijn drie vuistregels voor het opstellen van vragen:

• Vuistregel 1: houd altijd de onderzoeksvragen in het achterhoofd (stel respondenten geen vragen die hier geen verband mee houden).

• Vuistregel 2: bepaal precies wat jij wilt weten ("Heb je een auto?" kan betrekking hebben op privé-eigendom, een bedrijfsauto of toegang tot een auto in een huishouden. "Hoeveel kinderen heb je?" Bedoel je dan thuiswonende, biologische kinderen etc.? "Heb je deze week auto gereden?" Bedoel je dan de afgelopen 7 dagen of de week waarin de vraag wordt gesteld?).

• Vuistregel 3: verplaats jezelf in de positie van de respondent, hoe zou jij antwoorden?

Wat moet je doen bij het ontwerpen van vragen?

• Zorg ervoor dat de respondent de benodigde kennis heeft. Het heeft geen zin om vragen te stellen over iets waar men geen kennis van heeft. Bijvoorbeeld mensen die nooit met het openbaar vervoer reizen vragen naar de kwaliteit ervan. 

• Zorg voor symmetrie tussen de gesloten vragen en de antwoorden. Ze moeten met elkaar 'matchen' en de antwoordopties moeten voldoende representatief zijn. Een vraag die uitsluitend met 'ja' of 'nee' mag worden beantwoord kan het probleem opleveren dat de respondent het met geen van beiden helemaal eens is. Sommige vragen kunnen niet beantwoord worden met 'goed, acceptabel of slecht'. 

• Zorg ervoor dat de antwoorden op gesloten vragen in balans zijn. Op dit punt worden vaak fouten gemaakt. De volgende antwoordopties zijn niet in balans: uitstekend, goed, acceptabel, slecht. De eerste twee opties zijn positief, de derde is neutraal en alleen de laatste is negatief. Er moet dus een optie bijkomen (bijvoorbeeld 'erg slecht'). 

• Overweeg of je een 'midden-alternatief' gaat gebruiken. Bijvoorbeeld 'niet mee eens en niet mee oneens'. Dit is een controversieel punt. Het biedt respondenten de optie om niet echt na te denken over hun antwoord. Anderzijds kan het weglaten van deze optie ertoe leiden dat respondenten een antwoord kiezen welke hun mening niet goed vertegenwoordigt of resulteren in een hogere mate van non-respons. Het is aan te raden een midden-alternatief op te nemen in de antwoordopties, tenzij er een erg goede reden is om dit niet te doen. Dezelfde controversie heerst omtrent de optie 'ik weet het niet'. Het lijkt erop dat respondenten vaker voor deze optie kiezen als deze voorkomt richting het einde van de vragenlijst, omdat ze geen zin meer hebben in het beantwoorden van vragen. Je kunt een pilot uitvoeren om dit risico te onderzoeken.

Wat moet je vermijden bij het ontwerpen van vragen?

Daarnaast moet geprobeerd worden bepaalde vraagstellingen te vermijden:

• Vermijd ambiguïteit (dubbelzinnige termen). Een voorbeeld is 'vaak'. Respondenten kunnen dit anders invullen. “Hoe vaak ga je naar de sportschool?” De ene respondent vindt twee keer per week vaak, de andere zes keer per week. Indien mogelijk, vraag naar de frequentie. In geval van de volgende antwoordopties is alleen de laatste geen probleem: heel vaak, vaak, soms, nooit. Andere dubbelzinnige termen zijn bijvoorbeeld 'familie' en 'maaltijd'.

• Vermijd lange, complexe vragen, vooral wanneer je vraagt naar houdingen. Wanneer de focus van de vraag op gedrag ligt, is het stellen van een lange vraag niet zo erg.

• Vraag niet in één keer naar twee dingen. Voorbeeld: “Hoe vaak helpt jouw man met koken en schoonmaken?” Hij kan immers vaker helpen met het één dan met het ander.

• Vermijd hele algemene vragen: deze zijn niet specifiek genoeg om goed te kunnen interpreteren. Bijvoorbeeld: "Hoe tevreden ben je met je baan?" Doel je daarmee op loon, voorwaarden, de inhoud, werksfeer of een combinatie hiervan? De respondent kan deze vraag of vele manieren interpreteren.

• Vermijd sturende vragen. Voorbeeld: “Ben jij het ermee eens dat…?” Dit geeft respondenten het gevoel een bepaalde kant opgeduwd te worden. "Ben je het eens met belastingverlaging zelfs als hierdoor minder welvaart kan worden geboden aan de minima?" Dit maakt het lastiger om positief te antwoorden. Je kunt het eens zijn met belastingverlaging, maar wilt niet veroordeeld worden op basis van het tweede onderdeel van de vraag.

• Vermijd vragen die aannames bevatten. Voorbeeld: “Op welke politieke partij heb jij vorige keer gestemd?”. Hiermee wordt aangenomen dat de respondent heeft gestemd. Dit komt neer op het stellen van twee vragen in één: Heb je gestemd? Zo ja, op welke partij?

• Vermijd vragen met negatieve formuleringen, dus het gebruik van woorden als 'niet'. Deze zijn makkelijk over het hoofd te zien en leveren dan het tegenovergestelde antwoord op. Het gebruik van dubbele negatieve bewoordingen is helemaal uit den boze ('niet' en 'geen' bijvoorbeeld). Voorbeeld: “Ben je het ermee eens dat studenten niet zouden moeten lenen om hun onderwijs te kunnen financieren?”

• Vermijd technische termen: gebruik simpele, alledaagse woorden en vermijd jargon. 

• Vermijd vragen die sterk afhankelijk zijn van het langetermijngeheugen van respondenten. Als je vraagt hoe vaak men in de afgelopen 12 maanden naar de bioscoop is geweest, zal niet iedereen dit zich herinneren.

• Vermijd het gebruik van 'kruis alles wat van toepassing is aan' in gesloten vragen. Dit kan tot een onvolledig antwoord leiden. Het is beter om te kiezen voor een 'gedwongen keuze', bijvoorbeeld door na alle opties een 'ja' en 'nee' vakje te plaatsen.

Wat is het belang van een pilot en het vooraf testen van vragen?

Het is wenselijk om, indien mogelijk, een pilot uit te voeren voordat de vragenlijst of het gestructureerd interview wordt afgenomen. Hiermee test je de effectiviteit van de vragen en van de survey in zijn geheel. Met name in geval van zelf in te vullen vragenlijsten is dit handig, omdat hierbij geen onderzoeker aanwezig is die het een en ander kan ophelderen. Redenen om een pilot uit te voeren zijn: je kunt hieruit antwoordmogelijkheden voor gesloten vragen in je hoofdonderzoek generen, je doet ervaring op met het gebruik van het interviewschema (geeft ook meer vertrouwen), je kunt ervaren hoe goed de vragen in elkaar overlopen en of het nodig is sommige te verplaatsen en je ontdekt of er problemen zijn met bepaalde vragen (als iedereen op dezelfde manier antwoordt, kun je de vraagstelling aanpassen zodat deze meer interessante resultaten oplevert en sommige vragen worden als ongemakkelijk, lastig te begrijpen of saai ervaren).

De pilot moet niet uitgevoerd worden met dezelfde mensen die onderdeel zijn van de steekproef in je hoofdonderzoek. Idealiter vind je een klein aantal respondenten die vergelijkbaar zijn met personen uit de populatie waar je de steekproef uit afleidt. Soms maken onderzoekers tijdens de pilot gebruik van de cognitieve interviewmethode om te weten te komen hoe respondenten de vragen (geestelijk) verwerken en beantwoorden. Hierbij worden respondenten aangemoedigd om hardop te denken terwijl ze nadenken over de vraag. De onderzoeker kan zo nagaan of de vragen duidelijk zijn, welke uitdagingen er bestaan wat betreft het geheugen, hoe gevoelig een vraag is en of de antwoorden overeenstemmen met de verwachtingen. 

Hoe kun je reeds bestaande vragen gebruiken?

Naast het zelf bedenken van vragen, kun je ook overwegen om vragen te gebruiken die door andere onderzoekers zijn bedacht. Dit lijkt misschien op stelen, en het is zeker aan te raden om contact op te nemen met de bedenker, maar het is een gangbare praktijk onder onderzoekers. Zolang je duidelijk aangeeft waar de vraag vandaan komt, hoef je voor plagiaat niet te vrezen. Voordelen ervan zijn dat een pilot niet nodig is en de vorige onderzoeker de validiteit en betrouwbaarheid vaak al getest heeft. Bovendien kun je een vergelijking maken met je eigen onderzoeksresultaten. Maakt de locatie van je steekproef bijvoorbeeld verschil? Ook als je besluit niet de vragen van een ander te gebruiken, kunnen ze behulpzaam zijn bij bedenken van je eigen vragen.