Hoe worden items opgebouwd en reacties gekwantificeerd in tests en vragenlijsten? - Chapter 4

Tests en vragenlijsten zijn opgebouwd uit items. Items zijn stimuli waar de respondenten op moeten reageren. Uit hun reacties (het geobserveerde gedrag) kan een niet-observeerbare eigenschap afgeleid worden. Er zijn veel varianten van items die op drie manieren ingedeeld kunnen worden:

1. Naar de activiteit die van de respondent wordt gevraagd.
2. Naar de vorm van het antwoord van de respondent.
3. Naar de uiterlijke verschijning van het item.

Hoe kunnen items ingedeeld worden naar de activiteit die van de respondent wordt gevraagd?

Bij verscheidene tests en vragenlijsten stimuleren de items de respondent om te reageren. Uit dit gedrag wordt een psychologische eigenschap afgeleid. We maken onderscheid tussen:

Theoretische opdrachten

Met theoretische opdrachten meet men meestal cognitieve capaciteiten en vaardigheden. Voorbeelden zijn: verkeersvragen uit het theoretisch rijexamen en reken- en taalopdrachten uit de CITO-toets. De antwoorden op dit soort opdrachten zijn (gedeeltelijk) goed of (gedeeltelijk) fout

Stellingen

Met stellingen meet men vaak persoonlijkheidstrekken, meningen, houdingen of voorkeuren. De respondent geeft aan of hij het met de stelling eens is, of in welke mate. De antwoorden op stellingen zijn niet goed of fout, maar geven aan waar de respondent denkt dat hij staat op de schaal van de eigenschap die gemeten wordt.

Vragen

Ook vragen meten meningen, houdingen of voorkeuren, maar nu wordt directer naar een stellingname van de respondent gevraagd: 'bent u voorstander van…'. Antwoorden zijn niet goed of fout, maar geven een standpunt of houding aan.

Praktijkproeven

Bij praktijkproeven worden capaciteiten en vaardigheden gemeten. Voorbeelden hiervan zijn het praktisch rijexamen of een managementgame, waarbij in een spelsituatie managementeigenschappen als samenwerking, leiderschap en organisatietalent worden beoordeeld door een psycholoog. De reacties van de respondent kunnen geclassificeerd worden als goed of fout of als adequaat of inadequaat.

Er zijn ook nog andere mogelijkheden, zoals bij projectietests; de gevraagde activiteit is hier juist een zo ‘vrij’ mogelijke reactie.

Hoe kunnen items ingedeeld worden naar de vorm waarin het antwoord wordt gegeven?

Hierbij onderscheiden we de open vragen en gesloten vragen.

Open vraagvorm

De respondent bepaalt helemaal zelf hoe hij reageert. Open vragen, maar ook open opdrachten op essayopdrachten, hebben als voordeel dat ze de respondent vaak meer creativiteit in het antwoord bieden. Als je bijvoorbeeld creatief schrijven wilt meten, zijn dit soort vragen zeer geschikt. Bij open vragen zal de subjectiviteit van de onderzoeker invloed hebben op de interpretatie van de antwoorden.

Gesloten vraagvorm

Bij de gesloten vraag, ook wel de multiple-choicevraag (meerkeuzevraag), of geprecodeerde vraag, daarentegen, wordt alleen een keuze gevraagd. Er wordt alleen naar kennis gevraagd, waarbij de respondent kiest uit een beperkt aantal geformuleerde reacties.

Maar hoewel bij open vragen meer informatie beschikbaar komt, is het beoordelen en categoriseren hiervan voor de onderzoeker arbeidsintensief. Ook de respondent kost het tijd. Daarnaast begrijpt de respondent niet altijd de vraag goed, maar geeft dan een wel (niet-relevant) antwoord, zodat de middels de vraag te meten eigenschap of gedrag niet gemeten kan worden. Daarom is het belangrijk de vraag zo helder mogelijk te stellen, en niet of weinig ruimte laten om de vraag anders te interpreteren. Wat ook meespeelt is dat niet alle respondenten even duidelijk antwoorden, of dat ze de taal niet of niet goed beheersen, of een onleesbaar handschrift hebben, waardoor het antwoord moeilijk te interpreteren is.

Deze problemen kun je bij gesloten vragen ondervangen door gebruik te maken van een rating scale item, er is dan sprake van bijvoorbeeld 5 mogelijkheden op een schaal van 'niet van toepassing' naar 'wel van toepassing'. Voordeel is dat het antwoorden snel gaat, en het categoriseren ook, je kunt dan meer vragen stellen en dat komt de validiteit en betrouwbaarheid ten goede.

Bij meerkeuzevragen is één antwoord het juiste. Het lastige bij het maken van deze vragen is het bedenken van de foute antwoorden, die moeten liefst enigszins waarschijnlijk zijn, zodat de keuze voor het juiste antwoord moeilijker wordt. Maar juist het inschatten van de moeilijkheidsgraad is voor de vragenmakers lastig.

Een ander nadeel van meerkeuzevragen is de zogenaamde 'gokkans', door te raden kunnen respondenten vragen goed hebben. Er zijn technieken om de gokkans te verkleinen (de toevalscorrectie, zie hoofdstuk 5), maar als je niet wilt dat de respondenten gaan gokken, kun je als vragenmaker beter voor open vragen kiezen.

Vaak is de kritiek dat gesloten vragen alleen (feiten)kennis meten door middel van herkenning, bij open vragen zouden dan meer begrip, inzicht en creativiteit van de respondent worden gevraagd. Maar een meta-analyse van Mellenbergh concludeert dat men vaak met meerkeuzevragen hetzelfde kan meten als met open vragen, mits de meerkeuzevragen goed geconstrueerd zijn. Ook ‘hogere’ functies (begrip, toepassing, analyse) zijn te meten. Het meten van ‘hogere’ functies met open vragen moet niet overschat worden; de beoordeling is onbetrouwbaar, subjectief en oncontroleerbaar. Uit het onderzoek bleek dat meerkeuzevragen betere voorspellers zijn dan open vragen.

Hoe kunnen items ingedeeld worden naar de uiterlijke verschijning van het item?

Geprecodeerde items kunnen we indelen in items voor prestatieniveautests en items voor tests voor gedragswijze.

Welke items kunnen worden gebruikt voor prestatieniveautests?

Prestatieniveautests zijn bijvoorbeeld meerkeuzetoetsen bij een studie of intelligentietests. Het item bestaat van zo'n test bestaat uit een stelling, vraag, bewering of uitspraak met twee tot vijf antwoordmogelijkheden. Een item kan worden opgedeeld in de stam (de uitspraak minus de antwoorden, de gesleutelde respons (het goede antwoord) en de afleiders (de foute antwoorden). Er is een grote variatie binnen de antwoordvormen, er wordt onderscheid gemaakt tussen meerkeuze-items op basis van drie principes:

1. Kiezen

Er moet een keuze gemaakt worden uit de gegeven antwoorden. Daarbij zijn verschillende vormen mogelijk:

• Tweekeuzevorm: ja of nee, juist of onjuist etc.
• (In)correcte antwoordvorm: slechts één van de antwoorden is de juiste of onjuiste.
• Meest/minst-juiste-antwoordvorm: uit vier (of meer) plausibele antwoorden moet het meest juiste gekozen worden.
• Verschillende antwoordenvorm: uit een aantal mogelijkheden moet één of meer antwoorden gekozen worden – soms wel en soms niet gefixeerd (waarbij aangeven wordt hoeveel er gekozen moeten worden).
• Complexe vormen: er zijn allerlei complexe vormen te bedenken, bijvoorbeeld de gecombineerde-antwoordvorm: uitspraak waarin twee stellingen (a en b) verbonden zijn door een conjunctie (c); er moet gekozen worden of ‘a’, ‘a en b’, ‘b’ of ‘a, b en c’ juist is.

2. Rangschikken

De keuzemogelijkheden moeten in volgorde van juistheid, toepasbaarheid of voorkeur geplaatst worden. Voordeel hiervan is dat er veel informatie kan worden verkregen. Soms is een rangorde meer adequaat dan een verplichte of vrije keuze.

3. Toeschrijving (matching)

Bij deze vragen moeten twee rijen met begrippen aan elkaar gekoppeld worden; de juiste combinatie moet worden gemaakt tussen het ene begrip en het bijbehorende andere begrip. Het voordeel hiervan is dat er veel informatie verzameld kan worden in slecht één opgave. Het nadeel is dat de keuzes niet onafhankelijk van elkaar zijn; hoe minder onzekere combinaties overblijven, hoe groter de gokkans wordt. Dat kan ondervangen worden door één van beide rijen te verdubbelen.

Welke items kunnen worden gebruikt bij tests voor gedragswijzen?

Bij persoonlijkheids- of attitudetests kruist de respondent vaak op een schaal aan in welke mate hij het met een uitspraak eens is. Het aantal antwoordmogelijkheden kan variëren, maar er moet met een aantal dingen rekening gehouden worden:

1. De vorm en instructie moeten voorkomen dat de respondent tussen twee antwoorden in een kruisje zet.

2. Er moet gekozen worden voor een even of oneven aantal items. Een even aantal keuzemogelijkheden dwingt de respondent om een kant moet kiezen, maar de meeste testconstructeurs kiezen voor een oneven schaal, meestal de Likertschaal (met 5 keuzemogelijkheden), waarbij vermeden wordt dat iemand voorkeur moet uitspreken.

3. Keuze voor het aantal antwoordmogelijkheden. Respondenten kunnen meestal niet meer dan zeven verschillende antwoordmogelijkheden onderscheiden, meer keuzes aanbieden is daarom niet zinvol.

4. De beschrijving van de schaalposities (‘labels’). Het benoemen van de stappen op de schaal kan tot interpretatieverschillen tussen respondenten leiden, maar het weglaten zorgt voor meer verschillende interpretaties. Dat zou tegengegaan kunnen worden door alleen de twee uitersten op de schaal te benoemen, bijvoorbeeld van 'geheel mee eens' tot 'geheel mee oneens'.

Hoe kunnen de antwoorden gekwantificeerd worden?

Welke informatiebronnen kunnen er bij de kwantificering gebruikt worden?

De kwalitatieve reacties van de respondenten op de items uit een test moeten gekwantificeerd worden, oftewel in getallen worden omgezet, zodat een beeld ontstaat van de eigenschap die gemeten wordt. Met behulp van statistiek kun je dan bepalen of een respondent systematisch gedrag vertoont. Als dit het geval is heeft de test goede meeteigenschappen, zo niet dan zijn de reacties geen zinvolle indicaties van de te meten eigenschap.

Sommige psychologen vinden dat je door kwantificering informatie weglaat, zodat je iemands persoonlijkheid eigenlijk niet zinvol kunt diagnosticeren. Maar het gaat er juist om constant en systematisch gedrag van iemand op te sporen en dat kan alleen door te kwantificeren. Ook diagnoses van andere psychologen kunnen meespelen bij het oordeel over iemands gedrag, maar als die tegenstrijdig zijn, kunnen ze beter buiten beschouwing worden gelaten. Maar in het algemeen is het beter om meerdere informatiebronnen te gebruiken. Overigens, ook als een test niet goed blijkt te voorspellen, dan moet hij worden vervangen.

Hoe kunnen itemscores verkregen worden?

Om de kwalitatieve reacties op de items te kunnen kwantificeren, moeten de antwoordmogelijkheden gerangschikt kunnen worden op een schaal die de eigenschap meet. Aan deze antwoordcategorieën worden scores toegekend, er wordt daarbij onderscheid gemaakt tussen dichotome items (twee antwoordcategorieën, goede antwoord krijgt meer punten) en polytome items (drie of meer antwoordcategorieën, afhankelijk van de ordening worden punten toegekend per antwoord).

De aan de antwoordcategorieën op de items toegekende getallen worden scores genoemd – alleen de ordening is hierbij van belang, niet de getallen op zichzelf. De items zouden gewogen kunnen worden (sommige items wegen dan zwaarder mee in de uitkomst dan anderen), maar dat is meestal niet wenselijk. Een dringend advies is om alle items uit de test dezelfde scores te geven, alleen dan zijn de items gelijkwaardig. Items verschillend wegen kan alleen bij goede theoretische onderbouwing.

Hoe kan de kwaliteit van de items beoordeeld worden in het vooronderzoek?

Vooronderzoek

Bij het construeren van een test wordt eerst de kwaliteit van de items onderzocht. Tijdens het vooronderzoek wordt met een kleine niet-representatieve steekproef (20 tot 100 personen) vastgesteld welke items uit de voorlopige testversie slecht werken.

Hoofdonderzoek

Tijdens de tweede fase, het hoofdonderzoek, wordt een grote (tussen 500 en 2000 personen), representatieve steekproef gehouden. Groot omdat je populatie vaak kunt onderverdelen in relevante deelgroepen. Representatief omdat de gehele populatie vertegenwoordigd moet zijn, vaak gebruikt men daarom een gestratificeerde steekproef. Daarbij maakt men een steekproef waarbij alle deelgroepen even groot zijn, ook al is een bepaalde deelgroep in de populatie relatief klein.

Het doel van het hoofdonderzoek is om de kwaliteit van de hele test te bepalen, daarom kunnen er in de tweede fase ook nog items wegvallen als die slecht blijken te werken. Daarbij kijk je naar betrouwbaarheid, validiteit en normen van de test.

Hoe verloopt het vooronderzoek van dichotome items?

Om bij het vooronderzoek vast te kunnen stellen of een item (bijvoorbeeld een meerkeuzevraag bij een tentamen) goed of slecht werkt, kijk je naar de relatieve frequentie van de antwoorden. De relatieve frequentie van het goede antwoord (de gesleutelde respons) noemen we de p-waarde, de relatieve frequenties van de andere (foute) antwoordmogelijkheden (afleiders geheten) zijn de a-waarden. Als de a-waarden niet veel van elkaar verschillen, heb je sterke aanwijzingen dat je een goed werkend item hebt. Maar er zijn ook verschillende andere mogelijkheden, zoals:

1. Als alle antwoordmogelijkheden dezelfde relatieve frequentie opleveren, heeft iedereen waarschijnlijk het antwoord gegokt (uniforme verdeling). Om zeker te weten of iedereen heeft gegokt, is er aanvullende evidentie nodig en het item mag geen correlaties hebben met andere items. De inhoud van het item moet worden bekeken; het kan te moeilijk zijn of slecht geformuleerd.

2. Als het juiste antwoord een erg hoge relatieve frequentie heeft (dicht bij 1), kan dat erop duiden dat het item te makkelijk was, maar er kan ook gewoon goed gestudeerd zijn. Een andere mogelijkheid is dat de afleiders niet plausibel genoeg zijn.

3. Als een relatieve frequentie het hoogst is bij een fout antwoord, kan het zijn dat de afleider als zogenaamde 'instinker' heeft gewerkt. Maar het kan ook zijn dat deze afleider eigenlijk (ook) het juiste antwoord is.

Hoe verloopt het vooronderzoek van polytome items?

Hierboven hadden we het over dichotome items, dat betekent dat er twee antwoordcategorieën zijn: goed of fout. Als er drie of meer antwoordcategorieën zijn, is het item polytoom. Ook hier kijk je naar de relatieve frequentieverdeling van de scores om te zien of een item goed of slecht werkt. Mogelijke patronen zijn:

1. Alle antwoordcategorieën worden benut, sommige iets meer dan anderen. Deze verdeling geeft aan dat mensen gematigd reageren op een stelling, er zijn ook voor- en tegenstanders. Het item functioneert goed, want er is een goede spreiding van respondenten. Het gemiddelde kan berekend worden als de gewogen som van de itemscores: per item moet de som van de itemscores berekend worden, waarbij elke score wordt gewogen met de relatieve frequentie.

2. De verdeling is uitgesproken scheef. Deze verdeling geeft aan dat bijvoorbeeld niemand de laagste en vrijwel iedereen de hoogste score geeft. Het maakt geen onderscheid tussen personen; een dergelijk item is te populair in de betreffende populatie (maar kan ook te makkelijk, impopulair of te moeilijk zijn). Het kan wel interessant zijn in opinieonderzoek; het geeft namelijk aan waar in de populatie de onder- of bovengrens ligt van het niveau van een bepaalde attitude over een bepaalde zaak.