Summary and study notes

Welke onderwerpen worden behandeld in het hoorcollege?

Manipulatiecheck. Controleren van de aanname of participanten uit verschillende condities inderdaad verschillen op de veronderstelde onafhankelijke variabele.

Intructionele manipulatiecheck. Dit zijn subtiele manipulaties die alleen in de instructie worden benoemd, bijvoorbeeld het veranderen van de naam van de test/spel/sollicitant. Hierbij moet gecontroleerd worden of de participanten wel worden gemanipuleerd. 

Welke onderwerpen worden besproken die niet worden behandeld in de literatuur?

In dit college wordt extra informatie besproken waaraan geen literatuur is gekoppeld. 

Welke recente ontwikkelingen in het vakgebied worden besproken? 

Er worden geen recente ontwikkelingen besproken. 

Welke opmerkingen worden er tijdens het college gedaan door de docent met betrekking tot het tentamen?

Er worden geen opmerkingen gemaakt over het tentamen. 

Welke vragen worden behandeld die gesteld kunnen worden op het tentamen? 

Er worden geen tentamenvragen behandeld. 

Hoorcollege aantekeningen

Interne validiteit = de mate waarop de onderzoeksmethode een goed antwoord kan geven op de onderzoeksvraag.

Experimenteel onderzoek

Causaliteit heeft een aantal voorwaarden:

• Variabele X en variabele Y hangen samen
• Variabele X gaat vooraf aan variabele Y
• Er zijn geen alternatieve verklaringen voor de samenhang tussen variabele X en variabele Y

Voor causaliteit heb een je experiment nodig, omdat je dan alles kan controleren behalve die ene variabele die je gaat meten. Het doel van een experimenteel onderzoek is het vaststellen van causale relaties. Alleen variabele X is oorzaak van verandering in variabele Y. Variabele X wordt niet gemeten, maar gemanipuleerd. We moeten controleren of de manipulatie van variabele X gelukt is.

Manipulatiecheck

Manipulatiecheck = controleren van de aanname of participanten uit verschillende condities inderdaad verschillen op de veronderstelde onafhankelijke variabele. Onafhankelijke variabele = experimentele conditie. Veronderstelde onafhankelijke variabele = psychologisch construct. Manipulatiecheck is extra test om te kijken of de participanten wel verschillen op de veronderstelde onafhankelijke variabele. Een manipulatiecheck geeft een indicatie van de interne validiteit (validiteit van onderzoek) en de begripsvaliditeit (validiteit van test/meting) = de mate waarin een meting aan zijn doel beantwoordt: meet de test het bedoelde begrip of (ook) iets anders? Beoordeling door de te kijken naar verbanden tussen jouw meting en andere metingen van hetzelfde begrip – relatie onafhankelijke variabele en veronderstelde onafhankelijke variabele. Een manipulatiecheck is belangrijk om causale conclusies te trekken over de relatie tussen de (veronderstelde) onafhankelijke en afhankelijke variabele. Een manipulatiecheck geeft een indicatie van de validiteit van het onderzoek en de meting. Maar de validiteit is nog steeds beperkt. Bij gebruik van één manipulatiecheck blijft het lastig om álle alternatieve verklaringen uit te sluiten.

Instructionele manipulatiecheck

Dit zijn subtiele manipulaties die alleen in de instructie worden benoemd, bijvoorbeeld het veranderen van de naam van de test/spel/sollicitant. Een woord verschil kan een grote invloed hebben op wat je meet. Hoe ontdek je of participanten de instructies goed lezen? Hoe ga je om met participanten die instructies niet goed lezen? Welke invloed heeft dit op de statistische power en op de resultaten? De instructionele manipulatiecheck zorgt ervoor dat je de juiste participanten uitzondert die de introductie wel gelezen hebben, bijvoorbeeld door in de introductie aan te geven waar je op moet klikken. De resultaten kunnen wel degelijk verschillen wanneer je alle participanten meeneemt of alleen de participanten die de introductie écht gelezen hebben en hebt gecontroleerd met de instructionele manipulatiecheck. Dit heeft invloed op:

• Power. Kleinere steekproef is minder power, maar minder ruis in de data is meer power. Je kan de steekproef vergroten door het experiment aan te passen waarbij je mensen expliciet aanstuurt om de introductie te lezen door de vragenlijst zo te vormen dat ze anders niet de vragenlijst kunnen afronden.
• Externe validiteit. Verwijderen van een subset van de steekproef kan zorgen voor bias en vormt daarmee een bedreiging voor de generaliseerbaarheid.
• Interne validiteit. Niet goed lezen/instructies opvolgen is een bedreiging voor de interne validiteit. Gebruik van een instructionele manipulatiecheck maakt dat deze alternatieve verklaring kan worden uitgesloten.

Wanneer subtiele manipulaties gebruikt worden is het verstandig een instructionele manipulatiecheck te gebruiken. Aanbevolen wordt om instructionele manipulatiechecks vroeg in de studie in te bouwen, zodat alle participanten meegenomen kunnen worden.