Research Methods in Social Relations (Harris & Judd)

Deze samenvatting is gebaseerd op het studiejaar 2013-2014.


Hoofdstuk 1 Verschillende vormen van kennisverwerving

In dit eerste hoofdstuk wordt er beschreven in hoeverre de sociale wetenschappen verschillen van en overeenkomen met andere gebieden in de wetenschap, namelijk de natuurwetenschappen en die van de ‘casual observation’ oftewel toevallige waarneming. Sociale wetenschappen en de natuurwetenschappen hebben vergelijkbare gedachte over de logica van het onderzoek doen, maar verschillen van elkaar over de vraag in hoeverre de objecten of participanten een actieve rol spelen in een onderzoek. Bij sociale wetenschappen speelt het geobserveerde onderzoeksobject een actieve rol. De participanten reageren op de gedane observaties omdat sociale wetenschappers vaak onderzoek doen naar waarde gerelateerde onderwerpen. Dit is een grote tegenstelling tussen sociale en natuurwetenschappen.

De sociale wetenschappen hebben raakvlakken met het toevallige waarneming in zoverre dat zij zich beide bezig houden met het verklaren van menselijk gedrag en omgangsvormen. Zij verschillen echter in de systematische methoden van onderzoek doen. De sociale wetenschappen gaan veel systematischer te werk in het zoeken naar antwoorden op sociale  vraagstukken.

Er worden twee thema’s besproken in dit eerste hoofdstuk. Ten eerste wat de plaats is van waarden binnen de sociale wetenschappen en ten tweede zal er dieper ingegaan worden op de vergelijking tussen de sociale wetenschappen en die van de toevallige waarneming.

  1. de plaats van waarden binnen het sociaal wetenschappelijk onderzoek

Het lijkt misschien vreemd om het binnen onderzoek te hebben over het onderwerp ‘waarden’. Op de eerste plaats probeert de wetenschap ten alle tijden altijd zo objectief mogelijk te zijn, en waarden is juist iets wat zeer subjectief is. Waarden representeren namelijk een standpunt, mening of oordeel die iemand, groep of zelfs een hele samenleving heeft gevormd over een bepaald onderwerp. De een is het hier mee eens en de ander niet. Door waardebepalingen wordt er een onderscheid gemaakt tussen wat men beschouwd als goed of als slecht  Een discussie omtrent waarden kunnen niet door de wetenschap worden opgelost, omdat de wetenschap dan zo gebruikt wordt op een bepaalde kant als winnaar uit de bus te laten komen. Als de wetenschap dit niet mag en kan doen, wat blijft er dan over voor de sociale wetenschappen om te onderzoeken?

Ten eerste is het van belang dat een wetenschapper zich ervan bewust is dat als er sociaal wetenschappelijk onderzoek verricht wordt er bepaalde implicaties voor verschillende partijen aan verbonden zijn. Een wetenschapper moet zich ervan bewust zijn dat een vraag over sociale kwesties nooit neutraal is. De wetenschapper zelf is ook een mens wat ook getekend is door de waarden die gelden binnen en samenleving en kan zich hiervan dan ook nooit echt losmaken, maar hij kan van dit feit wel bewust zijn. Observaties over waarden worden vaak niet tegen gesproken, maar die interpretaties erover juist wel.

  1. Betwistbaarheid binnen sociale en natuurwetenschappen

De uitkomsten van sociaal wetenschappelijk onderzoek worden door vele vaker gezien als betwistbaar of aanvechtbaar dan die van de natuurwetenschappen. Maatschappelijk gezien is er een groter draagvlak en acceptatie van natuurwetenschappelijke conclusies dan die van sociaal wetenschappelijk onderzoek.

Er zijn vele verschillen op te noemen over de manier waarop er onderzoek gedaan wordt binnen de sociale en de natuurwetenschappen. Het eerste grote verschil is het feit dat sociaal wetenschappelijk onderzoek niet in een laboratorium plaatsvindt. Er zijn verder twee kenmerken van sociale wetenschappelijk onderzoek die ruimte openlaten voor veel discussie over de onderzoeksresultaten:

  1. Veel van de gebruikte observatie methoden zien er erg gewoon en simpel uit. Er wordt geen gebruik gemaakt van wetenschappelijk uitziend materiaal zoals microscopen en reageerbuisjes maar gebruiken sociale wetenschappers hun eigen oren en ogen.  Dit wil niet zeggen dat er geen zeer strenge regels aan deze persoonlijke observatie methoden verbonden zijn maar wel dat deze zeer verschillend van aard is dan die van de natuurwetenschappen.
  2. De observaties over sociale kwesties worden vaak als zeer persoonlijk opgevat door sommigen, waardoor mensen schichtig zijn in het aannemen van de conclusies uit sociaal wetenschappelijk onderzoek. Voor men is het moeilijk om van een onderzoeker aan te nemen dat hij alle ‘feiten’ heeft onderzocht als deze lijnrecht staan op de waarden en overtuigingen van anderen.

Sociaal wetenschappelijk onderzoek kan nooit helemaal, of helemaal niet waardevrij zijn omdat het een onderzoek is naar de relaties tussen mensen in plaats van tussen twee objecten. De auteur van het boek wil duidelijk maken dat hij met het voorgaande niet wil stellen dat natuurwetenschappen ‘echte’ wetenschap is, en sociale wetenschappen niet. Hij wil eerder de aandacht vestigen op enkele kenmerken van sociaal wetenschappelijk onderzoek wat deze met name zo uitdagend maakt.

  1. Toevallige Observatie

 

Toevallige observatie is een vrije vertaling van de term ‘casual observations’ die in dit boek gehanteerd wordt. Met ‘casual’ wordt hier bedoeld: toevallig of zonder plan. In de breedste zin van het woord is de studie naar sociaal gedrag het onderzoeken hoe mensen zich met  en ten opzichte van anderen gedragen. Zo zou je kunnen zeggen dat iedereen een socioloog is. Iedereen heeft namelijk bepaalde verwachtingen en veronderstellingen bij een bepaalde gebeurtenis ongeacht wat ons echte beroep is. De gehele dag stellen wij ons de vraag waarom er op een bepaalde manier gehandeld wordt door anderen. We hebben allemaal bepaalde verwachtingen en ingevingen die deze vragen beantwoorden waardoor wij denken te weten hoe mensen zich in bepaalde situaties gaan gedragen. Dit hoeft natuurlijk niet te betekenen dat al onze veronderstellingen en verwachtingen uiteindelijk goed zijn of kloppen.

Casual observation kent twee kenmerken, ten eerste we hebben ingevingen en stellen hypotheses over andermans gedrag, en ten tweede gaan wij vervolgens onderzoeken of deze ingevingen en hypotheses kloppen. We zijn zowel gemotiveerd om het gedrag van anderen te voorspellen als deze te onderzoeken of deze voorspellingen uitkomen. De twee taken karakteriseren ook de wetenschappelijke onderzoeken naar sociaal gedrag, ongeacht of deze onderzoeken gedaan worden door een psycholoog, socioloog, politicoloog, leraren etc. Allemaal delen zij het ultieme doel om theorieën over menselijk gedrag te construeren en om dan weer deze theorieën kritisch te onderzoeken om zo de correctheid van deze te verbeteren.

Naïeve Hypotheses en theorieën over sociaal gedrag

Veel clichés over menselijk sociaal gedrag zijn naïeve hypotheses. Deze bevatten constructen. Een construct is een abstract begrip dat wij als observant willen meten. Bijvoorbeeld liefde, intelligentie, agressie, zelfvertrouwen en succes zijn allemaal constructen. Ook al zijn deze allemaal echt en hebben ze een grote impact op ons dagelijks leven en ons gedrag ze bestaan niet als visuele objecten, anders gezegd, we kunnen ze niet vastpakken. Vandaar dat wij deze constructen enkel op onvolmaakte wijze kunnen meten via een operationele definitie. Hiermee wordt bedoeld: de verzameling procedures die worden gebruikt om een construct te meten of manipuleren. Een voorbeeld: een operationele definitie van iemands intelligentie is een persoon’ zijn IQ score.

Een sociaal wetenschappelijke hypothese is een falsifieerbaar statement die gaat over de relatie tussen één of meerdere constructen die te maken hebben met menselijk gedrag. De associaties/relaties tussen hypothesen kunnen causaal zijn maar hoeft niet. Bij causale associaties binnen een hypothese kunnen sommige constructen geïdentificeerd worden als oorzaken en andere als bijkomende effecten.

Over het algemeen gesproken kunnen hypothesen verschillen op bepaalde punten. Dit kan zijn in: complexiteit, de manier waarop zij in verband staan met andere hypothesen, wanneer welke condities geldig zijn ( wanneer er door een hypothese gesteld wordt dat construct A resulteert in construct B enkel onder conditie C spreekt men van een interactie tussen A en C in het produceren van construct B) , en het vertrouwen wat gesteld wordt in de hypothese (aan de uiteindelijke conclusie de wordt geformuleerd op een hypothese en in hoeverre wij die geloven).

Bronnen die Naïeve Hypotheses steunen

Er zijn op zijn minst vijf ondersteuningsbronnen die vaak gebruikt worden om naïeve hypotheses en theorieën te ontwikkelen of de modificeren. Elke bron heeft sowieso één zwakte waardoor de betrouwbaarheid van een hypothese  of theorie in het geding komt.

  1. Logische analyse

Als we een hypothese afleiden dan testen we de juistheid hiervan door deze te onderzoeken aan de hand van andere hypothesen die wij hebben onderzocht en of deze logisch gezien consistent zijn met elkaar. Logische analyse behelst het gebruik van syllogismen.  (Een bekend voorbeeld van een syllogisme is de volgende redenering: 1) Alle mensen zijn sterfelijk, 2) Ik ben een mens, Conclusie) Ik ben sterfelijk. De conclusie vloeit noodzakelijkerwijs voort uit stellingen 1 en 2. In het boek gebruikten ze het volgende syllogisme: 1 Je bent werkeloos, 2: dit leidt tot depressie 3: depressie leidt tot een scheiding. Hierdoor kun je zeggen dat het logisch is dat hogere werkeloosheid garant staat voor meer echtscheidingen.).

Logische analysen blijken helaas vaak toch incorrect te zijn, zij kunnen beïnvloed zijn niet alleen door logica maar ook door onze wensen en verlangens.

  1. Autoriteit

Het is van groot belang om stil te staan bij de gedachte of experts wel over de juiste expertises beschikken en of zij wel onafhankelijk genoeg zijn. Als we experts gebruiken om te bepalen of een hypothese wel of niet efficiënt zijn is het van groot belang om na te gaan of zij wel over de juiste capaciteiten beschikken in het juiste wetenschappelijke veld om hierover iets zinnigs te kunnen zeggen. We vertrouwen vaak met teveel gemak op de opvattingen van een expert zonder echt kritisch na te gaan of deze autoriteit wel erkend wordt. Daarnaast zijn we geneigd om onze eigen overtuigingen en waarden te gebruiken om te definiëren wie of wat wij een expert vinden. Een laatste probleem met het vertrouwen op autoriteiten is dat zij  hun eigen belangen nasteven. Net als bij logische analyse kan autoriteit leidden tot vooringenomen of eenzijdige conclusies.

  1. Consensus

In plaats van alleen maar af te gaan op de kennis van autoriteiten, kunnen we ook de juistheid (consensus)van onze naïeve hypotheses testen door bij onze vriendenkring of kennissen te informeren hoe zij in soortgelijke situaties gehandeld hebben. We beslissen wat wij goede of foute hypotheses of overtuigingen vinden door wat onze vrienden hiervan vinden en of zij het met ons eens zijn. Deze ondersteuningsbron is echter niet heel anders dan die van autoriteit. Vandaar dat consensus ook leidt aan dezelfde zwaktepunten.

  1. Observatie

Om te bepalen of onze naïeve hypotheses juist zijn vergelijkingen wij deze met de gedragingen van onszelf of die van andere door  gebruikt te maken van observatie. Er zitten echter een paar belangrijke problemen aan deze ondersteuningsbron:

  1. Een bepaald construct (liefde, haat etc) betekend voor iedereen weer iets anders en heeft daarom bijna altijd meerdere betekenissen.
  2. Het is zeer moeilijk en ingewikkeld om te kunnen zeggen wanneer construct A een logische oorzaak is op construct B. 
  3. Een groep die wij observeren kan een zeer selectieve groep zijn waardoor het geen goede representatie is van de realiteit. Hierdoor kan een bepaalde hypothese voor een bepaalde groep als zeer juist  uit de bus komen terwijl dit helemaal niet zo is omdat er naar een te selectieve groep is gekeken.
  4.  We zouden net als bij autoriteit, observaties beoordelen als wel of niet relevant afhankelijk van onze vooroordelen. Observaties die in het verleden gedaan zijn en die al voor waar worden aangenomen kunnen makkelijker geobserveerd worden dan andere.

 

Het hele proces van data via observatie vergaren kan dus vooringenomen en bevooroordeeld zijn. We kunnen bepaalde observaties als relevant bestempelen om onze eigen hypothese meer kracht bij te zetten.

  1. Ervaring uit het verleden

In de meeste gevallen zoeken we naar steun voor een hypothese door terug te grijpen naar onze ervaring uit het verleden. Hierbij geld ook weer, onze opgeslagen herinneringen kunnen door de tijd heen weer vervormd zijn. Ons geheugen is niet iets wat de opgeslagen kennis enkel daar stalt om daar als een stilstaand iets te blijven liggen totdat wij deze weer aandoen. Hierdoor is de ervaring uit  het verleden ook onderhevig aan allerlei mankementen en bij het gebruik hiervan moeten we oplettend zijn. 

1.4.Op weg naar een wetenschap over sociaal gedrag

De sociale wetenschappen verschillen op twee manieren van de ‘casual observation ookal is voor beide het gemeenschappelijke doel om uiteindelijk geldige verklaringen te geven over menselijk gedrag. Ten eerste baseren sociologen of sociaal wetenschappers zich op de resultaten die behaald worden uit systematisch empirische observaties om zo vertrouwen op te bouwen voor de gestelde hypothese. Ten tweede zijn de wetenschappers zich ervan bewust dat alle ondersteuningsbronnen die zij als ‘gereedschap gebruiken bij het doen van onderzoek veel vooronderstellingen, vooringenomenheid en vertekeningen behelzen (biases). Hierdoor zijn zij ervan bewust dat als zij een verklaring geven van een bepaalde gedraging zij ook rekening moeten houden met alle zwakke kanten van deze conclusie en proberen zij op allerlei manieren om deze ‘biases’ uit het onderzoek te filteren om deze te minimaliseren.

Wetenschappers zijn altijd sceptisch, ook over hun eigen onderzoeken. Een goede wetenschapper zal nooit een hypothese als 100% ‘waar’ accepteren. Het grootste belang is dat zij zoveel mogelijk empirisch verkregen data verzamelen die consistent zijn met de gestelde hypothese, maar uiteindelijk weet elke sociaal wetenschapper dat een hypothese nooit geheel bewezen kan worden.

Hoofdstuk 2 Het evalueren van sociaal wetenschappelijke theorieën & onderzoek

Dit hoofdstuk heeft twee doelen, ten eerste wordt er onderzocht wat de aard en de motivering is voor een wetenschappelijke studie naar sociaal gedrag. Ten tweede zal er gediscussieerd worden wat de verschillende criteria zijn waar een sociaal wetenschappelijk onderzoek aan moet voldoen om kwalitatief goed  te zijn. Deze criteria zijn dus als het ware de bouwblokken voor een goed onderzoek.

2.1 Het doel van sociaal wetenschappelijk onderzoek

De aard van sociaal wetenschappelijke theorieën

In hoofdstuk 1 is een theorie gedefinieerd als een set van inter-gerelateerde hypothesen die gebruikt worden om een sociaal fenomeen te verklaren en om zo voorspellingen te doen over de relatie tussen verschillende constructen die relevant zijn voor het fenomeen.

Een theorie heeft drie kenmerken:

  1. Een theorie bevat verschillende constructen die van toepassing zijn op de desbetreffende theorie.
  2. De relaties tussen de constructen vormen de kern van het onderzoek, zij zijn de spil waarom de rest heen draait. Deze relaties worden beschreven en zo verder uitgediept.
  3. Er wordt als laatste duidelijk gemaakt hoe de constructen zo geoperationaliseerd zijn dat deze volgens de wetenschapper meetbaar zijn geworden ( bijv. IQ score voor meten van het construct intelligentie) Er worden dus observeerbare variabelen gevormd zodat de constructen gemeten kunnen worden.

Een theorie is opgebouwd uit verschillende hypothesen die op hun beurt weer zijn opgebouwd uit stellingen over relaties tussen constructen en de relaties tussen de constructen en observeerbare indicatoren.  De observeerbare indicatoren worden ook wel variabelen genoemd. Een variabel is een attribuut die de waarden van mensen of de dingen die bestudeerd worden verandert. Haarkleur, IQ score, lengte, gender, bloeddruk enzovoort  zijn allemaal variabelen, en de variabelen worden gebruikt om constructen te representeren die worden geadresseerd in een theorie.

Elke theorie komt voort uit hypotheses, Waarvan er twee verschillende vormen bestaan:

  1. Hypothesen die gaan over veronderstelde relaties tussen constructen
  2. Hypothesen die gaan over veronderstelde relaties tussen constructen en hun observeerbare variabelen.

De eerste neemt (als wij deze schematisch weergeven) vaak de volgende vorm aan:

  1. Construct A veroorzaakt construct B voor de populatie van X onder de conditie van Y

De tweede neemt de volgende vorm aan

  1. Gedraging X of reactie Y is een valide variabel of indicator van construct A

Wat maakt een theorie productief?

Sommige theorieën binnen sociaalwetenschappelijk onderzoek zijn extreem productief, terwijl sommige het laten afweten. Wat zijn de criteria voor een productieve theorie?

  1. Als deze falsificeerbaar is (hiermee wordt bedoeld dat er een aantal bevindingen kunnen worden opnoemt die in tegenspraak zijn met de theorie).
  2. formuleert hypothesen zo specifiek mogelijk.
  3.  is zo spaarzaam mogelijk.
  4. gaat over een belangrijk sociaal fenomeen.
  5.  is intern consistent (de hypothesen spreken elkaar niet tegen).
  6.  is coherent en begrijpelijk.
  7.  specificeert de belangrijke begrippen en geeft aan hoe deze kunnen worden gemeten.

       -    komt overeen met datgene wat er al over het onderwerp bekend is.

       -    verklaart de verworven date beter dan al bestaande theorieën dit doen.

-      genereert nieuwe inzichten en/of nieuw onderzoek over het onderwerp.

 

Zie voor meer informatie over deze criteria of deze lijst p.26 t/m 28 en tabel 2.1

 

De functies van onderzoek binnen de constructie van theorieën

 

In het algemeen is doel van een onderzoek om de hypothesen die gesteld worden binnen een theorie te toetsen. De relaties tussen de constructen die binnen deze hypothesen worden gesteld worden dus nader onderzocht. Om deze relaties te onderzoeken maken we gebruik van variabelen(observeerbare indicatoren waardoor wij de abstracte niet observeerbare constructen wel kunnen meten). In het onderzoeksproces maken we vooronderstellingen of vooroordelen over hoe de constructen gemeten kunnen worden.

Onderzoek die ervoor ontwikkeld is om uit te zoeken of een construct wel op een goede manier volgens de goede variabelen wordt onderzocht wordt ‘measurement research’ genoemd (ook wel psychometrisch of sociometrisch onderzoek genoemd). Zulk onderzoek is van vitaal belang voor het succes van onderzoek wat gaat over een hypothese tussen causale relaties tussen constructen. Alleen als we succesvol constructen kunnen manipuleren, observeren, of meten kan er empirisch onderzoek gedaan worden naar hypotheses over causale associaties.

Het doel van empirisch onderzoek is om hypotheses goed te kunnen onderbouwen. Er zijn vier verschillende functies of doelen van empirisch onderzoek: Ontdekking, Demonstratie, Weerlegging en Replicatie.

2.2 Criteria voor het evalueren van sociaal wetenschappelijk onderzoek

Er worden in deze paragraaf drie criteria uiteengezet die ons kunnen helpen bij het evalueren van sociaal wetenschappelijk onderzoek.

Constructvaliditeit

Om te determineren of een hypothese goed of slecht is of gemodificeerd dient te worden, moet er eerst metingen gedaan worden naar de desbetreffende constructen.  De constructen moeten op zo’n manier geoperationaliseerd worden dat deze meetbaar zijn aan de hand van aan de ene kant onafhankelijke variabelen ( dit is de variabel die het causale construct meet)  en afhankelijke variabelen ( dit is de variabel die de ‘affected construct ‘beoordeeld of evalueert) . Als deze variabelen het construct op een goede en relevante manier weergeven wordt de constructvaliditeit steeds hoger. Constructvaliditeit is de mate waarin zowel de onafhankelijke en afhankelijke variabelen op een accurate manier de constructen reflecteren of meetbaar maken. 

Interne validiteit

Als er over Interne validiteit wordt gesproken heeft men het over de mate waarin er conclusies over de causale effecten tussen die de ene variabel heeft op de ander kunnen worden gegeven. In onderzoek waarin de interne validiteit hoog is, kunnen we relatief gesproken beter beargumenteren dat bepaalde associaties of relaties tussen constructen causaal zijn. Logisch is dat het bij onderzoek waar de interne validiteit laag is, de causaliteit minder tot niet aantoonbaar is. Het is dus belangrijk om de interne validiteit binnen je onderzoek zoveel mogelijk te maximaliseren.

Externe validiteit

Het laatste criterium is de externe validiteit. Hiermee wordt bedoeld tot welke mate de resultaten van een onderzoek gegeneraliseerd kunnen worden. Hiermee wordt bedoeld dat als een onderzoek geconstateerd dat er een bepaalde conclusie voortvloeit uit een onderzoek, en zowel de interne als externe validiteit hoog is er de onderzoeker(s) vervolgens  willen weten of de gestelde causaliteit die zij hebben onderzocht op een klein niveau (bijvoorbeeld een paar scholen) ook geld voor een grootschaliger niveau (scholen door het hele land die niet geobserveerd zijn binnen het onderzoek). Het is duidelijk dat het onbegonnen werk is om (als we het voorbeeld van de scholen volgen) om alle scholen te observeren. Wat wel gedaan kan worden is dat er steekproefsgewijs een aantal andere scholen op andere locaties worden geobserveerd volgens de exacte stappen van het voorgaande onderzoek zodat er met meer zekerheid gegeneraliseerd kan worden. Zo’n studie heeft over het algemeen een hoge externe validiteit.

Ook al zijn al deze drie criteria zeer belangrijk voor het evalueren van een onderzoek, verschilt het per onderzoek welk criterium het belangrijkst is voor dat onderzoek. Dit kan te maken hebben bij de aard en welk doel het onderzoek nastreeft.

2.3 Maximaliseren van de constructvaliditeit

Als we de constructvaliditeit willen maximaliseren moeten we er ons eerst van bewust zijn dat als we met variabelen aan de slag gaan, deze nooit enkel en alleen het construct meet wat we willen bestuderen (relevante construct), maar ook allerlei andere dingen. Een variabel bestaat kort gezegd uit drie elementen, ten eerste bevat het delen van het relevante construct, ten tweede bevat het delen van niet relevante constructen (‘constructs of desinterest’) en als laatste toevalsfouten. We kunnen de geobserveerde gedragingen van mensen dus niet goed genoeg indelen in hokjes d.m.v. de variabelen. Dit betekend dat we om de constructvaliditeit zo hoog mogelijk te houden ook andere variabelen moeten meten waarvan wij ook denken dat deze het relevante construct ook beoordeelt. Als er twee variabelen zijn waarvan wij denken dat ze hetzelfde construct meten, en ons vergelijkbare ordeningen van mensen geeft, hebben we de zekerheid verhoogt dat deze twee variabelen naast andere dingen ook het relevante construct meet. Een ander belangrijk maximaliseer middel voor constructvaliditeit is dat elk construct op meerdere manieren wordt gemeten. Alleen als de verschillende metingen van hetzelfde construct gelijkende resultaten oplevert kunnen we er zeker van zijn dat de variabelen hun werk doen. Dit op verschillende manieren meten wordt ook wel het toepassen van  ‘multiple operational definitions’ genoemd.

2.4 Maximaliseren van de interne validiteit

Het verschil tussen de onderzoeksontwerp heeft gevolgen voor de interne validiteit van een onderzoek. Een simpele empirische associatie of correlatie tussen twee variabelen is niet genoeg om te stellen dat de een de ander veroorzaakt. Om causaliteit de beargumenteren moet er een associatie of relatie bestaan tussen de twee variabelen, maar alleen een relatie is niet genoeg. Als men dit wel doet, wordt dit ook wel een ‘Correlational fallacy’ genoemd. Correlatie impliceert geen causaliteit! 

Wanneer er twee variabelen een associatie met elkaar hebben, zijn er vier mogelijke verklaringen waarom zij een associatie met elkaar hebben

  1. Variabel X kan variabel Y veroorzaken
  2. Variabel Y kan variabel X veroorzaken
  3.  Variabel X en Y kunnen elkaar veroorzaken
  4. Een derde Variabel Z kan zowel X als Y veroorzaken.  ( deze wordt ook wel de verborgen derde variabel genoemd, verborgen omdat onderzoekers allen X en Y hebben bestudeerd maar niet Z.  Bij de laatste kan het voorkomen dat er een wederzijdse of wederkerige causaliteit bestaat (reciprocal causation)

Er zijn een aantal gevaren die op de loer liggen die een gevaar vormen voor de interne validiteit. Ten eerste ‘selectieve placement’ of ‘selection threat’ (selectieve plaatsing van participanten). Ten tweede de ‘selection by maturation threat’ (rijpingverschillen,sommige mensen groeien of worden ouder op een andere soms snellere manier dan andere).

De ‘moraal van het verhaal’ is dat we enkel met zekerheid kunnen spreken over causaliteit uit de relatie tussen twee variabelen als mensen at random worden toegewezen binnen de verschillende niveaus van de onafhankelijke variabelen. Dit soort onderzoeken wordt gerandomiseerde onderzoeken genoemd.

Hoewel deze onderzoeken het best zijn als men causaliteit wil aantonen, betekend dit wel dat de onderzoeker een zeer hoge mate van controle moet kunnen uitoefenen. Als het niet mogelijk is om zulke controle te hebben wordt vaak het quasi-gerandomiseerd onderzoeks model gebruikt.

2.5 Maximaliseren van de externe validiteit

Om de externe validiteit de maximaliseren is het belangrijk om aan random steekproven of kanssteekproef te doen. Hiermee wordt bedoeld dat als een onderzoek geconstateerd dat er een bepaalde conclusie voortvloeit uit een onderzoek, en zowel de interne als externe validiteit hoog is er de onderzoeker(s) vervolgens  willen weten of de gestelde causaliteit die zij hebben onderzocht op een klein niveau ook geld voor een grootschaliger niveau . Het is duidelijk dat het onbegonnen werk is om alles te observeren wat binnen een bepaalde categorie valt. Wat wel gedaan kan worden is dat er steekproefsgewijs een aantal andere van dezelfde categorie te observeren volgens de exacte stappen van het voorgaande onderzoek zodat er met meer zekerheid gegeneraliseerd kan worden. Zo’n studie heeft over het algemeen een hoge externe validiteit.

Hoofdstuk 3 Ethische principes 

In dit hoofdstuk wordt er nader ingegaan op ethische principes en de discussie hierover binnen sociaal wetenschappelijk onderzoek. Het hoofdstuk begint met de vraag hoever men mag gaan met mensen in de naam van de wetenschap.

3.1 Het ‘Tuskegee Syphilis’ onderzoek

In 1932 begon er een langdurige studie door de U.S. Public Health Service om na te gaan wat het natuurlijk beloop was van syfilis als deze niet werd behandeld met medicatie. 400 geïnfecteerde mannen werden vergeleken met 200 mannen die geen syfilis hadden. De 400 zieke mannen werd verteld dat zij een gratis behandeling zouden krijgen, wat hen echter niet verteld werd is dat deze behandeling geen enkel effect zou  hebben op de syfilis. Toen de samenleving in 1972 grote bezwaar hadden werd het onderzoek gestaakt. Toen bleek dat van de 400 er nog maar 74. Van de 353 die waren overleden was duidelijk dat er vele waren dood gegaan door de directe complicaties van syfilis terwijl men wist dat penicilline erg goed behandelbaar is.

Waarom ontstond de discussie omtrent ethiek ?

Door dit onderzoek rees de vraag hoever men in de naam van wetenschap mocht gaan met het gebruiken van proefpersonen. In 1974 werd het “Institutional Review Boards (IRB) in de VS opgericht. Dit betekende dat als een onderzoek met geld van de overheid bekostigt moest worden, dat deze eerst door het comité moest worden goedgekeurd.  Vragen rezen zoals de vraag of het is toegestaan om foutieve feedback te geven aan participanten. Er zitten aan ethisch onverantwoorde onderzoeken een paar zeer grote risico’s. Ten eerste zullen de participanten terecht zeer kwaad zijn wanneer zij kennis nemen van de deceptie en ten tweede zullen er participanten zijn die ondanks de deceptie toch geloven wat hun verteld is over zichzelf ( bijvoorbeeld dat iemand over zichzelf zegt dat hij of zij altijd al bang was dat hij of zij depressieve neigingen had). In sommige onderzoeken werden mensen niet eens verteld dat zij participant waren zoals de befaamde ‘tearoom study’ (Humphreys, 1970).

 

3.2 Het ‘Belmont’ report

In de jaren zeventig werd er een commissie gevormd als een directe consequentie op de negatieve publiciteit die onderzoeken zoals die van het Tuskegee onderzoek genereerden. Er werd gesteld dat er wel degelijk een formele set regels en regulaties omtrent onderzoek moest worden opgesteld. De opgestelde commissie moest hier voor gaan zorgen en uiteindelijk resulteerde dit in het Belmont Report. Dit report heeft drie overkoepelende ethische regels opgesteld:  respect voor personen, welzijn bevorderend ('beneficence'), en rechtvaardigheid.

Respect voor personen

Respect voor personen betekend dat iedereen die participeert in een onderzoek moet dit vrijwillig doen en moet hiernaast volledig geïnformeerd zijn over de aard van het wetenschap. Onderzoekers moeten dan ook om de toestemming vragen van de participanten nadat deze over de aard van het onderzoek volledig zijn geïnformeerd. Deze toestemming wordt ook wel ‘informed consent’ genoemd.

Bevorderend van de welzijn

Dit betekend dat een onderzoek op geen enkele manier schadelijk mag zijn voor de participanten. Dit vergt een zorgvuldig risico-voordeel analyse voor het voorgestelde onderzoek.

Rechtvaardigheid

Met rechtvaardigheid wordt bedoeld dat onderzoekers niet mogen profiteren van overbelaste bevolkingsgroepen in het werven van participanten. Verder moeten de participanten er duidelijk van op de hoogte zijn dat er een mogelijkheid is dat zij in de controle groep terecht komen en geen behandeling krijgen maar placebo krijgen. Dit betekend dat de participant exact dezelfde behandeling krijgt maar dat deze medisch gezien passief is (bijvoorbeeld pillen die geen enkele medicatie bevatten maar er wel exact hetzelfde uitzien als de variant die wel medicatie in zich heeft).

3.3. De focus op ethische zaken binnen experimenteel onderzoek: Deceptie                 

Wanneer er een experimenteel onderzoek gedaan wordt is deceptie van speciaal ethisch belang. Soms is deceptie noodzakelijk maar het blijft altijd wel problematisch. Dit is zo omdat de participant per definitie niet volledig geïnformeerd is omdat er sprake is van deceptie. Er zijn een aantal oplossingen waarvan de meest praktische is dat er achteraf toestemming wordt gevraagd na een full on nabespreking. Een onderzoeker mag dan pas gebruik maken van de data.

3.4. De focus op ethische zaken binnen quasi-experimenteel onderzoek: Betrouwbaarheid en Anonimiteit

Betrouwbaarheid en anonimiteit zijn binnen het doen van enquêteonderzoek van zeer groot belang. Onderzoekers moeten toegewijd zijn om er zoveel mogelijk voor te zorgen dat hun onderzoek zowel betrouwbaar als anoniem is. De data moet strikt confidentieel blijven en anonimiteit moet niet belooft worden als dit niet voor 100% gegarandeerd kan worden.

3.5 De focus op ethische zaken binnen non-experimenteel onderzoek: Participerende observatie

Als een onderzoeker aan participerende observatie doet, dan betekend dit dat de onderzoeker deelneemt in of aan de groep. Deze observeert hij dan nauwkeurig en houdt gedetailleerde aantekeningen bij. Het is vaak zo dat de groep verder niet op de hoogte is van het feit dat zij geobserveerd worden. Het is wel een dadel dat vertrouwelijkheid en anonimiteit van de groep niet altijd gegarandeerd kunnen worden.

3.6 De ethiek van ‘Not Doing a Study’

Het verkrijgen van goedkeuring van het IRB voor een onderzoek is een tijdrovend proces wat inhoud dat de onderzoeker(s) een zorgvuldig risico-voordeel analyse over de methodologie van het voorgestelde onderzoek moet worden ingeleverd bij het IRB. Deze commissie buigt zich hier dan over en maakt zijn eigen risico-voordeel analyse, hierin maken zij de balans op of de risico’s die aan het onderzoek vastzitten groter of minder zijn dan de voordelen die behaald kunnen worden als het onderzoek gedaan is. Tenslotte moet er niet alleen rekening gehouden worden met de kosten en de risico’s die verbonden zijn aan het onderzoek maar ook wat de potentiële sociale kosten zijn als het onderzoek niet wordt uitgevoerd.

Hoofdstuk 4 Grondbeginselen van het doen van metingen

Welk onderzoek er ook gedaan wordt, het is altijd van groot belang dat we in staat zijn om de concepten die wij bestuderen te kunnen meten. Het is moeilijk om instrumenten te ontwikkelen vanwege de abstractie van het sociale leven. Het sociale leven is namelijk alles behalve een stilstaand fenomeen, daarom kunnen we nooit helemaal zeker zijn dat wat we meten datgene is wat we willen weten als we een sociaal fenomeen bestuderen. Een sociale wetenschapper  die probeert om de vorm en grote van een abstract concept te vatten is als een naaister die probeert om een onzichtbaar en ongrijpbaar kledingstuk probeert te meten.

4.1 van abstracte begrippen naar concrete representaties

Zoals we al eerder hebben gelezen worden de abstracte begrippen constructen genoemd de concrete representaties worden de variabelen genoemd en de procedures voor het doen van metingen worden operationele definities genoemd.

 Constructen

In theorieën worden de abstracte begrippen nader onderzocht en worden constructen genoemd. Het zijn rijke theoretische concepten die wetenschap interessant maken. Termen zoals sociale status, macht, intelligentie, gender zijn allemaal constructen. We kunnen ze niet letterlijk zijn en aanraken dus moeten we concrete representaties zoeken om die het abstracte concept zover mogelijk benaderen.

Variabelen

De variabelen zijn de representaties van constructen. Enkel één variabel kan niet garant staan voor één construct omdat een construct bestaat uit vele variabelen. Daarom zijn variabelen feilbare gedeeltes van constructen en we werken met ze omdat ze meetbaar zijn.

Operationele definities

Een operationele definitie specificeert hoe we een variabel moeten meten zodat wij bijvoorbeeld  hieraan kunnen ontlenen welke score een participant heeft behaald en of een variabel op een goede  manier het construct benaderd en kan meten.

4.2 Operationele definities zijn altijd noodzakelijk maar zelden toereikend genoeg

De titel van deze paragraaf geeft al veel weg, een operationele definitie kan nooit helemaal adequaat zijn en alle aspecten van een bepaald construct bevatten. Het is van belang dat een operationele definitie zo objectief mogelijk is zodat deze ook door andere onderzoekers kan worden gebruikt.

 ‘Definitorische Operationalisme’

Een altijd aanwezig gevaar is ‘definitional operationism’. Dit is de aanname dat de operationele definitie het construct is. (bijvoorbeeld dat intelligentie is wat een intelligentie test meet). Één enkele operationele definitie is niet genoeg om een volwaardige meting te doen over een construct. Alle andere relevante kenmerken van het construct worden dan niet aangedaan. Om dit te voorkomen is het van belang dat er gebruik wordt gemaakt van meerdere operationele definities zodat het begrip of construct niet zeer wordt ingeperkt.

4.3 Meten veronderstelt een helder gedefinieerd begrip

Er is geconstateerd dat het construct het beginpunt is voor alle metingen. We herdefiniëren het construct als wij deze proberen te vatten operationele definities. Er is beargumenteerd dat deze aanpak altijd faalt  omdat de concrete metingen nooit de volledige rijkdom van een abstract concept kan vatten.  De aanpak waar voor wordt gepleit is om constructen te benoemen in abstracte, theoretische termen die op hun beurt weer aan elkaar relateren. Dit wordt ook wel een nomologisch netwerk genoemd. Dit netwerk vormt dan de basis van de keuzes om operationele definitie vorm te geven.

4.4. Componenten van een geobserveerde score

Moderne benaderingen voor het doen van metingen beginnen altijd met  de fundamentele aanname dat alle scores bij een meting altijd componenten bevat in aanvulling op het relevante construct.

Dit is gevat in de volgende vergelijking:

  1. Geobserveerde score = de ware score + systematische error + random error

De ware score is een functie van het construct dat we proberen te meten. De systematische error reflecteert de invloeden van andere constructen naast het relevante construct en de rondom error weerspiegelt de onsystematische, toevallige invloeden op de gemeten score. 

4.5 Betrouwbaarheid

De betrouwbaarheid van een meting wordt gedefinieerd als de : mate waarin de meting vrij is van random error of toevalligheden. Op zijn beurt is validiteit de mate waarin een meting alleen het relevante construct weerspiegelt zonder de besmetting van andere constructen. Validiteit heeft betrouwbaarheid nodig als een randvoorwaarde. Een totaal onbetrouwbare score kan geen enkele validiteit hebben. Enkel als een meting zowel betrouwbaar als valide is kunnen we met vertrouwen de score gebruiken voor het onderzoek.

‘Test-retest’ Betrouwbaarheid

De correlatie tussen scores van dezelfde meting die verkregen zijn op twee verschillende tijdstippen( een test-retest correlatie) verstrekt ons met een schatting  over de mate van betrouwbaarheid van de meting. De twee tijdstippen moeten ver genoeg van elkaar afstaan dat de respondenten niet kunnen herinneren wat hun specifieke reacties of antwoorden waren, maar dicht genoeg op elkaar zijn dat het verschil in de echte score zo minimaal mogelijk is.  

Interne consistentie betrouwbaarheid

Test-retest kan nogal veel rompslomp veroorzaken voor de onderzoeker(s) omdat participanten twee keer moeten worden opgetrommeld om hetzelfde onderzoek nogmaals te doen. Een alternatief wordt het ‘interne consistentie betrouwbaarheid’ genoemd. Deze is niet onderhevig aan de nadelen van de test-retest en wordt daarom ook vaker gebruikt.

 

Wanneer er wordt aangenomen dat alle vragen in een test hetzelfde construct meten kunnen verschillen als de basis fungeren voor het schatten van de invloed van toevallige fouten. Er zijn een aantal manieren ontwikkeld om de betrouwbaarheid van de vragen in te schatten: de ‘split-half reliability’ en Cronbachs ‘Coefficitent Alpha’ ( dit is het gemiddelde van alle mogelijke betrouwbaarheden van de ‘split-half’ reliability.

Invloeden op de betrouwbaarheid

Er zijn enkele  invloeden die zo zijn weerslag kunnen hebben op de betrouwbaarheid

  1. De lengte van een test, hoe langer de test, hoe betrouwbaarder en zorgvuldiger die is.
  2. Heterogeniteit van de groep die getest is. Hoe hoger de heterogeniteit is des de betrouwbaarder zijn de uitkomsten.
  3. Standaardisering, gestandaardiseerde testen zijn vaker betrouwbaarder dan andere.

4.6 Validiteit

Ook al is een meting zeer betrouwbaar kan het zijn dat de validiteit een stuk lager ligt omdat deze het foute construct meer. Voorbeeld, als je met de Engels-talige IQ test het IQ van Franse studenten gaat meten. De meeste metingen in de sociale wetenschappen ondervinden echter niet zulke grote fouten maar alle metingen hebben tot een bepaalde hoogte wel last van dit probleem. Het is onvermijdelijk dat operationele definities delen van constructen bevatten die er niet horen en delen uitsluiten die wel van toepassing zijn op het onderzoek. Omdat het onderliggende construct niet direct kan worden aangedaan maar alleen indirect kan worden gemeten door middel van operationele definities kunnen we nooit geheel met zekerheid zeggen welke delen van een construct we wel en niet meten. Het principe van metingen is weergegeven in tabel 4.3 op p.86. Belangrijk is om op te merken dat bepaalde delen van een onderliggend construct beter aan de oppervlakte komen door het gebruik van meerdere operationele definities.

Het schatten van betrouwbaarheid was gebaseerd op het idee van het vergelijken van scores van metingen. Bijvoorbeeld, als men verwacht van twee metingen dat zij dezelfde karakteristiek meten maar verschillende systematische fouten bevatten, dan is de mate waarin zij correlatie vertonen een goede indicatie tot welke hoogte zij hetzelfde construct meten.

 ‘Face Validity”

Face-validity wordt door een groep beoordelaars geëvalueerd, soms door experts, die een meet techniek doornemen en kijken of deze naar hun mening wel degelijk meet wat er gemeten moet worden. Het evalueren van face-validity is een subjectief proces aangezien het bestaat uit de mening van beoordelaars. Echter we kunnen wel degelijk een validiteitscore geven door te kijken naar veel meningen en deze in een index te verwerken zoals kappa.

 ‘Convergent’ Validiteit’

Het is van groot belang dat een meettechniek over zowel ‘convergent’ als ‘discriminant’ validiteit beschikt. ‘Convergent’ validiteit refereert aan de overlap tussen verschillende metingen die ervoor ontwikkeld zijn om hetzelfde construct te meten. Deze metingen ook al meten zij hetzelfde construct hebben wel allemaal weer verschillende systematische fouten. ‘Convergent’ validiteit is een indicator dat de correlerende metingen daadwerkelijk het gemeenschappelijk relevante construct meet.

 ‘ Discriminant’ Validiteit 

Een goede meting moet een goede convergentie aantonen met andere metingen over hetzelfde construct. Maar het moet niet correleren met metingen waarvan wordt verondersteld dat zij een andere constructen meten. Deze zijn er juist voor ontwikkeld om systematische fouten ( het meten van constructen waarover het desbetreffende onderzoek niet gaat) eruit te filteren.

Validiteit en het nomologisch netwerk

Zowel ‘convergent’ en ‘discriminant’ validiteit kunnen samen gevoegd worden in hetzelfde gemeenschappelijke kader door  deze in een nomologisch netwerk te beschrijven. Validiteit kan worden aangetoond  wanneer de associaties die geobserveerd en gemeten kunnen worden aan de hand van een meting  overeen komen met het theoretisch veronderstelde nomologisch netwerk over het relevante construct

De multitrek-multimethod-matrix

Validiteit is gebaseerd op de beoordeling over hoeveel de methode van een meting in kwestie overeen komt met andere meettechnieken die over theoretisch gezien dezelfde constructen gaan. Om zowel de discriminant als de convergent validiteit te meten moet er een multitrek-multimethod  matrix worden opgesteld. (MTMM-matrix genoemd). Om zo’n matrix op te kunnen stellen moeten er minimaal twee constructen en twee methoden zijn die kunnen worden gecombineerd. Een voorbeeld van zo’n matrix kan gevonden worden in tabel 4.2. p.91

Het idee is dat hoe meer kenmerken twee metingen met elkaar gemeen hebben, des te hoger de correlatie. Metingen kunnen twee kenmerken met elkaar gemeen hebben, trekken (traits) en methoden. Trekken of karaktertrekken staan voor het onderliggende construct die door de meting gemeten zou moeten worden. Methoden zijn de meettechnieken.

De MTMM Matrix geeft de onderzoeker duidelijkheid in hoeverre de scores van metingen daadwerkelijk de kenmerken (of constructen) weerspiegelen. Door de kijken naar de correlatie in score tussen de trekken(traits en de methoden kan een onderzoeker veel leren validiteit van de meting.

Correlaties tussen scores die dezelfde karakteristieken/trekken en dezelfde methoden weerspiegelen zijn betrouwbare coëfficiënten. Correlaties in scores tussen dezelfde karakteristiek/trek maar gemeten door middel van verschillende methoden zijn convergente validiteit coëfficiënten. De MTMM matrix heeft nog twee andere correlatie coeffictienten  die de validiteit vast stellen, namelijk de ‘disciminant validity’ coefficient en de ‘nonsense coefficient.

 

Hoofdstuk 5 Verschillende wijze/methodes van metingen

Een belangrijke vraag voor onderzoekers die aan een sociaalwetenschappelijk onderzoek beginnen is hoe zij de variabelen gaan meten. Om metingen te verrichten zijn er verschillende vormen van meten. In dit hoofdstuk zullen verschillende vormen van meten die vaak worden gebruikt in onderzoek naar sociaal gedrag worden behandeld.

Het hoofdstuk in onderverdeeld in twee delen. Het eerste deel worden de voor en nadelen van verschillende meettechnieken behandeld, in het tweede deel worden technieken besproken die minder vaak gebruikt worden.

Hier een opsomming van alle technieken die voorbijkomen in dit hoofdstuk:

 

Deel I ( Bij deze technieken worden participanten direct door de onderzoeker ondervraagd)

  1. Schriftelijke vragenlijsten
  2. Interviews
  3. Telefonische interviews
  4. Vragenlijsten via het internet
  5. ‘Experience sampling’ (steekproeven)

Deel II ( Bij deze meettechnieken is er geen sprake van direct contact tussen de onderzoeker en participant)

  1. Collaterale rapporten
  2. Observatie
  3. Fysiologisch monitoren

 

5.1 Verschillende vormen van meettechnieken waarbij directe ondervraging plaatsvindt

Of we nou wel of geen sociaalwetenschapper zijn, wanneer we wat willen weten over een persoon zijn overtuigingen, attituden, gedragingen, gevoelens, percepties, motivaties, of plannen is het meest simpele om deze gewoon aan diegene te vragen. Een antwoord op directe vragen is de meest gebruikte methode om informatie te vergaren binnen de sociale wetenschappen. Als een wetenschapper er over uit is om een methode te kiezen die valt binnen de directe ondervraging van participanten moet hij daarna kiezen welke specifieke methode hij of zij gaat gebruiken.  Er kan worden gekozen uit vragenlijsten, interviews, telefoon interviews, vragenlijsten via internet en ‘experience sampling.

Vragenlijsten

Bijna iedereen in zijn leven heeft wel eens een vragenlijst ingevuld. Ze worden in het boek ook wel omschreven als het werkpaard voor de sociale wetenschappen omdat ze zoveel gebruikt worden. Er kleven zowel voor als nadelen aan het afnemen van vragenlijsten. De voordelen laten zien waarom het terecht is dat het zo’n wijdverspreide en veelgebruikte meetmethode is maar de nadelen laten ons ook zien dat alleen het afnemen van vragenlijsten niet voldoende is te stellen dat een onderwerp voldoende onderzocht is.

Voordelen

Hieronder een opsomming van voordelen:

- er zijn lage kosten verbonden aan het afnemen van vragenlijsten, dit wordt gezien als het primaire voordeel aan vragenlijsten

- geen interview bias (= de manier waarop de interviewer de vragen stelt,

Wat van invloed kan zijn op de antwoorden die de participant geeft die hierdoor ook wat meer tijd heeft om na te denken over zijn of haar antwoord.

- de participant heeft een groter gevoel van anonimiteit bij het invullen van vragenlijsten waardoor zij eerder geneigd zijn eerlijk te reageren op vragen die wellicht gevoelig kunnen liggen

 

Nadelen

Hieronder een opsomming van nadelen:

- ten eerste de ‘response-rate’ (antwoordpercentage). Dit is het percentage wat onderzoekers terugkrijgen aan ingevulde vragenlijsten door participanten. De onvolledig of niet ingevulde vragenlijsten worden ook wel non-respondenten genoemd. Het spreekt voorzicht dat hoe hoger de response-rate, des te betrouwbaarder is de meting. Als er minder dan 80 of 90% volledig ingevuld terugkomt dan is het niet zeker of er wel generalisatie kan plaatsvinden.

- De kwaliteit van de data kan nog wel eens schommelen. Deze wordt bepaald door de accuraatheid en compleetheid van de gegeven antwoorden. De motivatie van de participant is bij het afnemen van een vragenlijst bijna niet te controleren.

- Geen enkele controle kan worden uigeoefend over de volgorde waarin de vragen beantwoord worden door de participanten.

- Fysieke/lichamelijke problemen van participanten. Het kan zijn dat een respondent last heeft van zijn ogen en daardoor slecht kan zien en lezen. Het komt ook voor dat sommigen niet goed kunnen lezen waardoor ze de vragen niet goed begrijpen.

- Als het voorkomt dat het voor de participant niet duidelijk is wat er aan hun gevraagd word zij uit frustratie geen of een incompleet antwoord geven. Er is ook geen ruimte voor de onderzoeker(s) om eens rustig met elke participant te gaan zitten om alle vragen door te nemen om dit soort problemen te voorkomen.

Interviews

Een alternatief voor vragenlijsten zijn interviews. Deze vorm worden vaak ingeschakeld als het duidelijk is dat de kans dat participanten die aan het onderzoek deelnemen niet de motivatie kunnen opbrengen om de vragenlijst af te maken of dat zij voorzien dat er problemen kunnen opkomen bij het begrijpen van de vragen. Omdat het relatief duurder is, is dit misschien de reden dat interviews afnemen de minst gebruikte vorm van meten is binnen de categorie ‘directe ondervraging’ . Ook hier zijn er weer voor en nadelen.

Voordelen

  1. Het kost dan wel een hoop geld en tijd maar de onderzoeker als interviewer heeft wel een groot voordeel dat hij kan inspringen als hij merkt dat er zich een misverstand voordoet. Interviewer heeft dan niet alleen de macht om dit op te merken maar ook om het dan te corrigeren. Verder kan de interviewer als hij het idee heeft dat de vraag de eerste keer niet goed genoeg beantwoordt wordt doorvragen. Hij heeft in tegenstelling tot bij een vragenlijst wel controle op de volgorde van de beantwoording op de vragen. De interview heeft verder een flinke vinger in de pap bij het bepalen van de context waarin het interview plaatsvindt.
  2. De interviewer is in staat om hulpmiddelen in te schakelen (bijv. foto’s).
  3. Wellicht het meest belangrijke voordeel is dat de response-rate bijna altijd zeer hoog is.

Nadelen

  1. Het primaire nadeel is dat de kosten zeer hoog liggen bij het afnemen van interviews.
  2. Het feit dat er interviewer-effecten kunnen optreden is zeer gevaarlijk voor de objectiviteit van het onderzoek en de metingen die hieruit voorkomen. Een onderzoeker als interviewer blijft ook maar een mens en heeft toch als hij een interview ingaat bepaalde verwachtingen die het proces kunnen beïnvloeden. Hiermee wordt bedoeld dat de interviewer bijvoorbeeld kan sturen dat de participant bepaalde antwoorden geeft die de interviewer graag wil horen.

 

5.1.3  Telefonische interviews

Toen het gebruik van de telefoon steeds gewoner werd (sinds de jaren 60 en 70) nam het gebruik van deze vorm van meten zeer snel toe. De telefooninterview is een efficiente vorm van directe ondervraging wanneer er maar weinig informatie nodig is van participanten en de participanten geografisch gezien verspreid zijn over een groot tot zeer groot gebied.

Voordelen

  1. Hoge response-rate
  2. De duur van de ondervraging is niet te kort maar ook niet te lang
  3. Net als bij een gewoon interview kan een telefooninterviewer ook misverstanden snel en adequaat oplossen, ze kunnen de participant motiveren om zo goed mogelijk te antwoorden door middel van doorvragen
  4. De kosten ten opzichte van gewone interviews is aanzienlijk minder
  5. Snelheid, als er iets is gebeurd waar men meteen wil meten wat de reacties van mensen hierop zijn kan er veel sneller geanticipeerd worden dan bij een gewoon interview of bij een vragenlijst waar er soms dagen over heen gaan in plaats van enkele uren.
  6. Er wordt vaak gebruik gemaakt van telefoon assistentie software waardoor de data invoer fouten worden geminimaliseerd. Een computer zorgt er ook voor dat de vragen per interview in één specifieke volgorde worden beantwoordt.
  7. Fouten die gemaakt worden bij biases die voorkomen bij het stellen van vragen in een bepaalde volgorde kan worden voorkomen omdat met een telefoon interview de computer random de vragen op het scherm kan laten verschijnen zodat de interview assistent deze kan oplezen. Zo wordt elk interview of bepaalde delen allemaal een tikkie anders. Dit is veel werk om te doen bij vragenlijsten en onbegonnen werk bij het afnemen van een interview.

Nadelen

  1. Telefoonboeken zijn incompleet en daarom niet representatief voor de desbetreffende samenleving. Oplossing hiervoor is dat er rondom nummers worden gedraaid (rondom digit dialing). Dit heeft ook weer een nadeel dat er allemaal nummers worden gedraaid die van instanties zijn of die niet bestaan.
  2. In tegenstelling tot bij een interview is dat je bij een telefonisch interview geen hulpmiddelen zoals foto’s kan gebruiken.
  3. Moeilijk om de response-rate aan te geven.
  4. Ook hier kunnen interviewer-effects optreden ookal zijn deze minder dan bij een gewoon interview.

5.1.4 Vragenlijsten via het internet

Tijdens de jaren 80 en 90 waren steeds meer mensen in het bezit van een computer en nam ook het meten en verzamelen van data voor sociaalwetenschappelijk onderzoek doormiddel van gebruik te maken van het internet steeds meer toe. Een grote aantrekkinskracht is het feit dat onderzoekers nu mondiaal onderzoek kunnen verrichten. Het gebruik van internet voor het verzamelen van data blijft toenemen, maar het wordt nog relatief weinig gebruikt als je het vergelijkt met andere vormen van directe ondervraging. Het is nog niet helemaal duidelijk dat nou precies de voor en nadelen zijn van dit soort metingen want het is nog een relatief nieuw begrip in tegenstelling tot bijvoorbeeld vragenlijsten. Er zijn echter wel een paar voor de handliggende voor en nadelen.

Voordelen

  1. Uniek voordeel is dat het internet een globaal fenomeen is waardoor het mogelijk is om heel veel mensen van zeer verschillende achtergronden te bereiken tegen  relatief lage kosten.
  2. Het bestaan van ‘internetcommunities’ waarin ongeveer dezelfde mensen aan deelnemen waardoor het mogelijk is om een zeer specifieke vaak moeilijk te bereiken groepen sneller en in één keer de benaderen.
  3. Net als bij vragenlijsten kunnen de participanten zelf uitmaken op welk tijdstip en waar zij het onderzoek willen invullen.
  4. Grote anonimiteit voor de participanten

Nadelen

  1. Een groot nadeel is de response-rate.
  2. Het is moeilijk te achterhalen of diegene die het onderzoek/vragenlijst invult ook diegene is die hij of zij claimt te zijn.
  3. Het is nooit duidelijk onder wat voor een omstandigheden de participanten een onderzoek/vragenlijst invullen.

5.1.5 ‘Experience sampling’ (steekproeven) ook wel dagboek methode genoemd

Al de methodes die tot nu toe zijn besproken hadden voornamelijk de eigenschap dat de vragen die gesteld werden gingen over persoonlijke kwaliteiten, ( bijv. etniciteit, sekse, leeftijd etc), gedragingen die in het verleden liggen of persoonlijke meningen en overtuigingen. Ook al kunnen wij hier veel van leren, willen onderzoekers ook wel eens weten hoe een persoon veranderd in een bepaalde periode. Bij deze methode vraagt de onderzoeker aan zijn participanten of zij op verschillende tijdstippen hun gevoellens uiteen willen zetten over een bepaald onderwerp.

Voordelen

  1. Dit soort onderzoek genereert gedetailleerde informatie over de ervaring van respondenten.
  2. Er zit een relatief korte tijd tussen de gebeurtenis (waarin de onderzoeker geïnteresseerd in is) en de reactie hierop van de respondent.
  3. Er zijn aanzienlijk minder respondenten nodig om aan voldoende data te komen om het onderzoek te kunnen voortzetten.

Nadelen

  1. De materialen (zoals draagbare kleine computers die aan respondenten wordt meegegeven ) die gebruikt worden zijn erg duur
  2. Omdat de data ingevoerd wordt op een computer is er altijd het gevaar dat er data verloren gaat.
  3. Omdat er strenge regels zitten aan wanneer een respondent moet reageren en antwoorden op een situatie is het soms lastig voor de respondent om zich te houden aan de strikte regels van het onderzoek.

Korte samenvatting over directe-bevragings methoden

Deze samenvatting kan je  het best zelf rustig doorlezen op p.110. Wat een belangrijkpunt is om te onthouden is dat er niet één specifieke manier is van het direct bevragen die het best is. Voor elk onderzoek geld dat de onderzoeker(s) opnieuw moeten bepalen welke manier van meten voor hun vraagstelling het best van toepassing is.

5.2 Meettechnieken waar er geen sprake van direct contact tussen de onderzoeker en participant

Het is niet met zekerheid te zeggen dat mensen als zij om hun mening worden gevraagd weten hoe zij accuraat de vele aspecten van hun eigen ervaring kunnen beschrijven. Er zijn nog andere redenen waarom sociaalwetenschappers niet blind kunnen vertrouwen op directe bevraging van participanten om zo te determineren wat hun positie is binnen verschillende constructen. Hierom zijn er ook andere vormen van meettechnieken die deze nadelen proberen te omzeilen. In dit hoofdstuk wordt ingegaan op drie van deze technieken namelijk: collaterale rapporten, observatie en fysiologisch monitoren.

Collaterale rapporten

Collaterale rapporten zijn kort gezegd ‘derde partij reacties’ op bijvoorbeeld een vragenlijst. Hiermee wordt bijvoorbeeld bedoeld als een onderzoeker aan een kind vragen stelt, dat hij diezelfde vragen daarna nogmaals stelt aan de ouders. Op deze manier verstrekt iemand anders dan de respondent de onderzoeker van informatie over de respondent. Collaterale rapporten worden vaak gebruikt in sociaalwetenschappelijk onderzoek wat met kinderen te maken heeft, de derde partij zijn vaak de ouders of de leraren.

Voordelen

  1. De mogelijkheid bestaat om in zelfreportages ‘biases’ te vermijden. Dit kan omdat zowel de respondent als de informant (derde partij) de vragen beantwoorden. Deze techniek is dan een voorbeeld van ‘multiple operationalisatie’ waar we het ook al eerder over hebben gehad.
  2. Er wordt naar het gedrag van dezelfde respondent vanuit verschillende perspectieven en contexten gekeken.

Nadelen

  1. Een groot nadeel is dat het onderzoek spaak loopt als de respondent en de informant (3e partij) te veel verschillende antwoorden geven die op geen enkele manier in overeenstemming met elkaar zijn.
  2. Het feit dat men vanuit zoveel perspectieven kijkt betekend ook dat de kosten van dit soort onderzoek behoorlijk kunnen oplopen.
  3. Observatie

Observatie is een zeer handig middel om in te zetten als je als onderzoeker een gedraging of bepaalde personen wil onderzoeken die moeilijk te bereiken zijn omdat zij niet graag of niet kunnen spreken over hun situatie (bijvoorbeeld zelfmoord of zwaar agressief gedrag). Observatie beroept zich in zijn geheel niet op de visie van de participant die hij over zichzelf denkt te hebben (over bijvoorbeeld zijn meningen, preferenties of gedragingen). In plaats hiervan zijn er beoordelaars getraind  om observeerbare indicatoren van een construct de detecteren en te rapporteren

Voordelen

  1. Het feit dat de beoordelaars die observeren goed getraind worden waardoor de objectiviteit van het onderzoek hoog is. Vaak zijn de waarnemingen sowieso dan objectiever dan die van de participant zelf.
  2. Soms kan een onderzoeker bij het zoeken naar relevante bronnen (per toeval) stuiten op audio of video opnames die van toepassing zijn op zijn onderwerp waardoor er een hoop werk wordt bespaard.
  3. Groot voordeel is dat het observeren kan worden gedaan wanneer de participant in zijn eigen natuurlijke omgeving is. Dit kan dan gebeuren zonder of met hun medeweten. Inbreuk op de privacy is dan wel een redelijk grote risico factor als men data verzamelend zonder dat de participant hiervan op de hoogte is.

Nadelen

  1. Bij observeren is het helaas zo dat veel constructen niet kunnen worden geobserveerd. Emoties bijvoorbeeld liggen niet altijd aan de oppervlakte. Mensen communiceren niet altijd hun motieven, verlangens of preferenties door middel van hun acties.
  2. Causale verbanden zijn vaak moeilijk te trekken want er wordt niet aan manipulatie gedaan.

Fysiologisch monitoren

Waar men met observeren probeert om de extroverte gedragingen te onderzoeken, probeert men met fysiologische monitoren emoties, preferenties en evaluaties te doorgronden. Fysiologie is de studie die zich bezig houd met de interactie tussen fysiologische systemen en de gedragingen, gevoelens en gedachten van mensen.

Voordelen

  1. Ook al weten de participanten dat zij onderzocht worden, kunnen zij geen enkele invloed uitoefenen op de uitkomst van het onderzoek wat zij ondergaan.
  2. De metingen die gedaan worden tijdens het onderzoek zijn continue.  Hierdoor kunnen we niet alleen nagaan of een stimulans  een invloed heeft  maar kunnen we ons ook met de vraag bezighouden wanneer zich een specifieke stimulans voordoet.

Nadelen

  1. Het feit dat de metingen continue zijn is ook een nadeel. Dit is zo omdat men door middel van fysiologisch onderzoek zoveel data binnenkrijgt soms per anderhalve seconde dat het aantal data overweldigend kan zijn. Hierom is het van groot belang dat om door de bomen het bos te kunnen blijven zien er goede controle maatregelen/factoren worden opgesteld
  2. Er is behoorlijk veel expertise nodig om zulk onderzoek te kunnen uitvoeren
  3. Apparatuur is duur en verouderd snel
  4. Apparatuur is erg gevoelig waardoor participanten vaak voor lange tijd stil moeten zitten.

Andere indirecte methoden van meten

In deze paragraaf worden er drie nieuwe manieren van indirecte methoden voor sociaalwetenschappelijk onderzoek beschreven. Dit zijn:

  1. Impliciete Associatiemethode (‘Implicit Association Method’)
  2. Sorteren van Kaarten(‘Card Sort’)
  3. Autofotografisch onderzoek (‘Autophotografic Research’)

Hoofdstuk 6 “Single-Item” metingen binnen vragenlijsten

Zoals duidelijk is geworden in het vorige hoofdstuk is directe ondervraging de dominante vorm van het meten voor sociaalwetenschappelijk onderzoek. Om ervoor te zorgen dat het onderzoek uiteindelijk succesvol wordt, is het van groot belang om stil te staan bij de inhoud verwoording en de volgorde van de vragen die men aan respondenten wil stellen.

In dit hoofdstuk ( en ook de volgende )zal er worden stilgestaan bij de vele kwesties die een rol spelen bij het maken van vragen en vragenlijsten die uiteindelijk zowel betrouwbaar als valide moeten zijn. In dit hoofdstuk ligt de focus op het formuleren van individuele items om zo constructen operationeel te kunnen definiëren. Met items worden de vragen of stellingen bedoeld waarop de participanten een antwoord of reactie moeten geven.

Deze antwoorden/reacties zijn vaak in de vorm van een nummer ( als je bijvoorbeeld van een schaal van 1 tot 10 moet aangeven of je gespannen bent). Er kan ook gevraagd worden of je als participant een stelling wilt beantwoorden met waar of onwaar, of dat je in je eigen woorden iets moet beschrijven( bijvoorbeeld hoe jij je voelt)

6.1 Procedure voor de opzet van een vragenlijstonderzoek

Het is handig om een stap voor stap gids te gebruiken voor het plannen van een vragenlijstenonderzoek. Hiermee krijg je als onderzoeker hulp bij het organiseren van de keuzes en zaken die in overweging genomen moeten worden. Al deze stappen ( elf in totaal) kan je in detail rustig doorlezen op p.123-124. Hieronder een ingekorte versie:

  1. 1 De eerste meest fundamentele keus is die van het kiezen uit de verschillende methoden van directe ondervraging: hoe wil  je gaan meten?
  2. 2 tweede keuze is wat is het specifieke inhoudsgebied ?
  3. 3 Hierna is het belangrijk om uit een te zetten over welke onderwerpen je vragen wil gaan maken en welke specifieke gebieden binnen deze onderwerpen moeten meer vragen dan bij andere gebieden gesteld worden?
  4. 4 Nu start het echte maken van de vragen
  5. 5 Alle vragen worden bij elkaar gevoegd in een eerste versie van de vragenlijst
  6. 6 Bij deze stap moet de vragenlijst al naar meerdere experts zijn gestuurd zodat zij er hun mening over kunnen geven zodat de vragenlijst eventueel herzien en aangepast kan worden.
  7. 7 Bij deze stap wordt de vragenlijst voor het eerst een prestest ondergaan.
  8. 8 de resultaten van de pretest moeten worden geanalyseerd en eventueel worden aangepast indien nodig.
  9. 9 Nu is de uiteindelijke versie af van de vragenlijst, nu kan het personeel (interviewers, surveillanten etc) zijn laatste training krijgen over hoe het onderzoek te moeten afnemen. Er kan nu alsnog indien dit nodig is wijzigingen worden doorgevoerd in de vragenlijst mocht er last-minute nog iets opduiken.
  10. 10 Nu, eindelijk gaat het echte onderzoeken beginnen en worden de vragenlijsten afgenomen om data te verzamelen
  11. 11 de uiteindelijke data moeten nu gecodeerd en geanalyseerd worden en uiteindelijk als alles goed is gegaan kunnen er conclusies aan worden ontleent.

6.2 Inhoud van de vragen

De inhoud van de vragen over een bepaald construct die voor sociaalwetenschappers interessant zijn kunnen worden ingedeeld in drie vormen. Ten eerste vragen die gaan over wat de participant weet (feiten), vragen die gaan over wat de participant denkt, voelt, zich voorstelt en prefereren ( overtuigingen en gedragingen), of wat zij gedaan hebben (gedragingen).

Vragen gericht op feiten

Om economisch te werk te gaan, en je wilt als onderzoeker achter bepaalde feiten komen en deze vaststellen, is het vaak het handigst om diegene te benaderen die de kennis hebben. We verwachten dat mensen een scala aan feiten gewoonweg weten, bijvoorbeeld over zichzelf of over hun persoonlijke situatie en een groot gedeelte van de vele bestaande vragenlijsten zijn er dan ook op uit om deze feitelijke informatie te verkrijgen (leeftijd, educatie niveau, religie, inkomen, beroep etc.) Vragen die gaan over gebeurtenissen, situaties, of toestanden komen ook vaak voor ( zoals vragen naar details over een recent ziektebed of medische behandeling).

Er is een kans dat er iets fout gaat bij de reacties op de vragen door een respondent. Wat vaak voorkomt is dat respondenten als zij vragen moeten beantwoorden over situaties uit het verleden zij deze situaties vaak eerder plaatsen in de tijd. (Hiermee wordt bedoeld als er gevraagd wordt of iemand de afgelopen 12 jaar nog in het ziekenhuis heeft gelegen, iemand ja antwoord als dit eigenlijk 16 jaar geleden is). Hierdoor kan een onderzoeker de frequentie van een ziekte overschatten. Dit wordt ook wel ‘memory telescoping’ genoemd. Dit gebeurd ook als respondenten hun leeftijd moeten opgeven, zij ronden dan vaak hun leeftijd af. Dit is opgelost door te vragen naar de geboorte datum ipv de exacte leeftijd.

Over het algemeen moet het niet moeilijk zijn om achter specifieke feiten te komen als deze nog in het recente verleden zijn gebeurd en nontriviaal (dus memorabel) waren. Echter, het geheugen is nooit voor 100% betrouwbaar.

Vragen gericht op overtuigingen en attitudes/gedragingen

Het is een vrij lastig karwei om goede vragen te formuleren die gericht zijn op overtuigingen en gedragingen. Ten eerste omdat het heel goed zo kan zijn dat de participant geen idee heeft wat hij moet antwoorden omdat hij nog nooit had stilgestaan bij de gestelde vraag. Ten tweede omdat houdingen of opvattingen vaak complex en driedimensionaal zijn. Een specifieke attitude kan het best worden gemeten aan de hand van meerdere vragen en dan in de vorm van een schaal waarop mensen moeten aangeven op bijv. een schaal van 1 tot 10 in hoeverre zij iets vinden. Dit zorgt altijd voor een betere betrouwbaarheid en een hogere validiteit dan dat er maar één vraag gesteld wordt.

 

Een specifieke categorie waar wetenschappers altijd geïnteresseerd in zijn is groepsdynamiek. Men kijkt dan naar wat de houdingen zijn tussen leden van dezelfde groep. Er worden dan vragen gesteld aan een persoon uit een groep met welk van de andere groepsleden hij of zij iets leuks zou willen doen. Men noemt dit soort vragen sociometrische vragen. De data die voortkomt uit deze vragen kan de onderzoeker gebruiken om te bepalen wie welke positie inneemt in een groep, maar ook over hoe de groep in zijn algemeen werkt, ,of er machtsstructuren aanwezig zijn en nog veel meer andere zaken.

Vragen gericht op gedrag

Het is erg belangrijk als men vragen maakt die gericht zijn op gedrag dat je de vraag zeer specifiek stelt. Over het algemeen komen de vragen het best uit de verf als deze zo snel mogelijk na de gedragsuiting gesteld worden aan een participant die dan direct kan antwoorden. De antwoorden worden hierdoor alleen maar nauwkeuriger.      

Inhoud van vragen, algemene kwesties

Er zijn een aantal zaken die ongeacht wat het onderwerp of aard van de vraag is, gelden voor alle vragen. Een cruciale keuze is de hoeveelheid vragen die men aan een bepaald onderwerp zou willen besteden. Hierdoor wordt de kans dat er overbodige vragen worden gesteld kleiner. Van groot belang is ook om rekening te houden met vragen die gevoelig kunnen liggen bij sommige respondenten. Verder kan het zo zijn dat sommige vragen het beter doen dan andere bij sommige respondenten, hier moet op geanticipeerd kunnen worden.

6.3 Verwoording van de vragen

Het verwoorden van vragen is misschien wel de moeilijkste maar ook het belangrijkste taak in het ontwikkelen van een vragenlijst. Slecht geformuleerde vragen kunnen alleen maar leiden tot onnodige bias die de resultaten zeker niet ten goede zullen komen. De woorden die in een vraag worden gebruikt moeten op een zorgvuldige manier gekozen worden.

Terminologie

De keuze voor een specifieke term om het concept van de vraag op een goede manier over te brengen is misschien wel het moeilijkste gedeelte van het opstellen van een vraag. Aan de ene kant moeten ze zeer precies zijn maar aan de andere kant moeten ze ook nog gemakkelijk de begrijpen zijn. Woorden die een vraag kwantitatief maken  (woorden als: vaak, soms, nooit, bijna) dienen zo veel mogelijk vermeden te worden.

Structuur

Gebleken is dat complexe en lange vragen moeilijk begrepen worden door respondenten dus een vraag werkt het best als deze zo kort en krachtig mogelijk is. Maar juist door gebruik te maken van eenvoudige woorden wordt een vraag meestal juist langer. Het is dus onvermijdelijk dat er compromissen gesloten moeten worden bij het opmaken van de structuur van een vraag. Een handige richtlijn om te onthouden is dat je het kernidee van de vraag zo ver mogelijk achter in de zin moet zetten om zo te voorkomen dat men te vroeg al een antwoord gaat formuleren namelijk bij het beginnen van het lezen van de vraag. Ten tweede dienen de gestelde vragen de taak van de respondenten ( het antwoorden op de vragen) zo makkelijk/simpel mogelijk te maken

Duidelijk de alternatieven benoemen

De vraag dient altijd alle mogelijke antwoorden (alternatieven) zo duidelijk mogelijk te maken, dus al in de vraag zelf. Ook al zijn de geïmpliceerde alternatieven nog zo voor de handliggend, door ze nogmaals expliciet te vermelden kan het de vraag en zijn antwoorden levendiger en in het oog springend maken.

Het weglaten van sommige alternatieven of ze niet gelijkwaardig behandelen zorgt ervoor dat er een vorm van bias optreedt. Wat verder beter vermeden kan worden zijn vragen die een statement presenteren waarmee respondenten het mee eens of mee oneens kunnen zijn.

Vermijden van onnodige vooraannames

Als je een vraag stelt als ‘wat is uw beroep?’ dan impliceert dit dat iedereen een beroep heeft. Dit is zo’n voorbeeld van een vraag waarin een onnodige vooraanname inzit. Een oplossing is om vooraf te vragen of de participant werk heeft en om vervolgens de vraag te stellen die enkel relevant is voor die respondenten die vallen binnen de relevante categorie.

Hoe komen deze onnodige vooraannames toch voor in onderzoek? Dit komt mede door de ‘double-barreled questions’. Deze voegen ten onrechte twee los van elkaar staande ideeën samen waarop maar één antwoord kan worden gegeven. Bijvoorbeeld als er gevraagd wordt naar de mening van de ouders van de respondent. Het gebruik van ‘ouders’ is ongepast omdat de vaders mening kan verschillen van die van de moeder. 

Response categorieën: open en gesloten vragen

Er bestaan openvragen en meerkeuzevragen. Bij openvragen krijgen de respondenten alle ruimte om zich zo vrij mogelijk te kunnen uitspreken. Later kan de onderzoeker deze verhalen door getrainde evalueerders laten categoriseren. Meerkeuzenvragen leggen de respondenten twee of meer soorten antwoorden voor en zij zijn dan vrij op te kiezen welkantwoord het dichts bij hun eigen ideeën komen.

De voordelen van openvragen zijn:

  1. De respondent kan vrij antwoorden en daardoor hun gevoel over een onderwerp of vraag gedetailleerd weergeven i.p.v. dat zij geforceerd worden om een antwoord te kiezen.
  2. Als men kijkt vanuit het perspectief van de onderzoeker is het ook een belangrijk voordeel dat als  hij wellicht nog geen goede alternatieven van een antwoord op een vraag kan bedenken hij dit niet hoeft te doen als hij openvragen stelt.
  3. Het kan motiverend  zijn voor respondenten als zij openvragen mogen beantwoorden

Nadelen van openvragen zijn:

  1. De antwoorden die men geeft op openvragen zijn erg moeilijk te vergelijken en daarom ook moeilijk codeerbaar (in tegenstelling tot meerkeuzenvragen)
  2. Hoge kosten, vergt veel tijd

Voordelen van gesloten of meerkeuzevragen:

  1. Ze zijn zeer makkelijk codeerbaar waardoor zij betekenisvolle resultaten genereren die goed zijn voor het doen van een analyse.
  2. Het is gemakkelijker voor de respondent om op te antwoorden.

 

Voor wetenschappers is het interessant om beide vraagvormen te combineren, bijvoorbeeld door bij een meerkeuzevraag de laatste keuze open te laten door te zeggen: Anders, namelijk:..’. Hierdoor is er binnen een meerkeuzevraag toch de optie om deze te beantwoorden als een openvraag.

Andere zaken omtrent response categorieën

Het is goed om stil te staan bij de vraag welke alternatieve antwoorden je biedt bij een gesloten of meerkeuzevraag. Het is handig om te werken met schalen waarin de respondent zelf kan aangeven in hoeverre hij het bijvoorbeeld eens is met een bepaalde stelling.

Filters en hoe men de categorie ‘geen mening’ moet beoordelen

Het is toch altijd handig om de ‘geen mening’ categorie te gebruiken om zo te voorkomen dat mensen die echt geen verstand hebben over bepaalde zaken ook niet toch gedwongen worden om een kant te kiezen, maar eerlijk kunnen laten zien dat zij er niets van weten of echt geen mening over hebben. ‘Geen idee’ staat toch beter dan ‘geen mening’ omdat als je niet weet waar het overgaat dit niet betekend dat je uiteindelijk geen mening hebt over een bepaald onderwerp.  Het is handig om een zogenaamde filtervraag te gebruiken voorafgaand aan een opinievraag zodat je als onderzoeker kan zien of je te maken hebt met iemand die echt kennis heeft over een bepaalde zaak. Zo kan men binnen de groep respondenten de kaf van de koren scheiden.

Enkele overwegingen

Alle verschillende methoden die vallen binnen de categorie van directe bevraging zoals vragenlijsten, interviews zowel in persoon als over de telefoon, allemaal hebben zij zo hun eigen eisenpakket over hoe en wat voor een vragen er gesteld  moeten worden.

6.4 Vraagvolgorde

Er zitten twee implicaties aan het stellen van vragen op een bepaalde volgorde. Ten eerste kan een goede volgorde kan het antwoorden op vragen door de respondenten aanzienlijk verlichten/makkelijker maken. Ten tweede, de volgorde kan bias die ervoor zorgt dat de antwoorden beïnvloed worden zowel creëren als voorkomen.

Het effect dat voorafgaande vragen van invloed kunnen zijn op de antwoorden die later volgen wordt ook wel ‘Context effects’ genoemd.

Er zijn een aantal richtlijnen die kunnen worden gevolgd als je de volgorde van een vragenlijst wil opmaken, deze worden op p.139 uitgelegd. Zo dient een vragenlijst te beginnen met een aantal simpele vragen zodat de participant tijd heeft om erin te komen. Vervolgens komen de vragen waar het echt om gaat voor het onderzoek. Verder is er ook nog sprake van een volgorde binnen een specifieke onderwerp. Net als bij de algemene volgorde geldt ook hier weer dat er begonnen wordt met een aantal algemene vragen waarna vervolgens de meer specifieke vragen aan bod komen (funnel principe). Om te testen of vraagvolgordes goed werken worden er ‘split ballot’ experimenten gedaan. Hierbij worden er verschillende vragenlijsten die wel dezelfde vragen stellen maar telkens op een net andere manier gesteld (andere termen, zinsopbouw) waardoor duidelijk wordt welke vraag wat voor een soort antwoord uitlokt.

6.5 Speciale technieken voor het stellen van gevoelige vragen

Wanneer het onderzoeksonderwerp nogal gevoelig kan liggen omdat het gaat over zeer persoonlijke dingen zouden de methoden van de directe bevraging wellicht niet goed vallen. Men kan dan sociaal wenselijke antwoorden gaan geven of juist weigeren om uberhaubt antwoord te geven. Er zijn een aantal technieken ontworpen om toch zo eerlijk mogelijke antwoorden te verkrijgen. Het is bijvoorbeeld een goed idee om voorafgaand aan een vraag duidelijk te maken waarom de informatie die een respondent geeft zo belangrijk is. Als een respondent begrijpt waarom zij zo graag de informatie willen hebben zijn ze wellicht eerder over te halen om een eerlijk antwoordt te geven.

De standaard voorzorgsmaatregelen

Er moet altijd goed nagedacht worden over de bewoording van vragen, maar helemaal als deze gaan over gevoelig liggende onderwerpen. Het lijkt erop dat men in zo’n geval eerder een vollediger antwoord geeft als de vragen langer zijn en het gaat om open vragen. Wat ook altijd heel gevoelig ligt als men zijn of haar etniciteit moet opgeven.

Een interview, face to face, is binnen het onderzoek doen naar gevoelige onderwerpen niet echt een goed idée omdat de respondent direct tegenover een ander persoon zit waardoor men zich niet geheel op zijn gemak voelt. Wat er dan vaak wordt gedaan is dat zij tijdens het interview een extra vragenlijst uitdelen die de respondent later zelf kan invullen (bijvoorbeeld thuis) en dan kan opsturen.

Gerandomiseerde response technieken

Om informatie te verzamelen over een gevoelig onderwerp en wanneer directe bevraging geen optie lijkt is de gerandomiseerde response techniek een goede optie. Deze techniek wordt in deze paragraaf nader uitgelegd aan de hand van een voorbeeld.

6.6 Interviewen

Als je als onderzoeker(s) interviews afnemen als methode voor je onderzoek wilt gebruiken is het van groot belang dat je nadenkt over hoe je denkt dat je valide reacties krijgt op je vragen. Om de validiteit de maximaliseren moet je als interviewer een aantal taken goed uitvoeren.

Ten eerste moet er een fijne sfeer gecreëerd worden, het eerste moment is dan ook meteen het belangrijkste moment. De eerste indruk is zeer bepalend en het is dan ook zeer verstandig om zeer goed voorbereid te zijn. Hiernaast moeten de vragen op de juiste manier gesteld worden, moet er niet teveel worden doorgevraagd om zo antwoorden los te peuteren, dit is niet prettig voor de geïnterviewde, en moeten de antwoorden goed genotuleerd worden zodat deze goed analyseerbaar zijn.

Hoofdstuk 7 “Scaling” & “Multiple-Item” metingen

In dit hoofdstuk wordt er gesproken over verschillende methoden van ´scaling´ oftewel het toepassen van schalen . Deze onderscheiden de individuen tot welke hoogte zij binnen een bepaald construct vallen omdat zij tot een zekere hoogte over bepaalde karakteristieken beschikken.

We hebben al eerder in dit boek kunnen lezen dat constructen (als bijv. liefde, intelligentie) niet direct meetbaar zijn omdat zij hier te abstract voor zijn. Om deze toch meetbaar te maken moeten we variabelen ontwikkelen die wel observeerbaar en dus ook meetbaar zijn Om vervolgens deze (variabelen) weer zo betrouwbaar mogelijk te laten zijn om ook daadwerkelijk hypothesen over bepaalde constructen te beantwoorden moeten onderzoekers deze meten. Om dit te doen kunnen ze kiezen uit verschillende methoden die grofweg te categoriseren zijn in indirecte en directe bevragings-methoden.

Om antwoorden van respondenten zo nauwkeurig mogelijk onder te kunnen verdelen in verschillende score’s  moeten er een aantal opties aan de respondent voorgelegd worden om uit te kiezen en wordt hen zo de mogelijkheid gegeven om zichzelf in te delen in schalen ( bijv. ‘op een schaal van 1 t/ 10, waar zou u zichzelf indelen als wij u vragen hoe gespannen u op dit moment bent’ of, verschillende antwoordkeuzes zoals: ‘geheel niet, een beetje, neutraal, erg, heel erg ).

Dit worden responseschalen of antwoordschalen genoemd. Deze zorgen ervoor dat een respondent in kan worden gedeeld in een bepaalde schaal. Uit welke verschillende vormen van schalen gekozen kan worden en hoe deze werken is te lezen in dit hoofdstuk. Er kan binnen schalen op een enkelvoudige manier of op een meervoudige manier gemeten worden

7.1 Voordelen meervoudige schalen

Er zijn enkele voordelen op te noemen om voor het gebruik van meervoudige schalen bij het meten van een bepaald construct:

  1. De gelaagdheid of Multi-dimensionaliteit van een construct is op deze manier meetbaar
  2. Betrouwbaarheid en validiteit zijn hoger omdat je meerdere kanten van hetzelfde construct bekijkt.

7.2 Verschillende meetniveaus

Alle  variabelen hebben verschillende meetniveaus. Vaak wordt er vanuit gegaan dat deze numeriek van aard zijn zoals bij een IQ test. Deze veronderstelt dat hoe hoger de IQ score, des te meer van het construct (intelligentie) is aanwezig bij een persoon. Echter, niet alle variabelen hebben zo’n soort schaal. Er worden onderscheid gemaakt tussen vier meetniveaus: nominale schaal, ordinale schaal, intervalschaal, en de ratioschaal.

Het is een belangrijke keuze voor een onderzoeker om te kiezen tussen deze vier niveaus. Op wel niveau een construct gemeten wordt is een functie die wordt gevuld zowel door de antwoordschalen die worden gehanteerd als de aard van het construct zelf die worden gerepresenteerd  door de variabelen zelf. De nominale schaal verdeeld respondenten simpelweg onder in verschillende schalen, er wordt verder niet stilgestaan bij de grootte of de verschillen tussen de groepen. De ordinale, interval en ratioschalen geven ons wel degelijk meer informatie over welke kant de verschillen opgraan en wat de grote is van de verschillen tussen de groepen die er binnen een schaal heersen. Door sociaalwetenschappers worden vaak ordinale of interval schalen gebruikt.

7.3 Beoordelingsschalen voor het kwantitatief indelen van individuele oordelen

Om beoordelingsschalen op een goede manier te gebruiken moet het zeer duidelijk zijn wat de positie is van de boordelaar of respondent. De beoordelingstaak bestaat uit twee stappen:

Ten eerste moet er door de beoordelaar een subjectieve impressie worden gevormd over het stimulus-object op de gebruikte dimensie.  Vervolgens moet de subjectieve impressie, oftewel het oordeel worden omgezet in een score of ‘rating’ door gebruik te maken van een beoordelingsschaal. Hoe dit in zijn werk gaat is bijvoorbeeld als een groep mensen wordt gevraagd welk cijfer zij hun uiterlijk geven. Hiervoor moeten zij eerst tot een subjectief oordeel komen over hun eigen uiterlijk om vervolgens deze om te zetten in een score.

Zowel de eerste als tweede stap zijn op sommige vlakken problematisch. Bij de eerste stap wordt er door de onderzoeker vaak aangenomen dat elke beoordelaar zichzelf ervan bewust kan maken wat de gewenste dimensie van beoordeling is. Dit om vervolgens een impressie te kunnen vormen van elke stimulus die dan weer correspondeert naar de plaats waar de beoordelaar zichzelf ziet staan in de desbetreffende dimensie. Deze vooraanname is zeker niet altijd gegrond. Bij de tweede stap ligt het probleem bij het feit dat elke beoordeling die een beoordelaar geeft wordt bepaald door zijn of haar referentie kader. Om dit te voorkomen is het belangrijk om erachter te komen wat het referentie kader is van een beoordelaar voordat de onderzoeker zijn beoordelingen verwerkt. Het is nou eenmaal zo dat iedereen die een beoordeling geeft middels een beoordeelingsschaal zo zijn eigen referentiekader maakt bij een bepaalde schaal.  verschillende respondenten zullen een beoordelingsschaal anders inschatten en gebruiken dan anderen.

Door het bestaan van deze kwesties en problemen worden er door wetenschappers verschillende type beoordelingsschalen gebruikt.

 

Grafische beoordelingsschalen

Dit is een van de meest gebruikte beoordelingsschalen. De beoordelaar geeft aan wat zijn of haar positie is door middel van het zetten van een streep op een lijn. Deze lijn loopt van de ene extreem naar de andere extreem ( bijv. ‘helemaal mee eens’ naar ‘helemaal mee oneens’). Een groot voordeel bij de grafische beoordelingsschaal is dat zij gebruiksvriendelijk zijn. Waar echter wel voor moet worden opgepast is dat er niet te erge extremen worden gebruikt. Het kan dan zo zijn dat deze dan zeer weinig zullen worden aangegeven. Grafische beoordelingsschalen houden niet echt rekening met het probleem omtrent het referentiekader.  Er wordt hier van uitgegaan dat iedereen die zo’n beoordelingsschaal over een bepaalde dimensie voor zich krijgt deze op dezelfde manier gebruikt.

Gecategoriseerde beoordelingsschalen

Bij deze schaal moet een beoordelaar zijn beoordeling geven door te kiezen voor een bepaalde categorie. Het varieert per onderzoek en onderwerp  hoeveel categorieën er zijn maar over het algemeen genomen zijn er gemiddeld vijf tot elf categorieën waaruit een respondent kan kiezen. Een voorbeeld van zo’n gecategoriseerde beoordelingsschaal is als er wordt gevraagd hoe liberaal of conservatief je bent:

1    Extreem liberaal

  1. Liberaal
  2. Gematigd  (‘middle of the road’)
  3. Conservatief
  4. Extreem conservatief

 

Ook hier kan het referentiekader van de beoordelaar een probleem zijn omdat het hoogstwaarschijnlijk zo is dat vagen termen als conservatief of liberaal op verschillende wijze gezien worden door verschillende respondenten en hun referentiekaders.

Vergelijkende beoordelingsschalen

Bij de voorgaande twee beoordelingsschalen wordt er aan de beoordelaar niet gevraagd om vergelijkingen te maken tussen objecten of personen. De vergelijkende beoordelingsschaal doet dit expliciet wel. Een voorbeeld is als een beoordelaar gevraagd wordt om aan te geven in hoeverre zijn of haar leiderschapskwaliteiten overeenkomen met die van persoon A, B of C.

Een andere variant binnen vergelijkende beoordelingsschalen is de ‘rank-order’ schaal. Hier wordt de beoordelaar gevraagd om individuen specifiek te rangschikken naar hun relaties tot elkaar. Bijvoorbeeld, men krijgt de vraag : wie beschikt over de beste kwaliteiten om een groep te leiden’   en vervolgens moet de beoordelaar verschillende individuen op volgorde zetten van wie het best  kan leiden tot wie dit absoluut niet kan. Deze schaal kan gezien worden als de belichaming van het ordinale niveau van een meting. De ‘rank-order’ schaal wordt eigenlijk alleen gebruikt als er onderzoek wordt gedaan naar een kleine groep individuen. Met zo’n schaal kan bijvoorbeeld de groepsdynamiek blootgelegd worden en uitgeplozen worden wie welke positie of ‘rank’ binnen een groep vervuld.

Het zelf beoordelen versus beoordelingen door anderen

Al de voorgaande schalen kunnen gebruikt worden om individuele scores over zichzelf of anderen vast te leggen. Het wordt over het algemeen aangenomen dat individuen het best zelf  hun eigen overtuigingen, gevoelens en angsten kunnen observeren, beoordelen en rapporteren.

Dit is een valide punt, maar er zitten toch nog wel wat problemen aan vast die wel in consideratie moeten worden genomen. Ten eerste als men aanneemt dat de beste beoordeling van de beoordelaar zelf komt moet er ook worden aangenomen  dat alle beoordelaars of personen zich bewust zijn van hun eigen gevoelens en deze dan vervolgens ook nog willen delen met anderen.

Als vervolgens een individu in staat is om bewust om te gaan met zijn of haar gevoelens en deze ook kan rapporteren rijst het volgende probleem. Dit is namelijk dat ieder individu weer in zijn of haar hoofd een ander idee heeft gevormd over wat een gematigd of een extreem standpunt inhoudt. Het is een moeilijk iets om aan te nemen dat ieders referentie kader bij het invullen van beoordelingsschalen (die ook nog eens gaan over de desbetreffende individu zelf)allen met elkaar overeenkomen.

Het maken en gebruiken van beoordelingsschalen: enkele waarschuwingen

Objectiviteit binnen sociaalwetenschappelijk onderzoek kan nooit honderd procent gegarandeerd worden, hierdoor is het logisch dat subjectiviteit onvermijdelijk is, ook bij het gebruik van beoordelingsschalen. Zowel toevallige als systematische fouten spelen een rol.

Enkele voorbeelden van systematische fouten zijn het halo effect ( deze refereert aan de neiging om ervan uit te gaan dat als er een bepaalde kwaliteit aanwezig is de beoordelaar aanneemt dat andere kwaliteiten ook aanwezig zijn) of het generositeit effect (Dit is als er door de beoordelaar kwaliteiten bij bepaalde individuen erg positief worden beoordeeld omdat zij deze persoon aardig vinden). Andere type fout is de contrast-error (Dit is als een beoordelaar de neiging heeft om anderen te vergelijken met zichzelf, hierdoor maakt de beoordelaar zijn of haar positie binnen een dimensie als referentie punt om anderen te beoordelen ).

Naast deze systematische fouten kunnen er ook toevallige fouten in de scores optredend die de betrouwbaarheid van het onderzoek kunnen aantasten. Deze laatste categorie komt vaak voor door vermoeidheid, onoplettendheid of slechte training. Er zijn een aantal stappen die gezet kunnen worden om het voorkomen van deze fouten binnen een onderzoek te minimaliseren.

  1. Betere training
  2. Meerdere beoordelaars
  3. Categorieën en de schalen helder uitleggen
  4. Proberen om de beoordelaars zoveel mogelijk hetzelfde referentiekader bij te brengen
  5. Het gebruik van extreme categorieën minderen
  6. Het vermijden van het gebruik van teveel categorieën binnen één beoordelingsschaal.

7.4 Het ontwikkelen van meervoudige-‘item’ schalen

Omdat de beoordelingen die worden gegeven aan de hand van beoordelingsschalen altijd enigszins subjectief blijven zijn ze altijd gevoelig voor fouten of ‘bias’. Om dit zo veel mogelijk te verhelpen zijn er procedures ontwikkeld die ervoor zorgen dat scores niet afhankelijk zijn van één enkel oordeel over één bepaald construct. In plaats hiervan worden er altijd meerdere vragen over hetzelfde construct gesteld. Alle scores van de afzonderlijke vragen worden vervolgens in één score ondergebracht waardoor er een completer en betrouwbaarder beeld ontstaat over een bepaalde vraag over een construct.

De logica van ‘domein sampling’ is relevant voor dit verhaal. Dit wordt gebruikt om de betrouwbaarheid te meten van de al gedane metingen over een bepaald construct.  Domein kan worden gedefinieerd als een hypothetische verzameling van alle items (bijv. alle statements over een bepaalde gedraging)  die relevant zijn voor het construct dat onderzocht wordt. De ‘onderliggende, ware houding’ is dan de cumulatie van alle antwoorden van de persoon op alle verschillende items op de vraag uit dat domein.

In de praktijk kan een onderzoeker geen domeinen over items construeren die de houdingen naar constructen kan meten. In plaats hiervan formuleren onderzoekers een aantal items over een bepaald construct en definiëren het domein dan als de hypothetische populatie bestaande uit items die overeenkomen met diegene die geformuleerd zijn. ( om dit nog eens rustig na te lezen, p.165.). Wat hiermee gezegd word is dat grotere steekproeven (waarin de meetinstrumenten meer items hebben) betrouwbaarder zijn dan kleine steekproeven. De variatie in het aantal items binnen een onderzoek is dus een belangrijke determinant voor de betrouwbaarheid van een onderzoek.

Formuleren van een item

Een item moet altijd empirisch gerelateerd zijn aan het construct wat onderzocht wordt, anders voegen zij niets toe aan de meting. Een item moet onderscheid maken tussen personen die allemaal een verschillende positie innemen op de gemeten dimensie. Als laatste mag een item geen dubbele betekenis hebben of dubbelzinnig  zijn.

7.5 Drie typen van meervoudige-‘item’ schalen

Er zijn drie type procedures voor het ontwikkelen van meervoudige-‘item’ schalen die veelvuldig gebruikt worden. Het fundamentele verschil tussen de drie is vooral te vinden in hun aannames over de associaties tussen aan de ene kant de onderliggende houding van mensen en aan de andere kant de antwoorden de mensen geven op de individuele items die deel uitmaken van de schaal. Er zijn ‘differential scales’, cummulatieve scales en ‘summated scales’

‘Differential scales’

Deze schaal is ontwikkeld door Thurstone (1929) en heeft hiermee laten zien dat houdingen of attitudes wel degelijk gemeten kunnen worden. De schaal is opgebouwd uit een aantal beweringen/stellingen of ‘items’ Deze items representeren bekende posities op een attitudeschaal. Er wordt aangenomen dat respondenten het eens zijn met die items waarvan de posities het dichtst bij hun eigen positie staat en dat zij het niet eens zijn met de items die verder af staan van hun eigen positie. Dit soort items worden ‘nonmonotone items’ genoemd. Hiermee wordt bedoeld dat dit items zijn waar alleen die respondenten het mee eens zijn die allen dezelfde positie innemen op de schaal. In tabel 7.1 op p.167 is te lezen hoe deze schaal precies wordt opgebouwd en vervolgens wordt er aan de hand van een voorbeeld uitleg gegeven.

 

Alvast op de zaken vooruitlopen, bij de andere twee vormen van schalen (‘cumulatieve’ en summated scales’)worden er in plaats van ‘nonmonotone’ items gebruik gemaakt van monotone items (Items ‘that are definitely favorable of unfavorable in direction, not items that reflect a middle of uncertain position on the issue’p171).

 

  1. Voordeel
    • Er is de mogelijkheid om na te gaan of de aannames kloppen. Er wordt namelijk verondersteld dat respondenten het met een beperkt aantal items eens is omtrent hun eigenpositie( de items waar zij het mee eens zijn, zijn afhankelijk van welke positie zij innemen op de schaal). De respondenten die de binnen de gestelde voor aannames vallen kan uit de gegeven antwoorden de ‘latitude of acceptence’ woorden berekend.

 

  1. Nadelen
    • Het is nogal een karwei om de schaal te maken. Het duurt lang en is lastig. Er zijn ook andere schaling’s methoden die hetzelfde doen, maar minder lastig te hanteren zijn.
    • De houding van de respondenten of beoordelaars beïnvloedt het proces van toewijzen van items aan bepaalde schaalwaarden.
    • De betrouwbaarheid ligt over het algemeen lager dan bij ‘summated scales’. Aangezien zo hoog mogelijke betrouwbaarheid zeer belangrijk is, is dit misschien wel het belangrijkste nadeel.

‘Cumulative scales’

Deze schaal is ontwikkeld door Guttmann (1944) en bestaat ook uit een aantal series items waarmee de respondent het mee eens of mee oneens is. Het speciale hieraan is dat de items op zo’n manier aan elkaar gerelateerd zijn dat als de respondent een bepaalde houding of positie heeft tegenover een stelling, hij of zij het dan ook eens is met alle items aan die kant van die specifieke positie of  houding binnen een bepaald onderwerp. Alle items moeten dus monotoon van aard zijn. Vervolgens wordt er hierna gesproken over de opbouw van deze schaal en wordt het aan de hand van een voorbeeld uitgelegd.(p.169-170)

 

  • Voordelen
    • Deze schaal verschaft ons met een test voor de unidimensionaliteit van een houding of attitude.
    • Één score van één respondent  van een schaal met een cumulatief patroon draagt de complete informatie met zich mee over het exacte antwoordpatroon voor elk item.
  • Nadelen
    • Simpele onverwachte fouten kunnen optreden waardoor het moeilijk vast te stellen is of het attitude domein uniedimensionaal is.
    • Andere nadelen van deze schaaltechniek zijn gerelateerd aan zijn beperkingen  naar uniedimensionale domeinen

Ten eerste mag er niet van worden uitgegaan dat een set items de eigenschap van uniedimensionaliteit sowieso met zich meedraagt. Ten tweede is het moeilijk om vast te stellen of een domein uniedimensionaal is.

‘Summated scales’

Deze is ontwikkeld door Likert (1932) en is ook de meest gebruikte binnen de sociale wetenschappen.  Wederom bestaat deze schaal ook weer uit een aantal series van items waarmee de respondent het eens of oneens kan zijn. Net als bij de ‘Cumulative scales maakt deze ook gebruik van monotone items. De respondenten worden gevraagd om aan de hand van een bepaalde uitspraak weer te geven in hoeverre zij met deze instemming. Dit doen zij door middel van het antwoorden van meerkeuzevragen.

Een voorbeeld van zo’n vraag is in hoeverre je het ermee eens bent dat een alleenstaande moeder een net zo goede band kan opbouwen met haar kind als een niet alleenstaande moeder. De respondent kan dan kiezen uit helemaal niet mee eens, niet mee eens, mee eens, helemaal mee eens. Het is aan de onderzoeker of hij of zij er wel of geen neutrale midden positie aan toevoegt. De keuzes worden numeriek gecodeerd. De uiteindelijke score wordt afgeleid door de nummers die voor de keuzes staan op te tellen of te middelen.

Onder het kopje ‘Construction and Example’ (p.172) wordt de opbouw nader uitgelegd aan de hand van een voorbeeld. Er wordt hier ook aangekaart dat de ‘item-analyse’ fase de belangrijkste is in het ontwikkelen van een schaal. Om items te analyseren zijn er verschillende technieken, waarvan één de factor analyse is.  Verder is dimensionaliteit een zeer belangrijke zaak. Als een domein ondimensionaal is lijken de gegeven antwoorden op een bepaalde schaal teveel op elkaar. Aan de andere kant kan een domein multi-dimensionaal zijn. Als dit het geval is, moeten er subschalen aangebracht worden binnen een schaal. Factor analyse is zeer bruikbaar voor het spotten of er een subschaal moet worden aangebracht. Voor dit hele stuk is er nog een beknopte soort samenvatting te lezen die begint bij de tweede alinea op p.174 bij ‘thus’ waarin Hoyle het voorgaande in een vloeiend stukje tekst nogmaals uitlegt.

  • Voordelen
  • Deze schalen zijn makkelijker te maken dan de ‘Differential scale’ van Thurstone.
  • Deze schalen kunnen in veel verschillende gevallen toegepast worden, o.a. op mulitdimensionale domeinen.

Een gespecialiseerde schaalmethode is de ‘Semantische  Differentiaal’. Deze komt qua basis principes overeen met de ‘summated scales’ methode. Deze methode is ontwikkeld door Osgood, Suci, & Tannenbaum (1957) en hiermee wordt onderzocht wat de betekenis is van een bepaald object voor een individu. Dit wordt gedaan aan de hand van een zevenpuntige bipolaire schaal. Uit factoranalyses is gebleken dat deze schalen zich over het algemeen groeperen onder drie verschillende onderliggende attitude dimensies.

7.6 Schalen en de verschillende niveaus van meten

Beoordelingsschalen zijn altijd volop in ontwikkeling. Dit zorgt ervoor dat onder experts er wel eens onenigheid over een specifieke kwestie kan bestaan. Men is het er nog steeds niet over eens wanneer een schaal leidt tot bepaalde scores en er is ook geen een duidend antwoord op de vraag welke schaal leidt tot welk meetniveau.

Deel III Steekproeven

 

Hoofdstuk 8 Basisprincipes van de steekproef

Een belangrijk aspect voor elk onderzoek is de mate van externe validiteit. Hoe hoger, hoe beter, want als je hoog scoort op de ‘externe validiteits meter’ zijn de conclusies van het onderzoek vatbaar voor generalisatie .Dit hoofdstuk kan worden beschouwt als een introductie die gaat over de logische zaken en doelen omtrent het doen van steekproeven.

NB. Handig om te onthouden, elk onderzoek heeft zo meer zijn eigen doelen ( ‘particularistic’ & ‘universalistic’) die het nastreeft, dit heeft ook zo zijn weerslag op het belang voor externe validiteit. Bij sommige soort onderzoeken kan dit belangrijker zijn dan bij anderen.

Dit hoofdstuk is onderverdeeld in drie delen. Als eerste worden er wat fundamentele principes uitgelegd over steekproeven. Vervolgens worden de twee soorten vormen van steekproeven in hoofdlijnen uitgelegd, namelijk ‘non probability’ (kanssteekproeven) & probability. Als laatste zullen er ideeën geïntroduceerd worden over steekproeven van eenheden ipv mensen.

 

8.1 Basis definities & begrippen

Populatie is de groep waarop de steekproef wordt uitgevoerd. Uit de populatie wordt dus de steekproef getrokken. Dit wordt dan wel select of aselect gedaan. ‘Stratum’ zijn de specificaties die de algemene groep of groep in zijn geheel in exclusieve groepen onderverdeelt. Elk apart persoon die meedoet aan een steekproef  wordt een populatie element genoemd. Met een census wordt bedoeld dat er een telling van alle elementen (personen) wordt gedaan en op basis van de (gevraagde) karakteristieken wordt onderverdeeld in groepen, hierna kan er dan wat geconcludeerd worden over de onderverdeling.

Over het algemeen is het zowel qua tijd, geld en inspanning besparend om de gewenste informatie te verkrijgen uit een deel van de populatie in plaats van ze allemaal bijv. een vragenlijst in te laten vullen. Wanneer we een deel van de elementen selecteren om iets uit te zoeken wat geldt voor de hele populatie waaruit wij deze groep elementen hebben gekozen noemen we dit een steekproef (sample). Vervolgens hopen we dat wat we onderzocht en geconcludeerd hebben bij een klein gedeelte uit de populatie, geldt voor de populatie als geheel. Het is nooit te garanderen dat de uitkomst van een steekproef over een bepaald construct geheel strookt met de rest van de populatie (denk maar aan verkiezingspeilingen).

Wat we wel kunnen doen is een steekproefplan (sample plan) opzetten om te verzekeren dat als we dezelfde steekproef zouden loslaten op een ander gedeelte/segment van dezelfde populatie de uitkomst ervan niet (teveel, tot een bepaald percentage, ‘margin of error’) anders is dan die van de rest van de populatie. Als een kanssteekproef zoveel garanties met zich meedraagt dat ons verzekerd wordt dat de scores overeenkomen noemen we dit een representatieve steekproef.  De steekproef kan vervolgens een kanssteekproef ( hierbij is er voor elk element dezelfde kans om opgenomen te worden in de steekproef) of een niet-kanssteekproef zijn

 

8.2 Niet-kanssteekproeven of ‘Non probability sampling’

Hiet worden vier soorten niet kanssteekproeven of ‘non probability sambpling nader uitgelegd. Dit zijn (hier worden de Engelse termen voor aangehouden): Accidental samples, quota samples, purposive samples en snowball samples.

Accidental samples

Simpelweg, nemen we bij deze vorm van steekproef alle elementen (personen) die we kunnen vinden, laten hun het onderzoek doen en gaan met dit proces door  tot we het gewenste aantal elementen bij elkaar hebben. Bijvoorbeeld de eerste honderd mensen die we op straat tegenkomen worden meteen geïnterviewd. Bij dit soort steekproeven kunnen we nooit weten hoe hoog de afwijking is van het steekproefgemiddelde ten opzichte van het populatiegemiddelde . We moeten er op goed vertrouwen vanuit gaan dat we niet (te erg) misleid worden.

 

Quota samples

Bij quota samples wordt er geprobeerd om te garanderen dat er van elk stratum of laag binnen een populatie elementen (personen) worden opgenomen in de steekproef. Een voorbeeld is dat men bij de outset van de steekproef al stelt dat er evenveel mannen als vrouwen moeten participeren aan het onderzoek. Bij ‘accidental samples’ gebeurd het nog maar al te vaak dat minderheidsgroepen en vrouwen ondervertegenwoordigd  zijn binnen onderzoek waardoor er een misleidend beeld kan ontstaan over de verdere populatie. Dit probleem probeert men met quota samples te voorkomen omdat zij wel eisen aan het begin van het onderzoek stellen over wie zij willen onderzoeken binnen een populatie. Dit in  plaats van de eerste honderd mensen die men tegenkomt te laten deelnemen.

Maar ook met deze voorzorgsmaatregelen in de selectie naar elementen voor de steekproef, blijven ook ‘quota samples’ in principe gelijk aan ‘accidental samples’. Dit is omdat hun procedure toch overeenkomt, ook al is dit bij de quota samples wat later in het proces.

Quota samples stellen dan wel eisen aan hun populatie (omdat zij er voor willen zorgen dat er in de steekproef gelijk aantal elementen of mensen uit elke laag van de populatie mee doen), binnen de desbetreffende lagen wordt er weer gedaan aan het ‘accidental sample’ idee van elementen werven.

Bijvoorbeeld er wordt gesteld dat er binnen een populatie een steekproef moet worden gehouden naar 200 elementen maar dat er zowel 100 mannen als 100 vrouwen moeten worden geïnterviewd. De keuze uit welke 100 vrouwen is dan weer net als bij ‘accidental samples’, gewoonweg de eerste 100 vrouwen die willen meedoen. De totale steekproef blijft dus ‘accidental’ van aard.

Onderzoekers die doen aan quota sampling vallen soms ten prooi aan een aantal andere type van bias. Het kan zijn dat zij hun eigen vrienden gebruiken voor hun onderzoek, die dan vaak qua persoon lijken op de onderzoeker zelf (bijvoorbeeld bij een onderzoek gedaan door een student, zal ook veel vrienden hebben die ook bij hem of haar op de studie zitten en ongeveer dezelfde levensstijl hebben, als je allen maar hieruit je participanten/elementen werft voor je steekproef dan geeft het een eenzijdig beeld weer van de populatie). Ten tweede kan het zijn dat er voornamelijk gekeken wordt naar plekken waar veel mensen tegelijkertijd zijn (bijvoorbeeld grote steden, universiteiten, vliegvelden..zulke steekproeven over vertegenwoordigen dan weer dat deel van de populatie wat vaak rondloopt in zulke omgevingen en ondervertegenwoordigen dat deel van de populatie wat vaak thuisblijft. Dit zijn selectieve factoren waarmee de onderzoeker rekening dient te houden maar deze zijn niet gemakkelijk te corrigeren door het gebruik van statistische correctie procedures. 

 

Purposive samples

De basis veronderstelling achter 'purposive samples’  is dat het met de juiste

strategie en goede oordeel mogelijk is om de elementen met de hand kunnen uitkiezen.

Een voorbeeld van zo’n strategie is die gevallen kiezen die men typerend vindt voor de bedoelde populatie. Experimenten die gingen over ‘purposive samples’ hebben aangetoond dat dit idee geen houdbare positie is. Zij suggereren dat als er geen objectieve basis bestaat voor het oordelen over wie wel of niet een goed persoon of element is voor de steekproef je niet met zekerheid kan aannemen dat de met de hand gekozen elementen ook echt representatief of typerend zijn voor een deel van de populatie.

 

Snowball samples

Wanneer er een onderzoeksvraag gaat over een speciaal, moeilijk te benaderen of te localiseren deel van de populatie, kunnen onderzoekers overgaan op de ‘sneeuwbal methode’.  Deze gebruiken zij dan als een middel om toegang te krijgen tot dat moeilijk te bereiken deel van de samenleving.

Binnen deze vorm van steekproef zitten meerdere niveaus. Het eerste niveau bestaan dan nog maar uit zeer weinig elementen en de onderzoeker hoopt via deze hen toegang te krijgen tot meerdere elementen om zo uiteindelijk het gewenste aantal elementen te werven om de steekproef te laten lukken. Het zou dan de beste uitkomst zijn dat als je bijvoorbeeld met 20 personen start, deze allemaal drie nieuwe namen zouden weten die ook van toepassing zijn voor jou onderzoek, dan heb je er in één klap 20 x 3 = 60 nieuwe elementen bij en heb je er in totaal al 80. Deze zestig vormen dan de nieuwe laag of niveau binnen je steekproef. Zo ga je door tot je het gewenste aantal hebt.

Net als bij alle vormen van ‘non probability sampling’ is het ook hier nooit met zekerheid vast te stellen op jou uiteindelijke steekproef representatief is voor dat segment van de populatie wat hij onderzocht hebt. Dus of de 300 studenten die jij hebt laten meedoen, representatief zijn voor de gehele populatie studenten in Nederland. De hoogte van de generalisatie is dus niet met zekerheid vast te stellen.

 

8.2 Kanssteekproeven of ‘Probability Sampling’

Kanssteekproeven geven ons de mogelijkheid om de problemen die wij bij de ‘niet-kanssteekproeven’ hebben besproken te minimaliseren (namelijk dat je bij niet-kanssteekproeven niet met zekerheid kan zeggen of de uitkomst van de steekproef wel iets zegt over de populatie als geheel en als ze dan wel wat of veel van elkaar schelen, hoeveel dit procentueel is). Met kanssteekproeven is er de optie om genoeg elementen of ‘cases’ te selecteren uit elk segment of laag van de relevante populatie, om zo wel relevantie conclusies te trekken uit een steekproef.

In dit stuk wordt de basis, eenvoudige kanssteekproef nader uitgelegd om zo voor nu te begrijpen wat dit precies inhoud. In hoofdstuk negen komen complexere vormen van kanssteekproeven aan de orde. 

 

Kanssteekproef, de basis

Hier wordt  het basisontwerp voor een kanssteekproef uitgelegd en dit ontwerp zit ook verwerkt in alle complexere vormen van kanssteekproeven. De elementen die voor deze steekproef worden geselecteerd hebben allemaal net zoveel kans om deel te nemen aan de kanssteekproef. Meer dan dat zijn ook alle combinaties tussen de afzonderlijke elementen en ‘cases’ mogelijk. Dit houdt in dat na verloop van tijd na het herhaaldelijk doen van dezelfde steekproef elke combinatie even vaak is voorgekomen.  In principe kunnen we deze methode gebruiken voor het selecteren van aselecte steekproeven  van elke populatie, en maakt het niet uit hoe groot of klein deze zijn. In de praktijk kan dit leiden tot een levenswerk alleen al doordat je alle mogelijke combinaties zou moeten opstellen. Hetzelfde resultaat kan bereikt worden door een lijst van random nummers te gebruiken. Deze sets van nummers zijn zo gegenereerd dat er geen enkele aanwijzing is van systematische ordening.

Op p.190 wordt dit geïllustreerd aan de hand van een voorbeeld, en legt uit dat als men zo te werk gaat het resulteert in een distributie van steekproefgemiddelden wat ook wel ‘sampling distributie’ wordt genoemd. Wat moet worden opgemerkt is dat steekproeven van elke grootte het meest voor de handliggende kanssteekproef gemiddelde gelijk is aan die van het populatiegemiddelde. Vanaf hier geldt: hoe groter de steekproef is, des te aannemelijker is het dat het steekproefgemiddelde dicht bij het populatiegemiddelde staat. Hoe meer een steekproefgemiddelde van een populatiegemiddelde verschilt, des te onwaarschijnlijker is het dat het ook echt voorkomt.

Een andere interessante karakteristiek is volgens Hoyle er één waarvan de meeste mensen deze moeilijk zouden geloven zonder wiskundig bewijs. Dit is wanneer de populatie groter is in verhouding tot de steekproefgrootte (zeg 10x zo groot)  worden de variaties van de steekproevenverdelingen meerdere mate bepaald door de absolute grootte van de ‘cases’ van de steekproef dan door de proportie van de populatie waaraan de grootte van de steekproef gelijk is.

 

8.3 Concluderende opmerkingen over de twee verschillende vormen van steekproeven

Uit het voorgaande moest duidelijk wordendat alleen wanneer er een kanssteekproef gebruikt wordt we een redelijke basis hebben om te constateren hoe ver de steekproefresultaten verschillen van die van de ware bevolking/populatie cijfers. Ook als is een kanssteekproef beter dan een ‘niet’ kanssteekproef (nonprobability sample) toch is een  kanssteekproef niet altijd nodig.

 

Als we een steekproef voor andere doeleinden gebruiken is de vermogen van een kanssteekproef om na te gaan in hoeverre we een resultaat kunnen generaliseren naar de populatie irrelevant en dus ook niet nodig. Bijvoorbeeld , als het doel is om ideen, goede inzichten of ervaren kritische beoordelingen te willen verwerven is een ‘purposive sample’ al voldoende. Men moet zich dus niet blindstaren op de kanssteekproef, in sommige gevallen is het soms beter om een steekproef methode te kiezen uit de categorie ‘niet’ kanssteekproef (nonprobability sample).

 

8.4  Andere elementen dan mensen samplen

In deze laatste paragraaf wordt kort besproken op welke manieren de logica van het doen van steekproeven ook kan werken op een selectie items die geen mensen zijn. Dit komt in hoofdstuk tien nog uitgebreid aan bod. tijdsperioden, elementen van media-inhoud en test items kunnen allemaal onderworpen worden aan een steekproef wanneer het doel is om de resultaten te generaliseren naar de gewenste populatie.


Hoofdstuk 9 Methodes Kanssteekproeven

Kanssteekproeven komen in bijna elk survey-onderzoek wel voor.

Dit hoofdstuk beschrijft in concrete termen de praktische zaken die opgaan voor diverse typen kanssteekproeven. Er wordt voortgebouwd op de al opgedane kennis uit het vorige hoofdstuk.

 

  1. Basismethoden voor kanssteekproeven

Zoals we in het vorige hoofdstuk kunnen hebben lezen is een kanssteekproef (probability sample) een steekproef waarbij elk element uit de populatie een kans heeft om getrokken te worden om deel te nemen aan de steekproef. Er bestaan drie soorten kanssteekproeven: Aselecte steekproef, gestratificeerde steekproef en een cluster steekproef. Het is ook een optie om in onderzoek een combinatie van soorten steekproeven te gebruiken. Er vormt zich dan een getrapte steekproefplan.

Aselecte steekproef

Als men een aselecte steekproef wil doen is er een lijst nodig waarop alle populatie elementen staan. Deze lijst, of een andere specificatie methode waarmee het duidelijk is uit welke populatie men de elementen voor de steekproef wil verkrijgen wordt ook wel het ‘sampling frame’ genoemd.  Nogmaals, elk element binnen de geselecteerde populatie heeft een even grote of gelijke kans om getrokken te worden om deel te nemen aan de steekproef.  Zo’n lijst lijkt onmogelijk te maken voor bijvoorbeeld alle inwoners van een stad, maar er zijn ook lijsten waar wel gemakkelijk aan te komen is, zoals een lijst met alle namen van studenten die op dit moment ingeschreven staan bij een bepaalde universiteit.

 

Als men eenmaal een goed sampling frame heeft, dan is de procedure voor het opmaken van een steekproef niet heel erg ingewikkeld (zie voor een stapsgewijze uitleg over deze procedure p.198). Er zijn echter wel twee veelvoorkomende valkuilen die aan het begin al vermeden dienen te worden. Ten eerste is er het zogenaamde systematisch steekproeftrekken (systematic sampling). Hierbij gaat het om elementen die op zo’n manier gekozen worden dat deze keuzes niet onafhankelijk zijn. (bijvoorbeeld als je een lijst opmaakt van alle elementen en dan van elke tien elementen random hier 1 uitkiest voor de steekproef zeg bij de eerste 10, kiezen we voor nummer 6, vervolgens voor 16, 26, etc.) Ook al is het zo dat deze methode ons verstrekt met een steekproef waarin elk element een kans heeft om gekozen te worden omdat het beginelement random gekozen wordt, is het niet een aselecte steekproef omdat de keuzes voor selectie niet onafhankelijk zijn. Want als nummer 6 random uit de eerste 10 gekozen wordt, moet ook nummer 16, 26 etc gekozen worden. Systematisch sampling kan voor ernstige bias zorgen wanneer een lijst regelmatigheden of systematische cycli bevatten.   

 

 De tweede valkuil is de behandeling van populatie elementen die eigenlijk niet in aanmerking komen voor de steekproef maar die in de eerste instantie wel vielen binnen de populatie maar bijvoorbeeld niet in de goede tijdsperiode.( Je wilt bijvoorbeeld weten wat de effectiviteit is geweest van een cursus, je populatie is dan de geslaagden voor die cursus, maar je bent eigenlijk alleen geïnterneerd in diegene die de cursus al meer dan een jaar geleden hebben afgerond. In de gekozen populatie zitten er dan altijd zowel elementen die wel en die niet in aanmerking komen voor de steekproef.)

Hoe kan je het beste een lijst met toevalsgetallen verkrijgen? In de meeste statistiekboeken zit een appendix met hierin tabellen met toevalsgetallen. Hoe deze tabellen werken kan je lezen op p.199. Tegenwoordig zijn er op het internet goede programma’s te vinden die kunnen helpen bij het verstrekken van lijsten gegenereerde toevalsgetallen.

Kort samengevat, aselecte steekproefplannen zijn in essentie simpel om op te maken, mits er een lijst te vinden is van de door jou gekozen populatie met hierin alle afzonderlijke elementen (Lijst met namen van alle ingeschreven studenten van een universiteit) . Echter, in sommige onderzoekssituaties worden andere type steekproeven gebruikt, dan wel om praktische of efficiëntie redenen.

 

Gestratificeerde steekproef

Wanneer een populatie te verdelen is in deelpopulaties van vergelijkbare individu (strata of clusters) en vervolgens een simpele aselecte steekproef  uit elk stratum uitvoeren en al deze afzonderlijke steekproeven samenvoegen tot een grotere steekproef, kunnen we spreken van een gestrafiticeerde steekproef. Schattingen die gedaan worden op basis van een gestratificeerde steekproef zijn preciezer  dan op basis van een simpele aselecte steekproef.

Cluster steekproef

Een steekproef waarbij het steekproefframe is onderverdeeld in deelpopulaties die op hun beurt weer verdeeld kunnen worden in nog meer deelpopulaties (van stad naar wijken, van wijken naar straten etc etc.. wordt een cluster of getrapte steekproef genoemd (multistage sampling). Dit proces van steeds meer de deelpopulaties laten vertakken in nog meer deelpopulaties gaat door totdat men in de laatste fase onder individuen een steekproef houdt. 

 

9.2 Fouten bij steekproeven    

Ookal voldoet een steekproef, welke vorm dan ook, aan alle criteria is het nog steeds zo dat de uitkomsten van een steekproef nooit exact overeenkomen met de gehele populatie. De mate waarin deze niet met elkaar overeenkomen heet ook wel ‘sampling error’ of foutmarge. Omdat we  nooit de gehele samenleving kunnen meten d.m.v. een steekproef, kunnen we alleen maar inschatten wat de mate van de foutmarge is. Hoe groter de steekproef, hoe kleiner de ‘sampling error’.

Om de sampling error te berekenen kan de volgende formule gebruikt worden:

1.96 x √  P(1-P)

            ---------

                N

Hier representeert N de steekproefgrootte en P de proportie van dat deel van de steekproef die dat bepaalde gedrag vertroonde wat voor het onderzoek interessant was.

Ps. Ik kreeg de formule in word niet exact zoals deze in het boek wordt weergegeven, zie hiervoor p. 208, alsmede voor een voorbeeld voor een berekening met deze formule)

9.3 twee voorbeelden van steekproefplannen

Als een manier om kanssteekproef designs voor een grootschalig onderzoeksproject uit te leggen worden er op de laatste paar pagina’s van hoofdstuk negen twee voorbeelden aangehaald. Ten eerste ‘Multistage Area Sample’, en vervolgens de ‘Random-Digit Dialing Telephone Sample’. P.210-212.

Hoofdstuk 10 ‘Experience Sampling’

In hoofdstuk vijf is de term ‘experience sampling’ al langs gekomen als een onderzoeks- of meetmethode binnen de directe bevraging categorie naast die van de vragenlijsten (via internet), interviews en telefoon interviews. In dit hoofdstuk wordt ‘experience sampling’ als meetmethode gekoppeld aan de kennis over steekproeven uit hoofdstuk acht en negen.

In het eerste deel van dit hoofdstuk zullen er eerst een paar voorbeelden gegeven worden. Dit zodat er een beeld ontstaat van de verschillende onderwerpen die onderzocht kunnen worden door gebruik te maken van ‘experience sampling’ methoden. Vervolgens zullen er in het tweede gedeelte van dit hoofdstuk enkele keuzes (die sociaalwetenschappers moeten maken bij het gebruik van deze methode) besproken worden. Deze keuzes zijn onder te verdelen in twee categorieën: steekproef en meten.

10.1 Toepassing van ‘Experience Sampling’

In 1965-66 werden er in twaalf landen meer dan 25.000 individuen gevraagd om in een dagboek bij te houden hoe zij hun tijd gedurende een periode van 24 uur besteden. Een belangrijk kenmerk van dit onderzoek was dat de informatie die de respondenten genereerde in situ was. Op het moment dat er een activiteit plaatsvond, werd het door de respondent vastgelegd. Mede hierom waren deze verslagen niet onderhevig aan de vele vertekeningen en ‘biases’ die wel invloed hebben op de reacties die gegeven worden op enquêtes en interviews. In het midden van de jaren zeventig waren psychologen al druk bezig om deze methode te gebruiken om onderzoek te doen naar gedachtes en gevoelens die bij een bepaalde (sociale) activiteit konden voorkomen. In 1988 is experience sampling’ gebruikt in het onderzoek van Csikszentmihaly. Hij deed onderzoek naar de ervaring met ‘flow’ bij mensen (‘flow’ wordt door Hoyle beschreven als “an optimal state of being that comes with full involvement with an activity”p.215) Bij dit onderzoek werd aan participanten gevraagd om op random momenten van de dag een korte vragenlijst in te vullen. Zij kregen een pager mee waarop zij konden worden opgepiept om hieraan herinnerd te worden. Sinds dit onderzoek is de ‘experience sampling’ methode gebruikt in onderzoek naar vele verschillende fenomenen die van belang zijn voor sociale wetenschappers.

In de rest van dit deel van het hoofdstuk worden er worden er verschillende toepassingen  van de ‘experience methode’ besproken die gaan over uiteenlopende onderzoeken en onderwerpen. Deze voorbeelden illustreren ook goed de diversiteit in het gebruik van deze methode.

 

Subjectieve ervaring bij het idee van tijd

Objectief gezien gaat de tijd bij iedereen op dezelfde snelheid voorbij, alleen iedereen heeft weer een subjectief gevoel bij hoelang iets duurt (twee uur kunnen heel lang duren en gevoelsmatig wel tien uur duren als men iets heel saais aan het doen is). De menselijke ervaring van het passeren van tijd is dus nooit constant. Het idee dat ‘time flies when you’re having fun’ en dat mensen de tijd  uit het oog kunnen verliezen is onderzocht door Conti(2001). Voor dit onderzoek maakte hij gebruik van de experience sampling methode. 

75 studenten werden voorzien van elektronische planners, microcassette recorders en korte vragenlijsten. Deze studenten hadden allemaal aangegeven wat hun intrinsieke waarde is over studeren. De elektronische planners waren zo geprogrammeerd dat random participanten acht keer op een dag een signaal door kregen.  Over het algemeen was het responsepercentage hoog en werd er informatie verzameld over 2381 ervaringen. De resultaten kwamen overeen met de hypothese van Conti. Intrinsiek gemotiveerde studenten checkten minder vaak de tijd en rapporteerde dat zij als zij gesignaleerd werden zich vaak minder bewust waren van de tijd. Uit analyse bleek dat  hoe bewuster een participant zich was van de tijd op het moment dat die gesignaleerd werd,  des te negatiever was hun emotionele ervaring op diezelfde tijd. Comti heeft met haar onderzoek gedemonstreerd dat er een associatie/verband zit tussen intrinsieke motivatie en de subjectieve ervaring van tijd.

 

Tijdsverschil in emotionele ervaring

Carstensen et.al.(2000) hebben 184 volwassen van de leeftijdscategorie 18-94 laten meedoen aan hun onderzoek naar emotionele ervaring waarin zij gebruik maakte van de eexperience sampling methode. Voor een periode zeven dagen droegen de participanten een pager met zich mee waarmee zij vijf keer per dag random werden gesignaleerd en moesten een korte vragenlijst invullen. In de vragenlijst was een lijst met allerlei emoties opgenomen waaruit men moest kiezen om hun gevoel van hun ervaring ten tijde van de signalering te karakteriseren. Het bleek dat negatieve emoties in afnemende mate ervaren werden door de categorie jong volwassen tot zestig jarigen. ( na de zestig werden negatieve emoties weer vaker gekozen). Deze studie naar emotionele ervaring tijdens de volwassen jaren suggereert dat emotioneel functioneren niet afneemt maar juist rijker wordt naarmate men ouder wordt.

 

Denken, dag en nacht

Op innovatieve wijze hebben Fosse et al(2001) gebruik gemaakt van de experience sampling methode om de ervaring van gedachtes en hallucinaties zowel tijdens de slaap en als iemand wakker is te onderzoeken. De impuls om dit onderzoek te doen kwam door het feit dat er nog weinig onderzoek gedaan was naar de minder sensationele kanten van ervaringen tijdens slaap en  (vaak ging het over nachtmerries of hyperbewustzijn) . De 16 participanten  kregen een pager mee, waarmee zij als ze wakker werden overdag werden gesignaleerd. In de nacht droegen zij een ‘slaapmuts’, dit was een kap die weer vastzat aan een computer die geprogrammeerd was om informatie te verzamelen over de slaap van de desbetreffende participant. De computer was ook geprogrammeerd om de participanten wakker te maken op random intervallen tijdens de nacht en dan moesten de participanten antwoord geven op een aantal openvragen. Fosse et al ontvingen informatie van 1576 ervaringen over gedachtes bij participanten. Net iets meer dan de helft van deze vonden plaats als de participanten wakker waren. De rest kwam tijdens de nacht als men sliep. Diverse beoordelaars codeerden de antwoorden van de participanten danwel als een gedachte of als een hallucinatie. Uit het onderzoek bleek dat er meer gedachtes waren als men wakker was, en meer hallucinaties als men sliep. Door het bevinden konden de onderzoekers hun analyses koppelen aan mechanismen in het brein die overdag en snachts varieerde in hun functie.

 

Motieven voor het drinken van alcohol

Mohr et.al (2001) waren geïnteresseerd naar hoeveel alcohol er genuttigd werd door mensen die gekwalificeerd worden als gematigde of zware drinkers tijdens situaties waarin het gewoon was dat er alcohol geschonken werd. De verwachtingen waren dat zulke individuen eerder thuis alleen zouden drinken op dagen dat hun sociale leven niet goed verliep en ook alcohol nuttigden met andere mensen als zij buitenshuis waren als hun sociale leven wel goed verliep.  Om deze hypothese te testen werden er 100 mannen en vrouwen geselecteerd en kregen allemaal een handformaat computer mee en moesten zij voor dertig dagen elke avond een vragenlijst invullen. Omdat Mohr et alleen geïnteresseerd waren in die situaties waarop het nuttigen van alcohol als normaal werd gezien werden de participanten niet random gesignaleerd. In plaats hiervan moest de participant zelf aangeven op de computer als hij of zij verwachtte dat er een periode van alcohol drinken aankwam. Vervolgens rapporteerden zij hoeveel alcohol er in die periode genuttigd werd. De hypothese strookte met de uitkomsten van het onderzoek. De onderzoekers zien hun bevindingen als overtuigend bewijs voor de rol van sociale motieven die inherent zijn aan het nuttigen van alcohol.

10.2 Steekproefstrategieën en procedures

Er zijn twee kenmerkende functies voor de experience sampling methode. Ten eerste is het een strategie voor het onderzoek doen naar ervaringen en ten tweede is het een mechanisme die ervoor zorgt dat we efficiënt en snel informatie kunnen verzamelen over die ervaringen. Er zijn verschillende manieren waarop de experience sampling methode kan worden gebruikt voor een onderzoek. Over het algemeen zijn het er drie en de voor en nadelen hiervan  zullen worden besproken

In hoofdstuk acht zijn we ingegaan dat er twee verschillende doelen zijn bij het doen van onderzoek. Aan de ene kant particularistisch, en aan de andere kant universalistisch. Deze zelfde doelen onderscheiden ook de verschillende vormen van het gebruik van de ‘experience sampling’ methode.

 In sommige gevallen is de onderzoeker geïnteresseerd in het nauwkeurig beschrijven van de subjectieve ervaring van een participant. Bij zulk onderzoek is het van vitaal belang om via een aselecte steekproef kennis op te doen over een ervaring zodat de steekproef zo veel mogelijk representatief blijft. In andere gevallen is de onderzoeker geïnteresseerd in zeer specifieke ervaringen. Dan is het van belang om uit deze specifieke ervaring een steekproef te trekken. Deze steekproefmethode heet ook wel ‘purposive’.Experience sampling’ kan dus ofwel purposive of random zijn.

Signalering

Om de ‘experience method’ tot een succes te maken voor een onderzoek, moet er door de onderzoeker voor gezorgd worden dat de participanten op een bepaalde manier worden gesignaleerd zodat zij weten dat zij een vragenlijst moeten invullen.

Het signaleren kan op drie manieren plaatsvinden:

  • De meest basale manier van signalering is dat een participant van te voren wordt geïnstrueerd dat hij of zij op bepaalde momenten van de dag een vragenlijst moet invullen. Zij krijgen een tijdsschema mee naar huis waar zij zich aan moeten houden.
  • Een participant krijgt een pager mee waarop hij of zij wordt opgepiept als er een vragenlijst moet worden ingevuld danwel op papier in een boekje of op een klein computertje.
  • Bij de derde manier moet de participant zelf aangeven dat er een vragenlijst moet worden ingevuld als de specifieke ervaring zich voordoet die onderzocht wordt.
  • (zoals bij het onderzoek naar alcohol van Mohr et.al.(2001)) 

 

Er kan dus worden gekozen voor een pager of een ‘pocket pc’. Deze kleine draagbare pc’s zijn wel een stuk duurder dan een pager maar zij  hebben behalve dat wel een paar grote voordelen. Ten eerste hoeven zij niet voor elke participant te worden voorgeprogrammeerd. Ten tweede kan een draagbare pc ook vragenlijsten afnemen door de beschikbare software die speciaal ontwikkeld is voor onderzoek die gedaan word met de ‘experience sampling’ methode. Een nieuw ontwikkeling op het gebied van signalering is het gebruik van popup vesters in internetvensters (‘auto ask’ van Chen & Nilan(1998)).

Behalve de keuze tussen welke signaleervorm, moet de onderzoeker ook een keuze maken tussen een signaleerschema. De keuzes vallen binnen drie categorieën: gedurende welke uren zal de steekproef plaats vinden?, hoeveel keren op een dag?, welke beperkingen zijn er (bijv. dat ze niet op bepaalde momenten voorkomen)?

Bijhouden van een dagelijks dagboek

De meest rechtstreekse/eenvoudige aanpak binnen de ‘experience sampling’ methode is die van het bijhouden van een dagelijks dagboek. Hierbij wordt de participant aan het eind van de dag gevraagd om op een samenvattende manier weer te geven wat zijn of haar bevindingen/ervaringen/gevoelens gedurende de dag zijn geweest. Er hoeven weinig keuzes gemaakt te worden door de onderzoeker, er hoeft niet nagedacht te worden hoe vaak en op welke momenten van de dag de participant gesignaleerd moet worden. Toch is het een nadeel dat de gegeven informatie van een participant niet gebeurd op het moment dat hij of zij het meemaakt.  Dit wil niet zeggen dat deze aanpak minder is dan andere, voor specifieke onderzoeken is het juist de beste optie.

 

Aselecte steekproef

Wanneer een onderzoeker geïnteresseerd is in een accurate schatting van hoe en/of hoe vaak van bepaalde ervaringen of gebeurtenis voorkomt is het de beste optie om op random wijze verdeeld over een paar dagen steekproeven te houden onder de participanten. Om dit te doen krijgen de participanten iets mee waarmee zij gesignaleerd kunnen worden. Dit vereist van de kant van de onderzoeker naast een hoop geld een hoop keuzes: wanneer op de dag moet iemand gesignaleerd worden en hoe vaak? Soms is een ervaring zo zeldzaam of te zeldzaam waardoor onderzoekers deze vorm laten vallen en overgaan op de purposive variant. Een andere bewerking is dat soms respondenten geen antwoord kunnen geven aan het signaal (wanneer een student net bezig is met een tentamen en hij wordt opgepiept kan er niet van worden uitgegaan dat diegene dan stopt om een vragenlijst te kunnen antwoorden).

 

‘Event-Contingent’ steekproef

Bij deze vorm van het doen van steekproeven wordt verwacht dat de respondent zelf aangeeft wanneer een relevante gebeurtenis voor  het onderzoek zich voordoet om vervolgens een aantal vragen te beantwoorden. Er zijn twee soorten gebeurtenissen te onderscheiden, interne en externe gebeurtenissen. Bij interne gebeurtenissen gaat het om gevoelens, gedachtes van de respondent zelf, externe gebeurtenissen zijn die situaties die ervoor zorgen dat een respondent  zich op een bepaalde manier voelt etc. etc. De situatie kan zich in de loop van de dag voordoen. De participant moet  hier zelf aangeven wanneer hij of zij wat wil rapporteren en zij worden niet in de vorm van een schema gesignaleerd.

Het opzetten van zo’n steekproef is niet erg complex. Wat de onderzoeker in ieder geval moet doen is vaststellen hoelang de participatie aan het onderzoek is. Verder moet de onderzoeker de participant vragen om als de gebeurtenis die onderzocht wordt zich voordoet dit dan ook echt rapporteert. De onderzoeker kan geen enkele vorm van macht uitoefenen op hoe vaak een participant gesignaleerd wordt aangezien de participant dit zelf moet doen. Praktische beperkingen van een steekproef schema is bij deze vorm ook niet aan de orde. Net als bij signalering is het wijs om de participant een lijst mee te geven met situaties waarin de gebeurtenis zich voor kan doen, maar dat zij hierdoor juist niet in staat zijn dit te rapporteren en dus ook geen informatie kan geven aan de onderzoeker. (nogmaals het voorbeeld wordt gegeven van een student die een examen zit te maken, als de focus ligt op opdringerige gedachten over een partner in een lange afstandsrelatie, zal een onderzoeker niet verwachten dat je dit rapporteert als deze gedachtes zich voordoen tijdens dat jij als participant een tentamen zit te maken)

 

De duur van een onderzoek

De standaard duur van een onderzoek is een week. De rationele gedachte hierachter is dat datgene waarin sociaalwetenschappers geïnteresseerd zijn in gevarieerde mate voorkomt binnen de duur van één week. Maar er zijn vele redenen waarom dit niet voor ieder onderzoek opgaat. Een vanzelfsprekende reden is bijvoorbeeld dat een ervaring zich alleen voordoet op specifieke dagen zoals iets wat tijdens het werk zich voordoet. Veel mensen werken van maandag tot vrijdag en niet in de weekenden, dan is het ook niet nodig om zeven dagen te meten. Wat vaker voorkomt is dat onderzoekers langer dan zeven dagen willen meten. Vaak wordt er twee weken gemeten. Er zijn twee voordelen: ten eerste door dit te doen gaat de betrouwbaarheid van de steekproef omhoog waardoor de kans dat de validiteit van hun bevindingen gecompromitteerd  worden omlaag gaat. Ten tweede is er de kans dat een gebeurtenis niet bij iedere participant elke week plaatsvindt, of net zo vaak als bij anderen.

10.3 Meetstrategieën en procedures

Als een onderzoeker heeft beslist hoe hij de participanten wil signaleren zodat zij de onderzoeker van informatie kunnen voorzien moet er beslist worden wat er gemeten en hoe er gemeten moet worden.

 

Algemene zaken

Ongeacht hoe er gemeten wordt, de vragenlijst zelf moet over twee kwaliteiten beschikken. Ten eerste  moet deze zo kort mogelijk zijn (beknoptheid) en ten tweede moet deze refereren aan de ervaring van de respondent op dat moment dat de gebeurtenis zich voordoet of binnen een kort tijdsbestek. Er zijn twee veelgebruikte benaderingen  voor het meten van ervaringen: Papier en pen en door de computer bijgestaan.

Wanneer een onderzoeker erover nadenkt om een papier en pen vragenlijst te gebruiken zijn er twee belangrijke zorgen waarbij moet worden stil gestaan. Ten eerste de grootte van de vragenlijst en ten tweede hoe het proces van het inleveren van de vragenlijsten moet worden georganiseerd. Bij de vraag hoelang een vragenlijst moet zijn is het antwoordt simpel: zo beknopt mogelijk. Bij de vraag over hoe een vragenlijst dient ingeleverd te worden lijkt het antwoord zo simpel: gewoon waar de respondent deze heeft gekregen, danwel via de mail of afgeven op het juiste adres. Soms moet hier echter wat meer bij worden nagedacht. Als er bijvoorbeeld  meerdere vragenlijsten zijn ingevuld op meerdere meetmomenten is het wellicht niet een goed idee om de respondent te vragen ze allemaal tegelijkertijd in te leveren. Het kan dan zijn dat een respondent bij het invullen van een andere vragenlijst gaat nadenken over hoe  hij of zij de vorige heeft ingevuld. Respondenten kunnen ook de ingevulde antwoorden gaan wijzigen omdat ze na verloop van tijd toch denken dat zij te heftig hebben gereageerd. Dit kan worden opgelost door de respondenten de al ingevulde vragenlijs meteen per retour opstuurt in een al opgemaakte envelop.

Het gebruik van een door de computer bijgestane vragenlijst waarbij de respondent simpelweg de vragenlijst invult op een handcomputer maakt het doen van een onderzoek op vele vlakken een stuk eenvoudiger. Een computer kan geprogrammeerd worden en signalen afgeven dat de respondent weet hoe en wanneer hij of zij een vragenlijst moet invullen. Verder kunnen de vragenlijst met veel gemakt meteen doorgestuurd worden naar de computer waarop de statistische analyses op gedaan worden en kunnen participanten niet meer terugbladeren of antwoorden aanpassen. Verder wordt er een hoop papier gespaard.

Deel IV Strategieën voor sociaalwetenschappelijk onderzoek

Hoofdstuk 11 Gerandomiseerde experimenten 

Een gerandomiseerde experiment is de beste methode om te gebruiken om onderzoek te doen naar causale verbanden om vervolgens te concluderen dat ‘dit, dat veroorzaakt heeft’. Gerandomiseerde experimenten worden dan ook zeer vaak gebruikt binnen de sociale wetenschappen en hiervoor zijn een aantal goede redenen op de noemen. Misschien wel de belangrijkste is omdat je als onderzoeker zelf kan beslissen welke participanten hij of zij aan welk niveau (van de onafhankelijke variabel) wordt toegewezen. Dit maakt de interne validiteit van zulk onderzoek hoog, wat binnen onderzoek altijd een goede zaak is. Maar zoals bij alles, zijn er ook altijd nadelen, ook aan gerandomiseerde experimenten. In dit hoofdstuk worden zowel de sterktes als de zwaktes besproken en wordt er gekeken in hoeverre deze aanpak verschilt van andere onderzoeksdesigns.

 

11.1 het controleren  en manipuleren van de variabelen

Bij elk onderzoek is het een vereiste de manipulatie of meting van variabelen. (variabelen representeren de constructen, zij representeren datgene wat een onderzoeker wil onderzoeken en conclusies over wil trekken). Bijv. als we het stemgedrag van de Nederlandse bevolking willen onderzoeken zijn hun stemmingen de variabel die moet worden gemeten. Variabelen moeten, zoals de naam het al zegt, variëren en in ieder geval twee waardes hebben.

Voor het meeste onderzoek hebben we vaak geen één maar twee variabelen, zodat we vervolgens kunnen kijken of er een associatie/verband zit tussen de twee. Één hiervan het de afhankelijke (deze is afhankelijk van de onafhankelijke variabel), en de andere de onafhankelijke variabel (van deze variabel denken wij dat deze een causale invloed heeft op het afhankelijke variabel). Of een variabel afhankelijk of onafhankelijk is ligt aan de gestelde onderzoeksvraag. Als een onderzoeker wil nagaan en begrijpen wat de invloed van de ene variabel op de andere variabelen is,wordt er getracht om de variabel in bedwang te houden (controll,p.239). Het isoleren of het onder controle houden van de onafhankelijke variabel is een veelgebruikte strategie binnen experimenteel onderzoek.

 

Variabelen die we onder controle kunnen houden, kunnen manipuleren en de participant aan kunnen blootstellen worden experimentele onafhankelijke variabelen genoemd. Andere vormen van onafhankelijke variabelen zoals religie, educatie, inkomen etcetc.  Zijn variabelen die de participanten ‘met zich meebrengen’ naar het onderzoek en bijna onmogelijke zijn om te manipuleren. Deze soort van onafhankelijke variabelen worden ook wel ‘individual difference’ variabelen genoemd. Dit is een groot verschil tussen experimenten en non-experimenteel (quasi experimenteel) onderzoek. Een voorbeeld van een manier om een variabel in bedwang te houden, is door deze constant te houden. Echter, het contant houden is niet voldoende om ervan uit te gaan dat de  interne validiteit van ee onderzoek wordt gewaarborgd. Alle reeds aanwezige verschillen tussen de groepen binnen een onderzoek kunnen er voor zorgen dat er een plausibele alternatieve uileg is voor de gevonden conclusie.  

 

Dus, in sociaalwetenschappelijk onderzoek kan men nooit de interne validiteit maximaliseren of onaantastbare causale conclusies trekken over het effect van een onafhankelijke variabel door simpelweg er voor te zorgen dat de participanten op een aantal variabelen niet te veel van elkaar verschillen. Er zijn hiervoor simpelweg teveel variabelen die dan ook in bedwang moeten worden gehouden. De oplossing hiervoor is om een aselecte of gerandomiseerd onderzoek te doen (waarbij het grondbeginsel is dat de participanten aselect aan de verschillende groepen va de onafhankelijke variabel worden toegewezen).

 

 

11.2 Aselect toewijzen

De enige manier om twee of meer groepen gelijk te stellen is door de participanten van een onderzoek aselect toe te wijzen. Deze stap is cruciaal als men causale verbanden wil opmaken over de effecten van een experimenteel onafhankelijke variabel.  Aselect toewijzen is een procedure die gebruikt wordt nadat we de participanten voor  het onderzoek gevonden hebben en voordat het experiment heeft plaats gevonden. Niet te verwarren met aselecte steekproeven, deze gebruiken we om in de eerste plaats te selecteren welke participanten we gaan onderzoeken. Deze gebruiken we niet om de verschillende groepen gelijk te stellen maar om ervoor te zorgen dat de groep participanten representatief is voor de rest van de samenleving.  Er is altijd een mogelijkheid dat het aselect toewijzen faalt (‘failures of randomization). Deze mogelijkheid is aanzienlijk groter wanneer de grote van de groepen klein zijn.

 

11.3 Onafhankelijke variabelen die variëren binnen en  tussen de participanten

Er zijn twee opties om onafhankelijke variabelen te manipuleren. Ten eerste kunnen we participanten toewijzen aan de ene of aan de andere groep. Een tweede optie is om alle participanten te onderzoeken aan de hand van de twee groepen. Een voorbeeld ter verduidelijking: stel, je wil onderzoeken of incidentele geluid stress op de werkvloer veroorzaakt. Er zijn 30 participanten en de voor de handliggende methode is om aselect 15 werknemers aan de ene conditie toewijzen en 15 aan de andere. Maar er kan ook gekozen worden om de stressniveaus van alle werknemers willen meten in beide condities zodat zij allemaal worden blootgesteld aan twee condities. Op deze manier meten we het stressniveau van elke werknemer twee keer. In dit geval varieert de onafhankelijke variabel binnenin de participanten in plaats van tussen de participanten. als alle participanten allemaal 1 keer in allebei de condities worden getest wordt dit ook wel een ‘repeated measures design’ genoemd.

Ook hier kunnen zich situaties voordoen die ervoor zorgen dat het plan van aanpak moet worden herzien. Terug naar het voorbeeld van incidenteel geluid en stressniveau op de werkvloer’. Stel dat je ervoor kiest om iedere participant twee keer te meten op twee verschillende dagen, dan kan het zijn dat de omstandigheden van de eerste dag (de temperatuur of de sfeer op de werkvloer is anders) niet overeenkomen met die van de tweede. Hierdoor is het onmogelijk om vast te stellen of het verhoogde stress niveau komt door het geluid of door de bijkomstigheid van andere kenmerken (zoals temperatuur).

Om dit op te lossen kan je dezelfde mensen op dezelfde dag twee keer meten door de werkdag in tweeën te splitsten (dus drie uur wordt participanten in conditie A gestopt en de volgende drie uur in conditie B). Dit proces om de volgorde van de experimentele condities aan te passen wordt ook wel ‘counterbalancing’ genoemd. Dit is niet alleen een belangrijke stap omdat het de interne validiteit waarborgt maar ook omdat het mogelijke contaminaties of ‘carryover effects’ uit te weg gaat die zich kan voordoen tussen experimentele condities binnen een onderzoek.

11.4 De verschillende bedreigingen voor interne validiteit

Er zijn een aantal bedreigingen die de interne validiteit van een onderzoek kunnen aantasten. Om als onderzoeker een causale gevolgtrekking te formuleren is het van vitaal belang om eerst alle andere alternatieve verklaringen uit te sluiten. Deze alternatieve verklaringen voor hetzelfde probleem of dezelfde vraag vormen de bedreigingen voor de interne validiteit. Er worden er zes besproken: selectie (refereert naar de reeds bestaande verschillen tussen individuen die in de verschillende condities zijn geplaatst die van invloed kunnen zijn op de afhankelijke variabel) , maturatie/rijpinsproces ( heeft betrekking op elk natuurlijk voorkomend proces die zich afspeelt in de participant zelf die een verandering in het gedrag kan veroorzaken) , geschiedenis (gaat over elke gebeurtenis die zich voor kan doen die samenvalt met de onafhankelijke variabel. Dit kunnen zowel grote als kleine  historische gebeurtenissen zijn), Instrumentatie( is elke verandering die zich naar verloop van tijd kan voordoen in meetprocedures of apparaten), uitval van participanten( mortality) en Selectie door maturatie/rijping.

 

Van pagina 249-252 gaat de auteur in op de verschillende bedreigingen en illustreert deze door middel van een voorbeeld zodat deze beter te begrijpen zijn. Lees dit zelf rustig door.

 

11.5 Construct validiteit van onafhankelijke variabelen bij een gerandomiseerd experiment

Voordat een onderzoeker een onafhankelijke variabel ‘in bedwang kan gaan houden’ moet er eerst een operationele definitie geformuleerd en gemaakt worden. Een operatonele definitie (hoofdstuk 4) is de procedure die gebruikt wordt om als onderzoeker de onafhankelijke variabel te kunnen meten en manipuleren. Elk onderzoek bestaat uit operationele definities van een abstract construct. In sommige gevallen is de operationele definitie van een onafhankelijke variabel helder in simpel maar in vele gevallen is dit niet zo. Of de onafhankelijke variabel is behoorlijk complex te vatten in een operationele definitie waardoor de definitie ook te complex wordt, of de operationele definitie van het algemene construct kan op meerdere manieren gedefinieerd worden. Hierbij is het de taak van de onderzoeker om een operationele definitie te kiezen die valide, praktisch en overtuigend is. In hoofdstuk vier is al aan bod gekomen dat construct validiteit zeer belangrijk is. Hierover nadenken zorgt ervoor dat de gekozen variabelen het abstracte construct zo goed mogelijk benaderen.

Wanneer onderzoekers eerder de verschillende niveaus van een onafhankelijke variabel maken dan meten noemen we het een gemanipuleerde variabel. Wanneer onderzoekers de validiteit van hun gemanipuleerde variabelen aantonen, hebben ze over het algemeen een meting van de onafhankelijke variabel construct verkregen voordat zij deze gemanipuleerd hebben. Dit wordt ‘manipulatie check’ genoemd.

 

Het maken van goede operationele definities vereist passende en accurate procedures die de onafhankelijke variabel kunnen meten. De kunst van het vinden van passende procedures kan niet geleerd aan de hand van een lijst voorwaarden maar moet men leren door hierin ervaring op te doen.

11.6 Alternatieve onderzoeksopzetten

Er is in dit hoofdstuk al kort ingegaan op de verschillende modellen voor gerandomiseerde experimenten. In één worden de participanten random verdeeld over de condities van de onafhankelijke variabel en elke participant wordt maar één keer gemeten. In dit geval varieert de onafhankelijke variabel tussen de participanten. Bij model twee varieert de onafhankelijke variabel binnenin de participanten en elke participant wordt meerdere keren gemeten totdat die in alle condities ten minste één keer heeft deelgenomen. Er zijn, naast deze twee, nog meerdere modellen die in deze paragraag besproken gaan worden.

 

De volgende notatie wordt aangehouden bij de uitleg van deze modellen:

X= een behandeling, een onafhankelijke variabel, een oorzaak.

O= een observatie, een afhankelijke variabel, een effect/ gevolg.

R= de participanten die random zijn toegewezen aan de verschillende condities.

 

De vier verschillende modellen zijn:

  • Model 1 Randomized Two-Group Design
  • Model 2 Pretest-Posttest Two-Group Design
  • Model 3 Solomon Four-Group Design
  • Model 4 Between-Participants Factorial Design

Deze worden allemaal uitgelegd door de auteur zowel met een schematische weergave van het model als verdere uitleg en voorbeelden van onderzoeken. Het is aan te raden om dit stuk zelf rustig door te lezen wat deze modellen inhouden en hoe deze gebruikt kunnen worden. (p.254 t/m 262)

 

Repeated Measures Designs

Eerder is er uitgelegd dat experimentele variabelen zowel tussen als binnenin de participanten gemanipuleerd kunnen worden. In plaats van het toewijzen van verschillende participanten aan verschillende condities, wordt elke participant blootgesteld aan alle condities van een onderzoek. Elke participant wordt dus meerdere  malen behandeld en getest. De variaties die  zich voordoen (die veroorzaakt worden door de verschillende behandelingen in de verschillende condities) komen voor in dezelfde persoon in plaats van tussen de verschillende condities van het experiment. Zulke modellen zijn gerandomiseerde experimenten zolang  de participanten random/aselect worden verdeeld.

 

Niet alle onafhankelijke variabelen kunnen gebruikt worden in ‘repeated measurers designs’ net zoals niet alle variabelen experimenteel gemanipuleerd kunnen worden. Eerder is er al een onderscheid gemaakt tussen gemanipuleerde experimentele variabelen (die variabelen die de onderzoeker zelf opstelt) en ‘individual difference’ variabelen (die de proefpersoon in zich met zichzelf meedraagt die niet gemanipuleerd kunnen worden (leeftijd, sekse, beroep, inkomen etc). ‘Individual difference’ variabelen kunnen niet gebruikt worden als factoren in ‘repeated measures designs’.

11.7 Voor en nadelen

Door het hoofdstuk heen is er al verschillende keren stil gestaan bij de voordelen van gerandomiseerde experimenten. In dit deel wordt stil gestaan bij de verschillende nadelen. Wanneer deze nadelen worden gelezen is het voor de lezer belangrijk om in het achterhoofd te houden dat deze nadelen niet onvermijdelijk zijn bij het uitvoeren van een onderzoek. Dit heeft er mee te maken dat sommige onderzoeken gewoon slecht worden uitgevoerd en zijn dus echte kritieken. 

Nadelen zijn:

  • Experimentele artefacten ( het woord artefact wordt hier gebruikt voor onderzoeksresultaten die geen weergave zijn van de natuurlijke fenomenen die onderzocht werden, maar wegens de bijzondere proefopstelling zijn voorgekomen, bijv. als een onderzoeker zijn participanten tijdens een interview teveel ‘duwt in de goede richting’)
  • Externe validiteit (veel onderzoeksmodellen verhogen de interne validiteit, dit gaat dan vaak ten koste aan de mate van externe validiteit. Een belangrijke vraag blijft of een onderzoeksconclusie generaliseerbaar is naar de rest van de samenleving/populatie en of deze ook buiten het onderzoek enig recht van spreken hebben
  • Het probleem dat (eerstejaars) studenten als participanten fungeren bij wetenschappelijk onderzoek (studenten zijn in veel gevallen geen representatieve weergave van de werkelijke populatie/samenleving)
  • Het falen dat sommige experimenten over het algemeen geen goede beschrijvende data opleveren. (een percentage wat uit een onderzoek gerold is, zegt vaak maar weinig over hoe het werkelijk er aan toe gaat in de samenleving.

 

Hoofdstuk 12 Het Laboratorium

Het laboratorium is om vele redenen een unieke setting voor het doen van onderzoek. Om de speciale functies van een laboratorium te begrijpen is het misschien het beste om deze niet te zien als een vastgestelde omgeving maar meer als een medium waarbinnen de onderzoekssetting kan worden geconstrueerd. De flexibiliteit is misschien wel het meest unieke kenmerk. Flexibiliteit zorgt  ervoor dat de onderzoeker de mogelijkheid heeft om een fysieke setting, taken, sociale omgevingen en vele andere factoren te creëren die het menselijk gedrag kunnen beïnvloeden.

 

 Er kan aan drie onderliggende onderzoeksdoelen worden voldaan als men het laboratorium als setting wordt gebruik: het hebben van controle, het implementeren van een experimentele manipulatie en het construeren van een setting voor het experiment. Controle (ofwel het minimaliseren van invloeden van buitenaf die grote negatieve gevolgen kunnen hebben voor het onderzoek) wordt mogelijk gemaakt door het feit dat het onderzoek plaatsvindt in een afgesloten, van de buitenwereld geïsoleerde ruimte.

 

In dit hoofdstuk worden enkele principes/grondbeginselen besproken van het onderzoek doen in een laboratorium.

12.1 Wanneer het laboratorium gebruikt kan worden

Het ligt geheel aan het onderzoek of het laboratorium wel of niet de goede keus is. Enige conceptuele contrasten maken het duidelijk welke soorten onderzoeken wel of niet gebruik kunnen maken van het laboratorium:

 

  • Universalistische vs. Particularistische onderzoeksdoelen
  • Fundamenteel vs. Toegepast onderzoek
  • Onderzoeken wat er gebeurd vs. Wat er kan gebeuren
  • Manipuleerbare vs. Niet-manipuleerbare onafhankelijke variabelen
  • Korte vs. Lange tijdkader
  • Bewustzijn van de participanten over het onderzoek

 

Het laboratorium is geenszins een perfecte setting voor sociaal wetenschappelijk onderzoek. Net als elke onderzoekssetting heeft het laboratorium zo weer zijn eigen lijstje met voor en nadelen die het passender maken voor sommige onderzoeken terwijl het juist volledig de plank mis kan slaan bij anderen.

 

Het laboratorium kan in het bijzonder bruikbaar zijn voor:

  •  het testen van theoretische hypothesen die universalistische doelen voor ogen hebben
  •  om antwoord te vinden op vragen ‘wat zou er gebeuren in een bepaalde setting?
  • En om te onderzoeken wat de relatief korte termijn effecten zijn van manipuleerbare onafhankelijke variabelen

Het laboratorium is minder bruikbaar voor:

  • Vragen beantwoorden die gaan over wat er gebeurd in een bepaalde setting
  • Voor het beschrijven van specifieke bevolkingsgroepen in specifieke settings
  • Voor het zoeken naar lange termijn effecten van gefixeerde niet-manipuleerbare variabelen

 

Je kan niet stellen dat de setting van het laboratorium goed of slecht is voor sociaalwetenschappelijk onderzoek. Zoals we net hebben kunnen lezen zitten er wel degelijk voordelen aan het gebruik van een laboratorium en kan het alleen maar het onderzoek beter maken. Bij elk onderzoek moet opnieuw worden uitgezocht of deze wel of niet geschikt is voor het laboratorium.

 

12.2 Verschillende typen laboratoriumonderzoek 

Laboratorium onderzoeken kunnen onderverdeeld worden in verschillende categorieën. Het verschil zit hem in de aard van de onafhankelijke variabel en in de taak die de participant moet uitvoeren. Aronson et al(1998) maakten een onderscheidt in impact en beoordelingsstudies. Hoyle voegt hier een derde categorie aan toe namelijk die van de observatie.

 

Impact studies

Aronson et.al.(1998) omschrijven een impact studie als volgt: ‘In this kind of study people are active participants in an unfolding series of events and have to react to these events as they occur’ p.277. Dit soort studies moeten zorgvuldig worden georganiseerd worden zodat de setting zo veel mogelijk overeenkomt met de werkelijkheid. Hoyle somt vervolgens nog een aantal voorbeelden op van onderzoeken waarin dit gedaan is. Al deze studies hadden te maken met onafhankelijke variabelen waarbij de bedoeling is dat deze een impact maken op het gedrag van de participanten.
Beoordelingsstudies

 

Aronson et.al.(1998) omschrijven een beoordelingsstudie als volgt: ‘ Judgment studies are those in which participants are more like passive observers; they are asked to recognize, recall, classify, or evaluate stimulus materials presented by the experimenter. Little direct impact on participants is intended, except insofar as the stimulus materials capture people’s attention and elicit meaningful judgment  responses’.p.278

Het contrast tussen beoordelings-en impact studies is duidelijk: eigen gebeurt er niets met de participanten zelf. Zij verschaffen de onderzoeker met hun oordelen en evaluaties. Nogmaals worden er vervolgens een paar voorbeelden van studies gegeven. In deze beoordelingsstudies, in contrast tot de impactstudies maken de participanten dus niet echt iets mee, gebeurtenissen gebeuren niet.  In  plaats hiervan lezen, luisteren of kijken naar stimulus materialen om vervolgens een beoordeling of evaluatie te geven.

 

Observationele studies

Omdat deze vorm een grote focus heeft op experimenteel onderzoek past deze niet in één van de twee categorieën die Aronson ons geeft. Onderzoekers die een voorkeur heeft voor de gemakken van een laboratorium waar hij een hoge mate van controle heeft over de observatie wordt volgens Hoyle als een observationele studie gelabeld.

Het sleutelelement van zo’n studie is de intensieve observatie; ookal kunnen er meerdere experimentele condities zijn, er is geen sterke nadruk op de impact van de manipulatie op de particpanten. Een voorbeeld van zo’n studie is bijvoorbeeld als er een onderzoek wordt gedaan naar groepsdiscussie. Een onderzoeker zou dan een groep mensen in een kamer kunnen zetten en nauwkeurig alles observeren en rapporteren, plus transcripten maken wat er precies is gezegd in de gesprekken. Er volgen hierna weer wat voorbeelden over observationele studies.

In de gegeven voorbeelden is het duidelijk dat de focus dus ligt op de gedetailleerde observatie van een interactie of gedraging en hoe deze zich naar verloop van tijd ontwikkeld. Dit is in plaats van de focus te leggen op wat de impact is van de studie op de participanten zoals bij de vorige twee.

 

12.3 ‘Artifact and Artificiality’

Onderzoek heft aangetoond dat er een aantal type artefacten zijn die de resultaten van een laboratorium onderzoek kunnen aantasten(als de goede voorzorgsmaatregelen niet genomen worden). Bovendien vinden veel mensen dat laboratorium onderzoek op meerdere vlakken triviaal en onnatuurlijk is. De zogenaamde artificialiteit of gekunsteldheid  van een onderzoek is een soort cliché-uitdrukking geworden voor criticasters die voorstander zijn van een meer natuurlijke aanpak binnen onderzoek. 

 

Het lab en validiteit

Al het onderzoek (niet alleen laboratorium onderzoek) moet beoordeeld worden aan de hand van de drie regels die gaan over validiteit.

 

Interne validiteit

Het lab op zichzelf draagt geen enkele complicatie met zich mee voor de interne validiteit. Er kan ook in het laboratorium aan alles gedacht worden om de interne validiteit van het onderzoek zo hoog mogelijk te houden. Ook in een lab kan je aselect mensen toewijzen, manipuleren en je onderzoek opzetten op de manier waarop jij deze wil hebben.

Construct validiteit

Wat betreft constructvaliditeit kunnen er bij laboratorium onderzoek wel enkele vragen gesteld worden. De belangrijkste is in hoeverre de onafhankelijke en afhankelijke variabelen in de beurt komen van het theoretische construct. In hoofdstuk twee en vier hebben we kunnen lezen dat de constructvaliditeit gemeten kan worden door na te gaan of de relaties tussen de geoperationaliseerde variabel met een andere overeenkomen door middel van een theoretische voorspelling.  Deze strategie kan net zo goed in een laboratorium worden uitgevoerd als bij andere onderzoeksmodellen

Voor de afhankelijke variabel vertrouwt men in het lab vaak op de antwoorden die gegeven worden in vragenlijsten. Dit kan vanuit het oogpunt van de construct validiteit bekritiseerd worden maar deze kritiek is niet anders dan bij andere onderzoeksvormen die ook gebruik maken van vragenlijsten. Dit ligt dus niet aan het laboratorium. Misschien maakt de setting van een lab juist dit soort onderzoeken wel completer omdat deze ons ook gedetailleerde observaties geeft over hoe iemand zich gedraagt bij het invullen bijv. omdat wij hen in een lab kunnen filmen. Zo hoeven we niet meer te vertrouwen op de participanten hun zelfrapportages.

Constructvaliditeit van een manipulatie of meting kan niet worden vastgesteld worden door oppervlakkige kenmerken te bekijken. Om dit nogmaals te benadrukken maken Aronson et.al(1998) een onderscheid tussen experimentaal realisme (in hoeverre participanten het experiment/onderzoek ervaren zoals zij door de onderzoeker bedoeld waren) en mondaine of alledaags realisme (in hoeverre het experiment/onderzoek over bijv. een bepaalde gedraging overeenkomt met de alledaagse realiteit).

Het is de overtuiging van Hoyle dat ‘construct validity is the key question that must be asked about manipulations or measures used in laboratory research’p282 Op de korte termijn kan er niet een definitief antwoord gegeven worden (dit in tegenstelling tot interne validiteit). Construct validiteit kan voor laboratorium onderzoek nog wel eens problematisch zijn omdat operationele definities die hier gebruikt worden vaak versimpeld of geabstraheerd zijn.

 

Externe validiteit

Externe validiteit is de mate waarin setting, populaties, en onderzoeksresultaten gegeneraliseerd kunnen worden. Anders dan bij construct validiteit (wat altijd belangrijk is) is externe validiteit niet bij elk onderzoek even belangrijk, soms zelfs helemaal niet. Dit hangt compleet af van het onderzoeksdoel (dan wel particularistisch of universalistisch).

Wanneer er sprake is van een goede construct validiteit, vragen over externe validiteit binnen universalistisch onderzoek gaan niet over de onderzoeksresultaten maar over de toereikendheid en volledigheid van een theorie. Als het om universalistisch of fundamenteel onderzoek gaat is generalisatie naar andere omgevingen of populaties niet direct maar indirect.

Het onderzoek wordt in de eerste plaats gebruikt om theorieën te testen en te onderbouwen. De theorie wordt dan weer gebruikt om voorspellingen te maken over andere settings en populaties die van interesse kunnen zijn. (dit wordt geïllustreerd in afb.12.1, p284)

De gekunsteldheid van het laboratoriumonderzoek

De meeste kritiek op laboratoriumonderzoek gaat over het feit dat men het zo gekunsteld vindt. Hiermee wordt bedoeld dat de taken en gebeurtenissen die men probeert na te bootsen in het lab niet overeenkomen met dezelfde gebeurtenissen die voorkomen in de echte wereld. Maar zoals we al eerder hebben gezegd is de overeenkomstigheid van gebeurtenissen in het alledaagse leven niet een criterium voor het evalueren van universalistisch ofwel fundamenteel onderzoek. De boodschap aan de critici is dan ook dat een schijnbare gekunstelde manipulatie wel eens de valide operationele definitie zijn van het desbetreffende theoretische construct.

 

Bedreigingen voor de validiteit van laboratorium onderzoek

Zoals we al eerder hebben geconstateerd is constructvaliditeit de grootste valkuil voor laboratoriumonderzoek. Deze kan door een aantal factoren bedreigd worden, dit zijn:

  • Experimenter expectancy (Dit gaat over het feit dat een proefleider de antwoorden van een respondent/participant kan beïnvloeden.zie afb.12.1 op blz. 287 voor strategieën om hiermee om te gaan)
  • Demand Charecteristics ( dit is dat proefpersonen een bepaalde verwachting hebben bij het onderzoek. Een proefpersoon kan zich hierdoor onnatuurlijk gaan gedragen en zijn of haar antwoorden anders gaan formuleren. Het gaat er niet zozeer om wat deze verwachtingen er zijn, maar dat ze er uberhaubt zijn. Een pilot test waarbij om de zoveel tijd aan de participant een aantal vragen over de aard van het onderzoek word gevraagd kan hierbij helpen en in ieder geval  inzicht bieden in wat participanten denken over het onderzoek. Deze verwachtingen zijn moeilijk tegen te gaan maar er kan in iedergeval getracht worden om de onafhankelijke variabel te verhullen.

 

12.4 Verschillende elementen omtrent een laboratorium onderzoek

 

Er is veel praktisch advies te vinden over een aantal aspecten van laboratorium onderzoek. Hoyle geeft een aantal fundamentele suggesties en richtlijnen over de volgende aspecten:

 

  • Setting ( dit is de omgeving waarin het onderzoek zich afspeelt. Deze kan een belangrijke rol hebben. Het is in ieder geval van groot belang om de interpretatie van deze setting te sturen bij participanten zodat zij op de gewenste manier reageren op de setting)
  • Onafhankelijke variabel (In de meeste gevallen is laboratorium onderzoek experimenteel van aard. Dit maakt de onafhankelijke variabel een manipulatie waaraan participanten random kunnen worden toegewezen.) De eerste eis die gesteld wordt aan de manipulatie is construct validiteit of experimenteel realisme. Bij welk type manipulatie dan ook ‘confounding’ moet altijd vermeden worden.
  • Manipulatie checks (Deze ‘check’s’ worden door onderzoekers gedaan om na te gaan of de manipulatie wel het goede effect heeft op de participanten)
  • Afhankelijke variabel (In sommige labonderzoeken wordt er niet genoeg aandacht geschonken aan de meting van het afhankelijke variabel, het is zelfs aan te raden om er meerdere te incorporeren in een labonderzoek. Afhankelijke variabelen zijn onder te verdelen in twee categorieën: zelfrapportages (bijv. vragenlijsten) observaties (prestatie taken)
  • Debriefing/nabespreking(Gewoonlijk vindt er een nabespreking plaats tussen de onderzoeker en de participant in de vorm van een interview nadat de studie is afgelopen. De nabesbreking is om meerdere redenen belangrijk. Ten eerste omdat men zo de informatie kan geven aan de participant die van groot belang kan zijn bijv. dat er een deceptie heeft plaatsgevonden. Ten tweede zorgt het ervoor dat participatie echt is educatiefs wordt en als laatste is er een belangrijk voordeel voor de onderzoeker. De onderzoeker kan op deze manier erachter komen hoe de proefpersoon het onderzoek heeft ervaren, of de instructies wel goed waren etc.)

 

Hoofdstuk 13 Non-gerandomiseerde of quasi-experimentele designs

Wetenschap begint en eindigt niet bij gerandomiseerde experimenten. Als deze niet toereikend zijn voor een onderzoek( bijvoorbeeld als de onafhankelijke variabel niet gemanipuleerd kan worden of dit onethisch is) kunnen onderzoekers kiezen uit een zeer groot assortiment aan andere onderzoeksmodellen waaronder die van de non-gerandomiseerde categorie die in dit hoofdstuk worden besproken.

 Zij verschillen van de gerandomiseerde experimentele onderzoeksmodellen in het feit dat bij de non-gerandomiseerde modellen de participanten niet aselect worden verdeeld over de verschillende niveaus van de onafhankelijke variabel. Dit heeft wel tot gevolg dat de vergelijkingen tussen de niveaus of groepen altijd gemaakt moeten worden met de vooraanname dat de groepen non-equivalent zijn. Hierdoor krijgt de interne validiteit een flinke klap en causale gevolgtrekkingen zijn moeilijk te maken.

naast dit nadeel zijn er natuurlijk ook een aantal voordelen aan het doen van dit soort onderzoek. Deze gelden voornamelijk als de onderzoeker er niet op uit is om causale gevolgtrekkingen aan te tonen maar zij een construct enkel goed willen meten en informatie willen verzamelen aan de hand van een steekproef uit een representatieve groep individuen.

13.1 Voorbeelden

Voordat er  wordt ingegaan op de formaliteiten  van alternatieve onderzoeksmodellen en hun relatieve goede en slechte kanten geeft Hoyle hier eerst twee voorbeelden van onderzoeken die met succes een ‘nonrandomized’ model hebben toegepast.

1)Ten eerste wordt er een longitudinaal onderzoek aangehaald. Dat is een onderzoek wat door de universiteit van Michigan wordt uitgevoerd en wat loopt sinds 1968 wat gaat over het familie leven in Amerika. Zij interviewden hiervoor  families (en de families die hieruit voortkwamen) over allerlei uiteenlopende sociale zaken en is gegroeid van 4800 families tot 7000 families in 2001. Tegen het einde van 2001 hebben de onderzoekers in dertig jaar over 62000 individuen informatie verzameld. Deze enorme hoeveelheid informatie over zeer uiteenlopende onderwerpen is voor veel andere onderzoekers die ook gebruik kunnen maken van deze data al erg nuttig gebleken. Er zijn ca. zo’n 2000 onderzoeksrapporten geschreven die ook hun informatie halen uit deze data.

Een sterk punt van dit onderzoek is ten eerste de enorme omvang van de steekproef. Daarnaast is het onderzoek mede hierdoor zeer representatief. Ten tweede is er veel tijd in het interviewen van de families gestoken. De vragen die hier gesteld zijn, zijn over de jaren aangepast en aangescherpt. Mede hierom zijn er honderden constructen gemeten en de problemen rondom betrouwbaarheid en validiteit van deze metingen waren met relatief gemak op te lossen. Ten derde omdat het onderzoek in de zogenaamde panel-model is gedaan ( wat betekend dat dezelfde families regelmatig opnieuw werden geïnterviewd) was het mogelijk om  variaties in de economische conditie tussen verschillende families en binnen dezelfde families te documenteren.

2)Ten tweede het onderzoek van Palmgreen et.al.(2001) Zij wilde een antwoord op de vraag vinden in hoeverre de anti drugs PSA’s (public service announcements, reclamespots van de overheid’) effectief zijn. Zij gebruikte hiervoor een quasi-experimenteel onderzoeksmodel waarbij er wel gebruik werd gemaakt  van meerdere variabelen maar de participanten werden hierover niet random verdeeld.  Deze studie is een voorbeeld van een ‘interrupted time-series design’. ‘Time series’ refereert hier naar de strategie van het meten van een set variabelen die op herhaaldelijke wijze (bijvoorbeeld maandelijks) tijdens de duur van het onderzoek (bijvoorbeeld een jaar). ‘interrupted’ staat voor de strategie dat de gebeurtenis of stimulus (in dit geval een PSA reclame) wordt geïntroduceerd tijdens de periode dat het onderzoek plaatsvindt. Dit zodat het effect van de reclame op de variabelen die gemeten worden ook echt kunnen worden geëvalueerd.

De voordelen van dit onderzoek die door Hoyle worden opgenoemd:

  • Omdat het onderzoek al van start was gegaan voordat de reclamecampagnes werden uitgezonden kan het onderzoek ook wat zeggen over het wietgebruik in de verschillende Amerikaanse staten voordat het onderzoek begon, dankzij de lange baseline die zij hanteren.
  • Het feit dat er drie verschillende campagnes werden gebruikt hielp mee om het risico van historische effecten tegen te gaan.
  • Het onderzoeksmodel verminderd de risico’s voor ‘maturation’ (rijping) omdat er drie staten zijn gebruikt en er hier een van werd gebruikt als de ‘controle groep’
  • Het model behelst zowel elementen van een ‘between-participants design’ als een ‘repeated measures design’

 

13.2 Alternatieve ‘Nonrandomized designs’

Er zijn veel soorten ‘nonrandomized’ onderzoeksmodellen. In het laatste deel van dit hoofdstuk worden er een aantal aangehaald. Deze worden gebruikt om aan te tonen wat de grootste risico’s zijn op het vlak van interne validiteit.

De volgende onderzoeksmodellen worden op p.311-324 uitgelegd, er worden ook schematische voorstellingen van deze modellen gegeven:

  • Static Group Comparison Design
  • Pretest-Posttest-Nonequivalent Control Group Design
  • One-Group-Pretest-Posttest Design
  • Interrupted Time-Series Design

Vervolgens gaat Hoyle nog in op de risico’s die zitten aan het gebruik van ‘matchen’ als strategie binnen quasi-experimenten. ‘Matchen’ kan worden gezien als een manier om de (mogelijk belemmerende) invloed van een variabel in bedwang te houden. Dit wordt bijvoorbeeld gedaan door verschillende participanten uit de verschillende condities aan elkaar te matchen. Hierdoor wordt ervoor gezorgd dat beide condities dezelfde soort participanten bevatten. Ook al klinkt dit logisch, moet matchen toch  met veel voorzichtigheid toepast worden en moet men bewust zijn van de nadelen.

Het probleem is dat ook al denken onderzoekers dat zij goed ‘gematcht’ hebben tijdens de pretest het toch zo  kan  zijn dat dezelfde reeds bestaande verschillen tussen de participanten weer opduikt tijdens een posttest. Hierna is het onmogelijk om uit te vinden of de verschillen die naderhand geobserveerd zijn komen door de behandeling tijdens het onderzoek zelf of dat deze een heropleving zijn van het al reeds bestaande verschil. Om te zien hoe dit kan gebeuren introduceert Hoyle hier de term: ‘Regression toward the mean’ oftewel regressie naar het gemiddelde. Dit is het fenomeen het onwaarschijnlijk is dat extreme scores weer zo hoog zijn tijdens een tweede keer testen. Regressie naar het gemiddelde komt voor als twee sets scores niet perfect met elkaar correleren. (nb. omdat er altijd wel een fout optreedt tijdens het meten (hst. 4) is er ook altijd wel een beetje regressie naar het gemiddelde,  het gaat meer om de mate waarin dit voorkomt.)

Hoofdstuk 14 Toegepast onderzoek

In dit hoofdstuk staat toegepast onderzoek centraal. Hierbij ligt de nadruk op evaluatieonderzoek. Toegepast onderzoek behelst al het sociaalwetenschappelijk onderzoek die zijn opgezet om antwoord te geven op praktische vragen. Onderzoekers die doen aan toegepast onderzoek kunnen hierbij ook theorieën testen terwijl zij antwoord geven op praktische vragen. Zij zijn geïnteresseerd in het verzamelen van informatie die uiteindelijk van invloed kan zijn voor het veranderen van sociaal beleid. Zij willen met hun onderzoek ook een ander publiek aanspreken, namelijk die van o.a. beleidmakers, politici en rechters.

 

De verschillen tussen fundamenteel en toegepast onderzoek zijn eerder praktische dan methodologisch van aard.

 

Ten eerste, omdat toegepast onderzoek plaatsvindt in de ‘echte wereld’ en zich buigt over de problemen die zich hierin voordoen kunnen deze problemen ook het onderzoek verstoren en van koers laten veranderen. Verder zijn er niet altijd participanten te vinden en hierdoor is het soms moeilijk om informatie te verzamelen. Historische gebeurtenissen kunnen ook de boel aardig verstoren en de conclusies beïnvloeden.

 

Ten tweede omdat  de onderzoekers met toegepast onderzoek een heel ander publiek willen aanspreken moeten zij daarom  vaak hun bevinden rechtvaardigen en het nut ervan voor de rest van de wereld aantonen. Een van de moeilijkste dingen is om de bevindingen van toegepast onderzoek op zo’n manier op te schrijven dat het voor beleidsmakers en de rest van de politieke wereld helder en duidelijk is wat de implicaties zijn voor een bepaald sociaal beleid.

 

14.1 Verschillende vormen van toegepast onderzoek

 

Hoyle beschrijft hier een paar voorbeelden van toegepast onderzoek(pp.333-338). Het is verstandig om deze zelf nog een keer rustig door te lezen. Hieronder wordt heel beknopt weer gegeven waar de onderzoeken over gingen.

 

 Experimental Simulation- Survivors' Reactions to Layoffs

Hoyle geeft hier een beschrijving van een experiment van Brockner et.al.(1987) over situaties waarin personen reageren op het ontslag van een medewerker iemand anders. Men wilde een antwoord vinden op de vraag hoe mensen die niet ontstagen waren ‘survivors’ reageerden als sommige medewerkers wel ontslagen werden. Dit werd gedaan d.m.v. een laboratorium stimulatie.

 

Survey Research-Survivors' Reactions to Layoffs

 

Dit onderzoek van wederom Brockner et.al.(1887) kan worden beschouwd als een vervolg onderzoek op hun voorgaande onderzoek. Deze heeft nu de vorm van een toegepast onderzoek.

Er waren veel winkels van een winkelketen gesloten en alle werknemers die niet ontstagen waren werden door Brockner beschouwt als ‘survivors’. Van de 773 overgebleven winkels werden er 300 random geselecteerd. Naar de niet ontslagen werknemers werd vervolgens een vragenlijst opgestuurd (in totoaal 1602 medewerkerd) en ongeveer een deerde werd ingevuld en teruggestuurd naar de onderzoekers. Wat in het eerdere experiment een experimentele manipulatie was in een laboratorium simulatie werd nu omgevormd tot vragen voor de vragenlijst. Dit onderzoek, ook al in een heel ander model uitgevoerd, vertoonde qua resultaten een gelijkend patroon met dat van de eerst.

 

 

Intervention-The Jigsaw Puzzle Classroom

 

Het ideale toegepast onderzoek zou een werkelijk aselecte interventie zijn en zo zich dan afspelen inde echte wereld. Zo’n onderzoek zou een hoge interne en externe validiteit hebben. Schoollokalen zijn hiervoor perfecte settings. Studenten en leraren in Austin, Texas hebben meegedaan aan een serie van zowel niet als wel gerandomiseerde experimenten die ontworpen waren om de aard van de Amerikaanse klaslokaal de veranderen(Aronson et al.1978). Zij ontwikkelde samen met de leraren klaslokalen waar de sfeer eerder coöperatief dan competitief was. Ze wilde een klimaat ontwikkelen waarin afro-amerikaanse, latino en blanke kinderen allemaal actief zouden deelnemen en hiervan kunnen profiteren.
 

 

Qualitative Work-Everything in Its Path

 

Sociaalwetenschappers werken soms mee aan een rechtszaak voor mensen die door milieurampen niet alleen fysiek geleden hebben maar ook psychologisch en sociale schade hebben opgelopen. Erikson(1976) heeft naar dit soort onderwerpen een onderzoek gedaan. Hij bekeek wat de materiële schade was van modder en wateroverlast en luisterde naar de verhalen die mensen vertelden over de overstroming en naar hoe hun leven de eerste paar maanden na de ramp er heeft uitgezien. Erikson documenteerde de individuele trauma’s van mensen, in wat voor een staat van shock zij verkeerden,  angsten en depressies. Deze deden zich allemaal voor tot twee jaar na de ramp en hij onderzocht naar zijn zeggen het collectieve trauma. Zijn verslag maakte uiteindelijk deel uit van een rechtszaak die twee jaar later uiteindelijk gewonnen werd met een bedrag van 13.5 miljoen dollar.  Dit onderzoek is een voorbeeld van een kwalitatief toegepast onderzoek.

 

14.2 Evaluatie onderzoek

 

Evaluatie onderzoek is een type toegepast onderzoek. Het doel is om vast te stellen of een bepaalde ingreep of gebeurtenis ook echt heeft geleid tot een verandering. Het geeft antwoorden op praktische, realistische/alledaagse vragen over de effecten van een bepaald beleid of programma. Wat wordt er verstaan onder programma? In de breedste zin van het woord betekend programma een aantal procedures die door een organisatie zijn ingevoerd om te voorzien in de wensen van zijn kiezers/onderdanen (iets minder formeel betekend dit bijv. de patiënten, klanten of cliënten van een instantie).

 

Summatieve en formatieve evaluatie

 

Er zijn twee algemene categorieën binnen evaluatie onderzoek. Dit zijn summatieve ( deze onderzoekt het effect van een programma en onderzoekt vragen als: werkt het programma naar behoren?’en formatieve evaluaties (worden soms ook proces evaluaties genoemd, zij stellen vragen als, ‘wat is het’ en ‘hoe werkt het?’.

 

Criteria

 

Omdat er een reële kans is dat een evaluatie studie en de resultaten hiervan een impact kunnen hebben op de echte wereld/realiteit. Daarom is het van zeer groot belang dat evaluatieonderzoek zo solide en gedegen mogelijk wordt uitgevoerd en wordt opgeschreven. Het ‘Directorate for Education and Human Resources of the National Science Foundation’ (die zorgen voor de fondsen voor evaluatieonderzoek) heeft een lijst met criteria opgezet waaraan moet worden voldaan. Deze criteria zijn onder te verdelen in drie categorieën: evaluatie plan, evaluatie-instrumenten en het evaluatieverslag. Als geheel maken deze criteria duidelijk wat het verschil is tussen toegepast en fundamenteel onderzoek

 

 

‘Randomisatie’, de voor en nadelen

 

Critici hebben veel argumenten in te brengen tegen het veelal aangenomen idee dat een onderzoek moet worden gedaan volgens een ‘randomized experiment’ (willekeurig verdeeld experiment). Hierop heeft R.Boruch gereageerd en heeft elk argument voorzien van zijn eigen mening over het onderwerp.

 

Argument en tegenargument:

  1. Ze zijn niet uitvoerbaar

Boruch brengt hier tegenin dat er 200 evaluaties over sociale programma’s zijn die succesvol waren en gebruik maakte van randon/aselect toewijzen. Het kan dus wel.

 

  1. Ze hebben een beperkte reikwijdte omdat zij geen kwalitatieve informatie gebruiken

Tegenargument:Data in echte experimenten kunnen zowel kwantitatief als kwalitatief zijn, waar het om gaat is dat deze systematisch zijn. Over de beperkte reikwijdte zegt Boruch:’nothing in experimental design methodology demands one-schot tests, and, for a variety of reasons, seguential assessment should ordinarily be the rule rather than the exeption’. Zowel de critici als de verdedigers hebben hier gelijk. Alle experimenten zijn nou eenmaal vaak ‘one shot tests’ en volgen de participanten over vele maanden en jaren niet maar zij hoeven hierdoor niet gelimiteerd te worden.

 

  1. Ze zijn onbruikbaar voor het verbeteren voor een programma omdat zij ons niet voorzien van de  relevantie informatie hiervoor.

Tegenargument:Het is inderdaad zo dat experimentele evaluaties vaak geen instructies leveren voor verbetering van een programma. Experimenten geven eerder een antwoord op de vraag of een bepaald programma effect heeft. Als we nou gewoon een onderzoek of test nemen voor wat het is(dat deze ons kunnen laten zien wat het effect ergens van is) maken zij het voor ons mogelijk om keuzes te baseren op grond van de uitkomsten van een onderzoek.

 

  1. Ze zijn onethisch omdat zij mogelijk de controle groep weerhouden van een zeer gewilde behandeling.

Tegenargument: Boruch is het hier mee eens. Een onderzoek kan onethisch zijn in het feit dat een controle groep van een gewilde behandeling wordt weerhouden en dat het geplaatst worden in de  groep die juist wel wordt blootgesteld aan de behandeling ook negatieve gevolgen kan hebben. In de gevallen waarvan we wel zeker weten dat een onderzoek ,ongeacht in welke conditie iemand wordt geplaatst, niet schadelijk of nadelig is voor de participanten vragen we ons enkel af of iets behulpzaam of simpelweg ineffectief blijkt te zijn. Verder stelt Hoyle dat als er veel mensen mee willen doen aan een bepaald sociaalprogramma/cursus, meer dan dat er plekken zijn, het de eerlijkste manier is om te bepalen wie wel en wie niet mag mee doen door aselect het maximum aantal deelnemers te kiezen.

Vervolgens wordt door Hoyle als voorbeeld voor een zeer geslaagd evaluatie onderzoek waarin ook gebruik wordt gemaakt van aselecte toewijzing het: ‘Cambridge-Sommerville Youth Study’ aangehaald. Hierna wordt er door Hoyle in dit hoofdstuk een sociaal programma aangehaald, het ‘Head Start preschool education program’ wat van start ging in de jaren ’60. Het was gebaseerd op de aanname dat als kinderen uit arme families de vaardigheden en motivatie geeft zij geen arme volwassenen zouden worden. Lees deze allebei rustig een keer door.

14.3 De politiek achter toegepast onderzoek en evaluatieonderzoek

 

We begonnen dit hoofdstuk met de constatering dat toegepast onderzoek, en in het bijzonder evaluatie onderzoek, verschilt van fundamenteel onderzoek in de manier waarop toegepast onderzoek een impact kan maken op het leven van mensen. Het is wel altijd de vraag voor wie de uitkomst of conclusie van een toegepast onderzoek in zijn of haar voordeel gaat uitwerken. Ten guste van wie wordt het onderzoek uitgevoerd?  Het gaat er hierbij om de keuze welke afhankelijke variabelen gekozen moeten worden. Wat maakt een sociaal programma of beleid succesvol of onsuccesvol?

 

resultaten met onmiddellijk effect

 

Ook al wordt evaluatieonderzoek gedaan met de gedachte  dat deze een direct resultaat produceert die directe impact heeft, komen er twee situaties voor die voorkomen dat dit gebeurd. Ten eerste kan er zich een situatie voordoen waarin de resultaten dubbelzinnig of tegenstrijdig zijn waardoor het niet duidelijk is wat de beleidskeuze moet worden. Ten tweede kan zich de situatie voordoen dat de echte effecten van een sociaal programma niet direct zichtbaar zijn.

 

Gevestigde belangen en conflicterende criteria

 

De keuze van een afhankelijke variabel doet de vraag rijzen, in wiens voordeel doen wij dit onderzoek? Het is niet goed genoeg om te zeggen ‘in het voordeel van de wetenschap’ omdat de uitslag van een toegepast onderzoek meerdere zaken gaat beïnvloeden dan enkel de wetenschap. De wetenschappelijke vraag waarbij de onderzoeker uitpuzzelt welke variabelen er wordt gebruikt, wordt in een evaluatieonderzoek opeens een politieke vraag die hierdoor ook een stuk serieuzer moet worden genomen.

 

Technische beslissingen die ideologische consequenties met zich meedragen

 

De technische beslissingen die genomen worden om de meetbare criteria te vinden hebben ook ideologische consequenties. Een consequentie kan zijn dat de manier waarop wij naar een sociaal probleem kijken veranderd door de manier waarop wij middels onderzoek denken deze opgelost moet worden.

 

De participatie van cliënten of andere belanghebbende in een evaluatieonderzoek

 

Bij elke evaluatie van een programma, is het zeer waarschijnlijk dat er meerdere partijen zijn die zo weer hun eigen belangen hebben. Dit kunnen o.a. zijn: geldschieters, medewerkers administratoren en cliënten. Hierdoor wordt de onderzoeker voor een dilemma gesteld. Je wil de evaluaties van deze partijen meenemen in je evaluatieonderzoek maar deze evaluaties stroken niet altijd met de objectieve doelstellingen. Maar we moeten deze subjectieve evaluaties niet links laten liggen, want zoals Gutek(1978) concludeert leven we nou eenmaal in zowel een subjectieve als een objectieve wereld.

 

14.4 kunnen we het ons veroorloven om niet te doen aan toegepast onderzoek?

 

De psychologische effecten van een nucleaire ramp

 

Na de nucliare ramp in Pennsylvenia in maart 1979 ( de Three Mile Island accident) waren veel onderzoeksteams en psychologen er snel bij  om uit te zoeken wat de psychologische effecten zijn van zo’n ramp, in het bijzonder bij de mensen die dicht bij deze reactor woonden. Vele onderzoeken vonden ook plaats een tijd na de ramp. De onderzoekers van zulke ‘environmental impact’ studies hebben veel weerstand ondervonden van de rechtbanken. Zij gaven het argument dat psychologische stress niet goed genoeg gemeten kan worden. Rechters en advocaten hebben gesteld dat het psychologische stress makkelijk te faken is en dat als men dit als bewijs gaat nemen er veel frauduleuze rechtszaken gestart zullen worden die dan ook een goede kans maken om te winnen.

 

Het leven in de beurt van een kernreactor

 

Hier wordt door Hoyle een onderzoek beschreven die gaat over het verband tussen omgevingsinvloeden en de overleving van baby’s met een laag geboorte gewicht. (Bertell et. al. 1984) Babysterfte (waarbij de baby een laaggeboorte gewicht had) werd in zes verschillende gebieden met elkaar vergeleken. Het bleek dat de drie gebieden waar de  meeste baby’s overleden die gebieden waren die dicht bij een nucleaire kernreactor woonden.

 

Als dit onderzoek niet gedaan was,  had niemand de link gelegd tussen de babysterfte en de locatie van de nucleaire kernreactor. Deze sterfgevallen zouden dan nog steeds aan andere oorzaken worden toegeschreven. Hier moest een empirisch onderzoek voor gedaan worden om te concluderen dat er een causaal verband is tussen een babysterfte cijfer en de locatie van een kernreactor.

 

Aan het einde van dit hoofdstuk grijpt Hoyle terug naar een vraag die in hoofdstuk 1 gesteld is. Dit is: is it possible to conduct social science research without considering questions about social value? Verder stelt hij hierna de vragen of ‘applied, and perhaps also basic, research not force us to consider whose purposes are served by an intervention or an evaluation or even a research question? And must we not usually choose sides?p.359

 

Hoofdstuk 15 Observationeel onderzoek & archiefonderzoek

Sommige onderzoeksvragen/hypothesen zijn niet geschikt om onderzocht te worden aan de hand van vragenlijsten of in een laboratorium. Als je onderzoek bijvoorbeeld gaat over de link tussen sociale integratie en zelfmoord, of de mate waarin twee geliefde in elkaars ogen staren zijn observatie technieken en archiefgegevens de enige opties om zulke zaken te onderzoeken. Observatie en archiefonderzoek hebben net als alle onderzoeksmethoden weer hun eigen voordelen.

De data ligt min of meer voor het oprapen en is makkelijk toegankelijk voor de onderzoeker zonder fysieke of financiële kosten. Archieven bevatten zeer veel informatie die verzameleld zijn, vaak over een zeer lange tijd. Deze verzamelde bij elkaar gebrachte informatie is voor sociaalwetenschappers natuurlijk een soort walhalla. Door de ogen van een wetenschapper zijn dit plekken waar zoveel data bij elkaar is verzameld dat er complete metingen over constructen klaarliggen om geanalyseerd te worden. Deze data is bijna onmogelijk op een andere manier bij elkaar te verzamelen. Hiernaast geven archieven ons toegang tot het denken van mensen die overleden zijn of anderszins niet beschikbaar zijn om mee te doen aan een onderzoek.

Misschien nog wel het belangrijkste voordeel is dat sommige vormen van observatie en het meeste archiefonderzoek mogelijke problemen vermijden die veroorzaakt worden door participanten die zich er maar al te goed van bewust zijn dat zij meedoen aan een onderzoek. Zowel bij laboratorium als bij enquêteonderzoek is er een risico dat participanten zich onnatuurlijk gaan gedragen, bijvoorbeeld sociaal wenselijke antwoorden gaan geven,of de onderzoekshypothese gaan proberen te raden, etc. Bezorgdheid hierover heeft ertoe geleid dat sociaalwetenschappers natuurlijkheid in onderzoek zeer belangrijk zijn gaan vinden waarover later in dit hoofdstuk meer over wordt gesproken.

15.1 Natuurlijkheid in onderzoek

 

Observationeel en archiefonderzoek leggen er vaak de nadruk op dat de participanten die meedoen aan een onderzoek niet weten dat zij onderzocht worden. Het kan ook zijn dat de participanten wel weten dat zij onderzocht worden maar dat ze niet weten wat er precies gemeten wordt. Dit wordt ook wel een ‘nonreactive measure’ genoemd. De onderzoekers hopen door dit toe te passen de participanten zich zo natuurlijk mogelijk blijven gedragen waardoor de externe validiteit van een onderzoek omhoog gaat wat weer kan betekenen dat de conclusies beter generaliseerbaar zijn.

Het zoeken naar natuurlijkheid heeft ertoe geleid dat er drie dimensies van natuurlijkheid te onderscheiden zijn:

  • Natuurlijk gedrag
  • Naturlijke omgeving
  • Natuurlijke ‘event’

Voor en nadelen van natuurlijkheid

Over het algemeen kan worden aangenomen dat het bestuderen van natuurlijk gedrag in zijn natuurlijke omgeving leidt  tot een hogere mate van generaliseerbaarheid. Verder kan natuurlijkheid  zorgen voor een hogere constructvaliditeit. Dit omdat het aannemelijker is dat bij natuurlijk gedrag het onderzochte begrip beter wordt weerspiegeld. Een nadeel is dat de natuurlijke setting de onderzoeker minder controle kan uitoefenen op zijn eigen onderzoek. Verder is het soms moeilijk om bepaalde metingen te verrichten in een natuurlijke setting. Hoe belangrijk de mate van natuurlijkheid is verschilt per onderzoek.

Natuurlijkheid is wel degelijk een belangrijk aspect binnen het onderzoeksontwerp voor sommige onderzoeksvragen. Voor andere vragen is natuurlijkheid irrelevant.

 

15.2 Observatie

Observatie wordt wetenschappelijk wanneer het:

  • een geformuleerde wetenschappelijk onderzoek doel dient
  • bewust is gepland
  • op systematische wijze gedaan wordt
  • het voldoet aan de eisen van betrouwbaarheid en validiteit

 

Er zijn twee observatie methoden:

  • physical trace measures  (waarbij het bewijs wordt verzameld nadat de gedraging zich heeft voorgedaan, zoals het tellen van bierflesjes de dag na een feestje om uit te zoeken hoeveel bier er is gedronken)
  • systematische observatie (waarbij het gedrag wordt geobserveerd als deze zich ook daadwerkelijk voordoet, dit is als je op de avond van het feest zelf gaat bijhouden hoeveel bier er wordt gedronken)

 

In het hierop volgende stuk tekst worden deze twee methoden verder uitgelegd en worden er  voorbeelden gegeven.

 

Ongestructureerde methoden: ethologie en ecologie

Hier wordt er stilgestaan bij de ethologische aanpak binnen observatie onderzoeken. Hiermee wordt bedoeld dat zoveel mogelijk wordt geobserveerd en vervolgens wordt gerapporteerd hierbij plannen ze zo weinig mogelijk vooraf. Ze zijn er meer op uit om meer vragen te stellen dan antwoorden te geven. Zij observeren vaak moleculaire gedragseenheden en houden niet van interpreteren. Zij zullen bijvoorbeeld niet snel zeggen dat iemand blij kijkt want dit impliceert al te veel interpretatie. Zij zouden eerder beschrijven hoe de gezichtsuitdrukking er exact uitziet, hoe het lichaam zich beweegt, hoe men spreekt etc.

Een tweede ongestructureerde methode is die van de ecologische observatie. Ecologische psychologen stellen dat alle gedragingen zeer afhankelijk zijn van de setting waarin zij  voorkomen. Zij gaan ervan uit dat het gedrag van mensen het best is te voorspellen als de setting waarin zij verkeren bekend en onderzocht is.

 

Gestructureerde methoden: controlelijst en coderingsschema’s

Bij een gestructureerde methode wordt er door de onderzoeker wel vooraf bedacht welk sociaal gedrag hij of zij wil gaan onderzoeken voordat er begonnen wordt met observeren. De twee vormen van gestructureerde methoden die  hier besproken worden zijn het gebruik van controle lijsten en coderingsschema’s.

Gestructureerde methoden zijn bijzonder geschikt voor het testen van een specifieke hypothese, nadat de gedragingen beschreven en er hypotheses geformuleerd zijn (die wellicht zijn geformuleerd door niet gestructureerde methoden).

 

Stappenplan opzetten van een observatie onderzoek

Stap 1: Formuleer operationele definities over het bestudeerde construct.

Stap 2: Selecteer de setting voor en de vorm van de observatie

Stap 3:Selecteer een steekproefstrategie

Stap 4: Train de observeerder(s)

Stap 5: Analyseer de data

Ethiek en observatie

Bij observatie is het vaak zo dat de participanten niet weten dat zij geobserveerd worden. Dit kan leiden tot ethische discussies of je zonder iemands medeweten wel iemand mag gebruiken voor onderzoeksdoeleinden. Het gaat in tegen het onderzoeksprincipe dat een participant vooraf aan het onderzoek altijd moet worden ingelicht over de aard en de procedure van het onderzoek. (informed consent)

 

 Er is een middenweg gevonden waardoor observationeel onderzoek toch kan plaatsvinden. Het is namelijk zo dat zolang de individuen die zonder hun medeweten hebben geparticipeerd in een onderzoek niet identificeerbaar zijn er geen informed consent getekend hoeft te worden door de participant. Mocht het zo zijn dat de bestudeerde groep zo klein is dat bij het lezen van het onderzoek meteen duidelijk is over wie dit gaat, dan moet er door de onderzoeker wel een informed consent gehandhaafd worden.

 

15.3 Archiefonderzoek

 

Door alle geletterde samenleving, waar ook ter wereld, worden er archieven bijgehouden. Deze worden om allerlei doeleinden aangelegd en bijgehouden. De archieven kunnen zeer nuttig zijn voor sociaal wetenschappelijk onderzoek. Archiefgegevens kennen enkele grote voordelen; ten eerste de archieven worden al zeer lang bijgehouden dus de tijdsspanne waarin er gegevens zijn verzameld is verspreid over een zeer lange tijd. Ten tweede in een archief is zeer veel informatie te vinden over een grote populatie( of misschien  zelfs wel meerdere) en ten derde de potentie dat reacties op een bepaalde gebeurtenis kunnen worden gekwantificeerd zonder dat men hier als onderzoeker over ethische grenzen heen stapt.

Dit gedeelte van het hoofdstuk is opgedeeld in drie delen. Ten eerste wordt er gesproken over statistische archieven van bijv.  de overheid of overheidsinstellingen (zoals ziekenhuizen) Vervolgens gaat het over onderzoeksarchieven die zijn opgezet met als doel het verzamelen van veel data over een bepaald onderwerp. Als laatste wordt er ingegaan op het gebruik van geschreven bronnen (van dagboeken tot kranten) en hoe deze moeten worden geanalyseerd.

 

Statistische archieven

 

Statistische archieven bevatten socio-economische informatie over leeftijd, sekse, familiegrootte, beroepen, huisvesting en nog vele andere dingen. De variëteit aan onderzoeksvragen die gesteld kunnen worden aan de hand van dit soort archieven is immens. Het is ook nog eens zo dat sommige onderwerpen niet anders dan met het archief kunnen worden onderzocht zoals bijvoorbeeld zelfmoord.  De statistische archieven kunnen ook gebruikt worden als sociale indicatoren om in kaart te brengen wat de status is van het sociale leven en of deze in de afgelopen decades veranderd is.

 

Er zijn een aantal karakteristieken op te noemen die al het archiefonderzoek met elkaar gemeen hebben:

 

  1. Archiefonderzoek vertrouwt volledig op de analyse van informatie die verzameld is voor andere doeleinden dan het doen van sociaalwetenschappelijk onderzoek.
  2. Archiefonderzoek vraagt van de onderzoeker om vindingrijk te zijn in het vertalen van al bestaande data naar kwantificeerbare indexen die iets zeggen over algemene constructen
  3. Het gebruik van het web lijkt zo makkelijk voor het zoeken binnen  relevante archieven.  Maar er is zoveel data, dat het overweldigend kan overkomen waardoor het de voor de onderzoeker zeer frustrerend en veel werk kan zijn voordat er relevante informatie is gevonden.
  4. Zoals al eerder gezegd zijn de archieven vaak niet opgezet met het idee dat deze gebruikt zouden gaan worden door een sociaalwetenschapper voor een onderzoek naar een bepaald sociaal construct. Daarom is archiefonderzoeken en zijn resultaten vatbaar voor alternatieve interpretaties/verklaringen.

 

Onderzoeksarchieven

 

 De onderzoeksarchieven vormen een alternatieve bron voor informatie over sociaal gedrag, en deze zijn speciaal gemaakt en aangelegd voor het doen van sociaal wetenschappelijk onderzoek. Een voorbeeld van zo’n archief is de General Social Survey (Davis & Smith,1992). De metingen voor dit archief zijn begonnen in 1972 en heeft door middel van interviews (face to face) almeer dan 40000 random gekozen mensen geïnterviewd en deze hebben antwoord gegeven op meer dan 3500 vragen beantwoordt die gaan over verschillende variabelen die relevant zijn voor sociaal gedrag. Er zijn zeer veel succesvolle onderzoeken gedaan die dit archief gebruikt hebben (ca 5000 onderzoeken in totaal).

 

Het gebruik van zulke archieven hebben voor en nadelen.

Voordelen zijn:

  • De beschikbaarheid  van heel veel informatie op één plek die zijn verworven middels hoge kwaliteit steekproeven.
  • Lage kosten want deze databases zijn gratis toekangelijk via het netwerk van de universiteiten en anders kost het ook niet veel om informatie op te vragen.
  • Het feit dat deze archieven zijn opgezet en worden onderhouden met het idee dat zij gebruikt gaan worden voor sociaalwetenschappelijk onderzoek.

 

 

Nadelen zijn:

  • Hoofdzakelijk gaan de grootse belemmeringen over  de methode en de onderwerpen. Ook al gaan de gestelde vragen over een scala aan verschillende onderwerpen, een onderzoeker die iets wil weten over een onderwerp wat in het archief niet aan de orde komt heeft domweg pech. Ook zo n groot archief is dus nooit compleet.
  • Sommige oudere archieven kunnen nogal wat irritaties opwekken bij onderzoekers omdat ze incomplete en niet accurate codeboeken en verouderde rapporteermethoden bevatten.

 

‘Verbal records’

 

Openbare en privé documenten (verbal records) zijn ook een rijke bron voor het vinden van relevante informatie. Voorbeelden van openbare documenten zijn de speeches die gegeven zijn door een president. Prive documenten als dagboeken, brieven, autobiografieën en essays kunnen ook sociaal wetenschappelijk worden geanalyseerd. Een pluspunt van het gebruik van privé documenten is dat het gebruikt kan worden om de innerlijke ervaringen van personen de documenteren (met innerlijke ervaringen worden bijvoorbeeld overtuigingen en gedragingen bedoeld). Helaas is het zo dat deze documenten zeer schaars en moeilijk te krijgen zijn. Verder is de authenticiteit is ook niet altijd met zekerheid vast te stellen en als laatste kunnen de steekproeven van zulke documenten vol zitten met bias.

 

Hiernaast is er ook nog massacommunicatie die ervoor zorgt dat het volk geamuseerd dan wel geïnformeerd wordt over bepaalde zaken die zich in de wereld af spelen. Voorbeelden hiervan zijn kranten, tijdschriften, televisie, radio en internet . Massacommunicatie is ook een rijke bron van informatie voor de sociaalwetenschapper.

 

Om onderzoek te doen met geschreven documenten die voort zijn gekomen uit de massacommunicatie moet er eerst stapsgewijs een content of inhoudelijke analyse op worden los gelaten. Deze lijkt erg op het stappenplan van observatie onderzoek.

 

Een aantal opmerkingen over archiefonderzoek

 

Voor sommige onderzoeksvragen biedt een archief veel voordelen:

  • de lage kosten en het feit dat de onderzoeker niet meer zijn eigen data meer hoeft te verzamelen, dus het is ook tijdsbesparend.
  • Het feit dat de overheid en andere organisaties op herhaaldelijke wijze de informatie verzameld. Dit helpt om te voorkomen dat mensen doorhebben dat hun informatie later gebruikt kan worden voor een bepaald onderzoek, ook al weten ze dit, ze weten niet voor welke specifieke onderzoeken hun antwoorden worden gebruikt.
  • Archieven geen onderzoekers de kans om de impact van een gebeurtenis te onderzoeken. Deze onderzoeken scoren sterk op het punt van externe validiteit omdat de participanten niets weten van het onderzoek en de onderzoeksdoelen.

 

Nadelen:

  • Problemen bij het juist interpreteren van variabelen. Deze problemen tasten de interne en construct validiteit aan. Bijv. als iemand onderzoek doet naar de twee variabelen waarover in het archief de gewenste informatie kan worden gevonden, bijvoorbeeld de consumptie van ijs en de misdaadcijfers die uiteindelijk laten zien dat deze twee positief met elkaar in verband kunnen worden gebracht, puur kijken naar de cijfers.(as one increases the other also increases). Kunnen we dan concluderen dat het eten van ijs ervoor zorgt dat er meer  misdaad wordt gepleegd? Nee, natuurlijk niet. Dit is een voorbeeld van valse associatie (spurious association). Er is namelijk een derde, over het hoofd geziene, variabel en dat is het weer. Als het warm is gaat zowel de ijsverkoop als de misdaadcijfer omhoog maar dat wil niet zeggen dat ijsverkoop de misdaadcijfers beïnvloed.
  • Ander belangrijk probleem is de construct validiteit en de betrouwbaarheid van de data. 
  • In vele archieven zitten gaten en zijn incompleet. Dit maakt het moeilijk om te bepalen of de beschikbare informatie representatief (genoeg) is voor de onderzochte populatie.

Hoofdstuk 16 Kwalitatief Onderzoek

Kwalitatief onderzoek neemt vele vormen aan en wordt vele dingen genoemd. Één  vorm houdt in dat er openvragen worden gesteld die zijn ingebed in een interview of vragenlijst(zie hoofdstuk 6). Alle andere vormen vertrouwen volledig op open vragen die ingaan op waarom er bepaalde meningen heersen in een samenleving en waarom bepaalde gedragingen zich voordoen. Hier proberen ze achter te komen door vragen te stellen aan een specifieke doelgroep naar hun gedragingen, woorden, gedachtes en intenties. Voor dit soort onderzoek worden er verschillende onderzoeksstrategieën gebruikt waaronder narratieve analyse, focus groepen, orale geschiedenis en het observeren van participanten.

In dit hoofdstuk worden een paar meetvormen van kwalitatief onderzoek besproken die vaak gebruikt worden. Dit zijn narratieve analyse, focusgroepen, mondelinge geschiedenis en observatie van participanten.

16.1 Narratieve analyse

Narratieve zijn gesproken of geschreven verhalen over een persoonlijke ervaring. Zo’n narratief heeft een verhaallijn, hierin verschilt het van antwoorden op openvragen. Narratieve kunnen door de participanten zelf geschreven of verteld worden tijdens een onderzoek. Een onderzoeker kan ook gebruik maken van narratieve die te vinden zijn in de archieven zoals brieven, dagboeken of autobiografieën.

Bij de eerste (als de participant zijn of haar verhaal moet opschrijven of vertellen) heeft de onderzoeker een grote mate van controle in tegenstelling tot de narratieve in archieven aangezien deze al veel eerder geschreven zijn. De wetenschapper kan bij de participanten richtlijnen opstellen, bij het al geschreven materiaal moet de onderzoeker het maar doen met wat er al is.

Onderzoekers gebruiken narratieve analyses omdat zij geloven dat deze hen informatie geven die door een enkele andere vorm onderzoek verzameld kan worden.

Het analyseren en rapporteren van narratieve

Onderzoekers die narratieve gebruiken laten deze zo coderen dat zij op een traditionele kwantitatieve manier kunnen worden geanalyseerd.(daarin verschilt de narratieve analyse met alle andere vormen van kwalitatief onderzoek). Om bij het punt te komen dat narratieve geanalyseerd kunnen worden moeten deze eerst vertaalt worden naar kwantitatieve informatie.

Dit wordt gedaan door het gebruik van een inhoudelijke analyse (content analysis). Dit betekend dat de onderzoeker elk narratief inhoudelijk zo objectief mogelijk gaat beoordelen. Dit wordt gedaan door middel van specifieke kenmerken uit de narratieve te halen.  Er zijn hierin twee aanpakken die vaak gebruikt worden: 1) het coderen van de narrative door te kijken of de thema’s waarnaar gevraagd werd aanwezig zijn en 2) Het coderen op voorkomen van continue dimensies.

 

Het kritieke punt van het inhoudelijk beoordelen van het materiaal is de betrouwbaarheid van het coderen. Op zijn minst moet een narratief door twee personen gelezen worden om deze nuttig of onnuttig te verklaren. Deze beoordelaars moeten de betrouwbaarheid die zij geven aan een narratief opschrijven en goed rapporteren. Ook moeten ze goed getraind worden.

Een andere manier om de inhoud te beoordelen is door gebruik te maken van software die speciaal is ontworpen voor dit soort klussen. Een voordeel van het gebruik van een computer is dat het allemaal veel sneller gaat. Nadeel is dat de variabelen waar de onderzoeker naar op zoek is nooit helemaal overeenkomen met hoe die in de software verwerkt zijn.

Als iemand bijvoorbeeld een negatief woord gebruikt om juist iets positiefs te zeggen, kan deze door de computer wel als negatief gecodeerd worden en dus als irrelevant voor het onderzoek terwijl dit niet zo is. Verder kan software ertoe leiden dat onderzoekers ‘lui’ worden en de computer al het werk laten doen. 

Wat ook een grote hulp kan zijn bij het coderen is door de participanten die hun narratief opschrijven ook vragenlijsten te laten invullen. Zo kan een onderzoeker de antwoorden op deze vragen al met elkaar vergelijken voordat hij begint aan het analyseren van de narratieve.

16.2 Focusgroepen

Focusgroepen zijn gestructureerde groepinterviews. Deze brengen een kleine groep mensen bij elkaar die met elkaar in discussie gaan over onderwerpen waarbij een moderator ervoor zorgt dat dit zo gestructureerd mogelijk verloopt. In de eerste instantie werden focusgroepen gebruikt voor marketingonderzoek maar sindsdien worden ze ook zeer vaak gebruikt voor andere soort onderzoeken.

In dit deel van het hoofdstuk wordt het typische format van een focusgroep uitgelegd (p401-405) en worden er voorbeelden van onderzoeken gegeven waarbij focusgroepen gebruikt werden (405-06) om zo aan te tonen hoe focusgroepen op verschillende manieren gebruikt kunnen worden. Uiteindelijk eindigt dit deel met een discussie over de voordelen en nadelen van het gebruik van focusgroepen.

De voordelen van focusgroepen zijn dat:1) zij gebruiksvriendelijk zijn, 2)ons toegang kunnen geven tot de unieke problemen en perspectieven van de doelgroep, 3)zij ons kunnen helpen met het opzetten van onderzoeksmaterialen en vragenlijsten en als laatste, 4)focusgroepen kunnen een positieve ervaring zijn voor de participanten.

Nadelen van focusgroepen zijn dat: 1)de resultaten vaak moeilijk generaliseerbaar zijn dit komt door het volgende nadeel,2) omdat de focusgroepen niet representatief genoeg zijn voor de rest van de  populatie/samenleving , 3) en als laatste, de wetenschapper heeft in vergelijking met andere onderzoeksmethoden weinig controle over de informatie die wordt verzameld.  Dit komt mede door de groepsdynamiek van een focusgroep (er is er altijd wel een die meer aan het woord is dan andere participanten. Bij afzonderlijke interviews of vragenlijsten is iedereen even vaak aan het woord).16.3 Orale geschiedenisOral History is een methode die gebruikt wordt om iets te leren van het verleden. Dit wordt meestal gedaan door individuen te interviewen die bepaalde gebeurtenissen in het verleden hebben meegemaakt. Dit soort onderzoeken kunnen gaan over belangrijke momenten in de geschiedenis (bijv. de 2e wereldoorlog) maar ook over belangrijke momenten in iemands leven (zoals personen die voor de eerste keer vader of moeder worden).

De interviews worden vaak met een recorder opgenomen en de tapes of transcripten worden in een archief ondergebracht zodat andere onderzoekers hier in de toekomst ook gebruik van kunnen maken.

Door te onderzoeken wat mensen mee hebben gemaakt in het verleden kunnen we een inzicht krijgen over universele of menselijke gebeurtenissen, tevens kan het appreciatie opwekken voor het menselijk gedrag en hoe deze door de decaden heen veranderd is.

Het aantal participanten is meestal niet heel erg groot en zij worden niet random gekozen zoals bij de meeste onderzoeksmethoden. Door de sneeuwbal methode toe te passen worden de participanten gevonden en geselecteerd. Als de goede participanten gevonden zijn belt de onderzoeker hen op en legt het onderzoek uit en vraagt of zij willen meedoen.

Van te voren stuurt de onderzoeker ook nog (per mail)de vragen op die tijdens het interview gesteld gaan worden. Dit is handig voor de participant want zo kan diegene zich voorbereiden op de vragen en op het interview. Op de dag van het interview zelf ondertekend de participant een ‘informed concent’ en een ‘deed of gift’ formulier waarmee hij of zij toestemming geeft aan de onderzoeker om de opname en het transcript te gebruiken voor onderzoeksdoeleinden.

Anonimiteit werkt bij dit soort onderzoeken heel anders dan bij alle andere onderzoeken. Hier kan deze namelijk nooit gegarandeerd worden. Het is bij oral history juist het hele punt dat de individuele verhalen over een gebeurtenis zo nauwkeurig mogelijk gepreserveerd worden. Participanten mogen er wel voor kiezen dat hun identiteit niet wordt weergegeven in het transcript maar de meeste vinden het geen probleem om geheel identificeerbaar te blijven. Het is belangrijk dat de geïnterviewden weten wat hun rechten en keuzes zijn. In fig.16.3 is een voorbeeld te zien van een ‘deed of gift’ formulier.

Op verschillende manieren is orale geschiedenis een vervolg op de narratieve analyse. Het grootste verschil tussen de twee is dat het bij de narratieve analyse gaat om korte verhalen die gaan over specifieke gebeurtenissen uit het leven van een individu (1 a 2 kantjes). Oral history is hierin een stuk ambitieuzer. Een gemiddelde interview duur is ongeveer 60 tot 90 min. Dit resulteert als men het transcript heeft uitgewerkt in ongeveer 15 tot 20 kantjes (dubbelzijdig geprint). Een tweede is verschil zit hem in de manier waarop de verhalen in beide kwalitatieve onderzoeksmethoden worden geanalyseerd.

16.4 Participerende observatie

Bij participerende observatie neemt de onderzoeker zelf plaats in een sociale groep die hij of zij wil onderzoeken. Als participerende observeerder wordt de onderzoeker uit zijn eigen habitat van bijvoorbeeld het laboratorium gehaald en moet in het veld het onderzoek uitvoeren. Je dompelt je als onderzoeker geheel in, in de wereld die je wilt onderzoeken. Als onderzoeker is het belangrijk dat je jezelf  niet teveel verliest en de groep die bestudeerd wordt, beïnvloed word door jou gedrag wat uiteindelijk zo zijn weerslag heeft op de resultaten die dan rigoureus in betrouwbaarheid afnemen. Een participerend onderzoek kan van enkele dagen tot enkele maanden duren. Het je zo onderdompelen in de levens van mensen die jij ook onderzoekt is iets wat heel anders is dan de afstandelijkheid die meestal wel voelbaar is tussen participant en onderzoeker bij andere onderzoeksmethoden normaal is.

Veldnotities

Hoe kan veld onderzoek waarbij de onderzoeker zelf participeert in de bestudeerde groep ooit systematisch zijn als de procedures constant veranderen? Het systematische komt niet door de procedure maar door telkens alles wat je als onderzoeker observeert naar waarheids rapporteert. Deze reportages worden ook wel veldnotities genoemd.

Deze moeten zeer gedetailleerd zijn. Dit lijkt in het begin als een onmogelijke opgave, en dit is het eigenlijk ook wel een beetje, want de term ‘alles’ zegt geen limit over wat wel in niet gerapporteerd mag worden. Het punt is dat het geobserveerde zo dicht mogelijk in de beurt moet komen van de echte gebeurtenis zoals het toen was en als onderzoeker moet je proberen zo veel mogelijk wat kan op te schrijven.

Tijdens het opschrijven van veldnotities moet er niet bij worden stil gestaan of alles wat wordt opgeschreven ook later nuttige informatie is voor het onderzoek. Het beoordelen en nagaan van je veldnotities doe je pas achteraf voordat je gaat analyseren. Dit doe je zodat je jezelf als onderzoeker ervan weerhoudt dat je selectief dingen wel en niet gaat rapporteren als je nog niet eens weet wat wel en niet belangrijk zou kunnen zijn voor later. Ten tweede is alle ‘overbodige informatie’ misschien wel van vitaal belang om iets anders wat wel belangrijk was weer te kunnen herinneren.

Analyseren van veldnotities

De analyse van veldnotities verkregen door een participerende observeerder gaat heel anders dan het analyseren bij kwantitatief onderzoek. Bij kwantitatief onderzoek is de analyse vaak voorspelbaar en eenvoudig als de data eenmaal is verzameld. Bij participerende observatie is dit het tegenover gestelde en moet de onderzoeker creatief en inzichtelijk zijn.

In plaats van een onderzoek te doen om een hypothese te testen wordt bij participerende observatie eerst de informatie verzameld  om vervolgens een  hypothese te formuleren die past bij de geobserveerde informatie. Het testen van hypothesen wordt ook wel deductief onderzoek genoemd. Participerende observatie is een vorm van inductief onderzoek.

Een participerende observeerder begint zijn onderzoek wel met een vaag idee van een hypothese maar tijdens de voortgang van het onderzoek veranderd deze telkens volgens de methode van  ‘negative case analysis’. Deze methode neemt bij participerende observatie de plek in van het statistisch analyseren. Dit betekend zoveel als dat de hypothese tijdens de duur van het onderzoek aangepast blijft worden zodat als er een ‘negative case’ zich voordoet de hypothese zo wordt aangepast dat ook deze binnen het onderzoek valt.

In het doen van participerende observatie wordt er dus ook gezocht naar voorbeelden die niet meegaan met de tot dan gestelde hypothese. De zoektocht naar informatie is niet geroutineerd (eigenlijk alles behalve dat, want bij elke nieuwe zoektocht worden er nieuwe vragen gesteld) De metingen worden ook niet gestandaardiseerd, de data is niet uniform en de informatie wordt uiteindelijk niet omgezet in cijfers die opgeteld of gemiddeld kunnen worden, maar de procedure van het participerende observeren is wel systematisch.

 Generalisatie

Een participerende observeerder bestudeerd hoe  mensen zich gedragen in een specifieke organisatie, samenleving  of situatie. Vervolgens concluderen zij dat iedereen die aan dezelfde specifieke organisatie, samenleving of situatie wordt blootgesteld zich hetzelfde gedraagt als de geobserveerde individuen zich gedroegen. Het is belangrijk om te realiseren dat hier niet wordt gezegd dat dit hetzelfde is als concluderen dat mensen in andere organisaties, samenlevingen en situaties zich ook hetzelfde gedragen als de geobserveerde individuen.

Ook al lijkt het logisch dat participerende observatie een extreem hoge externe validiteit heeft omdat dit soort onderzoek zich simpelweg afspeelt in de externe (echte) wereld, moeten ook zij aantonen dan hun conclusies buiten het onderzoek om geldig zijn.

Ethische kwesties

Participerende observatie roept vele ethische vragen op. Vooral het feit dat de mensen de geobserveerd worden niet worden ingelicht dat zij eigenlijk meedoen aan een onderzoek is iets wat vandaag de dag niet snel gepikt zou worden. Het is voor participerende observatie belangrijk dat de mensen en gedragingen die bestudeerd worden, zo natuurlijk mogelijk zijn. Dit zou betekenen dat geen participerende observatie meer mag uitvoeren als de geobserveerde individuen niet weten dat ze geobserveerd worden.

Als je dan vooraf de geobserveerde groep moet laten weten dat ze geobserveerd worden, dan bestaat er een goede kans dat zij zich niet meer natuurlijk zouden gedragen. Nog problematisch wordt dan het onderzoek naar groepen die criminele misdaden plegen. Als je hen van te voren verteld dat je ze gaat observeren (in plaats van dat je gewoon undercover gaat in de groep), is de kans wel heel klein dat ze je überhaupt binnen laten, laat staan dat (als ze je toch toelaten) ze zich dan natuurlijk gedragen. Deze kwesties worden misschien wel nooit echt opgelost.

Deel V Analyses en schrijven

Hoofdstuk 17 Datamanagement & exploratie

Het onderzoek wat gedaan wordt in de sociale wetenschappen genereert informatie, oftewel data. Deze data moet worden voorbereid voor analyse, worden geanalyseerd en tenslotte worden geïnterpreteerd. Het voorbereiden van data voor analyse wordt ook wel data management genoemd.

Bij datamanagement moet de gegenereerde informatie in een andere vorm gegoten worden die dan statistisch geanalyseerd kan worden. Een bijkomstigheid is dat datamanagement ervoor zorgt dat de gegevens worden bijgehouden en worden opgeslagen. Dit zorgt ervoor dat de gegevens niet verloren gaan en dat zij wellicht in de toekomst nogmaals gebruikt kunnen worden voor nieuw onderzoek.

Dit hoofdstuk en de volgende gaan over belangrijke zaken omtrent datamanagement en de analyse van data. In dit hoofdstuk wordt ingegaan op de basics van data management en wordt er een introductie gegeven voor grafische en statistische procedures die gebruikt worden om  de integriteit van de data te meten en om patronen in data te detecteren.

17.1 De datamatrix

Het is handig om de informatie die bij elkaar is verzameld voor je te zien in de vorm van een grote matrix of spreadsheet. Om dit te illustreren kunnen we denken aan een leraar die bijhoud of iedereen aanwezig is en wat de cijfers zijn van zijn leerlingen. Als je bijvoorbeeld 10 leerlingen hebt, dan staan deze op een data matrix in en colom helemaal links allemaal onder elkaar, hiernaast is nog een kolom waar kan worden ingevuld hoe vaak ze aanwezig zijn geweest, en daarnaast een kolom met hierin per leerling het desbetreffende cijfer wat voor het vak gehaald is. Het spreadsheet heeft een vierkante vorm en de kolommen zijn de verschillende dimensies.  Zo’n configuratie van informatie wordt een data matrix genoemd.

 

Om een data matrix op te stellen moeten er drie vragen worden beantwoord:

  1. De variabelen of kolommen van de matrix moeten gedefinieerd worden
  2. Ten tweede moeten de rijen in de matrix worden gedefinieerd, hiervoor moet de vraag: Wat is de eenheid van de analyse in dit specifieke onderzoek? beantwoord worden (in het bovenstaande voorbeeld zijn dit de individuele  leerling, over hem of haar hebben we op elke variabel (kolom) informatie verzameld 
  3. De laatste vraag gaat over hoe de waardes van specifieke variabelen gedefinieerd worden, welke waardes worden gebruikt om de verschillende reacties op elke variabel te representeren?

 

De eenheid van de analyse

De analyse eenheid is de belangrijkste entiteit die geanalyseerd wordt in een onderzoek. Deze eenheden vormen de rijen die we aantreffen in een data matrix. Dit zijn vaak individuen maar dit hoeft niet altijd zo te zijn. Het kunnen bijvoorbeeld ook groepen, landen, sociale interacties, of voorwerpen zijn.  Welk soort analyse eenheid er gebruikt wordt hang af van de hypothese en wat er uiteindelijk gegeneraliseerd dient te worden. Als de analyse eenheid niet overeenkomt met wat uiteindelijk gegeneraliseerd wordt treedt er een foutieve generalisatie op.

De keuze met betrekking tot het kiezen van de goede analyse eenheid hang af de aard van de data ( we kunnen niet het individu kiezen als eenheid als er enkel informatie is verzameld op groepsniveau) en de onderzoeksvraag die gesteld is. De enige determinant is dat elke analyse eenheid statistisch onafhankelijk is. De kwestie van de analyse eenheid is complexer dan in dit boek beschreven wordt en valt volgens Hoyle buiten het bereik van dit boek.

Wat onthouden moet worden over de analyse eenheid is dat generalisatie altijd op hetzelfde niveau moet zitten met de analyse eenheid . En verder dat de analyse eenheid altijd statistisch onafhankelijk moet zijn. Om te beslissen waar de rijen van een data matrix uit moeten bestaan moet eerst gekozen worden waarnaar toe we iets willen generaliseren: naar individuen, groepen, landen etc.

Het definiëren van waardes voor variabelen

De cellen van de data matrix bestaan meestal  uit de data die vervolgens geanalyseerd dient te worden. Bijvoorbeeld als we aan 1000 mensen vragen op welke presidentskandidaat zij gaan stemmen, 1) Kandidaat A of 2) kandidaat B, dan  bevat elke cel informatie over welk antwoord een respondent gegeven heeft. Als de antwoorden gecodeerd zijn (met ‘1’ en ‘2’ in bovenstaande voorbeeld) dan staat de code in de cel weergegeven.

De antwoorden op een vraag worden numeriek gecodeerd (in plaats van de namen van een presidentskandidaat in de cellen te vullen) omdat dit statistische berekeningen mogelijk maakt. Welke statistische procedures worden losgelaten op de data ligt aan het meetniveau van de variabelen.

Het allemaal samen laten komen

Een voorbeeld van een data-matrix is te vinden op p.430 fig.17.1. Lees dit stukje zelf goed door en bekijk het voorbeeld van een data matrix. Om als onderzoeker een datamatrix goed te kunnen ‘lezen’ is het nodig om sommige afkortingen en de coderingen op te zoeken in een codeboek

 

17.2 Codeboek

 

De onderzoeker houdt zijn keuzes bij in een bestand wat ookwel het codeboek wordt genoemd. Hierin is opgenomen wat de organisatie van de data matrix is, wat de score procedures zijn en welke coderingskeuzes er zijn gemaakt. Een soort handleiding dus. Zo is een data matrix voor een lezer begrijpbaar.

 

De essentiële componenten voor een codeboek zijn:

  • Informatie over de kolommen
  • Wat de naam is van een variabel
  • Geeft een korte beschrijving van de variabel
  • Informatie over de waardes die bij het onderzoek gehanteerd zijn om de antwoorden te coderen die weer terugkomen in de cellen van de data matrix.

(zie tabel 17.1 op blz. 432 voor een voorbeeld van een codeboek waarin ook de essentiële componenten te zien zijn).

 

17.3 Software voor statistische analyses

Zelf de meest simpele data analyses worden tegenwoordig gedaan met behulp van software op een computer. De meeste universiteiten en andere onderwijsinstellingen hebben deze software zelf in huis om studenten hiermee te laten werken. Zie tabel 17.2 op p.434 voor een lijst met de meest gebruikte software.17.4 Het verkennen van data

 De volgende stap nadat de data is verzameld, er een codeboek is gemaakt en de data is ingevoerd in een software programma is het analyseren en interpreteren van de data. In dit deel van het hoofdstuk gaat het over de verschillende methoden die gebruikt kunnen worden voor het analyseren van data. Het doel van de auteurs is niet alleen het beschrijven van de methoden maar ook om te bespreken wat voor een soort vragen door deze methoden beantwoord kunnen worden. 

Hoyle hoopt dat door duidelijk uit te leggen hoe deze methoden werken en wat voor vragen deze beantwoorden de lezer appreciatie krijgt voor data analyse en de interessante dingen die je met de resultaten van de analyse kan onderzoeken.  

Data analyse is net als detectivewerk, potentiele antwoorden op vele interessante vragen liggen verscholen in de data. Het doel van data analyse is om uit te zoeken wat de data ons kan vertellen, wat de antwoorden kunnen zijn en hoe deze resultaten gebruikt kunnen worden om nieuwe interessante vragen te stellen.

Eerst wordt ten eerste ingegaan op datadisplays die het mogelijk maken dat wij ons een voorstelling kunnen maken bij een verdeling van een score (zoals histogrammen en steel en blad diagrammen). Vervolgens wordt er ingegaan op descriptieve statistieken (nummers die de verschillende karakteristieken van een verdeling van de scores op een variabel beschrijven).

In statistiek is de mediaan het midden van een verdeling, het is de centrummaat. Oftewel het middelste getal van een reeks getallen die van klein naar groot op volgorde is gezet ( 1-1-2-3-5-6-6-7-8 hier is 5 de mediaan)

Het gemiddelde is het rekenkundige gemiddelde van een verdeling. Deze wordt berekend door alle getalen (data) bij elkaar op te tellen en te delen door het aantal getallen ( 5+5+3 = 13/3 = 4,33  is dan het gemiddelde).

De modus is de meest voorkomende getal uit een groep getallen.

De mediaan, het gemiddelde en de modus geven verschillende perspectieven over het centrum van een set data weer maar een beschrijving van het centrum is niet compleet tot ook de ‘spread variability’  bekend is. Spreidingsmaten zijn: ‘inter-quartile range’, de variatie en de standaard deviatie.

Lees voor meer uitleg en formules deze paragraaf zelf nog een keer door.(blz.436-450)

Hoofdstuk 18 Schattingen & testen over associaties

De meeste fenomenen die onderzocht worden hebben betrekking op de associatie tussen variabelen. Wanneer sociaalwetenschappers hun data analyseren  willen ze niet alleen beschrijven wat de distributie/verdeling is van één enkele variabel, maar willen ook schattingen maken over de associatie of verbanden tussen twee of meerdere variabelen.

In dit hoofdstuk worden de procedures die gebruikt worden voor het schatten en testen van associaties/ verbanden tussen twee variabelen uitgelegd.

18.1 Verbanden tussen dichotome variabelen

In deze paragraaf wordt een antwoord gegeven op de vraag wat er precies bedoelt wordt met als men stelt dat twee variabelen met elkaar in verband kunnen worden gebracht. Deze uitleg wordt gegeven aan de hand van een voorbeeld. Hij gebruikt hiervoor de hypothese dat huwelijks en echtscheidingscijfers in verband kunnen worden gebracht met de 48 Amerikaanse staten. We houden het wat betreft de  waardes enkel bij of de huwelijks en echtscheidingscijfers relatief hoog of laag zijn. In het vorige hoofdstuk (tabel 17.3) is dit voorbeeld ook al gebruikt en moeten we de ruwe data uit die tabel vertalen naar deze nieuwe waardes (relatief hoog of laag).

De mediaan is het meetgetal wat laat zien wat het middelste getal is van een grote groep getallen. Dit midden is dan ook meteen de scheidingslijn die de steekproef van een variabel verdeelt in relatief hoog en relatief laag. Alles wat er boven valt betekend voor dat deel van de steekproef  van een bepaalde variabel dat de score (in dit geval de huwelijkscijfers relatief hoog zijn, en andersom (dat als het getal onder de mediaan ligt) dat die relatief laag zijn. Deze procedure wordt de ‘mediaan split’ genoemd.

In tabel 18.1 op p.453 kunnen we het resultaat zien. Hierin worden de opnieuw gecodeerde data voor huwelijks en echtscheidingscijfers voor de 48 staten getoond. In fig 8.1 is te zien hoe dit er uitziet in SPSS. Met enkel twee mogelijke waarden (laag of hoog) voor elk van de variabelen zijn de variabelen dichotoom te noemen. Nu we dat hebben geconstateerd, hoe kunnen we dan zien hoe de huwelijks en echtscheidingscijfers met elkaar in verband staan?

Als we tabel 18.1 goed bestuderen zien we dat de als een staat relatief laag scoort op de echtscheiding variabel, ook laag scoort op de huwelijks variabel. Andersom precies hetzelfde als een staat hoogs scoort op de ene variabel, scoort die ook hoop op de andere.

Er zijn een paar staten die duidelijk afwijken van deze regel maar voor 37 van de 48 staten geld de regel wel. Een gemakkelijke manier om deze dichotome data overzichtelijk te maken, is door  het gebruik van een kruistabel (zie fig.18.2 blz 455). De nummers in de kruistabel die gelabeld zijn als ‘totaal’ worden ook wel de marginale frequenties genoemd.

De vraag of de twee variabelen (huwelijks en echtscheidingscijfers) in verband kunnen worden gebracht met de 48 staten is eigenlijk een vraag die gaat over of wij in staat zijn om de waarde van de staat te voorspellen als men beschikt over de waarde van de desbetreffende staat op de variabel.

Als we beschikken over twee dichotome variabelen willen we ook weten dat als er een associatie aantoonbaar is, hoe groot deze associatie dan is. De grootte van een associatie wordt ook wel de ‘Fgenoemd (wordt uitgesproken als fī of fē).  Ga naar blz.456-458 voor de formule om deze te berekenen, en om te lezen wat er met F‘ coëfficiënten geïnterpreteerd kan worden.

18.2 Wat zeggen associaties over populaties?

Naast het simpelweg calculeren wat de grootte is van een associatie/verband tussen variabelen willen we ook weten wat de associaties of verbanden (die betrekking hebben op de steekproef) kunnen zeggen over de populatie. De populatie zijn alle mensen, elementen, of objecten waaruit we een steekproef hebben getrokken.

Vervolgens willen we de uitkomsten van een onderzoek over een steekproef generaliseren naar de rest van de populatie. We willen weten of we een geobserveerde associatie tussen twee variabelen kunnen generaliseren naar de populatie. Het wil dus niet zeggen dat als we een associatie tussen A en B vinden, we ook direct kunnen aannemen we dezelfde associatie weer zullen zien als we de hele populatie zouden meten, maar het kan wel. We kunnen de generaliseerbaarheid van een associatie bereken door middel van statistische toetsing.

Deze statistische toetsing begint met wat de nul-hypothese wordt genoemd. Dit is een hypothese waarvan we hopen dat deze uiteindelijk verworpen kan worden. Dit hopen we omdat de hypothese bestaat uit een bewering die zegt dat de gevonden en berekende associatie uit de steekproef niet te generaliseren is met de rest van de populatie( dus dat er geen verband bestaat tussen de populatie en de gevonden associatie).

De nul-hypothese is dus of waar, of niet waar. Dat betekend dat als we van iedereen de gewenste data k unnen verzamelen, we erachter zouden komen of de steekproef en de daarbij horende associatie tussen variabelen wel of niet generaliseerbaar is naar de rest van de populatie. We vinden een associatie, of we vinden die niet.  Wat dit verder voor een consequenties heeft, lees zelf p.460 nog eens door.

Nu gaan we verder met de vraag, hoe kunnen we berekenen of we de nul hypothese moeten aannemen of moeten verwerpen? We beginnen dus bij een nul hypothese die stelt dat er geen associatie of verband is. We gaan er dus vanuit dat deze aanname waar is. Nu moeten we opzoek gaan naar het resultaat van de steekproef die een overtuigende reden zou kunnen zijn om de aanname van de hypothese toch te verwerpen (dat er geen associatie is dus). Om deze te vinden moeten we de statistische significantie van de associatie berekenen.  Hoe deze berekening in zijn werk gaat en wat deze berekening ons kan vertellen, ga naar blz.461-462 voor de formule en voor uitleg over hoe deze werkt.

18.3 Associaties/verbanden tussen continue variabelen

Deze paragraaf gaat over de vraag hoe we de associatie/het verband kunnen meten tussen twee continue variabelen. Als je de correlatie wilt meten tussen twee continue variabelen A en B(bijv. of leeftijd samenhangt met de scores van een bepaalde test), moet er gebruik gemaakt worden van Pearson’s product moment correlation coefficient ofte wel Pearsons r. Meestal wordt dit coefficient gemeten met de computer maar het kan ook met de hand door de fornule te gebruiken van p.466.

De waarden van dit coefficitent lopen van -1 tot + 1.  Mocht er sprake zijn van een correlatie tussen A en B dan neemt als de waarde van A stijgt, ook de waarde van B toe. Als er geen sprake is van een correlatie dan is dit te zien als de waarde van A stijgt, maar die van B daalt.  Als de waarde van allebei de variabelen – of + 1 is dan is er sprake van een associatie. Als er een waarde van 0 wordt gehaald is er geen correlatie. Maar ook al wordt er een 0 score behaalt, en dit dus betekend dat er geen verband is, betekend dit niet dat er op andere vlakken ook geen verband is. Hierom is het belangrijk om vooraf een scatterplot te maken (zie fig 18.4 en 18.5)

 

18.4 Associatie of verband tussen één continue en één dichotome variabel

Het komt best vaak voor dat bij de twee gemeten variabelen er een continu en een dichotoom van aard is, dit betekend dat de variabelen op twee verschillende niveaus gemeten zijn.

Om dit te illustreren, denk even terug aan het voorbeeld van de huwelijks en echtscheidingscijfers.  Stel je voor dat we alle informatie hadden over de huwelijkscijfers, maar niet over de echtscheidingscijfers en alleen maar weten of deze hoog of laag zijn zouden we denken dat alle besproken procedures om de associatie tussen twee variabelen te meten hierop niet van toepassing zouden zijn. Maar dit is niet zo, ook de  procedures voor twee continue variabelen kunnen hiervoor worden gebruikt.

Dat één variabel continu en eentje dichotoom is komt het meeste voor bij experimenteel en quasi-experimenteel onderzoek. lees zelf deze paragraaf goed door om te begrijpen hoe het berekenen van de associatie in zo’n geval in zijn werk gaat.

 

18.5 Interpreteren van associaties

In de voorgaande paragrafen is uitgelegd wat de hulpmiddelen bij het schatten van de associatie tussen variabelen zijn en hoe we kunnen nagaan of deze associaties wel betrouwbaar zijn als wij deze willen generaliseren. Er zijn echter nog wel een paar belangrijke zaken die duidelijk moeten zijn voordat  statistische berekeningen worden gebruikt en geïnterpreteerd.

Een voorbeeld van zo’n valkuil is om te denken dat een associatie tussen A en B ook betekend dat B het gevolg is van A. Dit hoeft namelijk helemaal niet zo te zijn, A kan ook een gevolg zijn van B. Hiernaast kan het ook nog zo zijn dat er een derde variabel is die zowel A als B veroorzaakt waardoor A en B wel in hetzelfde verband kunnen worden gezien, maar zelf geen causale oorzaak gevolg relatie hebben. Zo’n correlatie heet een ‘spurious ’of te wel een valse of onechte correlatie’18.6 ‘Partial’ of gedeeltelijke correlatie

Als er sprake is van een causale hypothese, dat A, B veroorzaakt en we niet in staat zijn om een gerandomiseerd experiment uit te voeren, of we de participanten of elementen niet aselect kunnen toewijzen aan een conditie van een onafhankelijke variabel is het wijs om te kijken of A en B nog steeds een associatie vertonen als we een derde variabel ( C) constant houden.

Een associatie tussen variabel A en B die blijft bestaan wanneer een derde variabel constant wordt gehouden noemen we een ‘partial’ of gedeeltelijke correlatie. Deze derde variabel kan dus een correlatie testen op ‘spurious’ of valse correlaties en op ‘seletion threats’ voor de betrouwbaarheid van quasi-experimenteel onderzoek.

Ook al is het gebruik van een derde variabel nooit zo goed als het uitvoeren van een gerandomiseerd onderzoek om de interne validiteit van een onderzoek te waarborgen, het is wel de beste optie als een gerandomiseerd onderzoek niet haalbaar of uitvoerbaar is.

 

Hoofdstuk 19 Onderzoeksrapporten & literatuur

Het evalueren en kunnen samenvatten van andere onderzoeken is voor het zijn van een goede onderzoeker erg belangrijk. Het beoordelen van iemand anders zijn onderzoek is een integraal deel van het doen van sociaal wetenschappelijk onderzoek. In dit hoofdstuk ligt de focus op twee onderwerpen: 1)hoe je een onderzoek moet lezen en hoe je vervolgens moet evalueren. 2)Hoe je een aantal uitkomsten van onderzoeken die allemaal gaan over hetzelfde onderwerp moet samenvatten.

19.1 Beoordelen van onderzoeksrapporten

Het kan voor eerstejaarsstudenten nog wel eens een hele shock zijn als ze echte onderzoeksrapporten in hun handen krijgen gedrukt en het kan nogal wat moeite kosten om te leren hoe je deze moet lezen. Daarom worden er in deze paragraaf in vijf stappen uitgelegd hoe je een sociaalwetenschappelijk onderzoeksrapport moet lezen:

 

  • Stap 1: Lees de abstract (hierdoor krijg je al een aardig idee waar het onderzoek over gaat)
  • Stap 2: Lees de inleiding ( Het doel van een inleiding is de lezer ervan verschaffen met een theoretische achtergrond van het onderzoeksonderwerp en het geven van een literatuuroverzicht).
  • Stap 3: Lees het stuk over methodologie zeer gedetailleerd door ( Bij dit gedeelte is het belangrijk om stil te staan bij 1)  hoeveel en wat voor een participanten er zijn gebruikt 2) welke meetinstrumenten er zijn gebruikt en 3) wat is de procedure is geweest van het onderzoek
  • Stap 4 Evalueer de resultaten
  • Stap 5: Neem het stuk ‘Discussie’ serieus en lees deze aandachtig door

 

19.2 Zoeken naar literatuur

Om een goed literatuuronderzoek te schrijven is het van groot belang om op de goede manier andere onderzoeksrapporten te vinden die gaan over jou onderwerp. Als je maar tien onderzoeksrapporten gebruikt van een onderwerp waar er honderd van bestaan draagt jou literatuuronderzoek niet echt veel bij.

Dit betekend niet dat je alle bestaande onderzoeksraportten over een onderwerp moet gebruiken voor één literatuuronderzoek. Soms zijn er goede redenen om bepaalde onderzoeken niet te gebruiken. Bijv. Je kan er voorkiezen om enkel onderzoekenrapporten over een onderwerp te gebruiken die na 1990 geschreven zijn omdat er in 1990 een belangrijk onderzoek heeft plaatsgevonden wat de hele perceptie over een onderwerp veranderd heeft.

Er zijn tegenwoordig vele manieren om snel toegang te krijgen tot veel onderzoeksrapporten door de komt van het internet. Online databases zijn hiervoor erg handig (zoals bijv.Jstor ) als je wilt zoeken binnen zulke databases is het van belang dat je de juiste zoektermen of trefwoorden invult.

Men moet uitkijken dat er bij het schrijven van een literatuur onderzoek teveel de nadruk wordt gelegd op gepubliceerde artikelen (publicatie bias). Een goed literatuuronderzoek kenmerkt zich door  het feit dat er getracht is om alle beschikbare literatuur over een onderwerp te vinden. Om dit zo veel mogelijk voor elkaar te krijgen kan de ‘ancestry approach worden toegepast. Hiermee wordt bedoeld dat er een literatuurlijst van een reeds bestudeerde onderzoeksrapport bestudeerd wordt om te kijken of je nog andere relevante literatuur voor jou literatuuronderzoek kan vinden.

19.3 Literatuuroverzicht (traditioneel en meta-analytisch)

 

Als eenmaal alle relevante literatuur over een bepaald onderzoek bij elkaar is verzameld moet deze samengevat en geïntegreerd worden in één goed lopend stuk tekst. Maar voor dat dit gedaan kan worden sta je voor de keuze om te kiezen tussen twee soorten manieren schrijven. Aan de ene kant de traditionele manier waarin de resultaten van alle gevonden onderzoeken kort samengevat in een lopend verhaal aan elkaar worden geplakt. Aan de andere kant meta-analytische variant waarin de resultaten/uitkomsten van alle gevonden onderzoeken samengevoegd worden om vervolgens kwantitatief geanalyseerd te worden.

 

Het concept van ‘effect size’

 

Het doel van een meta-analyse is om een groep resultaten (uit verschillende onderzoeken maar die wel over hetzelfde onderwerp gaan) op een statistische manier samen te voegen tot één geheel. Zo’n vraag kan bijvoorbeeld zijn: werkt psychotherapie? Met zo’n gefocuste vraag ga je vervolgens studies zoeken die gaan over de werking van psychotherapie.

 

Vervolgend heb je een groep studies die gaan over hetzelfde onderwerp en nu ga je de resultaten uit deze studies samenvoegen dat een statistisch geheel.  Het is van groot belang dat je een zeer gefocuste vraag hebt. Er moet een specifieke hypothese worden gesteld. Je kan dus geen meta-analyse maken over bijv. het construct agressie in het algemeen, dit is te breed.

 

Je kan niet zomaar alle resultaten uit verschillende onderzoeken met elkaar vergelijken (elk onderzoek heeft weer zijn eigen methodologie die heeft geresulteerd in bepaalde resultaten) dat zou appels met peren vergelijken zijn. De eerste stap is om alle gevonden resultaten naar een gestandaardiseerde ‘effect size’ index te converteren. De term ‘effect size’ wordt door Hoyle beschreven als: ‘the strength or magnitude of an association in the population, or the degree of departure from the null hypotheses’(p.493).

 

Hiernaast is er nog een andere index, de: Cohen’s d. Het maakt in principe niet uit welke index je gebruikt, zolang je maar wel voor alle onderzoeken/studies die je wilt incorporeren in je meta-analyse dezelfde index blijft gebruiken.

Op p.493 en 494 wordt in detail uitgelegd hoe deze indexen werken en welke formules er  gebruikt kunnen worden om de effect size uit te rekenen.

 

Coderen van studies voor de meta-analyse

 

De tweede stap in het schrijven van een verslag (zowel bij narratief als meta-analytisch) is het aandachtig lezen van alle studies en deze coderen op ‘effect size’, en andere relevante methodologische en theoretische variabelen. Deze stap is behoorlijk complex, er moet namelijk worden uitgezocht welke resultaten je wel en welke je niet gebruikt voor je literatuuronderzoek.

 

Dit proces komt soms de objectiviteit van je onderzoek niet ten goede. Hoyle hoopt dat het na dit stuk duidelijk is hoe subjectief een ‘objectief’ kwantitatief literatuur onderzoek kan zijn. Men moet voorzichtig zijn in hun interpretatie en gebruik van meta-analytische resultaten. Meta-analytische resultaten zijn enkel imperfecte schattingen over heersende waardes binnen een populatie. Deze resultaten zijn tot stand gekomen door een hoop subjectieve keuzes die gemaakt zijn door een onderzoeker en men moet daarom deze nooit als een soort objectieve waarheid behandelen.

 

19.4 ‘Basic Meta-Analytic Tests’: Het combineren en vergelijken van onderzoeken

 

Als er naar de juiste literatuur is gezocht, en de relevante artikelen/studies zijn nauwkeurig gelezen en gecodeerd moeten de artikelen nog geordend en samengevat worden. Bij een narratief onderzoeksverslag doet men dit en is dan klaar. Meta-analytisch verslag moet dit ook doen maar gebruikt meer dan enkel een woordelijke samenvatting  (dit in tegenstelling tot de narratieve variant), en geven ook kwantitatieve analyses.

 

Rosenthal geeft in fig. 19.3 op p.500 een handig kader die ons kan helpen bij het categoriseren van de verschillende analytische benaderingswijzen. Hij geeft aan dat we de resultaten van studies kunnen definiëren aan de hand van de ‘effect size’ of aan de hand van significantie niveaus.  De tweede dimensie in Rosenthal zijn kader is of de studies die geselecteerd zijn voor een meta-analyse  gecombineerd of vergeleken worden.

 

Als alle analyses gedaan zijn, moet alleen het verslag nog geschreven worden. Hier een aantal zaken die er in moeten zitten:

  •  Ten eerste moet de auteur van het stuk gedetailleerd en precies uitleggen hoede meta-analyse tot stand is gekomen.
  • Ook de zoektocht naar de geselecteerde literatuur moet in detail beschreven worden (hierbij ook zetten welke databases er bij het zoeken gebruikt zijn en op welke trefwoorden er gezocht is).
  • De criteria de gehandhaafd zijn om uit te maken welke onderzoeken/artikelen niet werden opgenomen in de analyse moeten ook helder worden uitgelegd. 
  • De variabelen die gecodeerd zijn moeten ook genoemd worden en in detail gedefinieerd worden.
  • De methode die gebruikt is om de ‘effect size’ te bepalen moet beschreven worden, alsmede de keuzeregels voor het bepalen weke afhankelijke variabels te gebruiken.
  • De betrouwbaarheid van coderen moet gedocumenteerd worden
  • De gebruikte artikelen moeten in een referentielijst worden opgenomen

 

Wat betreft de presentatie van de resultaten moet er een tabel gemaakt worden met hierin alle gebruikte studies en de daar bijhorende ‘effect size’ evenals de waarden van de variabelen. Zie fig.19.4 voor een voorbeeld hiervan (p.506)

 

Wat betreft de organisatie van de resultaten. Deze is afhankelijk van de aard van de meta-analyse maar over het algemeen is het handig dat er begonnen wordt met enkele globale samenvattende analyses (zoals het gemiddelde ‘effect size’’ en de resultaten van heterogeniteittesten) om vervolgens het te hebben over meer specifieke analyses. Dus begin breed om vervolgens meer de diepte in te gaan.

 

In de discussie moet een samenvatting gegeven worden van alle basisbevindingen en moet er vervolgens diepgaand op de theoretische implicaties van deze bevindingen in worden gegaan.

Hoofdstuk 20 Schrijven van het onderzoeksverslag

Je hebt een onderzoek gedaan en de data geanalyseerd. De volgende stap is om de hele wereld te vertellen wat je geleerd hebt door dit op te schrijven in een onderzoeksverslag. Ook al is je onderzoeksverslag niet bedoeld voor een professioneel publiek moet toch altijd het standaard indeling van een professioneel wetenschappelijk verslag worden aangenomen. Een verslag is verdeeld in de volgende 7 secties:

  • Inleiding
  • Methode
  • Resultaten
  • Discussie
  • Samenvatting of Abstract
  • Referenties
  • Appendix (deze is optioneel)
  •  

In dit hoofdstuk wordt stap voor stap uitgelegd hoe elke van deze bovengenoemde secties moet worden aangepakt. Verder worden er nog een aantal stilistische suggesties gedaan die ervoor zorgen dat het onderzoeksverslag zo duidelijk mogelijk is.

20.1 Enkele belangrijke zaken vooraf

Het onderzoeksrapport die geschreven moet worden is niet diegene die je al tijdens de ontwerpfase van je onderzoek in je hoofd had. Het is pas duidelijk welk onderzoeksverslag je moet schrijven nadat je de resultaten gezien hebt.

Het volgende is een beschrijving van de meest ideale gaan van zaken van het doen van een onderzoek: De onderzoeker begint met een theorie over een construct, vervolgens worden hieruit hypothesen geformuleerd. Daarna wordt het onderzoeksopzet ontworpen en voert vervolgens het onderzoek uit. Vervolgens wordt de gemeten data geanalyseerd en kan er gekeken worden of de scores overeenkomen met de hypothese die dan oftewel aangenomen of verworpen wordt. Als een onderzoek zo is verlopen is het meeste werk van een onderzoeksverslag al gedaan voordat er überhaupt wordt begonnen aan het verzamelen van data.

Zoals we in hoofdstuk 17 en 18 hebben kunnen zien houdt data analyse meer in dat het enkel checken of een hypothese aangenomen of verworpen wordt. De data moet nauwkeurig bekeken worden of er zich nog interessante dingen voordoen die we voorafgaand aan het onderzoek niet hadden verwacht.  Dit wil niet zeggen dat dit belangrijker is dan het testen of je hypothesen wel of niet kunnen worden aangenomen, dit blijft  het centrale punt en doel van het onderzoek.

 

Zandloper methode

Een onderzoeksrapport wordt meestal geschreven naar het model van een zandloper. Hiermee wordt bedoeld dat men ‘bovenaan’ breed begint (met ‘brede’ algemene beweringen), dan naar het midden van het onderzoek smal toeloopt (aka specifieker wordt)met als ‘smalste deel’ de methode en resultaten, om vervolgens bij de discussie weer breed uit te lopen . Zie blz.512 voor een uitgebreide uitleg en voorbeeld.

20.2 De Inleiding

Wat is het probleem wat wordt onderzocht?

In een inleiding moet ten eerste een achtergrond van het onderwerp bevatten. Ook al is je vraag nog zo simpel, deze moet altijd in een grotere context geplaatst worden. Op de ze manier wordt het de lezer duidelijk waarom jou onderwerp zo significant is dat deze onderzocht dient te worden. Zie p513 voor een voorbeeld van een inleiding.

Het is van groot belang dat je bij het schrijven van je inleiding in je achterhoofd houdt dat ook een leek jou onderzoek moet kunnen begrijpen. Over het algemeen zijn er vier regels op te noemen die hierbij helpen:

  1. Schrijf in proza, niet in vakjargon
  2. Je moet niet in je inleiding direct beginnen met je probleemstelling. Neem de tijd en ruimte om eerst je onderwerp goed uit te leggen zodat je hier met relatief gemak je probleemstelling in context kan plaatsen. Zo laat je de lezer stapsgewijs ‘binnen’ in je onderzoek.
  3. Probeer om je inleiding de openen met een statement over menselijk gedrag. Niet over het gedrag van sociale wetenschappers of het onderzoek.
  4. Probeer voorbeelden te gebruiken om theoretische punten te illustreren of om theoretische of technische termen te introduceren.

 

Literatuuroverzicht

De volgende stap in je inleiding nadat je het onderwerp hebt geïntroduceerd is om de stand van wetenschap over jou onderwerp weer te geven. Welk ander onderzoek is gedaan naar jou onderwerp en het desbetreffende probleem ? Wat zijn de heersende theorieën?

Je hoeft hierbij niet elke studie die ooit gedaan is naar het door jou gekozen onderwerp te beschrijven, citeer alleen de studies die het meest relevant zijn voor jou vraagstelling en probeer onnodige details in deze beschrijvingen te vermijden. Zie p.515 voor een voorbeeld van zo’n beknopte beschrijving of samenvatting. Als je een boek of artikel citeert moet dit altijd genoteerd worden als volgt: de achternaam van de onderzoeker met hierachter het jaar waarin het onderzoek is gepubliceerd.

 

Jouw onderzoek

Aan het einde van de conclusie is het tijd om jouw eigen onderzoek te introduceren. Hier schrijf je een kort overzicht van je onderzoek. Het doel hiervan is niet om gedetailleerd je procedure te beschrijven, maar om een soepele overgang te maken naar het volgende deel van je verslag, namelijk de methode,  die direct volgt op de inleiding. 

 

 20.3 De Methode

Een lezer van het onderzoeksverslag moet vrij gedetailleerd worden verteld hoe een onderzoek precies gedaan is. Voor welk soort onderzoeksmodel is gekozen? Als een studie experimenteel is, wat waren de experimentele manipulaties? Op welk moment of momenten is er gemeten?

Als de data is verzameld door middel van vragenlijsten moet ook duidelijk worden beschreven wat deze vragen waren. Als de metingen waren gebaseerd op observatie moet worden beschreven wat de instructies waren die aan de participant gegeven zijn. Verder is het belangrijk dat de lezer ook te weten komt hoe de observaties of de antwoorden op vragen zijn vertaald naar metingen van de variabelen.

Over de steekproef moet de lezer ten eerste weten wie de participanten waren?, hoeveel  het er waren? en hoe deze geselecteerd zijn?. Deze vragen zijn allemaal van groot belang om in te kunnen schatten wat de vermoedelijke grenzen zijn van de generaliseerbaarheid van de resultaten.

Als de studie een behoorlijk complex experiment was waarin meerdere procedures of gebeurtenissen plaatsvonden is het handig om vanuit het perspectief van de proefpersoon het onderzoek te beschrijven. Beschrijf alles altijd op chronologische volgorde zodat de lezer als het ware door het hele onderzoek heen wordt gelopen, net als de participant dit was.

Noem alle handelingen en variabelen aan de hand van labels die gemakkelijk te onthouden en te herkennen zijn. Gebruik geen afkortingen of ‘ lege’ labels (behandeling 3). Op p.518-19 wordt een voorbeeld gegeven van een methode.

 

Ethische kwesties

In hoofdstuk drie is al aangekaart dat participanten met respect behandeld moeten worden voor het feit dat zij vrijwillig hebben willen meedoen aan jou onderzoek. Nadat je de methode van het onderzoek hebt behandeld, moet je ook weergeven op welke manier de participanten zijn gecompenseerd voor hun participatie aan het onderzoek (bijv. geld of proefpersoonpunten). Hierna moet je ook uitleggen hoe je met eventuele ethische problemen bent om gegaan.

 

20.4 De Resultaten

In korte artikelen of onderzoeksverslagen worden de paragrafen resultaten en discussie in één stuk gecombineerd. In Sommige gevallen moet er langer in worden gegaan op de resultaten waardoor er wel een afzonderlijke paragraaf voor gemaakt moet worden.

Het is niet te bedoeling dat je bij de Resultaten de lezer bestrooit met enkel cijfers en formules en er dan maar vanuit gaat dat het leesbaar is. De resultaten dienen net als de rest van het verslag in een lopend verhaal te worden geschreven.

‘setting the stage’

Voordat je echt ingaat op de resultaten moeten er eerst twee andere dingen worden besproken:

  • Ten eerste moet er worden aangetoond dat de condities representatief waren vormgegeven om de hypothese te kunnen beantwoorden. (als je bijv. een conditie had waarin mensen blij moesten zijn en een tweede conditie waarin ze verdrietig moesten zijn is dit de plek om aan te tonen dat de ingevulde vragenlijsten over het  humeur van de participanten ook een significant verschil aantonen tussen de twee condities).
  • Ten tweede moet  er een beschrijving worden gegeven van de methoden die gebruikt zijn om de data te analyseren.  Je begint met een algemene uitleg over de procedure die is gevolgd om de observaties de vertalen naar analyseerbare data. Daarna ga je in op de statistische procedure zelf. Als laatste geef je een korte beschrijving van de gehele resultaten sectie waarin je aangeeft of deze gecompliceerd is en uit hoeveel delen die bestaat en waar deze over gaan. (bijv. ‘de resultaten worden in drie subparagrafen gepresenteerd, het eerde deel gaat over…, tweede deel…en het laatse deel gaat over…’).

 

Het presenteren van de uitkomsten

De algemene regel is hier dat je eerst de meest centrale/belangrijke resultaten geeft om vervolgens in te gaan op de meer specifieke resultaten. Dit regel geldt ook als je werkt met subparagrafen. (Hoyle gebruikt hiervoor het volgende spreekwoord ‘ The general rule in reporting your findings is to give the forest first and then the trees’, p.521 onderaan)

 Door de resultaten als volgt te presenteren geef je de lezer de keus of ze na het lezen van het belangrijkste resultaat nog verder willen lezen om in detail te begrijpen hoe dit resultaat tot stand is gekomen. Op pagina 522-23 bespreekt  Hoyle nog een aantal andere regels waaraan deze sectie moet voldoen en geeft ook een paar voorbeelden. Lees deze zelf nog een keer rustig door.

 

20.5 De Discussie

Zoals al eerder gezegd wordt de discussie paragraaf vaak samengevoegd met die van de resultaten. Bij een ingewikkelder, meer complex onderzoek worden deze paragraven vaak afzonderlijk van elkaar besproken.

De discussie is een samenhangend lopend verhaal die moet aansluiten op de inleiding van je onderzoeksverslag. Onderwerpen die zo belangrijk waren voor je onderzoek kunnen in zowel je inleiding als in je discussie terugkomen. Omdat de discussie ook de onderkant van het zandloper model is, kan er geheel aan het einde van de discussie in worden gegaan op de meest verregaande generalisatie die je hebt kunnen vinden tijdens het doen van je onderzoek.

Begin de discussie door  heel duidelijk te stellen wat je geleerd hebt van het onderzoek en of je hypothese wel of niet aangenomen kan worden. De discussie is ook de plek om jou resultaten te vergelijken met resultaten van vergelijkbare onderzoeken en om te bespreken wat de mogelijke tekortkomingen van jou onderzoek waren. Deze tekortkomingen moeten niet gezien worden als iets slechts, om vervolgens goed gepraat te worden. Wees bereid om deze te aanvaarden en probeer ook hieruit een belangrijke les te leren die ook van belang kan zijn voor verder onderzoek naar dit onderwerp. Verder is het belangrijk dat als er op een andere plek in het onderzoeksverslag een nieuwe vraag is gesteld deze ook wordt beantwoord in je discussie (bijvoorbeeld als je bij de bespreking van je  resultaten je jezelf iets niets afvraagt) Verder is het van belang om aan te geven wat de generaliseerbaarheid van je conclusie is. Als laatste is het belangrijk om aan te geven welke vragen binnen jou onderzoek onbeantwoord zijn gebleven en welke nieuwe vragen er door jou onderzoek kunnen worden gesteld. Er kunnen dus suggesties worden gegeven voor verder onderzoek. Suggesties bieden voor verder onderzoek is in de meeste gevallen ook het meest voorkomende einde van een onderzoeksverslag.

 

20.6 Samenvatting of Abstract

Aan het einde van een onderzoeksverslag hoort ook een zeer korte samenvatting die nogmaals de probleemstelling,de procedure, de belangrijkste resultaten en de belangrijkste conclusies herhaalt. De meeste artikelen hebben deze samenvatting ingewisseld voor een abstract wat een nog kortere samenvatting is die helemaal aan het begin (op de voorpagina) van het onderzoeksverslag wordt geplaatst in plaats van helemaal op het einde. Een abstract is maar ca.125 woorden en maakt (door  het te plaatsen aan het begin van het verslag ) duidelijk of dit verslag überhaupt voor een andere onderzoeker of belangstellende  interessant/relevant is om te lezen. Op pagina 527-28 is een voorbeeld  te lezen.

 

20.7 Referenties

Alle boeken en artikelen die gebruikt zijn bij het doen van het onderzoek dienen aan het eind van het onderzoeksverslag in een literatuurlijst weergegeven te worden. Deze moet op alfabetische volgorde staan. Bekijk de manieren hoe literatuur in een literatuurlijst moet worden geciteerd goed door op blz.528.

 

20.8 Appendix

In een appendix kunnen kopieën van bijvoorbeeld de gebruikte vragenlijsten worden opgenomen. Deze documenten zijn te groot om in het onderzoeksverslag  zelf te worden opgenomen. Andere documenten zijn: attitudeschalen, stimulus materialen, en foto’s of tekeningen van apparaten of van de onderzoekssetting.

Het wel of niet toevoegen van een appendix ligt eraan wie het publiek is die het onderzoeksverslag gaat lezen en of zij de aanvullende documenten wel nuttig zullen vinden. Het is wel belangrijk om te onthouden dat het onderzoeksverslag op zelfvoorzienend  is (zonder de appendix) en niet een appendix nodig heeft om het onderzoeksverslag begrijpbaar te maken.

Het moet puur gezien worden als een aanvulling op het onderzoeksverslag. Het is dus niet zo dat als je de hele vragenlijst in je appendix zet, je niet niet in je onderzoeksverslag bij de paragraaf methode kan refereren naar de appendix als je het gaat hebben over je vragenlijst. Ook in de paragraaf methode zelf moeten er dan op zijn minst een paar voorbeelden van vragen getoond en besproken worden.

20.9 Enkele suggesties over procedure en stijl

Hier geeft Hoyle nog een paar goede suggesties voor de procedure en stijl voor het onderzoeksverslag, hij heeft deze in een paar kopjes ondergebracht. De titels spreken vaak al voor zichzelf:

  • Nauwkeurigheid en duidelijkheid
  • Schrijf simpel, gebruik voorbeelden en laat vrienden je verslag becommentariëren.
  • Werk met een overzicht
  • Laat onnodige woorden weg
  • Vermijd ‘metacomments’ in het schrijven (schrijf niet te veel vanuit de ik-vorm)
  • Maak gebruik van herhaling en parallellen
  • Wees dwangmatig, ben bereid om je stuk te herstructureren
  • Persoon en stem. Vroeger werd er vaak vanuit de derde persoon gesproken, Dit is allang niet meer de norm. Je mag tegenwoordig vanuit de 2e of 1e persoon schrijven. Refereer niet aan jezelf als ‘de auteur’ of ‘ de onderzoeker’. Als je dit wel doet  is het stuk saai om te lezen en komt het onhandig over.
  • Tijd. Gebruik de verleden tijd wanneer: je al bestaand onderzoek beschrijft of samenvat, en als je het gaat hebben over de procedure van je experiment. Gebruik de tegenwoordige tijd als je: resultaten bespreekt die de lezer voor zich ziet als die deze leest (vb. in’ tabel 1’ staat, of ‘tabel 1 laat zien dat’) en voor algemene conclusies.
  • Vermijd bias in je taalgebruik. Zie voor een samenvatting van richtlijnen hoe je dit kan doen p.533-536

Als je zelf een onderzoeksverslag gaat schrijven is het nuttig om deze punten nogmaals een keer door te lezen, alsmede dit hele hoofdstuk nuttig is om er nog eens bij te pakken als je ergens mee vastloopt.

20.10 Enkele tips voor meer informatie over het schrijven van een onderzoeksverslag

Er zijn twee handleidingen beschikbaar die aanvullende informatie kunnen bieden bij het schrijven van een onderzoeksverslag. Dit zijn:

  • Publication Manual of the American Psychological Association (5e ed. 2001)

Deze bied zeer gedetailleerde informatieve over het exacte format wat gebruikt wordt in professionele tijdschriften. Dit boek geeft ook nog wat algemeen advies over stijl  en de vorm van het onderzoeksverslag.

The Elements of Style door Strunk & White (2000) is een zeer goed boek over het schrijven van verklarende proza, grammatica, woordgebruik, interpunctie en stijl. Het boek is beknopt, informatief en leuk om te lezen.

 

Join World Supporter
Join World Supporter
Log in or create your free account

Why create an account?

  • Your WorldSupporter account gives you access to all functionalities of the platform
  • Once you are logged in, you can:
    • Save pages to your favorites
    • Give feedback or share contributions
    • participate in discussions
    • share your own contributions through the 7 WorldSupporter tools
Follow the author: Vintage Supporter
Promotions
verzekering studeren in het buitenland

Ga jij binnenkort studeren in het buitenland?
Regel je zorg- en reisverzekering via JoHo!

Access level of this page
  • Public
  • WorldSupporters only
  • JoHo members
  • Private
Statistics
[totalcount]
Comments, Compliments & Kudos

Add new contribution

CAPTCHA
This question is for testing whether or not you are a human visitor and to prevent automated spam submissions.
Image CAPTCHA
Enter the characters shown in the image.