Onderzoekspracticum design - college aantekeningen

Onderzoekspracticum design

De empirische cyclus (1961- Adriaan de Groot)

• Observeren: aanleiding onderzoek, welke vragen hebb je
• Inductie: verwachting op stellen (theorie)
• Deductie: hypothese opstellen (voorlopig antwoord) en onderzoeksontwerp kiezen
• Toetsing: daadwerkelijk onderzoek; verzamelen en analyseren data
• Evaluatie: welke conclusies kan je trekken? Voor vervolgonderzoek kan je weer beginnen met observeren.

Soorten wetenschappelijke ‘bewijs’

• Praktijkkennis (kleinschalig onderzoek op de werkvloer; niet generaliseerbaar)
• Kennis obv case studies (kwalitatieve studies; niet generaliseerbaar)
• Kennis obv enquêtes/interviews (meningen/gedragingen van mensen in kaart brengen)
• Kennis obv correlationele studies (kwantitatief, gezocht naar samenhang; niet oorzaak-gevolg kennis)
• Kennis obv quasi-experimentele studies (niet-willekeurig, oorzaak-gevolg zoeken, wel manipulatie)
• Kennis obv zuiver experimentele studies (wel willekeurig en ook manipulatie)
• Kennis obv reviews en statistische meta-analyses (overkoepelende resultaten met elkaar verbinden)

Accumulatie van wetenschappelijke kennis:

Bij veel interventies wordt er geen onderzoek gedaan aan de rechter kant, aangezien in eerder onderzoek al aangetoond werd dat de interventie niet effectief blijkt te zijn of omdat het geld voor onderzoek doen simpel weg op is. Daardoor zijn er meer interventie-onderzoeken te vinden aan de linker kant.

‘zijn de rekenvaardigheden van kinderen op de basischool beter wanneer zij werken met tablets in plaats van met papieren lesmethode?’

Als je deze onderzoeksvraag hebt moet je rekening houden met:

• Betrouwbare toets
• Voormeting doen
• Ethische kwesties (bij grote verschillen in verwachting)

Onderzoeksethiek (H4)

• Mogelijke schade aan participanten (DO NO HARM); goed in de gaten te houden hoe het met de kinderen gaat
• Actieve/passieve toestemming ouders en kinderen; nooit zomaar data verzamelen (AVG). Bijna alle gevallen moet er actieve toestemming zijn, passief (geen bezwaar) is nu bijna nooit meer voldoende
• Vertrouwelijke gegevens anoniem verwerken; privacy gevoelige informatie
• Protocol dataverzameling en dataopslag; op een beveiligde computer opslaan bijvoorbeeld

• Wanneer mag je participanten misleiden? Soms beter als de participanten niet weten wat ze kunnen verwachten
• In hoeverre kun je experimenteren in het onderwijs of in de jeugdzorg? Je kan niet zomaar het onderwijsprogramma over de kop gooien want dan heb je straks een generatie die niet kan schrijven
• In hoeverre kun je experimenten met kleine / grote klassen? De wetenschap heeft geen duidelijk antwoord wat beter is. Maar niet alle ouders’/leerkrachten kan je tevreden houden als die in de grote groep wordt ingedeeld..
• In hoeverre kun je experimenten met inclusie van leerlingen met beperkingen? Mensen voelen zich hier ook beter in de een en daardoor niet ethisch om de andere groep achter te laten.

Ethische dilemma’s bij experimenten

Klassiek voorbeeld is het Stanley Milgram experiment (schrokken toebrengen bij mensen die vragen verkeerd beantwoorden). Dit mag nu niet meer, maar heeft ons wel nieuwe inzichten gegeven in waarom iemand tot iets overgaat. Hoe gehoorzijn zijn mensen als de leider dat zegt.

Recent voorbeeld is het onderzoek naar het covid-19 vaccin. Het is niet ethisch om mensen expres corona te geven om zo beter onderzoek te kunnen doen naar de vaccins. Mensen kunnen daar erg ziek van worden als het vaccin niet goed blijkt te werken.

Plagiaat en fraude

• Kopeieren van teksten van anderen of jezelf: voortbouwen op eerder opgedane kennis
• Geen concrete bron vermelding
•  Manipuleren van onderzoeksgegevens (of verzonnen): data vissen naar interessante uitkomsten terwijl dat niet je onderzoeksvraag was

Steekproeftrekken (H6)

• Populatie: alle leden van een bepaalde groep (waarover je geïnteresseerd bent; met bepaalde gelijke eigenschappen) focus van je onderzoek
• Doelpopulatie: theoretische populatie; waarover je wilt generaliseren (meestal niet geheel tot beschikking) bv. Leerlingen die met tablets werken op de basisschool
• Toegankelijke populatie: de groep waar je een steekproef uit trekt (bv. Groningen)

Drie selecte steekproeftrekkingen (niet random)

• Convienece sample: gemakkelijkssteekproef (niet representatief, want je hebt al bias)  
• Purposive sample: doelgericht (wie wil je betrekken in je onderzoek, bv. Gemiddelde leerlingen)
• Systematic sample: obv duidelijke selectie regels (bijna random)

Vier aselecte steekproeftrekkingen (random)

• Simple random sample: willekeurig mensen trekken voor je onderzoek (iedereen heeft gelijke kans om deel te nemen)
• Stratified random sample: bepaalde verhoudingen in de samenleving ook in die verhouding laten tijdens je steekgroep
• Cluster random: steekproef trekken per groep (klas of school). Dus school/klas wel random, maar dan in de school/klas wel per klas (niet random)
• Two-stage random sample (tweetrapssteekproef): specifieke groep (scholen), maar wel willekeurige kinderen binnen die groep.

Representatief?

Steekproefgrootte: hoe meer, hoe beter? Ja, meestal wel. Maar niet haalbaar.

Vuistregels:

• > 100 voor beschrijvend onderzoek
• > 50 voor correlationeel onderzoek
• > 30 per groep voor (quasi)experimenteel onderzoek

Instrumentatie (H7)

Niet alleen het instrument, maar om het hele proces random data verzameling.

• Keuze meetinstrument
• Specificatie afnamecondities: waar (realistische situatie of onderzoek situatie), wanneer, welke momenten, hoe vaak, door wie, informant

Prestatietoetsen

Normgericht: score vergelijken met ene normpopulatie. Bv. ..% vd leerlingen scoort beter

- Er is altijd een groep die laag scoort, omdat er naar het gemiddelde wordt gekeken. Dus als iedereen het beter doet zie je dat niet terug in jouw resultaten. (bv IQ is in de loop van der tijd hoger geworden)

Criteriumgericht: score vergelijken met een gewenst beheersingsniveau. Bv. ..% vd vragen zijn goed.

Gedragschecklist – observatieschema – attitudeschalen (5 punt lickertschaal)- semantische differentiaal (balke met vinkje wat het meest van toepassing is) – praktijktoetsen (mbo)

Welk instrument goed is, is afhankelijk van het onderzoek dat je uit gaat voeren.

Voorbeelden van instrumenten

Validiteit en betrouwbaarheid (H8)

• Validiteit: conclusies trekken die passend, zinvol, correct en bruikbaar zijn (ook; meten wat je wilt meten). Validiteit is altijd contextueel.
• Centrale vraag: geeft het instrument dat je kiest bruikbare informatie over datgene dat je wilt meten, gegeven je onderzoeksvraag?
• Stel je wilt sociale vaardigheid meten, moet je geen IQ test doen (hoe betrouwbaar deze tekst ook is). Een instrument is dus niet standaard wel of niet valide.

Soorten validiteit

• Inhouds-gerelateerde: wordt het domein voldoende gedekt (volgens experts)? Worden er geen vragen over het hoofd gezien in een vragenlijst? Worden juiste termen gebruikt?
• Criterium-gerelateerde: komt de uitkomst overeen met die van andere meetinstrumenten die hetzelfde beogen te meten?
  
  • Predictieve validiteit: voorspelt het het goede (citotoets voorspelt de uitkomsten in voortgezet onderwijs?)
  • Concurrente validitiet: twee verschillende participanten meten en vergelijken (leerkracht en leerling vragenlijst over motivatie)
• Construct-gerelateerde: bovenstaande en meer; bewijzen dat jij het goede meetinstrument hebt gekozen. Je weloverwogen keuze goed onderbouwen. En dus valide conclusies trekt. Hypothese hebt over mensen die verschillend scoren.

Betrouwbaarheid

Consistente resultaten als je de test afneemt.

Bv. Cito. Als je die morgen of vandaag afneemt, wil je dezelfde resultaten krijgen.

Implicaties/imperfecties: andere testleider, andere concentratie van kinderen, andere tijd, andere omgevingsgeluiden, etc. Maar deze meetfouten zijn normaal verdeeld (als het goed is/als de test betrouwbaar is).  Betrouwbaarheidscoefficitenten : tussen 0-1 (hoe hoger hoe beter)

Betrouwbaarheid van een test aangeven met betrouwbaarheidscoefficienten (waarde tussen 0 & 1)

• Test-hertest (zelfde test 2x afnemen)
• Equivalente vormen (paralel vormen van een test; bv. hertentamen)
• Split-half (de test opdelen; even en oneven vragen met elkaar vergelijken)
• Kuder-richardson (aantal items, gemiddelde en sd wordt meegenomen, kan alleen bij A/B vragen)
• Cronbach’s alpja (lijkt op kuder, maar ook bij meer dan twee mogelijkheden)

Interne validiteit (H9)

• Constructvaliditeit: Hoe goed beschrijft het gemeten construct (hoofdbegrip/persoonlijkheidseigenschap bv. Aandacht / agressie) verschillen tussen personen?
• Interne validiteit: Is gevolg Y het resultaat van oorzaak X? Of zijn er alternatieve verklaringen voor de gevonden relaties? à validiteitsbedreigers
  • Bij pedagogiek kan je mensen niet in een laboratorium zetten, dat is niet ethisch. Dat bedreigd wel de validiteit van je studie maar is niet altijd een probleem.

Interne validiteit.

Aantal uren studeren verklaart je cijfer op een vak? Er is een verband maar dit is zeker niet het enige wat invloed heeft. Ook de voorkennis die je had, de motivatie die je hebt en je intelligentie spelen een rol. Het is niet haalbaar om al deze variabele mee te nemen in je studie, maar het is wel goed om dit te realiseren en mee te nemen voor het trekken van je conclusie.

IC patiënten met corona zijn vooral van niet-westerse achtergrond.

Wat zijn alternatieve verklaringen voor de gevonden relatie?

• Vaker beroep waarbij 1,5m afstand moeilijk is (schoonmaken)
• Dichtbevolkte gebieden
• Meer mensen in 1 huis
• Meer reizen met ov dan eigen auto
• Kortom: lagere SES

Bedreigers van de interne validiteit

• Kenmerken van de onderzoek deelnemers
  • Experimentele en controle groep zijn niet gelijk aan elkaar (aanvangsverschillen)
• Experimentele sterfte (mortaliteit)
  
  • Uitval van proefpersonen gedurende het onderzoek (verhuizing/verlies motivatie)
• Locatie / omstandigheden
  
  • Als er net een trein langs rijdt word je afgeleid
• Instumentatie (scoring-regel verandert)
  
  • Observer drift: je niet meer houden aan de criteria die je had opgesteld, daardoor laatste leerling anders beoordelen dan eerste leerling (oplossing: eerst alle vraag 1 nakijken en alle vraag 2, ipv per persoon alle vragen).
  • Je vergelijkt participanten met wat je daarvoor hebt gezien (als je eerst een druk kind observeert en daarna een normaal kind zal je dat kind als rustig ervaren)
• Kenmerken van de dataverzamelaar
  
  • Vooroordelen hebben invloed op de resultaten, dit kan je voorkomen door duidelijk voorgeschreven instructies
  • Blind observeren helpt ook: hypothese en diagnose niet weten van te voren (anders probeer je een effect te zien die er misschien niet is)
• Testing effect: pre-test kan mensen gevoelig maken
  
  • Participant weet al wat er naar wordt gekeken en gaat zich gedragen naar de gewenste resultaten.
• Geschiedenis of speciale gebeurtenis
  
  • Wat is er gebeurd voordat je iemand test? (savonds is iemand meer moe dan sochtens / als ik sochtends teleurgesteld ben heeft dat invloed op mijn antwoorden van de middag)
• Rijping (van belang bij pedagogisch onderzoek)
  
  • Kinderen ontwikkelen ook uit zichzelf en niet alleen door een interventie
• Houding van de proefpersonen
  
  • Hawthorne: wanneer je extra aandacht geeft aan iets geeft dat al een effect. (VB. iets doen aan de werkomstandigheden zorgt al voor meer productiviteit op de werkvloer, ook als de omstandigheden slechter  worden)
  • John Henry: de controle groep gaat extra hard werken om te laten zien dat zij zich ook kunnen verbeteren (dat is goed, maar niet handig voor het onderzoek).  
• Regressie naar het gemiddelde
  
  • Meeste mensen zitten in het gemiddelde; als je een uitschieter vindt en deze persoon ga je nog een keer meten, is het logisch dat hij/zij dichterbij het midden scoort dan eerst.
  • Laag -> hoog. Extreem lage score, is de kans groot dat de persoon later hoger en daardoor dichterbij het gemiddelde scoort
  • Hoog -> laag
• Implementatie-issues
  
  • Mensen zijn geen machines, de interventie wordt bijna nooit exact zo uitgevoerd zoals bedoeld was. Twee verschillende leerkrachten zullen ook zorgen voor verschillende uitkomsten (bv door enthousiasme van de leerkracht)

Verkleinen van de invloed van bedreigers

1. Standaardiseer condities
   1. De procedures zo goed mogelijk uitleggen
   2. Twee groepen zo hetzelfde mogelijk houden
   3. Tijdstippen gelijk houden
2. Verzamel achtergrondinformatie
   
   1. Leeftijd van de participanten
3. Administreer goed wat er gebeurt
   
   1. Transparant rapporteren over je bevindingen
4. Kies een geschikt onderzoeksdesign

Doel van correlationeel onderzoek

• Onderzoek naar relaties tussen variabelen zonder manipulatie
• GEEN causaal verband kan worden weergegeevn
• Verklaren van gedrag en/of het voorspellen van mogelijke uitkomsten
• Je hebt gegevens (sd, gem) en gaat Hiermee aan de slag
• Predictor variabele (x-as) en criterium variabele (y-as)
• Schatten van de samenhang (ergens tussen -1 en 1) bij 1 optimale correlatie
• Hulpmiddel: scatterplot (en regressielijn)

Over correlatiecoëfficiënten (vuistregel)

• Correlaties > 0.85 zijn heel sterk
• Correlaties < 0.35 worden vaak niet echt informatief geacht, maar… afhankelijk van context. Er zijn heel veel variabele die een rol spelen bij de ontwikkeling  van een kind du seen sterke correlatie zul je niet vaak vinden
• Correlaties tussen macro-variabelen en micro-variabelen hebben een maximale grootte
  
  • Bijv.: Leerkrachtstijl en leerlingprestaties (Maximum in de praktijk: 0.50)

• • Bijv.: Instellingsgrootte en welbevinden (Maximum in de praktijk: 0.25)

Enkelvoudige en meervoudige regressieanalyse

Complexere correlationele technieken

• Discriminantanalyse
  • Nominaal, categorisch meetniveau. Voorspellende variabele. Door score wil je kunnen voorspellen bij welke groep iemand hoort (bv. Door cito-score kijken welk schoolniveau iemand past)
• Factoranalyse
  
  • Agressie wil je bepalen door het afnemen van een vragenlijst
  • Andere variabele of door correlatie tussen items op een vragenlijst (bv. Gemiddelde mate van agressie)
• Padanalyse
  
  • Hoe waarschijnlijk is het dat er een correlationeel verband is? Je kan het nog niet met zekerheid vaststellen.  Al wel veel vooronderzoek en model aanwezig.

Causaal-vergelijkend onderzoek (H16)

• Lijkt veel op correlationeel onderzoek
• Op zoek naar de oorzaak van verschillen

tussen groepen (post hoc of ex post facto (after the fact)) bestaande groepen, je manipuleert geen variabele. Je kijkt naar bestaande data

• Onafhankelijke variabele: nominaal (werken bij een bedrijf)
• Afhankelijke variabele: nominaal, ordinaal (score op vragenlijst)

of interval

• Doel is zoeken naar oorzakelijke verbanden (causaliteit),

hoewel deze moeilijk aan te tonen zijn. Sommige onderzoekers voorkeur aan quisi-experimenteel

drie soorten causaal-vergelijkend onderzoek

• Zoeken naar effecten (zorgt werken in bedrijf A voor meer plezier dan werken in bedrijf B)
• Zoeken naar oorzaken (waarom A meer plezier dan B?)
• Zoeken naar consequenties (leidde een training tot meer ervaren plezier?

Steekproef

• Minstens twee groepen die verschillen op een kenmerk
• Minstens 30 proefpersonen per groep
• Binnen groep zo min mogelijk variatie

Mogelijke oplossingen voor de bedreiger van de interne validiteit

• Mechanisch matchen; handmatig personen matchen (bv in tweetallen). Binnen een groep is variatie niet erg, als het tussen de groepen maar gelijk is
• Homogene subgroepen; aparte analyse voor verschillende groepen (hoge/lage)
• Statisch matchen; achteraf. Scores op voortests gebruiken om meer gewicht te geven (in een groep met minder meisjes kan je de score van hen zwaarder laten wegen zodat het weer in evenwicht komt)  

Voorbeeld causaal-vergelijkend onderzoek

3. variabele

• Profielkeuze & Sekse & Persoonlijkheid

Aanleiding:

• • Sekseverschillen in profielkeuze vwo
    • Jongens: vaker NT en EM; meisjes: vaker NG en CM
  • Sekseverschillen in persoonlijkheid
    
    • Jongens: meer emotionele stabiliteit; meisjes: meer mildheid en extraversie
  • Onderzoeksonderwerpen:
  • Relatie persoonlijkheidsfactoren – profielkeuze?
  • Mediëren persoonlijkheidsfactoren de sekse – profielkeuze relatie?
  • Relatie persoonlijkheidsfactoren – profielkeuze verschillend voor jongens / meisjes?

Correlationeel en causaal-vergelijkend onderzoek

Overeenkomsten

• • kwantitatieve onderzoeksmethoden
  • onderzoeken van verbanden
  • geen manipulatie van variabelen, uitspraken over causaliteit beperkt mogelijk

Verschil

• • Correlationeel onderzoek: verband tussen twee of meer continue variabelen
  • Causaal-vergelijkend onderzoek: verband tussen twee of meer variabelen, waarvan minstens één categorisch (vergelijken groepen)

Moderator verandert het verband (sekse verandert de relatie tussen persoonlijkheid en profielkeue)

Mediator verklaart het verband (SES verklaart het verband tussen niet-westerse achtergrond en IC opname met corona)

In hoeverre verbetert het gebruik van digitale prentenboeken de woordenschat van kleuters in groep 2?

Experimenteel onderzoek (H13)

Eigenschappen:

• De onderzoeker manipuleert de onafhankelijke variabele
• De onderzoeker beslist over de aard en intensiteit van de interventie
• Na de interventie worden metingen verricht bij de experimentele- en controlegroep om te zien of ze verschillen (effectiviteit vd interventie vaststellen)
• Kern: voorbij beschrijving en voorspelling, op zoek naar oorzakelijke verbanden

Zwakke ‘experimentele’ designs

• One-shot case study design (niet vaak gebruikt); geen controle groep, geen voormeting. Je hebt geen vergelijking (controle groep) en ook geen voormeting. Je kan niet zoveel met de resultaten van dit design.

• One-group pretest-posttest design: je kan vaststellen dat er een verandering is maar niet waardoor, het kan ook door rijping komen.

• Static-group comparison design: hier is een controlegroep, stippellijn betekent dat de groepen niet random zijn (x1 interventiegroep, x2 controle groep). Groepen kunnen verschillen op belangrijke variabelen (intelligentie/leeftijd). Quisi-experimenteel onderzoek. Ook kan deze met voormeting.  

Echte experimentele designs

• Randomized posttest-only control group design (geen voortest)

• Randomized pretest-posttest control group design (Voordelen voortoets: voortoets is handig om te kijken of de groepen gelijk verdeeld zijn, en een voortoets is handig om te kijken hoeveel verbeterd is. Differentiatie kan ook berekend worden: bv. Prentenboeken werkt het beste voor kinderen met aanvankelijk lage score) (Nadelen voortoets: testeffect kan optreden)

• Randomized Solomon four-group design            (Hiermee kan je zien of de voortoets een effect heft gehad)

Drie kenmerken van randomiseren:

• • • Vóórdat het experiment begint: Meestal door computer
    • Gecontroleerd door de onderzoeker
    • Met als resultaat: equivalente groepen (door voortest als controle; zijn de groepen gelijk)
• Doel = controle van externe verstorende variabelen

Quasi-experimentele designs

• Geen randomisering (omdat dat niet ethisch is) maar andere technieken om de validiteitsbedreigers onder controle te houden, bijv.:
  • Houd een verstorende variabele constant (zelfde leeftijd/zelfde geslcaht)
  • Matching op voortoets en/of achtergrondkenmerken (mechanisch en statistisch)

Beperkingen van het experiment (zuivere experiment)

• Generaliseerbaarheid (Externe validiteit); als onderzoeker sterk betrokken bij hoe de interventie uitgevoerd werd, is het wel haalbaar om dit in de dagelijkse praktijk ook te doen) Als het een onderzoek is waarbij het wel haalbaar is voor ‘alle mensen’ om het uittevoeren is dit geen probleem
• Ethische overwegingen; je kan met kinderen niet eindeloos experimenteren als je niet weet dat de interventie gaat werken. Mensen maanden lang laten wachten op een behandeling die je denkt die hen gaat helpen kan ook niet.
• Tijd; goed experiment kost heel veel tijd en geld.
• Kosten

Single-subject onderzoek (H14)

Kenmerken:

• Focus op individu i.p.v. groep (bv kind met beperking)
• Doelgerichte steekproef
• Intensieve gegevensverzameling (uitgebreider dan bij grote groep)
• Evaluatie van effect interventie (verschil met case study. Je probeert te kijken of er iets gebeurt na de invoering van de interventie. Bij case study vaak geen interventie die onderzocht wordt) Dit is een effectonderzoek, case study vaak beschrijvend onderzoek
• Time-series design (data op tijdlijn op x-as)

Sam – jongetje 5 jaar oud, doofblind geboren, Kan nog enig licht zien, heeft gehoorapparaten, Ontwikkelingsleeftijd 14 maanden, Begrijpt betekenis van 10 woorden die naar concrete objecten verwijzen (Stoel/tafel); 5 tekens (handgebaren) en 15 gesproken woorden (ik/jij), Gebruikt zelf één teken - “klaar”

• Doel: betere interactie met Sam vraag: hoe kan ik de interactie met sam verbeteren?
• Opzet: gebruik gemaakt van videobeelden

3 fases:

• • Baseline – metingen vooraf
  • Interventie – metingen tijdens
  • Follow up – metingen na afloop

Je ziet dat de negatieve reacties erg zijn gedaald. Er zijn dus hoopvolle resultaten voor de interventie.

Praten van trends kan je beter doen dan effecten, omdat je geen significantietoets kan doen.

Typen single-subject designs (A baseline, B interventie, C variatie op interventie)

• A-B design (one shot study design)
  • Twee fases: eerst baseline, dan interventie
• A-B-A design
  
  • Idem, maar dan met een reeks posttest-metingen          
• A-B-A-B design
  
  • Zoals A-B, maar dan herhaald
• B-A-B design
  
  • Zonder baseline: te gebruiken als er snel een gedragsverandering nodig is
• A-B-C-B design
  
  • Toevoeging C-fase: een variatie op de B-fase (niet perse B helpt, maar gewoon iets doen (aandacht geven) werkt)

Multiple-baseline design

Je kijkt naar verschillende gedragingen. Interventie voor verschillende gedragingen op andere momenten starten. 1. Voor je beurt praten 2. Verscheuren van werkbladen 3. Vervelende opmerkingen naar medeleerlingen

Interventie: time out geven (eerst dus alleen voor het voor de beurt praten. Paar weken later alleen voor werkbladen verscheuren etc)

Validiteit & singe-subject design

Speelt dit alleen in de wereld van doof-blinde kinderen? Het gebeurd niet heel vaak, maar het kan zeker worden gezien als goed onderzoeksdesign

• Zeer effectief om het volgende onder controle te houden
  • Kenmerken van de onderzoeksdeelnemers
  • Mortaliteit (uitval proefpersonen)
  • Testing; vaak observatie data
  • Geschiedenis; speciale gebeurtenissen is minder groot doordat je verschillende metingen doet door de tijd heen. Levert hele gedetailleerde informatie op.
• Grootste validiteitsbedreigers
  
  • Kenmerken van de dataverzamelaar (één onderzoeker zit er dik op, deze wil graag een effect zien, een tweede onafhankelijke observator kan de validiteit vergroten)
  • Hawthorne (Aandacht zorgt voor verbetering)
  • implementatie (interventie moet wel zo worden uitgevoerd als bedacht)
• Externe validiteit is zwak: zo gefocust op één persoon dat je het niet kan generaliseren

Survey onderzoek (H17)

• Onderzoek naar meningen, gedrag, attitudes
• Kenmerken
  
  • Informatie wordt verzameld bij een groep mensen om de populatie op een bepaald aspect te kunnen beschrijven
  • Informatie wordt verzameld via het stellen van vragen

Twee types surveys

• Cross-sectioneel
  • Op één moment
  • Bij een census wordt de hele populatie bevraagd (als niet iedereen reageert is het onderzoeksdesign alsnog een census, maar heb je te maken met non-response)
• Longitudinaal
  
  • Meerdere momenten
  • Op zoek naar eventuele veranderingen

Drie varianten van longitudinaal onderzoek

• Trend: zelfde informatie op verschillende meetmomenten bij verschillende maar equivalenten groepen, steekproef getrokken uit populatie die verandert
  • Werkzame factoren bij GMW docenten (er gaan docenten weg en er komen nieuwe dus steekproef verandert, maar je gaat ervan uit zelfde soort mensen, dus alsnog uitspraak doen over veranderingen)
• Cohort: zelfde informatie op verschillende meetmomenten bij verschillende maar equivalenten groepen, steekproef getrokken uit populatie die niet verandert
  
  • Steeds dezelfde groep mensen blijven met vragen. Bv studenten die begonnen in 2018 met de studie PABO (niet elke keer dezelfde mensen die antwoorden, maar wel steeds steekrpoef trekken uit dezelfde groep)
• Panel: zelfde informatie op verschillende meetmomenten bij dezelfde groep
  
  • Precies dezelfde mensen vragen
  • Redelijk grote kans op mortaliteit

Validiteit & survery onderzoek

Grootste validiteitsbedreigers

• Non-respons (selectiebias: vaak een specifieke groep die wel/niet reageert)
• Mortaliteit
• Locatie / omstandigheden
• Instrumentatie (scoring-regel verandert)

Kwalitatief onderzoek (H18)

Eigenschappen:

• Gedetailleerd beeld, de diepte in
• Vindt plaats in een natuurlijke setting
• Grote rol van de onderzoeker
• Data bestaat meestal uit woorden en/of beelden
• Analyse is vaak inductief (eerst data verzamelen, daarna tot theorie komen)

Stappen in kwalitatief onderzoek (lopen soms wat door elkaar heen)

1. Identificatie van het te bestuderen fenomeen
2. Identificatie van de onderzoeksdeelnemers
3. Voorzichtige hypotheses opstellen
4. Verzameling van data (gedurende langere tijd)
5. Analyse van data
6. Gaandeweg interpreteren en concluderen

Doelgerichte steekproef (ook wel eens bij kwantitatief gewenst)

• Typical sample: zo gemiddeld mogelijke steekproef trekken
• Critical sample: juist buizonder/opvallend geval trekken, waar iets onverwachts gebeurd (sydroom van down met hele hoge scores op school)
• Homogeneous sample: bijzondere eigenschap die maar een paar mensen hebben (extreme musicaliteit)
• Extreme case sample: outliners, kinderen die over of onder presteren
• Theoretical sample: om een bepaald concept/theorie beter te begrijpen
• Opporunistic sample: wat zich toevallig voordoet (ruzies op schoolplein)
• Confirming sample: bevestigen of weerleggen van je hypothese
• Maximal variation sample: zon divers mogelijke steekproef trekken
• Snowball sample: participanten die andere participanten aan het onderzoek helpen

Generaliseerbaarheid

Bij kwantitatief wil je vaak generaliseren naar een grotere populatie. Bij kwalitatief is dat niet het (hoofd)doel. Je wilt dan meer inzicht krijgen in een specifieke situatie. De rol van de onderzoeker is groter bij kwalitatief onderzoek. Het is goed om onderzoek te herhalen (in verschillende steden) om te kijken of de conclusies vergelijkbaar zijn. Om dit mogelijk te maken is het van belang dat onderzoekers transparant zijn; ook over eigen betrokkenheid en achtergrond.

Etnografisch onderzoek (H21)

Eigenschappen:

• Vorm van kwalitatief onderzoek
• Focus ligt op een groep die een bepaalde cultuur deelt (kan ook bedrijfs-/schoolcultuur)
• Onderzoeker schetst een portret van mensen in hun natuurlijke omgeving

Etnografische begrippen

• Cultuur (gedrag en ideeën van mensen)
• Holistisch (veel omvattend portret; veel factoren rekening houden; veel informatie)
• Contextualiseren (aandacht hebben voor de context)
• Emic VS etic perspectief (emic=insider erkennen dat iedereen zijn eigen werkelijkheid heeft / etic=outsider wat objectiever te kijken, uitzoomen) vaak beginnen met emic en later etic. Je kan best concluderen dat culturen verschillen, maar het een is niet beter dan het ander. Culturele waardes die jij met je meedraagt moet je bewust zijn hoe dat kleurt hoe jij de wereld ziet
• Thick description (gedetailleerde beschrijving, veel illustraties en voorbeelden)
• Member check (onderzoeksdeelnemers vragen of jouw observaties kloppen bv dmv een rapport)

Steekproeftrekken bij etnografisch onderzoek

• Doelgericht
• Kleine steekproef
• Weinig tot geen generalisatie mogelijk naar een grotere populatie

Dataverzameling (bij etnografisch onderzoek)

• Interviews
  • Belangrijk om gedachte, gevoelens en gedrag van mensen in kaart te brengen
• Participerende observaties
  
  • Onderdompelen in de cultuur: Echt weken/maanden meedraaien op een school/gezin/instelling. Zodat je onderdeel wordt van de cultuur
• Field notes
  
  • Losse aantekeningen, informeel
  • Belangrijk om perspectief van de onderzoeker te laten zien ivm risico op observer bias

Data-analyse (bij etnografisch onderzoek)

• Triangulatie: informatie uit verschillende bronnen (interview/observatie) naast elkaar leggen en kijken of er dezelfde resultaten uit komen. Triangulatie wordt gezien als versterking van je onderzoek
• Patronen
• Key events: bijzondere momenten tijdens data verzameling. Kan je alleen op hopen, niet manipuleren
• Visuele weergaves: als ondersteuning voor andere data (bv. Plattegrond van klaslokaal makkelijker dan een uitleg)
• Statistieken: beschrijvende data, hoe vaak leerling X gewaarschuwd? Grafiekje maken
• Verzadiging/kristallisatie: op een gegeven moment levert nieuwe interviews/ nieuwe dataverzameling geen nieuwe informatie meer op. Je kan niet voorspellen wanneer dit moment komt. Daarom is het moeilijk te plannen

Historisch onderzoek (H22)

• Beschrijven, verklaren en begrijpen van gebeurtenissen of ontwikkelingen die in het verleden hebben plaatsgevonden
• Data wordt systematisch verzameld en geëvalueerd
• Geen manipulatie van of controle over de variabele

Waarom historisch onderzoek?

• Leren van gemaakte fouten en behaalde successen (niet wiel steeds opnieuw uitvinden)
• Inzichten toepassen op hedendaagse problemen
• Voorspellingen doen
• Toetsen van hypotheses over verbanden en trends
• Beter begrip van huidig beleid en praktijk
  
  • In NL heel lang het idee dat gehandicapten meer baat hadden bij afsluiting van de rest en extra zorg en niet in het centrum
  • Nu wordt er juist gedacht dat inclusie baat heeft

Onderzoek naar onderwijsvernieuwingen

• ‘tijd voor onderwijs
  • Commissie Dijsselbloem, 2008
  • Onderwerp: onderwijs-vernieuwingen in de jaren 90 (studiehuis)
  • Het nieuwe leren; veel eigen verantwoordelijkheid werd gezien als goede manier. Later onderzoeken of dit daadwerkelijk effectief was.
• Methode: statistieken, documenten parlementaire besluitvorming, interviews met directe betrokkenen, enquête, beleidsanalyse

Conclusie

‘de overheid heeft haar kerntaak, het zeker stellen van de kwaliteit van het onderwijs, de afgelopen jaren ernstig verwaarloosd’

Stappen in historisch onderzoek

1. Definiëren van de probleemstelling
2. Identificeren van relevante bronnen
   
   1. Documenten
   2. Statistische gegevens
   3. Mondelinge verklaringen/interviews (dit kan ook nieuwe data zijn; liefst primaire bronnen)
   4. Relikwieën (historische objecten)
3. Samenvatten en evalueren van informatie uit bronnen
4. Interpreteren en concluderen

Gemengde methoden onderzoek (H23)

• Kwalitatieve en kwantitatieve onderzoeksmethoden gemengd
• Completer beeld van het te bestuderen fenomeen
• Verduidelijken en verklaren van gevonden relaties

Exploratief design: waar wil ik mijn focus op leggen?

Verklarend design: gevonden effect – waar komt dat door?

Triangulatie design: