College 1 - onderzoekspracticum design

Onderzoekspracticum design

De empirische cyclus

• Observeren: aanleiding onderzoek
• Inductie: verwachting op stellen (theorie)
• Deductie: hypothese opstellen en onderzoeksontwerp kiezen
• Toetsing: daadwerkelijk onderzoek; verzamelen en analyseren data
• Evaluatie: welke conclusies kan je trekken? Voor vervolgonderzoek kan je weer beginnen met observeren.

Soorten wetenschappelijke ‘bewijs’

• Praktijkkennis
• Kennis obv case studies
• Kennis obv enquêtes/interviews
• Kennis obv correlationele studies (kwantitatief)
• Kennis obv quasi-experimentele studies (niet-willekeurig, oorzaak-gevolg zoeken)
• Kennis obv zuiver experimentele studies
• Kennis obv reviews en statistische meta-analyses

Bij veel interventies wordt er geen onderzoek gedaan aan de rechter kant, aangezien in eerder onderzoek al aangetoond werd dat de interventie niet effectief blijkt te zijn of omdat het geld voor onderzoek doen simpel weg op is.

Onderzoeksethiek (H4)

• Mogelijke schade aan participanten
• Actieve/passieve toestemming ouders en kinderen
• Vertrouwelijke gegevens anoniem verwerken
• Protocol dataverzameling en dataopslag

• Wanneer mag je participanten misleiden
• In hoeverre kun je experimenteren in het onderwijs of in de jeugdzorg
• In hoeverre kun je experimenten met kleine / grote klassen
• In hoeverre kun je experimenten met inclusie van leerlingen met beperkingen

Ethische dilemma’s bij experimenten

Klassiek voorbeeld is het Stanley Milgram experiment (schrokken toebrengen bij mensen die vragen verkeerd beantwoorden). Dit mag nu niet meer, maar heeft ons wel nieuwe inzichten gegeven in waarom iemand tot iets overgaat.

Recent voorbeeld is het onderzoek naar het covid-19 vaccin. Het is niet ethisch om mensen expres corona te geven om zo beter onderzoek te kunnen doen.

Steekproeftrekken (H6)

• Populatie: alle leden van een bepaalde groep
• Doelpopulatie: theoretische populatie; waarover je wilt generaliseren
• Toegankelijke populatie: de groep waar je een steekproef uit trekt (bv. Groningen)

Drie selecte steekproeftrekkingen (niet random)

• Convienece sample: gemakkelijk
• Purposive sample: doelgericht (wie wil je betrekken in je onderzoek)
• Systematic sample: obv duidelijke selectie regels (bijna random)

Vier aselecte steekproeftrekkingen (random)

• Simple random sample: willekeurig mensen trekken voor je onderzoek
• Stratified random sample: bepaalde verhoudingen in de samenleving ook in die verhouding laten tijdens je steekgroep
• Cluster random: steekproef trekken per groep (klas of school).
• Two-stage random sample (tweetrapssteekproef): specifieke groep (scholen), maar wel willekeurige kinderen binnen die groep.

Representatief?

Steekproefgrootte: hoe meer, hoe beter? Ja, meestal wel. Maar niet haalbaar.

Vuistregels:

• > 100 voor beschrijvend onderzoek
• > 50 voor correlationeel onderzoek
• > 30 per groep voor (quasi)experimenteel onderzoek

Instrumentatie (H7)

Niet alleen het instrument, maar om het hele proces random data verzameling.

• Keuze meetinstrument
• Specificatie afnamecondities: waar, wanneer, hoe vaak, door wie, informant

Prestatietoetsen

Normgericht: score vergelijken met ene normpopulatie. Bv. ..% vd leerlingen scoort beter. Er is altijd een groep die laag scoort, omdat er naar het gemiddelde wordt gekeken. Dus als iedereen het beter doet zie je dat niet terug in jouw resultaten.

Criteriumgericht: score vergelijken met een gewenst beheersingsniveau. Bv. ..% vd vragen zijn goed.

Welk instrument goed is, is afhankelijk van het onderzoek dat je uit gaat voeren.

Validiteit en betrouwbaarheid (H8)

• Validiteit: conclusies trekken die passend, zinvol, correct en bruikbaar zijn (ook; meten wat je wilt meten)
• Centrale vraag: geeft het instrument dat je kiest bruikbare informatie over datgene dat je wilt meten, gegeven je onderzoeksvraag?

Soorten validiteit

• Inhouds-gerelateerde: wordt het domein voldoende gedekt (volgens experts)?
• Criterium-gerelateerde: komt de uitkomst overeen met die van andere meetinstrumenten die hetzelfde beogen te meten?
  
  • Predictieve validiteit: voorspelt het het goede (citotoets voorspelt de uitkomsten in voortgezet onderwijs?)
  • Concurrente validitiet: twee verschillende participanten meten en vergelijken (leerkracht en leerling vragenlijst over motivatie)
• Construct-gerelateerde: bovenstaande en meer; bewijzen dat jij het goede meetinstrument hebt gekozen. Je weloverwogen keuze goed onderbouwen

Betrouwbaarheid

Consistente resultaten als je de test afneemt.

Bv. Cito. Als je die morgen of vandaag afneemt, wil je dezelfde resultaten krijgen.

Implicaties: andere testleider, andere concentratie van kinderen. Maar deze meetfouten zijn normaal verdeeld (als het goed is).

Betrouwbaarheid van een test aangeven met betrouwbaarheidscoefficienten (waarde tussen 0 & 1)

• Test-hertest (zelfde test 2x afnemen)
• Equivalente vormen (paralel vormen van een test; bv. hertentamen)
• Split-half (de test opdelen; even en oneven vragen met elkaar vergelijken)
• Kuder-richardson (aantal items, gemiddelde en sd wordt meegenomen, kan alleen bij A/B vragen)
• Cronbach’s a (lijkt op kuder, maar ook bij meer dan twee mogelijkheden)