HC 24 november 2015

Onderzoeksmethoden

Mook, Hoofdstuk 11 en 12

Overzicht

I. Validiteit van onderzoek

Voorbeeld: quasi-experimenteel onderzoek

Statistische validiteit, interne validiteit en construct validiteit

II. Externe validiteit en replicatie

H11

Case: Je date meenemen op een spannende date, adrenaline, misplaatste emoties

Experimenteel onderzoek

Onafhankelijke variabele – manipulatie  Afhankelijke variabele – data

• Ene helft bang maken

• Andere helft niet

Quasi-experimenteel onderzoek

Onafhankelijke variabele – selectie  Afhankelijke variabele – data

• Bange mensen selecteren

• Minder bange mensen selecteren

Soms zijn manipulaties niet mogelijk/wenselijk

• Onethisch bv. invloed van roken op gezondheid

• Onpraktisch bv. invloed van sesamstraat kijken op taalontwikkeling

• Onnatuurlijk bv. invloed van uitstelgedrag op leerprestaties

• Kijken naar natuurlijke manipulatie – quasi-experimenteel onderzoek

Artikel “Some evidence for heightened sexual attraction under conditions of high enxiety”

• Helft angst (selectie) invloed op aantrekking (variatie)

• Non-equivalent control group design

  • Groepen zijn niet perfect gelijk

  • Het zijn natuurlijke groepen

  • Daarom non-equivalent

• Vragenlijst invullen op hoge brug (hoge angst) en lage brug (lage angst)

• Aantrekking van (mannelijke) proefpersonen op (vrouwelijke) proefleider

• Proefpersonen beschrijvingen geven van plaatjes, beoordelaar beoordeeld aantal ‘seksuele’ woorden in de omschrijving – hogere aantrekking

• Proefleider geeft telefoonnummer (voor als proefpersonen nog vragen hebben)

• Verwachting: hoge brug belt vaker terug dan lage brug

• Statistische validiteit

H12 Verschillende validiteiten van een onderzoek

4. Laagste vorm van validiteit is statistische validiteit

• Is er een significant verschil/effect ?

3. Interne validiteit

• Is het effect causaal (geen oncounfds)?

2. Constructvaliditeit

• Zegt het effect iets over de achterliggende constructen?

1. Externe validiteit

• Kunnen we het effect generaliseren?

• Toepasbaar op de ‘echte’ wereld

Validiteit & Case/onderzoek

IV. Statistische validiteit

• Resultaten onderzoek

• Significant effect: hoge brug belt vaker terug dan lage brug

• Statistische validiteit is in orde

III. Interne validiteit

• Zijn mannen op de hangbrug wel hetzelfde als de mannen op de lage brug

• Bv. hoge brug veel stoere mannen/toeristen en lage brug bange mannen/local’s (praktische brug)

• Je kan niet uitsluiten dat de mensen op de verschillende bruggen op allemaal externe variabelen variëren

• Interne validiteit niet helemaal in orde  er blijft een alternatieve verklaring voor de resultaten

• Bedreigingen bij écht experiment

• Geen random groepen (ipv random groepen)

• Manipulatie beïnvloedt meerdere variabelen (ipv 1 variabele)

• (Systematische) proefpersoon uitval

• Bij quasi-experiment voldoen aan minimaal drie regels voor causaliteit

• Correlatie: er moet een verschil zijn tussen de twee groepen (statistische validiteit)

• Oorzaak eerder dan gevolg: temperal precedence (causaal verband kan niet terug in de tijd gaan)

• Geen third variables

Aantonen door

• Longitudinaal design (verband door de tijd heen)

  • Voorbeeld agressie op tv en geweld in de klas over tijd

  • Richting van het verband

• Corrigeren en toetsen voor third variables

Toetsen

• • Verband tussen totale duur pauze en gedragsproblemen

  • Binnen elke groep kijken (bv. arme, middel en rijke scholen) – bij verband in ieder geval 1 derde variabele uitgesloten

  • Regressie analyse: statistische techniek om dit te doen – corrigeren voor meerdere variabelen

Corrigeren

• • Uitsluiten van derde variabele

• Theorie en predictie

  • Bijv. verband tussen roken en longkanker

  • Alternatieve verklaringen: bijv. mensen met stress gaan eerder roken, stress kan ook longkanker veroorzaken etc.

  • Theorie: kijken naar het proces wat achter het causale verband schuil gaat

  • Voorspellingen die volgen op de theorie

  • Voorspellingen toetsen – hierdoor hypothesen (/alternatieve verklaringen) uitsluiten

II. Constructvaliditeit

• Zegt het effect iets over de achterliggende variabele?

• In het voorbeeld: zegt het opbellen echt iets over aantrekking of is het dat angst een positief effect heeft op het geheugen

I. Externe validiteit

Voorbeeld

• Between-subject design

• “bewust/onbewust kiezen voor de beste auto met neppe autonamen”

• Bewuste conditie – bewust nadenken en onbewuste conditie – taakje doen

• Resultaten: onbewust nadenken conditie kozen de beste auto

Generalisatie

• Is dit toepasbaar op het dagelijks leven?

• In welke mate is een experimenteel effect generaliseerbaar naar:

  • Andere afhankelijke variabelen

  • Andere populaties

  • Andere onafhankelijke variabelen

  • Andere situaties

• Generalisatie model

• Alle operationalisaties, settings, metingen en proefpersonen moeten representatief zijn voor een bepaalde populatie

  • Altijd bij frequency claims – hoe vaak iets voorkomt

  • Altijd in culturele psychologie – geeft het het ware verschil tussen twee culturen weer (steekproef Aziaten moeten echt representatief zijn voor de Aziaten)

  • Soms bij causale verbanden – effectiviteit therapie en marketing

• Generaliseerbaarheid gaat verder dan alleen de populatie!!

• Theoretisch model

• Toets associaties en causale verbanden met het doel een bewijs voor een theorie te vinden

• Interne validiteit belangrijker dan externe validiteit

• “Dit causale verband kán zich voordoen”

Externe validiteit onderzoeken: replicatie

• Directe replicatie

• Een onderzoek wordt in exact dezelfde onderzoekssettings gerepliceerd

• Toevallige resultaten detecteren

• Richt zich niet direct op generaliseerbaarheid en externe validiteit

• Systematische replicatie

• Een aspect uit onderzoekssetting wordt veranderd

• Indicatie voor externe validiteit van het effect

• Conceptuele replicatie

• Toets dezelfde onderzoeksvraag maar in een geheel nieuwe setting

• Sterk bewijs voor externe validiteit van het effect

• Je test eigenlijk alleen de onderzoeksvraag, maar in een geheel nieuwe setting

HC 26 november 2015

Mook Hoofdstuk 13 en 14

Significantie

Statistisch significante resultaten worden vaak geassocieerd met ‘goede onderzoekers’ en ‘gelukte experimenten’.

Rosenthal zegt: “In wetenschappelijke tijdschriften hebben 5% van de studies een type-I fout”.

Opbouw

1. Wetenschappelijke integriteit

2. Problemen met de p-waarde

3. Ethiek

1. Wetenschappelijke integriteit

1. File drawer problem

   • Onderzoekers doen niks met een niet-significant resultaat. Deze resultaten worden ‘in de la’ weggestopt. Als er wel een significant effect wordt gevonden wordt deze ineens wel gepubliceerd. Het ‘ware’ effect betreffende een bepaald onderwerp is dus anders dan het effect dat je leest in de literatuur.

   • Kijk in de literatuur, zoek alle artikelen met hetzelfde onderwerp (bijv. risicogedrag tussen mannen en vrouwen) en zoek van elke studie de effect-size. Zet deze uit in een funnelplot.

   • Funnelplot: op de x-as staat de grote van de steekproef en op de y-as de effect-size. Opvallend is dat kleine studies meer spreiding hebben, wat inhoudt dat de effect-sizes van kleine studies ver uit elkaar liggen. Dit komt omdat kleinere studies een grotere onzekerheid hebben. De standaard afwijking in kleine studies is groter.
     In de funnelplot wordt ook het gewogen gemiddelde gegeven. Het gemiddelde van de resultaten van alle studies. Hierbij worden grote studies zwaarder meegewogen.

De stippellijn in de funnelplot is de 0-lijn, wat betekent dat er geen effect is.

De bovenste rode lijn is de bovengrens van het 95% betrouwbaarheidsinterval van het gewogen gemiddelde. De onderste lijn is de onderste grens.

Alles tussen deze twee lijnen is níet significant. Alles boven de lijnen is wél significant.

• Publication bias: er worden weinig kleine studies gepubliceerd die geen significant effect vinden. Een andere vorm van publication bias is, wanneer er een tegengesteld significant effect wordt gevonden, dit niet wordt gepubliceerd (bijv. normaal vertonen mannen meer risicogedrag, maar in jouw studie vertonen vrouwen significant meer risicogedrag).

Vaak worden deze effecten veroorzaakt door steekproeffluctuaties.

Je verwacht in je funnelplot punten symmetrisch om het gemiddelde. Wanneer dit niet zo is, is er sprake van publication bias.

2. Data dredging

   • Onderzoekers gaan ‘graven’ naar een effect.

   • Bijvoorbeeld een onderzoek naar pre-cognition (negen studies naar of mensen in de toekomst kunnen kijken, waarbij een significant effect werd gevonden!).
     Het onderzoek: De proefpersoon ziet op zijn computerscherm 2 gordijnen. Achter 1 van de gordijnen zit een plaatje. Er zijn verschillende soorten plaatjes (bijv. romantische of negatieve) in verschillende impact versies (hoog/laag).
     De proefpersoon moet het gordijn aanwijzen waarvan hij denkt dat er een plaatje achter zit.
     Je verwacht dat mensen het in 50% goed doen (gebaseerd op gokkans). Bij erotische plaatjes werd er echter een significant effect gevonden (53.1%).

   • Je hebt 5% kans (0.05) om de 0- hypothese ten onrechte te verwerpen (type-I fout). Bij 8 testmogelijkheden (zoals in het pre-cognition onderzoek) is dat

8x0.05 = 0.4 = 40%. Hierdoor is de kans dus erg groot op een type-I fout!!

• Het op zoek gaan naar toevallige resultaten wordt kanskapitalisatie genoemd.

• Toevals-effect vergroten:

  1. Je doet eerst je geplande analyse

     • Effect of geen effect

  2. Bij geen effect kies je een andere variabele

     • Effect of geen effect

  3. Bij geen effect: verwerpen van wat proefpersonen

     • Effect of geen effect

  4. Weer terug naar a of b

     • Effect of geen effect

  5. Bij geen effect: nog meer proefpersonen eruit gooien

     • Effect of geen effect

  6. Bij geen effect extra proefpersonen toevoegen
     Bij wel een effect (op elk niveau, a t/m f) wordt het effect gepubliceerd.

DOE HET DUS NIET ZO!

3. HARK-ing

• Hypothesizing After the Results are Known

• Geen specifieke hypothese maar zoeken in de data. De hypothese wordt achteraf pas bedacht. Dit is exploratief onderzoek.

• Dit moet je conformeren/toetsen in een confirmatief onderzoek.
  Exploratief onderzoek mag je niet ‘verkopen’ als confirmatief onderzoek.

• Kruisvalidatie: het gebruiken van een nieuwe vergelijkbare dataset (en doe hier een confirmatief onderzoek mee) of hak je data in tweeën (kijk exploratief in de ene helft, en confirmatief in de andere helft)

• Kanskapitalisatie: in sommige gevallen móet je meerdere tests doen (bijv. in de geneeskunde bij de mortality rate of bij genome wide association studies) of is kruisvalidatie praktisch onmogelijk.
  Dus: exploratief onderzoek moet altijd gevolgd worden door een confirmatief onderzoek!!

• Corrigeren voor kanskapitalistatie door het toepassen van de Bonferroni-correctie.

Het significantie-niveau delen door het aantal tests. Hierdoor krijg je het significantie-niveau dat je per test moet nemen. Bijvoorbeeld: 0.05 delen door 8 (de acht plaatjes in het pre-cognition voorbeeld) = significantie niveau van 0.006. Met deze correctie zou er dus géén significant effect zijn gevonden.

4. Fraude

• Diederick Stapel: data verzinnen in overeenstemming met de hypothese. Viel door de mand dat de betrouwbaarheid van de vragenlijst negatief was. Normaal is de betrouwbaarheid áltijd positief.

• Jens Förster: de resultaten waren zéér onwaarschijnlijk. Maar men is er nog steeds niet achter wat hij heeft gedaan.

Je verwacht nooit perfect lineaire lijnen in een onderzoek. Dit wordt veroorzaakt door steekproeffluctuatie. Bij Jens werden er nagenoeg perfect lineaire verbanden gevonden.

2. Problemen met de p-waarde

1. Nulhypothese-toetsing (bijv. t-toets, ANOVA etc.)

   • Problemen bij nulhypothese toetsing:

   • Statistische significantie is géén praktische significantie.
     Bij grote samples wordt er bij elk heel klein verschilletje wel een significant effect gevonden. (Bijv. bij volle maan worden meer misdaden gepleegd. Met een zeer grote steekproef wordt er een significant effect gevonden, dit is natuurlijk onzin).

2. Significantieniveau is arbitrair

   • Definitie arbitrair: bepaald door willekeur

   • Bijv. p = 0.049 of p = 0.051

   • Er is geen enkele reden waarom we p = 0.05 als grens zouden gebruiken.

3. Niet intuïtief

• Onderzoekers spreken over ‘bewijs voor Ha’ en ‘de kans dat H0 waar is’.
  Máár de p-waarde is “de kans op de data of extremere data gegeven dat H0 waar is”!!!!

• Oplossing: kijken naar effect-size. Staar je niet blind op de p-waarde.

3. Ethiek

Top 6 onethische experimenten in de psychologie

6. Asch-experiment

5. The Monster Study: bij kinderen, goed of slecht commentaar geven aan kinderen

4. Stanford Prison Experiment: Gevangenen vs. bewakers – mensen verloren zich in hun rol

3. The monkey drug trials: aapjes geleerd hoe ze zichzelf drugs moeten toedienen. Aapjedraaiden helemaal door.

2. Landis’ Facial Expressions Experiment: mensen moesten nare dingen doen waar werd gekeken naar hun gezichtsuitdrukking (in bakken kikkers graaien en een rat onthoofden).

1. Millgram Experiment

• Ethiek mensen

De volgende regels gelden:

• • Informed conscent: deceptie met minimaal risico

  • Debriefing: achteraf uitleg over de manipulaties

  • Altijd mogen stoppen

  • Anonimiteit

• De ethische commissie

  • Hier wordt toestemming gevraagd of je een bepaald onderzoek mag doen.

  • Zij doen een risico/baten analyse (wetenschappelijke relevantie vs. tijdelijk ongemak)

• Voor dieren ethiek is een speciale commissie