Aantekeningen hoorcollege 5 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)

H C   5   -   8   M E I   2 0 2 3

Bayesiaanse statistiek en design overwegingen

Waarom houden wetenschappers van experimenten?

• Er is een hoge mate van controle » je kan veel zelf beïnvloeden
• Mensen nemen vaak deel aan experimenten

De empirische cirkel

1. Theorie en onderzoeksvraag
2. Onderzoeksontwerp
3. Hypothese formulering en preregistratie
   
   • Nulhypothese zegt altijd ‘er is geen effect’
   • Preregistratie: onderzoeksresultaten publiceren, ongeacht de resultaten
4. Steekproeftrekking, randomiseren en causaliteit, data verzameling en data controle
5. Nul hypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
   
   • Cohen’s D = effectgrootte (stel ik vind een effect, is  het dan relevant?) » .20 is een klein effect, .50 is een gemiddeld effect, .80 is een groot effect
   • P-waarde: als ik aanneem dat de nulhypothese waar is, hoe bijzonder is het dat ik deze data vind?
   • Alfa: de kans op een type 1 fout (= ten onrechte verwerpen van de nulhypothese) » als je een kleinere kans wil op een type 1 fout, moet je een grotere steekproef nemen.
   • Power: de kans op een type 2 fout (= ten onrechte de nulhypothese niet verwerpen)
6. Rapportage
7. Replicatie onderzoek

De replicatie crisis

• Studies die niet genoeg power hebben, publiceren toch hun stuk. De replicatiestudie heeft een grotere groep respondenten met een grotere power om dezelfde effect size te vinden. Dit zorgt voor heel andere onderzoeksresultaten.
• De replicatie crisis leidt tot de vraag hoe het mogelijk is dat de resultaten van wetenschappelijk onderzoek vaak niet repliceerbaar blijken.
• Sloppy science:
  
  • Op de uitdrukkelijke vraag of zij ooit onderzoekgegevens hebben vervalst of vervalst. onderzoeksgegevens, of dat zij resultaten hebben gewijzigd of aangepast om het resultaat te verbeteren, antwoordde tussen 0,3% en 4,9% van de  wetenschappers bevestigend
  • Andere twijfelachtige praktijken werden toegegeven door tot 33,7% van de respondenten. Consistent in alle studies, gaven wetenschappers vaker toe "onderzoeksresultaten te hebben gewijzigd onderzoeksresultaten" om het resultaat te verbeteren dan dat zij resultaten te hebben gerapporteerd waarvan zij "wisten dat ze niet waar waren".
  • Op de vraag of zij persoonlijk kennis hadden van een collega die onderzoeksgegevens verzon of vervalste, of die onderzoeksgegevens veranderde of onderzoeksgegevens wijzigde tussen 5,2% en 33,3% van de respondenten bevestigend.
• Publicatie bias: het publiceren van onderzoek gebaseerd op type 1 fouten (vb: 9 onderzoeken vinden geen resultaat, 1 studie wel en die wordt wel gepubliceerd)

Bayesiaanse hypothese evaluatie

• Bayes factor: probeert aan te geven hoeveel ondersteuning er in de data is voor een bepaalde hypothese (vervanging van p-waarde)
• De Bayes factor BF_0a geeft de relatieve steun in de data voor H₀: µ_niet = µ_wel vs. H_a: µ_niet ≠ µ_wel
  
  • Als BF_0a gelijk is aan 1, dan is de steun in de data voor H₀ en H_a even groot.
  • Als BF_0a groter is dan 1, dan is de steun in de data voor H₀ groter dan voor H_a.
  • Als BF_0a kleiner is dan 1), dan is de steun in de data voor H₀ kleiner dan voor H_a.
• De Bayes factor wordt berekend met behulp van de fit (f₀) en de specialiteit (c₀) van de nulhypothese
• • De fit wordt letterlijk en figuurlijk kleiner als de afstand tussen de gemiddelden toeneemt
• Een goede hypothese is specifiek, want hoe precieser de hypothese, hoe duidelijker de voorspelling die een hypothese doet
• H₀: µ_niet = µ_wel is zeer specifiek: ‘de twee gemiddelden zijn in de populatie exact gelijk aan elkaar’
• De hypothese H₀: µ_niet > µ_wel is minder specifiek, deze zegt ‘slechts’ dat in de populatie het gemiddelde in de wel groep groter is dan in de niet groep
• H_a is in het geheel niet specifiek. Deze hypothese zegt dat alles mogelijk is behalve dat in de populatie de twee gemiddelden exact aan elkaar gelijk zijn
• De Bayes factor wordt niet vergeleken met een grenswaarde (zoals .05 voor de p-waarde), dit als remedie tegen:
  
  • Questionable research practises » om de ‘stimulus’ om de analyes zo te manipuleren dat de Bayes factor boven een bepaalde grenswaarde uitkomt zo weg te nemen
  • Publication bias » omdat tijdschriften niet langer een grenswaarde tot hun beschikking hebben die ze kunnen gebruiken om artikelen mee te beoordelen
• Posterior model kansen (PMK’s)
  
  • De kans dat H₀ waar is gegeven de informatie in de data noemen we PMK₀ 
  • De kans dat H_a waar is gegeven de informatie in de data noemen we PMK_a
  • Beide kansen tellen op tot 1.0
• Conditionele Type I en Type II fouten:
  
  • PMK₀ is de conditionele Type I fout, want als we voor H_a kiezen is de kans dat we dat ten onrechte doen gelijk aan .8
  • PMK_a = .2 is de conditionele Type II fout, want als we voor H₀ kiezen is de kans dat we dat ten onrecht doen gelijk aan .2

Experimentele designs

• Overwegingen bij het ontwerpen van een experimenteel design (vb: behandeling depressie)
  • Maturation threat (we zien een natuurlijke ontwikkeling)
  • History threat (een externe gebeurtenis beïnvloedt alle deelnemers)
  • Regression to the mean (alle patiënten waren behoorlijk ziek, ze konden niet verslechteren maar wel verbeteren)
  • Observer bias (therapeuten vinden de patienten aan het begin van de behandeling erg ziek maar na "hun" behandeling natuurlijk veel beter)
  • Demand characteristics (patienten "willen" dat de behandeling effectief is en voelen zich dus beter na de behandeling)
  • Placebo effect (het is niet de behandeling die effect heeft maar puur dat er een therapeut is die warme aandacht voor de patient heeft)
• Controlegroepen kunnen een deel van deze bezwaren verminderen, namelijk:
  • Maturation threat - de controle groep heeft niet dezelfde natuurlijke ontwikkeling
  • History threat - de controle groep is niet door de externe gebeurtenis beinvloed
  • Regression to the mean - de controle groep is niet verbeterd
• Wat na het toevoegen van een controlegroep nog niet onder controle is:
  • Observer bias - therapeuten weten wie wel en niet behandeld is en passen hun scoring daarop aan
  • Demand characteristics - patienten weten of ze al dan niet behandeld zijn en passen hun scoring daarop aan
  • Placebo effect » dit valt te controleren door: een groep echte therapie geven, een groep (warme) aandacht geven en een controlegroep inzetten zonder therapie of aandacht. Als er geen sprake is van verschil tussen de groepen is er een placebo effect
• Het kan zijn dat er geen behandeleffect wordt gevonden, dit kan door:
  • Weak manipulations, bijvoorbeeld, de therapie wordt slecht uitgevoerd, hier kun je alleen goed mee omgaan door de therapeuten adequaat te trainen
  • Power problem, er is wel degelijk een effect, maar er zijn te weinig patiënten in de controle en experimentele groep om het effect statistisch significant te krijgen (p-waarde benadering) of om een Bayes factor te krijgen die het effect steunt (Bayesiaanse benadering). Dit probleem kan door het uitvoeren van een power analyse dan wel Bayesian updating worden ondervangen.
  • Er is daadwerkelijk geen effect.