Causal Inference in Field Experiments - College 6

      College 6: Gegeneraliseerde causaliteit

     Generalisatie

  • = externe validiteit
  • Problemen met generalisatie:
      •    Experimenten moeten zijn en zijn heel specifiek
      •    Maar als je deze wilt toepassen zijn die situaties vaak anders
  • Mogelijk om te generaliseren:
      •    Specifieke operaties (van UTOS): constructen daarachter: construct validiteit
      •    Causale relatie die gevonden is in de studie: causale relatie met andere UTOS: externe validiteit
  • Voorbeeld:
      •    Het effect van mindfulness in depressie. Niet om mensen te genezen, maar om terugval te voorkomen
      •    Standaard mindfulness training, niet speciaal voor depressie of in een kliniek
      •    38 patiënten doen de training, 32 niet
      •    Afhankelijke variabelen hadden minstens 1 terugval binnen 1 of 3 jaar na het einde
      •    Op beide momenten, minder terugval bij training groep dan de controlegroep
      •    à erg weinig informatie. Er mist: informatie over participanten (leeftijd, geslacht), waarom de 32 patiënten de training weigerden, er staat niks over systematische verschillen tussen de behandelgroep en controlegroep.
      •    à alternatieven voor UTOS?
        •   Units: meer klinieken
        •   Treatments: andere mindfulness trainingen, bijv. gefocust op depressie
        •   Outcomes: algemeen welzijn, en andere variabelen
        •   Settings: in de buitenlucht? Of juist op een kliniek?

     Formele v.s. purposive sampling

  • Het ideale is random sampling van personen, behandelingen, uitkomsten of settings (= standard solution)
  • Andere manieren: Purposive sampling: niet random de UTOS bepalen:
      •    Units/persons: soms random gesampled, maar:
        •   Vaak onmogelijk of ongelegen (geen lijst)
        •   Sommige mensen zijn onbereikbaar of willen niet
      •    Behandelingen. Vaak wordt dat niet random gekozen, maar de meest typische behandeling wordt gekozen (standaard) of de meest effectieve
      •    Uitkomsten. We hebben het liefst een globale meting, of de meest typische uitkomsten, of makkelijk meetbare uitkomsten
      •    Settings. Vaak geen random sampling van alle mogelijke settings. Vaak de meest typische, of makkelijkst bereikbare, of grootste kans om een effect te produceren
  • Twee soorten van purposive sampling:
      •    PSI-Typ: purposive sampling van de meest typische situaties.
        •   Het samplen van modale situaties, of situaties dichtbij de mediaan of het gemiddelde
        •   Goed voor statistische power, gaat voor de meest relevante situaties
        •   Maar gelimiteerd in generalisatie
      •    PSI-Het: purposive sampling van heterogene situaties
        •   Zodat je nog meer verschillende soorten patiënten krijgt dan met random sampling
        •   Extra variatie
        •   Zorgt ook voor meer error variantie à minder statistische power
        •   Soms is dat niet zo slecht:
          • Fisher: voordeel van minder power is dat áls je dan een effect vindt, het overtuigender is
          • SCC:
      •    Goede redenen voor beide redenen van purposive sampling, geen enkel is ondersteund door statistische theorieën

     Grounded theory of generalized causal inference

  • Grounded theory: niet van eerste principes, maar vanuit kijken naar wat onderzoekers echt doen (à grounded in onderzoekspraktijk)
  • 5 principes: (gerelateerd aan elkaar)
    1.        Surface similarity: de blijkende similariteit tussen de dingen die bestudeerd worden en de targets van generalisatie
  1.    Ruling out irrelevancies: welke variabelen veranderen NIET de generalisatie? (van de surface similarity)
  2.     Making discriminations: welke variabelen veranderen WEL de generalisatie? (van de surface similarity) à bedreigingen
  3.       Interpolatie en extrapolatie: bij extrapolatie ga je speculeren/generaliseren over dingen die buiten het bereik van de  metingen liggen. Bij interpolatie ga je speculeren/generaliseren over dingen die binnen het bereik van de metingen liggen maar niet direct gemeten zijn.
  4.     Causale verklaring: een verklarende theorie over hoe (en waarom) een bepaald effect heeft opgetreden
  • Grounded theorie toepassen:

      1.        Surface similarity: de mate van similariteit tussen de eigenschappen van een studie (UTOS) en prototypische/bedoelde eigenschappen van de targets van de generalisatie.

        •   Construct: face validity, content validiteit

          • Face validiteit: de items moeten gaan over waar jij wilt dat de items over gaan, meer ad hoc
          • content validiteit: een expliciete theorie over welke inhoud relevant is voor het ding wat je wilt meten, systematische achtergrond
        •   Extern: het idee dat causale relaties gegeneraliseerd kunnen worden naar situaties die gelijk zijn op belangrijke vlakken.
      2.        Ruling out irrelevancies: als irrelevante dingen veranderen blijven constructen en causale effecten hetzelfde.
        •   Construct: convergente validiteit van verschillende meetmethoden: constructen die op elkaar lijken komen veel overeen
        •   Extern: checken of het effect echt niet verandert als irrelevante variabelen als moderator worden gebruikt
      3.        Making discriminations: kenmerken van de studie identificeren die de generalisatie limiteren.
        •   Construct: discriminante validiteit: dingen die op dezelfde manier gemeten zijn correleren hoger.
        •   Extern: checken of het effect echt niet verandert als we relevante variabelen als moderator gebruiken.
      4.        Interpolatie en extrapolatie: generalisatie van niet-bestudeerde waarden van een kwantitatieve moderator variabele
        •   Construct: ? à is er niet echt
        •   Extern: geïnformeerde gokken doen over de causale effecten
      5.        Causale verklaring: Het onderliggende causale mechanisme van verandering beschrijven.
        •   Construct: kijk naar diepe in plaats van surface similarity. Soms laten mensen aan het oppervlak dezelfde symptomen zien, maar zijn er onderliggend verschillende oorzaken
        •   Extern: check welke delen van een behandeling welke delen van uitkomsten beïnvloeden, via welke mediatoren en met welke moderatoren
  • Toepassing van de 5 principes:
      •    Afhankelijk van geld, gemak van toepassing en belang van generalisatie
      •    Prospectief gebruik (vóór de studie): vooral construct validiteit
      •    Retrospectief gebruik (na de studie): vooral voor het beoordelen van construct validiteit en/of externe validiteit.

     Statistische methodes voor generalisatie van purposive samples

  • Sample her-wegen: her-wegen op basis van gemeten eigenschappen waarvoor de populatie verdeling bekend staat

      •    Het helpt, als eigenschappen die gebruikt worden voor het wegen relevant zijn
      •    Slechter dan random sample
      •    Mogelijke problemen met hypothese toetsen
  • Response surface modelling: maak een voorspellingsmodel gebaseerd op de variabelen die de respons voorspellen.
      •    Maakt geïnformeerde speculatie mogelijk van optimale combinatie van predictoren, zelfs als die combinatie niet in de studie was.

     Methodes voor causale verklaring

  • Kwalitatieve methoden:

        •   Het is belangrijk om te weten wat je studie inhoudt en niet alleen naar de cijfers te kijken, bijv.:

          • Is het programma geïmplementeerd zoals bedoeld was?
          • Zijn er onverwachte complicaties of bijeffecten bij de studie?
      •    Voorbeelden van methoden:
        •   Etnografie (participant observatie)
        •   Open-ended interviews
        •   Ongestructureerde observatie
      •    Belangrijk, omdat je niet alles kan weten en controleren dat relevant kan zijn. Je kan niet alles kwantificeren en in nummers zetten.
  • Statistische methodes voor causale verklaring:
      •    Bij een causale relatie hoort vaak een mediatie: X à M1 à M2 à Y
      •    Empirische checks: = mediatie analyse
        •   Check of beide mediatoren allebei beïnvloed worden door X
        •   Check of de relatie van de delen van de causale ketting bestaan (X met M1, M1 met M2, M2 en Y)
        •   Check of, na correctie voor M1 en M2, er nog steeds een direct effect is tussen X en Y
      •    Voordelen:
        •   Verplicht ons en helpt ons expliciet te zijn over onze causale ideeën
        •   Maakt een schatting mogelijk van de causale paden en test het causale model
      •    Nadelen:
        •   Sterke assumpties
        •   Vraagt om grote steekproeven
        •   Pad analyse/ SEM kan het causale model afwijzen, maar niet bewijzen
      •    Speciale situatie 1: cross-lagged panel design:
        •   Logica: Als X veroorzaakt Y, dan b (van X1 naar Y2) zou sterker moeten zijn dan pad a (van Y1 naar X2).
        •   Longitudinale designs
        •   Kernel of truth: longitudinale modellen geven meer mogelijkheden voor het verwerpen van causale modellen dan cross-sectionele modellen
        •   Maar:
          • Logica werkt alleen met strenge extra assumpties
          • Alle andere nadelen/limitaties van SEM zijn ook van toepassing
      •    Specifieke situatie 2: instrumentale variabele modellen:
        •   Hoopvolle benadering voor sommige situaties
  • Experimenten die verklaringen manipuleren
      •    Algemeen idee: als een causale verklaring een mediator bevat, doe een nieuw experiment waarin de mediator gemanipuleerd wordt
Access: 
Public
Check more of this topic?
Work for WorldSupporter

Image

JoHo can really use your help!  Check out the various student jobs here that match your studies, improve your competencies, strengthen your CV and contribute to a more tolerant world

Working for JoHo as a student in Leyden

Parttime werken voor JoHo

Check how to use summaries on WorldSupporter.org


Online access to all summaries, study notes en practice exams

Using and finding summaries, study notes en practice exams on JoHo WorldSupporter

There are several ways to navigate the large amount of summaries, study notes en practice exams on JoHo WorldSupporter.

  1. Starting Pages: for some fields of study and some university curricula editors have created (start) magazines where customised selections of summaries are put together to smoothen navigation. When you have found a magazine of your likings, add that page to your favorites so you can easily go to that starting point directly from your profile during future visits. Below you will find some start magazines per field of study
  2. Use the menu above every page to go to one of the main starting pages
  3. Tags & Taxonomy: gives you insight in the amount of summaries that are tagged by authors on specific subjects. This type of navigation can help find summaries that you could have missed when just using the search tools. Tags are organised per field of study and per study institution. Note: not all content is tagged thoroughly, so when this approach doesn't give the results you were looking for, please check the search tool as back up
  4. Follow authors or (study) organizations: by following individual users, authors and your study organizations you are likely to discover more relevant study materials.
  5. Search tool : 'quick & dirty'- not very elegant but the fastest way to find a specific summary of a book or study assistance with a specific course or subject. The search tool is also available at the bottom of most pages

Do you want to share your summaries with JoHo WorldSupporter and its visitors?

Quicklinks to fields of study (main tags and taxonomy terms)

Field of study

Comments, Compliments & Kudos:

Add new contribution

CAPTCHA
This question is for testing whether or not you are a human visitor and to prevent automated spam submissions.
Image CAPTCHA
Enter the characters shown in the image.