Statistische Modellen 2 - College 4

Variantieanalyse

t-toetsen en variantieanalyse (ANOVA)

deze modellen gebruiken we om gemiddelden van groepen te vergelijken

onderzoeksvraag

• wat is het effect van X op Y?
• verschillen de groepen (van X) gemiddeld op Y?

verschillen bekeken tussen

• jongens vs. meisjes, stad vs. platteland
• experiment vs. controleconditie
• rekenmethoden, leiderschapsstijlen

modellen gebaseerd op vergelijken van

• tussengroepsvariantie (spreiding tussen groepsgemiddelden)
• binnengroepsvariantie (spreiding rondom groepsgemiddelden)

twee varianties worden vergeleken in t-toets, F-toets

als tussengroepsvariantie groot t.o.v. binnengroepsvariantie (in steekproef)

• genoeg bewijs met steekproef om te zeggen dat

     populatiegemiddelden waarschijnlijk verschillend zijn

Binenngroepsvariantie is hetzelfde als ERROR, het is de variantie die we niet kunnen verklaren.

ANCOVA

drie variabelen:

• • afhankelijke variabele Y (INT)

2 onafhankelijke variabelen

• • factor X (NOM)
  • covariaat C (INT)

onderzoeksvraag

• wat is het effect van X op Y na correctie voor C?
• verschillen de groepen (van X) gemiddeld op Y na correctie voor C?

Covariantieanalyse

kan worden gebruikt bij

• experimentele studies (conditie toewijzen)
• quasi-experimentele studies (bestaande groepen)

quasi-experimentele studies

• studies met bestaande groepen (bijv. klassen, patiënten)
• onderzoeker bepaalt welke groep behandeling/training krijgt

ANCOVA = ANOVA + covariaat

à covariantieanalyse

Gebruik van covariaten

ANCOVA = ANOVA + covariaten

redenen toevoegen van covariaten

1. reductie van errorvariantie (binnengroepsvariantie)
   • goed gekozen covariaat verklaart deel errorvariantie
   • toevoegen van covariaat kan meer power aan F-toets geven
   • door toevoeging kan je wellicht significante relaties vinden
2. verwijdering van systematische bias
   • groepen kunnen systematisch verschillen op externe variabelen die gerelateerd zijn aan de afhankelijke variabele
   • toevoegen van deze variabelen kan bias verwijderen
3.   eliminatie van alternatieve verklaringen
   • externe variabelen kunnen een alternatieve verklaring vormen voor een effect
   • hiervoor corrigeren door deze variabelen toe te voegen aan het model
   • conclusies zijn eventueel hetzelfde, maar nu wel gecorrigeerd voor alternatieve verklaringen

Experiment: Test-hertest design met controlegroep

Opzet

• participanten random verdeeld over 2 groepen
• voormeting
• één groep krijgt behandeling/training
• andere groep krijgt geen behandeling (controlegroep)
• nameting

Als behandeling/training effectief is

à significant verschil tussen groepen op de nameting

Individuele verschillen = error

Random toewijzing

• verwijdert systematische verschillen (mits grote N)
• geen garantie dat groepen in alle opzichten gelijk zijn

Veel variantie nameting door individuele verschillen

• dit zijn geen groepsverschillen
• individuele verschillen onderdeel van de errorvariantie (binnengroepsvariantie / residuen)

ANOVA F-toets:  F = MS_training/Ms_error (tussengroep / binengroep)

Als errorvariantie groot

à F klein, p-waarde groot, geen significant effect

Reductie errorvariantie

ANOVA F-toets:  F = MS_training/MS_error

Als covariaat C gecorreleerd met Y

• C deelt deel individuele verschillen met Y
• C deelt deel error van Y

Toevoeging covariaat C

• C verklaart deel errorvariantie
• MS_error wordt kleiner (bij goede C)
• F wordt groter, meer power (terecht de nulhypothese verworpen worden)
• MS = mean sums of square

Reductie errorvariantie

Geen significant effect ANOVA

• behandeling (training) lijkt geen effect te hebben
• veel errorvariantie door individuele verschillen

Voormeting is een geschikte covariaat

• bevat deel van individuele verschillen van nameting
• verklaart deel van errorvariantie (individuele verschillen zal duidelijk worden)

ANOVA + voormeting = ANCOVA

Als voormeting de errorvariantie voldoende reduceert

• ANCOVA F-toets significant
• conclusie is dat behandeling (training) werkt

Voorbeeld 1: ruimtelijk inzicht

Steekproef N = 80 random kinderen tussen10-14 jaar uit Rotterdam

Onderzoeksvraag

Wat is het effect van gamen op ruimtelijk inzicht?

(eventueel na correctie voor bestaande verschillen)

Opzet studie

• voormeting: vaststellen ruimtelijk inzicht
• random toewijzing aan groepen
  • 40 in experimentele groep: 2 weken gamen, bijv. tetris
  • 40 in controlegroep: 2 weken lezen non-fictie
• nameting: vaststellen ruimtelijk inzicht
• Steekproef N = 80 random kinderen tussen10-14 jaar uit Rotterdam

Afhankelijke variabele (INT) (Y)

• nameting  

Onafhankelijke variabelen

• conditie (gamen, controle) – factor (X)
• voormeting (INT) – covariaat (C)

Onderzoeksvraag; Wat is het effect van gamen op ruimtelijk inzicht?

Experimentele studie is gebalanceerd (2x n = 40)

Random toewijzing controleert

• voor verschillen in
• geslacht
• leeftijd
• ruimtelijk inzicht op voormeting

Er kunnen nog steeds grote individuele verschillen zijn (ene kind is gewoon beter dan de ander, maar ze kunnen allebei beter worden)

ANOVA

Onderzoeksvraag

Wat is het effect van gamen op ruimtelijk inzicht?

ANOVA:

H₀: µ_g = µ_c    p = 0.156

• geen bewijs voor verschil tussen groepen          

  Extra: R² = 2.6%

ANCOVA met voormeting

als covariaat: p = 0.002

• significant verschil  Extra: p < 0.001 (voormeting)

                                                               R² = 48.4%

Errorreductie

• Error SS daalt van 2074 naar 1097
• F-waarde omhoog van 2 naar 9.8
• p-waarde daalt van 0.156 naar 0.002

covariaat (voormeting) reduceert error

à verklaart deel variantie bestaande uit individuele verschillen

Quasi-experimenteel design

Bestaande groepen

• quasi-experimenteel onderzoek
• schoolklassen, patiëntgroepen

Bestaande groepen kunnen systematisch verschillen op variabelen die gerelateerd zijn aan de afhankelijke variabele

Effecten kunnen hierdoor gemaskeerd worden

1. echte effecten
2. valse effecten

Effecten gemaskeerd

Echt effect gemaskeerd

• training is effectief
• training wordt gegeven aan zwakke groep
• personen in zwakke groep worden beter
• training werkt, maar geen groepsverschil na training

Vals effect gemaskeerd

• training heeft geen effect
• training wordt gegeven aan sterkere groep
• effect gevonden door bestaand verschil tussen groepen

Voorbeeld 2: deelvaardigheid

Steekproef N = 96 random leerlingen (8 – 9 jaar) van 6 Groningse basisscholen

Onderzoeksvraag

Wat is het effect van strategiegebruik op deelvaardigheid?

Opzet studie

• twee schoolklassen, 2x n = 48
• alle leerlingen krijgen een rekentoets
• 1 klas krijgt 3 maanden happenschema
• 1 klas krijgt 3 maanden staartdeling
• alle leerlingen krijgen een deeltoets

Afhankelijke variabele (INT) (Y) 

• score deeltoets 

Onafhankelijke variabelen

• conditie (staartdeling, happenschema) – factor (X)
• score rekentoets (INT) – covariaat  (C)

Effect verschil in rekenvaardigheid

Klassen kunnen systematisch verschillen op rekenvaardigheid

à systematische bias

à beïnvloedt deelvaardigheid van kinderen

Echt effect kan gemaskeerd worden (zonder voormeting)

• staartdeling is effectiefst à geleerd aan zwakke groep
• personen in zwakke groep worden beter in delen
• geen groepsverschil na training

Vals effect gemaskeerd (zonder voormeting)

• geen verschil in strategiegebruik
• happenschema gegeven aan betere rekenaars
• effect gevonden door bestaand verschil tussen klassen

Verwijdering systematische bias

Toevoegen van juiste covariaat aan ANOVA

• verwijdering van systematische bias mogelijk

Gedachtenexperiment

Wat als groepen hetzelfde gemiddelde hebben op covariaat

• groepsgemiddelden op afhankelijke variabele worden gecorrigeerd
• zodanig dat groepsgemiddelden op covariaat gelijk zijn
• de gecorrigeerde groepsgemiddelden worden vervolgens vergeleken

     (SPSS: estimated marginal means)

Gecorrigeerde gemiddelden

In SPSS estimated marginal means

Aangepaste geobserveerde groepsgemiddelden

• kleinste kwadratenschatters van populatiegemiddelden

Aangepast (gecorrigeerd) voor groepsverschillen op covariaat

ANOVA

Onderzoeksvraag

Wat is het effect van strategiegebruik op deelvaardigheid?

ANOVA:

H₀: µ_s = µ_h    p = 0.241

• geen bewijs voor

verschil tussen groepen

                                                     Extra: R² = 1.5%

Bruikbare covariaat

Is rekenvaardigheid een nuttige covariaat?

Ja: substantieel verschil tussen groepsgemiddelden op rekenvaardigheid

• zwakke rekenaars leerden staartdeling
• sterke rekenaars leerden happenschema

Gedachtenexperiment: wat is het effect van strategiegebruik op

deelvaardigheid als de groepen dezelfde rekenvaardigheid zouden hebben?

Onderzoeksvraag

Wat is het effect van strategiegebruik op deelvaardigheid na correctie voor verschillen in rekenvaardigheid?

ANCOVA:

H₀: µ_s = µ_h          

p = 0.002

• significant verschil

Verschil alleen te vinden

met ‘krachtiger’ ANCOVA model                           Extra: R² = 46.7%

Gecorrigeerde gemiddelden

De gecorrigeerde gemiddelden zijn

F-toets laat zien dat er een significant verschil is (p = 0.002)

Staartdeling werkt beter dan happenschema (7.1 > 6.4)

Verschil is 7.1 – 6.4 = 0.7 (substantieel op schaal 1–10)

Gemiddelden verder uit elkaar

Geobserveerde gemiddelden                                Gecorrigeerde gemiddelden

Groepsgemiddelden verder uit elkaar

• zwakke rekenaars leerden staartdeling
• sterke rekenaars leerden happenschema

ANCOVA: verschil significant geworden

Assumpties ANCOVA

ANOVA:

1. populatiescores zijn onafhankelijk (bij goed design mag je dit aannemen)

2. in elke groep van populatie zijn de scores normaal verdeeld

3. gelijke standaarddeviaties in populatie (homoscedasticiteit)

    vuistregel: grootste is niet 2 keer zo groot als kleinste

Extra

4. lineaire relatie tussen covariaat en afhankelijke variabele (in populatie) (spreidingsdiagram)

5. regressielijnen tussen covariaat en afhankelijke variabele

    hebben hetzelfde populatieregressiegewicht β_w

    à binnengroeps regressiegewicht b_w (schatter van β_w)

Parallelle regressielijnen

Spreidingsdiagram tussen

• afhankelijke variabele Y
• covariaat C

Bekijk de groepen apart

Assumptie: geen interactie tussen factor en X en C

à parallelle regressielijnen

binnengroeps-regressiegewicht b_w (helling) in iedere groep gelijk

Spreidingsdiagram

• Y = deelvaardigheid
• X = strategie
• C = rekenvaardigheid

Lijnen zijn nooit helemaal

parallel in steekproef

Assumptie betreft populatie

à toetsen

Check door interactieterm toe te voegen aan ANCOVA model

p = 0.469

• geen interactie tussen

• strategie
• rekenvaardigheid

Geen reden om aanname

van parallelle regressielijnen

niet te behouden (deze analyse alleen doen om assumptie te checken)

Drie modellen

Uitvoeren van ANCOVA bestaat i.h.a. uit bekijken van drie modellen

1. ANOVA: is er een effect van X op Y?
2. Als X geen effect heeft, of als we willen controleren voor C:

 ANCOVA + X*C-interactie (checken

 parallelliteit van regressielijnen)

3. Als interactie niet significant:

       ANCOVA

Binnengroepscorrelatie

Spreidingsdiagram tussen

• afhankelijke variabele Y
• covariaat C
•  

Wanneer is covariaat nuttig?

Statistisch 2 situaties waarin een covariaat nuttig kan zijn

1. Binnengroepscorrelatie is ongelijk aan 0

• • Errorreductie

Binnengroepscorrelatie verder van 0 dan correlatie totale groep

• • power van F-toets waarschijnlijk omhoog

2. Groepsgemiddelden verschillen op covariaat

     à verwijdering systematische bias

Gecorrigeerde gemiddelden

Visuele manier op aangepaste gemiddelden te vinden

Startpunt is spreidingsdiagram tussen

• afhankelijke variabele Y
• covariaat C

1. Teken de binnengroeps regressielijnen

2. Teken een verticale lijn bij gemiddelde covariaat

3. De snijpunten zijn de aangepaste gemiddelden

Aanpassen gemiddelden niet altijd zinvol

Gemiddelde covariaat ligt buiten observaties

à gemiddelde heeft mogelijk geen betekenis