Hoorcollegeaantekeningen 1-4: statistische analyse technieken

Deze samenvatting is gebaseerd op het studiejaar 2013-2014.

College 1 : Multipele regressie analyse

De eerste week staat in het teken van Multipele Regressie Analyse (MRA). Bij multipele regressie analyse proberen we op basis van een aantal onafhankelijke variabelen (X1, X2….Xp) de afhankelijke variabele (Ypred) te voorspellen.

Belangrijk bij MRA:

1.      Er zijn meerdere onafhankelijke variabelen en er is steeds slechts één afhankelijke variabele.

2.      Zowel de onafhankelijke variabelen als de afhankelijke variabelen zijn van interval niveau.

Hieronder staat een overzicht van welke techniek je moet gebruiken bij verschillende niveaus van de variabelen (deze technieken worden in week 1 tot en met 4 behandelt).

Correlaties in MRA

Bij multipele regressie wordt vaak een correlatie gegeven om aan te geven wat het verband is tussen bijvoorbeeld X1 en Y (r1y). Stel we hebben het volgende model: we willen Ypred voorspellen op basis van X1 en X2. De volgende correlaties zijn dan van toepassing:

1.      r12 is de correlatie tussen X1 en X2

2.      r1y is de correlatie tussen X1 en Y

3.      r2y is de correlatie tussen X2 en Y

Het regressie model beschrijft de relatie tussen de variabelen in de populatie, en het model kan worden gebruikt om Y te voorspellen. Het regressie model ziet er voor meerdere variabelen zo uit:

a* is hierbij de regressieconstante en b1*, b2* en bk* zijn de regressie coëfficiënten. De Xen zijn de scores op de verschillende variabelen voor individu i, en e_i is het residu (de error).

De beste voorspelling wordt gedaan als het verschil van de sum of squares minimaal is. 

Om te testen of er een relatie is tussen Y en X1 en X2 (H0 testen) wordt een F-toets gebruikt. 

 met 

Om te testen hoe goed de voorspelling is wordt de R² ofwel VAF gebruikt. Dit geeft weer hoeveel variantie van Y verklaart wordt door X1 en X2, oftewel hoe goed het lineaire model de geobserveerde data beschrijft. Deze ‘coefficient of determination’ kan je op twee manieren berekenen: 

 of  

De semi-partiële correlatie wordt gebruikt om de unieke verklaarde variantie te berekenen. 

Deze semi-partiële correlatie is de correlatie van Y en X1 gecorrigeerd voor X2.  ry(1∙2)² geeft weer hoeveel variantie van Y uniek wordt verklaard door X1.

Voordat je een model kan gebruiken als voorspellend model, moeten er assumpties worden gecheckt. Het model moet lineair zijn: het gemiddelde van de afhandelijke variabele is een lineaire combinatie van voorspellers, de voorspellers zijn gemeten zonder errors. Daarnaast moet het model homoscedasticiteit hebben: de variantie van de residuen is constant voor de voorspelde waarden. De residuen moeten onafhankelijk zijn: individuen moeten onafhankelijk van elkaar reageren. Het model moet normaal verdeelt zijn. Tevens moet er geen multicollinariteit in de voorspellers zijn: geen gemiddelde tot hoge inter-correlaties tussen de voorspellers. In de PowerPoint zijn enkele grafische weergaven te zien van deze assumpties. Om te checken of de multicollinariteit goed is, moet je (in SPSS) naar de VIF en de Tolerance kijken. De Tolerance bereken je door Tj = 1- Rj², en de VIF bereken je door VIFj = 1/Tj = 1/(1-Rj²). De VIF moet groot zijn (onder de 5) en de Tolerance moet klein zijn (onder de 0,1).

De verklaarde variantie van Y in de steekproef wordt weergeven door R². De adjusted R² is om te meten hoeveel variantie van Y zou worden verklaard als we het model hadden afgeleid uit het regressiemodel van de populatie. Er zijn verschillende adjusted R² , de meest gebruikte is de Wherry’s adjusted R², deze wordt ook weergeven in SPSS:

Hierbij is N de hoeveelheid individuen, en k het aantal voorspellers.

College 2 : Anova: variatieanalyse

Anova hoort bij de verschillende mogelijkheden om een afhankelijke variabele te voorspellen uit een aantal onafhankelijke variabelen (week 1 tot en met 4). Bij Anova zijn de onafhankelijke variabelen van nominaal niveau. Dit houdt in dat elke categorie een willekeurig nummer krijgt, aan de nummer is dus geen volgorde af te lezen. De onafhankelijke variabelen (X1, X2, enzovoorts) worden bij Anova factoren genoemd in plaats van variabelen. Anova kan je opdelen in twee soorten: eenweg Anova en meerweg Anova (bijvoorbeeld tweeweg Anova). Afhankelijk van het aantal factoren wordt een Anova gekozen.

Bij Anova is de onderzoeksvraag meestal: welk effect hebben X1 en X2 op de afhankelijke variabele Y ?

Om hier achter te komen moet je eerst voor elke factor afzonderlijk het effect op Y bekijken.

Als de factor verdeeld is in 2 groepen, dan kan je een t-test uitvoeren waarin de gemiddelden van de 2 groepen worden vergeleken.

Als de factor is verdeeld in 3 of meer groepen, kan je een eenweg Anova uitvoeren. H0 stelt dat alle gemiddelden aan elkaar gelijk zijn, en Ha stelt dat minimaal 2 gemiddelden niet aan elkaar gelijk zijn. Anova vergelijkt de between-groep variantie (de variantie tussen de verschillende groepen) en de within-groep variantie (de variantie binnen één groep). Het verwerpen van H0 is waarschijnlijker als er een groter verschil is tussen de groepsgemiddelden (grotere between-groep variantie), als er kleinere verschillen zijn binnen de groepen (kleinere within-groep variantie) en als er een grote steekproefgrootte (N) is.

De formule van de F-toets van de eenweg Anova ziet er als volgt uit: 

Met de vrijheidsgraden df(between) = k-1 en df(within) = N-k. Formules van de verschillende varianties zijn tevens in de PowerPoint weergeven.

Om erachter te komen welke van de 3 groepen verschil maken, kan er een post-hoc toets (multiple comparisons) worden uitgevoerd.

Tweeweg Anova

Na het afzonderlijk checken van de effecten van de factoren op Y, moet het effect van de factoren samen worden bekeken. Hiervoor is de tweeweg Anova (twee staat voor het aantal factoren).

In SPSS vind je Anova onder Analyze à general linear model à univariate.

In de SPSS output wordt ook het Corrected Model en het Corrected Total weergeven. Het Corrected model is het model zonder het intercept. Hierin worden de effecten van de verschillende factoren en de interactie-factoren gecombineerd. Het Corrected Total is het totaal zonder het intercept.

Tweeweg Anova geeft 4 verschillende F-toetsen. Het Corrected Model, de 2 factoren en het interactie effect. De formule hierbij is:

Om H0 te testen wordt het Corrected Model gebruikt:

Om te bekijken hoe sterk de relatie is, gebruiken we de determinatiecoëfficiënt R² (VAF). Goed om hierbij te weten is dat Anova vaak minder VAF heeft dan MRA (week 1). Dit komt omdat de voorspellers in Anova nominaal zijn in plaats van interval, waardoor ze minder informatie geven.

Eta squared is vergelijkbaar met de semi-partiele correlatie van week 1. Het reflecteert hoeveel variantie van Y uniek wordt verklaart. Eta squared wordt niet gegeven in SPSS en moet je dus zelf uitrekenen, met de volgende formule:

De eta squared van het Corrected Model is gelijk aan R² (VAF).

Om de effecten te interpreteren gebruiken we de estimated marginal means. Dit zijn de geobserveerde groepsgemiddelden gecorrigeerd voor ongelijke groepsgroottes (ongebalanceerd model) en covariaties in het model. Wanneer het design gebalanceerd is (gelijke groepsgroottes) en er zijn geen covariaties, dan is het estimated marginal means gelijk aan het geobserveerde gemiddelde.

Om te kijken of er significante verschillen zijn in de groepen, moet er naar het 95% betrouwbaarheidsinterval worden gekeken. Als er geen overlap is, dan is er een significant verschil.

Een alternatief is een multiple comparisons (post hoc tests). Hier worden alle gemiddelden gepaard weergegeven, inclusief 95% betrouwbaarheidsinterval.

Bij de interpretatie van het interactie-effect gaat het erom dat er wordt gekeken of het effect van de ene factor afhankelijk is van een groep van de andere factor/variabele. Ter ondersteuning van deze interpretatie kan er een plot gebruikt worden.

Een gebalanceerd design betekent dat elke groep gelijke groepsgroottes (N) heeft. Als het design gebalanceerd is, bestaan er geen onderlinge correlaties. Daarom geldt in een gebalanceerd design:

De assumpties van Anova zijn de volgende. De residuen moeten onafhankelijk zijn, er moet groepsnormaliteit zijn en er moet sprake zijn van homoscedasticiteit: gelijkheid van de groepsvarianties, dit laatste wordt getest met een Levene’s toets.

Om te checken of de F-toets robuust is worden de volgende regels gebruikt.

-                     Robuust als de schending van de assumpties de Type 1 error niet substantieel beïnvloeden.

-                     Robuust tegen niet-normaliteit als N > 15 in elke groep

-                     Robuust tegen ongelijke groepsvarianties als Nmax/Nmin <1.5 (Nmax=aantal grootste groep, Nmin=aantal kleinste groep)

Om te berekenen hoeveel variantie van Y verklaard wordt als het model in de populatie geldig was, gebruiken we omega squared:

In de PowerPoint en in de werkgroepaantekeningen staan twee voorbeelden van het invullen van een Anova tabel. 

College 3 : ANCOVA

Inleiding ANCOVA

We hebben nu een mengeling van voorspellers die zowel nominaal (categorisch) als intervalniveau hebben. Dan komen we bij ANCOVA uit. De vraag die wordt gesteld bij ANCOVA is: ‘Wat is het effect van X op Y na correctie voor C?’ Hierbij is Y op intervalniveau, X op nominaal (categorisch) niveau en C (Covariaat) op interval niveau. C staat voor de covariaat. Covariaat is iedere intervalvariabele die je gebruikt in een variantieanalyse. Terwijl alle nominale (categorische) variabelen ‘factoren’ worden genoemd. ANCOVA is eigenlijk een combinatie tussen ANOVA en MRA (regressie). Makkelijker is het om ANCOVA te zien als een uitbreiding van ANOVA: ANCOVA = ANOVA + covariaat. ANCOVA is bruikbaar in zowel experimenteel als quasi-experimenteel onderzoek. Deze laatste gaat over bestaande groepen waarbij de onderzoeker bepaald welke groep de behandeling krijgt.  Hieronder staat het ANCOVA model weergeven:

Hierbinnen is  het algehele gemiddelde, αj het groepseffect van groep j, b_w het within-groups regressie gewicht, C_ij de covariaat-score van individu i in groep j en  de gemiddelde waarde van de covariaat.

De parameters , αj en b_w moeten worden geschat uit de data met behulp van ‘Least squares estimation’ (SPSS). Het ANOVA gedeelte van het model is +αj en het regressiegedeelte is b_w (C_ij -).

Doelstelling van het toevoegen van covariaten aan ANOVA

Er zijn drie doelstellingen om covariaten toe te voegen aan een ANOVA-model. In dit college worden de eerste twee doelstellingen uitgebreid besproken.

1. Reduceren van error-variantie: een goed gekozen covariaat kan een deel van de error-variantie verklaren. Hierdoor kan de power van de F-toets verhogen.
2. Verwijderen van systematische bias: onderzoeksgroepen kunnen systematisch verschillen op externe variabelen die gerelateerd zijn aan de afhankelijke variabele. De toevoeging van deze variabelen als covariaat kan zorgen voor een verwijdering van bias.
3. Covariaten kunnen een alternatieve verklaring van het model zijn: externe variabelen kunnen alternatieve verklaringen van een effect geven. Controleer hiervoor bij het toevoegen van deze variabelen als covariaten. De conclusies kunnen dan hetzelfde zijn, maar nu is er gecontroleerd voor alternatieve verklaringen.

Reduceren van error-variantie

Een geprefereerd model in experimenteel onderzoek is het pre-test/post-test controle design. Hierbij is sprake van een random toewijzing in experimentele- of controlegroep en een voormeting (pre-test). Hierna ontvangt de experimentele groep een behandeling en de controlegroep niet. Dan wordt er een nameting (post-test) gedaan. Als de behandeling effectief is verwachten we een significante F-toets. Dit houdt in dat de groepsgemiddelden verschillen in de post-test. De ANOVA F-toets kun je berekenen met de volgende formule:

F= MS_treatment/MS_error

Random toewijzing van mensen aan groepen zorgt voor uitsluiting van systematische verschillen, maar kan niet garanderen dat de groep gelijk is op elke manier. Een groot gedeelte van de variantie van de post-test (Y) ontstaat door individuele verschillen. Deze individuele verschillen worden allemaal toegewezen aan de error (onverklaarde deel van Y). Als de error groot is, is er een hele grote variatie tussen de mensen. Dan wordt de F-toets klein en de p-waarde groot. Hierdoor is er geen significant verschil. Als F dicht bij de 0 ligt is de kans groot dat de nulhypothese klopt.

Wanneer je een covariaat zoekt die hoog correleert met Y dan hebben C en Y veel individuele verschillen met elkaar gemeenschappelijk waardoor C en Y een deel van de errorvariantie delen. Een goedgekozen covariaat die toegevoegd wordt aan het ANOVA model verklaart een deel van de error-variantie, waardoor MS_error kleiner wordt en F groter wordt en meer power heeft. Het is mogelijk dat het model voor het toevoegen van de covariaat nog niet significant was, maar erna wel.

Om te kijken wanneer je ANCOVA toepast kun je eerst het ANOVA model bekijken. Als het ANOVA model niet significant is en je denkt dat dit komt door de vele individuele verschillen, dan kun je een geschikte covariaat kiezen en een pre-test uitvoeren.  De pretest bevat een deel van de individuele verschillen van de post-test. Als iemand bijvoorbeeld in de pre-test beneden gemiddelde scoort dan zal hij in de post-test ook relatief laag scoren. ANOVA + pre-test = ANCOVA.  Wanneer de covariaat genoeg error-variantie reduceert, is de F-test significant. Vervolgens kun je via SPSS naar de tabel ‘estimated marginal means’ kijken en bepalen welk gemiddelde het grootste is en of er dus sprake is van een positief effect.

Verwijderden van systematische bias

Dit wordt gebruikt bij quasi-experimenteel onderzoek, oftewel onderzoek naar al bestaande groepen. Deze groepen kunnen systematisch verschillen op variabelen die gerelateerd zijn aan de afhankelijke variabele. Dit kan verschillende effecten hebben:

1. Echte effecten worden gemaskeerd. Als er sprake is van één sterke groep en één zwakke groep en de zwakke groep krijgt een training die effectief blijkt te zijn, dan verbeteren de mensen binnen de zwakke groep. De training werkt, maar er is geen significant verschil zichtbaar tussen de zwakke en de sterke groep, omdat de sterke groep al van het begin af aan zat op het niveau waar de zwakke groep na de training zit.
2. Valse effecten worden ook gemaskeerd. Als een training eigenlijk niet effectief is, maar de training wordt gegeven aan een sterke groep, dan lijkt de trainingsgroep de betere groep te zijn. De verschillen tussen de twee groepen komen dan door de verschillen die al bestonden voorafgaand aan de training (sterk-zwak).

Wanneer je een covariaat gaat toevoegen moet je je afvragen of het een bruikbare covariaat is. Dit is het geval als een substantieel verschil is tussen de verschillende groepsgemiddelden op de covariaat. Als gedachte-experiment vraag  je je af of er binnen de groep een effect zichtbaar zou zijn wanneer de groepsgemiddelden gelijk waren. Hiervoor kijk je naar de SPSS tabel ‘test of between-subjects effects.’ Hierbinnen kijk je of na toevoeging van de covariaat met behulp van de F-toets of de betreffende onafhankelijke variabele een significant effect heeft.  Indien dit geval is, dan heeft de onafhankelijke variabele effect op de afhankelijke variabele.

Wanneer er sprake is van twee variabelen kun je in de SPSS tabel ‘estimated marginal means’ kijken en de gemiddelden vergelijken. De gemiddelde die groter is heeft een groter effect op de afhankelijke variabele. ‘Estimated marginal means’ zijn de geobserveerde gemiddeldes, oftewel de kleinste kwadratenschatters (least square estimates)  van de groepspopulatiegemiddelden. Binnen een gebalanceerd design zijn deze ’estimated marginal means’ de aangepaste groepsgemiddeldes, aangepast voor eventuele verschillen op de covariaat.  Binnen een gebalanceerd design zijn het aangepaste groepsgemiddeldes voor eventuele verschillen op de covariaat en voor ongelijke groepsgroottes.

Assumpties van ANOVA en ANCOVA modellen

Assumpties zijn nodig voor steekproefverdelingen van F-toetsen. Het gaat hierbij om karakteristieken binnen de populatie, niet binnen de steekproef. Als niet aan de assumpties wordt voldaan heeft dit effect op de sum of squares en de F-statistieken. Hierdoor kunnen verkeerde conclusies over significantie getrokken worden. ANCOVA = ANOVA + Regressie. Alle ANOVA assumpties en sommige regressieassumpties gelden voor ANCOVA.

Assumpties van ANOVA:

• Onafhankelijkheid van de residuen 
• Groepsnormaliteit
• Homogeniteit van de groepsvarianties

Onafhankelijke residuen worden meestal niet onderzocht. Groepsnormaliteit en homogeniteit van de groepsvariaties kan onderzocht worden met behulp van de Kolmogoroc-Smirnov test, de Levene’s test en de (robuuste) F-test. Robuustheid houdt in dat schending van een bepaalde assumptie de type I fout (alpha) beïnvloed. Er is robuustheid voor non-normaliteit wanneer N>15. Er is robuustheid voor heterogeniteit van de varianties wanneer Nmax/Nmin <1,5.

Regressie-assumpties

• Covariaat wordt gemeten zonder meetfouten (error)
• Lineairiteit: lineaire relatie tussen covariaat en afhankelijke variabele
• Parallelisme van regressielijnen: regressielijnen tussen de covariaat en de afhankelijke variabele hebben hetzelfde within-groups regressiegewicht (b_w)

Lineairiteit kan bekeken worden door naar de scatterplot te kijken van de voorspelde waardes vs. De gestandaardiseerde residuen (zelfde als bij MRA). Parallelisme van de regressielijn kun je bekijken met een scatterplot. Bij een scatterplot van de verschillende groepen is de aanname dat de regressielijnen die je afzonderlijk voor deze groepen door de puntenwolken kunt trekken ongeveer dezelfde hellingshoek hebben. Echter hierbij gaat het om de steekproef en zullen de lijnen dus nooit helemaal parallel zijn. Men moet dus ook testen voor de populatie. Dit kan met behulp van een ANCOVA inclusief de Treatment*Covariate interactie. Als het interactie effect (in Test of between-subjects effects SPSS) significant is, dan is er sprake van parallellelisme van regressielijnen.

De drie stappen van ANCOVA

1. ANOVA om te checken of factor X effectief is
2. Als factor X niet effectief is dan bekijken van ANCOVA  + Treatment * Covariate interactie om de parallellisme assumpties te checken.
3. Als de interacties niet-significant zijn: ANCOVA

Gepoolde within-group correlatie

We onderscheiden twee soorten correlaties.

1. De totale correlatie (r_YC): de correlatie tussen de afhankelijke variabele (Y) en de covariaat.
2. De gepoolde within-groups correlatie (r_YC(W)): de correlatie tussen de afhankelijke variabele (Y) en de covariaat C binnen de groepen.

Waarom zijn covariaten bruikbaar?

1. Als de gepoolde within-groep correlatie r_YC(W) verschilt van 0, wordt de error-variantie gereduceerd. Als de r_YC(W) > r_YC, wordt de statistische power van de F-toets vergroot.
2. Als de groepsgemiddelden verschillen op de covariaat, is het mogelijk om systematische bias te verwijderen.

Om systematische bias te verwijderen kunnen groepsgemiddelden worden aangepast met behulp van de volgende formule:

= groepsgemiddelde na aanpassing

= originele groepsgemiddelde

= within-group regressiegewicht

= groepsgemiddelde op covariaat

= algehele groepsgemiddelde op covariaat (bij gebalanceerd design is dit het gemiddelde van de twee groepsgemiddelden op de covariaat)

Om erachter te komen welke groep gemiddelde hoger is na correctie kun je deze visuele tool gebruiken:

1. Begin met de scatter plot van de afhankelijke variabele Y en de covariaat C
2. Plot de groep gemiddeldes
3. Teken de within-groups regressielijnen
4. Bereken het gemiddelde van de covariaat
5. Teken een verticale lijn op het gemiddelde van de covariaat
6. De snijpunten van de regressielijnen en verticale lijnen zijn de aangepaste groepsgemiddelden

College 4: Logistische regressie analyse (LRA)

Introductie

Deze week gaan we iets heel anders doen dan in de vorige weken. Toch gaan we ook nu weer een regressie doen. De afhankelijke variabele Y is echter binair in plaats van interval. Een binaire variabele heeft twee categorieën die als 0 en 1 worden gecodeerd. De predictors kunnen van intervalniveau of van binair niveau zijn.

Logistische regressie wordt in de praktijk vaak gebruikt omdat veel variabelen een binaire uitkomst hebben, bijvoorbeeld bij het voorspellen van overlevingskans (wel/niet overlijden).

Binaire uitkomstmaten kunnen worden uitgedrukt in proporties en percentages.

Bekijk slide 5 voor een voorbeeld van een LRA vraagstuk. Op slide 6 staat een overzicht weergegeven van het bijbehorende scatterplot. Je ziet hierop een beetje een vreemde puntenwolk. Er zijn twee categorieën op de y-as (0 en 1). Mensen die weinig gestudeerd hebben zijn bijna allemaal gezakt, een enkeling heeft weinig gestudeerd en is toch geslaagd. Andersom hebben de studenten die veel gestudeerd bijna allemaal hun tentamen behaald, een enkeling is gezakt. We willen het aantal studieuren gebruiken om de slagingskans te voorspellen. Met lineaire regressie zou dit kunnen. Je trekt een lijn door de puntenwolk (zie slide 7). Dit is echter geen goede beschrijving van de data, aangezien de y een waarde van onder de 0 en boven de 1 aanneemt. Een andere reden om geen regressieanalyse te gebruiken ligt in de assumpties. Deze worden later besproken.

De relatie tussen het aantal studieuren en het wel of niet slagen kan wel goed worden beschreven met een s-curve. Deze curve kan de onderliggende relaties goed beschrijven. De curve begint bij de nul en stijgt langzaam naar de 1, maar hij raakt de 0 en 1 net niet helemaal. De curve loopt het meest stijl halverwege en is niet-lineair.

De logistische regressievergelijking

Bij LRA gaan we werken met machtsverheffingen in de vorm van aⁿ = c. Je vermenigvuldigt a n keer met zichzelf om c te krijgen.

Een beroemde rekenkundige constante is het getal e (=2.718….). Wanneer je e machtsverheft wordt de waarde van e steeds groter met steeds grotere intervallen. Let op: e⁰ = 1. De curve loopt eerst heel vlak, maar loopt al gauw een stuk steiler omhoog. Dit wordt een exponentiële functie genoemd. De waarde die eⁿ aanneemt, loopt van 0 tot +∞.

De logistische functie kan worden beschreven als P = eⁿ / 1 + eⁿ. De logistische functie heeft een bereik van 0 tot 1. Als n groot en negatief is, is de kans P klein. Als n groot en positief is, is de kans P groot. Indien geldt: n = 0, geldt e⁰ = 1. De bijbehorende kans wordt dan 1 / 1 + 2 = 0.5.

In de logistische functie wordt n vervangen door een lineair regressie gedeelte:

P₁ = e^{a+b1x1+b2x2+….} / 1 + e^{a+b1x1+b2x2+….}

P₁ is hier de kans op slagen (slagen = 1). a is de constante onder B (uit de SPSS tabel). b₁ en b₂ zijn de regressiecoëfficiënten. x₁ en x₂ zijn de bijbehorende predictoren.

Eigenschappen:

• Y is binair
• Het model geeft = P₁ kansen
• De doelgroep is slagen
• Als we de kans op slagen (P₁) weten, weten we ook de kans op zakken P₀: P₀ = 1 – P₁

De bovenste curve op slide 17 geeft de kans op slagen weer. De curve begint bij y=0 en loopt naar de y=1. De onderste curve is de kans op zakken. De curve begint bij y=1 en loopt naar y=0

Hoe steiler de curve loopt, hoe groter de regressiecoëfficiënt is. Dit is het geval als het slagen en zakken goed uit elkaar te houden zijn. De R² (proportie verklaarde variantie) is hoog.

De evaluatie van het model

Bij statistisch modelleren voeg je steeds een predictor aan je model toe, waardoor je model steeds beter bij de data past. Hiervoor moet je heel veel modellen nagaan, totdat je ene model hebt dat de data goed beschrijft.

Je start met een 0-model. In dit model zitten geen voorspellers. Er zitten dus geen x-en in. Wanneer je naar model 1 gaat, wordt x1 toegevoegd. Wanneer je naar model 2 gaat, voeg je x2 toe enzovoorts. Hoe meer data en hoe meer voorspellers je hebt, hoe uitgebreider je model wordt. Er zijn twee bijbehorende fitmaten: R² (verklaarde variatie ≠ verklaarde variantie) en -2LL (-2 log likelihood). De -2LL is een maat die aangeeft hoe goed of hoe slecht de data door het model wordt beschreven. Hoe hoger de -2LL, hoe minder goed het model bij de data past. Het 0-model past altijd het minst goed bij de data.

Ieder model heeft een -2LL. Wanneer je twee geneste modellen* met elkaar vergelijkt, kun je de bijbehorende -2LL van elkaar aftrekken. Hieruit vormt zich de X² verdeling. Het aantal vrijheidsgraden dat hierbij hoort is het aantal extra predictoren in het complexere model. Met dit verschil kun je toetsen of het complexere model significant beter is dan het eenvoudigere model.

* bij geneste modellen past model 1 in model 2, het tweede model is dus een complexere versie van het eerste model (bekijk slide 18 voor een voorbeeld).

Voorbeeld: slaag je wel/niet voor het tentamen (Y). Dit wordt voorspeld met behulp van het aantal studieuren (x₁) en het aantal gevolgde hoorcolleges (x₂).

Aan de hand van de Omnibus Tests of Model Coefficients (SPSS) kun je de nulhypothese toetsen. Wanneer de X² scores significant groter dan 0 zijn, kan H₀ worden verworpen; er is dan tenminste één regressiegewicht ongelijk aan 0.

In de Model Summary* (SPSS) kun je bij de -2Log likelihood (-2LL) zien hoe sterk de relatie is. De -2LL wordt ingevoerd in de formule van Hosmer en Lemeshow:

R_L² = -2LL_{model 0} – -2LL_{model x} / -2LL_{model 0}.

Je vergelijkt je huidige model, bijvoorbeeld model 1 of model 2, dus altijd met het nulmodel. R_L² geeft de proportionele reductie in -2LL weer. Op slide 24 staat een voorbeeld weergegeven.

*Voor het nulmodel kijk je bij ‘Iteration history’.

Om de significante predictors te bepalen, kun je de B met de standaarderror gebruiken om de Wald statistiek te berekenen. Voor de Wald statistiek geldt:

X² = (b / SE_b)²

Met deze statistiek wordt de B-waarde met 0 vergeleken. De nulhypothese is dat b_j* gelijk is aan nul (en de alternatieve hypothese is dat dit niet het geval is).

Let op: bij logistische regressie staat de constante in SPSS altijd onder aan de tabel. Bij andere technieken staat de constante juist bovenaan weergegeven.

De logistische regressievergelijking kun je invullen aan de hand van de SPSS tabel Variables in the Equation. Hiervoor gebruik je de constante B-waarde voor a en de B-waarden behorend bij de verschillende x-variabelen bij b₁ b₂ enzovoorts. Bekijk slide 26 voor een voorbeeld.

Met de logistische regressievergelijking bereken je de kans op slagen. Wanneer je een voorspelling wilt doen over het al dan niet slagen en als je wilt weten hoe goed het model is, gebruik je de volgende beslisregel: als de kans lager dan .5 ligt, ben je gezakt. Als de kans gelijk is aan of hoger is dan .5, ben je geslaagd. De Classification Table (SPSS) geeft het percentage goed voorspelde gevallen en het gewogen gemiddelde daarvan: hoeveel procent is er in totaal correct voorspeld? Dit is een alternatief voor de R_L².

Positive predicted value (PPV): geslaagd_{goed voorspeld} / geslaagd_{alle voorspellingen}

Negative predicted value (NPV): gezakt_{goed voorspeld} / gezakt_{alle voorspellingen}

(Bekijk slide 29 voor een voorbeeld)

Odds en odds ratio (OR)

Bij de logistische regressiecoëfficiënt krijg je ook te maken met de odds. Dit is de kansratio: de kans dat een bepaalde gebeurtenis plaatsvindt gedeeld door de kans dat deze gebeurtenis niet plaatsvindt:

Odds_slagen = p / 1-p.

Bekijk slide 31 voor een voorbeeld.

Elke voorspeller heeft een odds ratio (OR). Dit is de factor waarmee de odds groter worden bij een toename van 1 op de voorspeller:

OR = Odds_x=5 / Odds_x=4.

De OR kan ook met behulp van de b-coëfficiënt worden berekend:

OR = e^b1

In SPSS zie je de OR terug onder de kolom Exp(B). Ook geldt er:

OR(k) = OR(1)^k

k is hierbij het aantal units dat de odds toenemen, bijvoorbeeld wanneer je van de odds bij x=4 naar de odds bij x=7 wilt gaan, vul je voor k 7-4=3 in.

Bij de OR is ook een 95% betrouwbaarheidsinterval van belang. Dit doe je met behulp van de regressiecoëfficiënt. Je gebruikt een z-waarde van 1.96 (standaard getal). Je gebruikt ook de b₁ en de SE_b1:

b₁ ± z*SE_b1 = 95% betrouwbaarheidsinterval (CI)

De twee waardes die je hieruit krijgt vul je in in de OR formule op de plek van b₁ (OR = e^b1). Tussen de getallen die hieruit komen, ligt de OR met 95% zekerheid.

Assumpties bij LRA

• Lineair verband tussen de log odds van y en x-en (klopt (bijna) altijd*
• De predictoren moeten gemeten zijn zonder meetfout (hoef je niet te checken)
• Onafhankelijke residuen (hoef je niet te checken)
• Afwezigheid van multicollineariteit

*Voorbeeld op slide 40.

Bij binaire afhankelijke variabelen is MRA niet mogelijk vanwege de assumpties normaliteit van de residuen en homoscedasticiteit. Beide assumpties zijn niet nodig bij LRA.

In vergelijking met MRA heb je bij LRA tenminste 30 individuen nodig per predictor (MRA: 20 individuen per predictor). Bekijk slide 43 voor alle belangrijke overeenkomsten en verschillen tussen MRA en LRA.