Statistische Modellen 2 - College 6

Binaire uitkomsten

in logistische regressieanalyse is de afhankelijke variabele een dummy

variabele (2 categorieën)

uitkomstmaten met 2 categorieën komen veel voor

• recidivisme in het strafrechtsysteem
• sterfte
• ziekte
• uitslagen (winst/verlies, geslaagd/gezakt)

dummy (binaire) uitkomstmaten makkelijk te interpreteren als

• proporties
• percentages

Transformatie naar binair

afhankelijke variabele heel scheef verdeeld

• mate beleving (1 = niet, 6 = heel veel)
• lastig voor lineaire regressieanalyse
• residuen moeten ongeveer normaal

     verdeeld zijn

(mogelijke) oplossing

• afhankelijke variabele transformeren

     naar twee categorieën

• mate beleving (1 = niet, 2 = wel)
• logistische regressieanalyse toepassen

Voorbeeld

wel of niet behalen tentamen SM2 (N = 421)

afhankelijke variabele Y (DUM)

• uitslag tentamen (1 = geslaagd, 0 = gezakt)

onafhankelijke variabele X₁ (INT)

• • aantal studie-uren

onderzoeksvraag: kan slagen voor het tentamen SM2 worden voorspeld door het aantal studie-uren?

Spreidingsdiagram                                                                                             Regressielijn

Groep proporties                                                                                 Niet-lineaire curve

 Machtsverheffen

machtsverheffen: aⁿ = c

• a = grondtal, n = exponent, c = resultaat
• bijv. 2³ = 2× 2× 2 = 8

het getal e = 2.71828…

• beroemde wiskundige constante
• er zijn voordelen om e als

     grondtal te gebruiken

e⁰ = 1

e¹ = 2.72

e² = 7.39

e³ = 20.09

Logistische functie

eigenschappen

• waarden liggen tussen 0 en 1
• als x groot en negatief à e^x  klein à P klein (dichtbij 0)
• als x groot en positief à e^x  groot à P groot (dichtbij 1)
• als x = 0 à e⁰ = 1, en

Statistisch model

als we in e^x het deel x vervangen door een lineair regressiedeel

β₀ + β₁X₁ + β₂X₂ krijgen we het logistische regressiemodel (regressievergelijking)

waarbij

• P₁ is de kans op slagen (P₀ = 1 – P₁ is kans op zakken)
• β₀, β₁ en β₂ zijn regressiecoëfficiënten – deze moeten geschat worden uit de data (maximum likelihood). De schatters noteren we als b₀, b₁ en b₂
• X₁ en X₂ zijn voorspellers

Voorbeeld

wel of niet behalen tentamen SM2 (N = 421)

afhankelijke variabele Y (DUM)

• uitslag tentamen (1 = geslaagd, 0 = gezakt)

onafhankelijke variabelen X₁ en X₂ (INT)

• • aantal studie-uren

onderzoeksvraag: kan slagen voor het tentamen worden voorspeld door aantal studie-uren?

Statistisch model

afhankelijk variabele is een

dummy variabele

model produceert kansen

op slagen

kans op zakken is

P₀ = 1– P₁

(dalende curve)

Je hebt steile (goed worden gescheiden) of vlakke curve (niet goed worden gescheiden).

SPSS: Analyze/Regression/Binary Logistic

Geschatte regressievergelijking

wat is de regressievergelijking? P = geschatte kans

regressiecoëfficiënten

• • b₀ = – 3.9 (constante)
  • b₁ = 0.12

invullen in vergelijking

geeft:

Significante voorspellers

welke voorspellers zijn significant?

regressiecoëfficiënten

• • b₀ = – 3.9 (constante)
  • b₁ = 0.12

voor alle coëfficiënten een toets met H₀ : ß_studieuren = 0

• Wald toets: (b/SE(b))²
• chi-kwadraat verdeeld met 1 vrijheidsgraad (df)

hier: 2x p < 0.001 à zeer waarschijnlijk dat beide coëfficiënten verschillend van 0 zijn in populatie

Odds ratio

regressiecoëfficiënten

• • b₀ = – 3.9 (constante)
  • b₁ = 0.12

interpretatie regressiecoëfficiënten

• • coëfficiënten worden niet direct geïnterpreteerd
  • interpretatie via de odds ratio: exp(b) = e^b

hier: e^0.12  = 1.126 en e^-3.9  = 0.021 (odds > 1 omdat b1 > 0)

Voorspellen

Classificatietabel

hoe goed is regressiemodel?

à geen R² maar classificatietabel

beslisregel voorspelling

• als P₁ < 0.5 àindividu gezakt (0)
• als P₁ ≥ 0.5 àindividu geslaagd (1)

correct voorspeld          (vergelijk met random = 50% correct)

• gezakt: 90/123 = 73.2%
• geslaagd:           279/298 = 93.6%
• totaal:                369/421 = 87.6%           

correct voorspeld

• basisstatistiek

geavanceerder

• negatief voorspellende waarde (NVW) = de kans dat een individu daadwerkelijk zakt gegeven een negatieve voorspelling

• positief voorspellende waarde (PVW) = de kans dat een individu daadwerkelijk slaagt gegeven een positieve voorspelling

Kans op slagen = kans op zakken

bij welk aantal studie-uren

geldt P₁ = P₀?

wanneer is kans op slagen

gelijk aan kans op zakken?

oplossen:  –3.9 + 0.12*studie-uren = 0

à studie-uren = 3.9/0.12 = 32.5

Odds

de odds van een gebeurtenis

• de ratio van de kans dat de gebeurtenis plaatsvindt tot de kans dat de gebeurtenis niet plaatsvindt

als p is de kans dat een gebeurtenis plaatsvindt

dan 1 – p de kans dat de gebeurtenis niet plaatsvindt

en

eigenschappen

• kans ligt tussen 0 en 1; odds liggen tussen 0 en oneindig
• odds = 1 à kans op slagen = kans op zakken

Voorbeelden odds

kans op slagen tentamen P₁ = 0.8

dan zijn de odds van slagen:

kans op slagen is 4 maal zo groot als kans op zakken

kans op slagen tentamen P₁ = 0.33

dan zijn de odds van slagen:

kans op slagen is een half maal zo groot als kans op zakken

ofwel, kans op zakken is 2 maal zo groot als kans op slagen

Meer odds

logistische regressievergelijking:

uren                     P₁          odds    

10                        0.063    0.068   

25                        0.287    0.403

30                        0.422    0.731

43                        0.775    3.435

50                        0.888    7.901

60                        0.963    25.97                 

Odds ratio

odds ratio (OR) van een voorspeller

• ratio van twee odds
• factor waarmee odds veranderen bij toename van één eenheid voorspeller

iedere voorspeller in LRA heeft een OR

• niet de coëfficiënt b wordt geïnterpreteerd maar de OR van b

bijv.: als b = 0.12, dan OR = exp(b) = e^0.12  = 1.13

• voorspelde odds van slagen worden factor 1.13 groter als je één uur extra studeert

Odds ratio voor k eenheden

OR(1) = e^0.12  = 1.13

waarbij (1) staat voor één eenheid

à toename in odds van slagen als je 1 uur extra studeert

OR voor k eenheden:    OR(k) = OR(1)^k

OR(10) = OR(1)¹⁰ = (1.13)¹⁰ = 3.3

à voorspelde odds van slagen 3.3 keer zo groot als je 10 uur extra studeert

OR(20) = OR(1)²⁰ = (1.13)²⁰ = 11

à voorspelde odds van slagen 11 keer zo groot als je 20 uur extra studeert

Odds ratio 2 groepen

odds ratio (OR) = ratio van twee odds   

kans op slagen tentamen (algemeen)

• vrouwen:           P₁ = 0.8
• mannen:            P₂ = 0.6

odds van slagen tentamen = p/(1 – p)

• vrouwen:           P₁ /(1 – P₁) = 0.8/0.2 = 4

     àkans op slagen 4 maal zo groot dan kans op zakken

• mannen:            P₂ /(1 – P₂) = 0.6/0.4 = 1.5

     àkans op slagen 1.5 maal zo groot dan kans op zakken

odds ratio (OR) = ratio van twee odds   

odds van slagen tentamen

• vrouwen:           0.8/0.2 = 4
• mannen:            0.6/0.4 = 1.5

odds ratio

• vrouwen t.o.v. mannen:             4/1.5 = 2.67

     à odds van slagen 2.67 maal zo groot voor vrouwen dan voor mannen

• mannen t.o.v. vrouwen:             1.5/4 = 0.38

     à odds van slagen 0.38 maal zo groot voor mannen dan voor vrouwen

     à odds van slagen 2.67 maal zo klein voor mannen dan voor vrouwen

Regressievergelijking

met regressievergelijking niet altijd makkelijk werken

alternative manier van opschrijven mogelijk: logit

transformeer naar odds:

transformeer met natuurlijk logarithme:

(uitspraak log odds) Voorspelde log odds van slagen

Geschatte regressievergelijking

Regressiecoëfficiënten

• • b₀ = – 6.6 (constante)
  • b₁ = 0.13
  • b₂ = 0.50

alternatieve regressievergelijking: 

              ln(odds) = b₀ + b₁*studie-uren + b₂*hoorcolleges

invullen geeft

              ln(odds) = -6.6 + 0.13*studie-uren + 0.50*hoorcolleges

Assumpties

twee assumpties

• logit (log/ln odds) van afhankelijke variabele is a linear combinatie van de voorspellers
• scores zijn onafhankelijk

beide worden vaak niet gecheckt in de praktijk