Wat is logistische regressie? - Chapter 14

Hieronder worden enkelvoudige en multipele regressiemethoden besproken die gebruikt worden wanneer de responsvariabele maar twee mogelijke waarden (1, bijvoorbeeld succes en 0, mislukking) kan aannemen. Het gemiddelde is de proportie van enen (p = P(succes)). Wat er nieuw is, is dat we nu data hebben voor een onafhankelijke variabele x. Er wordt bestudeerd hoe p van x afhangt.

Wat is het logistische regressiemodel?

Logistische regressie werkt meer met kansverhoudingen (odds) dan met proporties. Een kansverhouding is de verhouding van de proporties van de twee mogelijke uitkomsten p̂ en 1- p̂. p̂ staat voor populatiekansverhoudingen.

\[ odds = \frac{\hat{p}}{1 - \hat{p}} \]

Bij enkelvoudige lineaire regressie wordt het gemiddelde m van de responsvariabele y beschreven als een lineaire functie van de onafhankelijke variabele: µ = ß₀ + ß₁X . Bij logistische regressie zijn we geïnteresseerd in het gemiddelde van de responsvariabele p = ß₀ + ß₁X .

Dit is echter geen goed model. Zolang ß₁ ≠ 0, zouden extreme waarden van x waarden opleveren die niet tussen 0 en 1 zijn. De oplossing hiervoor is het transformeren van p naar een kansverhouding. Vervolgens wordt het logaritme genomen van de kansverhouding. De term logaritmische kansverhouding (log odds) wordt hiervoor gebruikt.

\[ log (\frac{p}{1 - p}) = \beta_{0} + \beta_{1}X \]

Dit is het Logistische Regressiemodel.

Logistische regressie met een indicator is een speciaal geval. Een indicator is een geslachtsvariabele; 0 = vrouw, 1 = man. Voor mannen is het model:

\[ log (\frac{p_{mannen}}{1 - p_{mannen}}) = \beta_{0} + \beta_{1}X \]

En voor vrouwen:

\[ log (\frac{p_{vrouwen}}{1 - p_{vrouwen}}) = \beta_{0} \]

ß₁ ontbreekt in het model voor vrouwen, want x = 0 hier. De helling in het logistische regressiemodel is het verschil tussen de log (odds) voor mannen en de log (odds) voor vrouwen. Het is lastig om te denken in de log (odds) schaal, daarom wordt er een transformatie gebruikt die het interpreteren van de resultaten eenvoudiger maakt:

\[ X = \frac{odss_{mannen}}{odds_{vrouwen}} \]

De logistische regressie wordt hierin getransformeerd tot een odds-verhouding en maakt het logaritme ongedaan. Dit is ook uit te drukken als:

\[ odds_{mannen} = X * odds_{vrouwen} \]

Welke methoden zijn er voor logistische regressie?

De methoden voor logistische regressie lijken sterk op de methoden voor enkelvoudige lineaire regressie. Er worden schattingen gemaakt van de modelparameters en van standaardfouten. Ook betrouwbaarheidsintervallen worden op dezelfde manier gevormd. Alleen worden standaardnormale z- waarden meer gebruikt dan kritische waarden van de t-verdelingen. De verhouding van de geschatte standaardfouten is de basis voor hypothesetoetsen.

Hoe bepaal je betrouwbaarheidsintervallen voor logistische regressieparameters?

Het betrouwbaarheidsinterval voor de helling ß₁ is:

\[ b_{1} \pm z * SE_{b1} \]

Het betrouwbaarheidsinterval voor de odds-verhouding e^β1 is:

\[ e^{b_{1} - z * SE_{b1}} , ... e^{b_{1} + z * SE_{b1}} \]

z* is de waarde voor de standaardnormale dichtheidscurve met een gebied tussen - z* en + z* . Om de nulhypothese H₀ : ß₁ = 0 te toetsen moet men de toetsstatistic uitrekenen.

\[ X^{2} = (\frac{b_{1}}{SE_{b1}})^{2} \]

De p-waarde voor een toets van de nulhypothese tegen de alternatieve hypothese is: P (x² ≥ X²).

Vaak wordt een 95%-betrouwbaarheidsinterval gehanteerd en een significantieniveau van 0.05. Het betrouwbaarheidsinterval geeft het resultaat van het toetsen van de nulhypothese, die stelt dat de odds- verhouding 1 is. Wanneer 1 niet in het betrouwbaarheidsinterval voorkomt, wordt H₀ verworpen. De odds voor de twee groepen zijn dan verschillend.

Wanneer gebruik je multipele logistische regressie?

Multipele logistische regressie wordt toegepast wanneer er sprake is van meer dan één onafhankelijke variabele. Andere onafhankelijke variabelen kunnen aanvullende informatie bevatten, waardoor een betere voorspelling gedaan kan worden. De statistische concepten zijn hetzelfde als bij enkelvoudige lineaire regressie, maar de berekeningen zijn complexer.

De nulhypothese is hier: H₀ : ß₁ = ß₂ = ß₃ = … = ß_i