Wat is meervoudige regressie? - Chapter 11

In veel gevallen wordt variabele y beïnvloed door meerdere verklarende variabelen. Stel bijvoorbeeld dat je cijfers op een rekentoets wilt voorspellen. In dat geval kun je kijken naar verschillende verklarende variabelen: IQ, motivatie en werkhouding.

Wat is multipele regressie?

Het simpele lineaire regressiemodel gaat ervan uit dat het gemiddelde van responsvariabele y afhangt van x. De bijbehorende formule is: µ_y= β₀+ β₁x. Als we echter gebruik maken van meerdere predictoren, dan gebruiken we een andere formule:

• µ_y= β₀+ β₁x₁ + β₂x₂+ … + βpxp.

Bij simpele lineaire regressie is er maar één voorspeller, waardoor de observaties samengevat kunnen worden als (x_i, y_i). Als er meerdere voorspellers zijn, dan maken we gebruik van de notatie x_ij. In dit verband staat j voor de j-ste variabele en i voor het i-ste geval (case).

Hoe bepaal je de regressielijn voor meerdere voorspellers?

We combineren de regressielijn voor de populatie en de aannames over variantie om een meervoudig lineair regressiemodel te maken. De subpopulatie-gemiddelden gaan over het fit-gedeelte van het model. Het residu-gedeelte gaat over de variantie die niet verklaard kan worden aan de hand van het model. We gebruiken ook hier het symbool ε als we het hebben over in hoeverre een individuele observatie afwijkt van het subpopulatie-gemiddelde. Deze afwijkingen zijn normaal verdeeld met een gemiddelde van 0 en een onbekende standaarddeviatie die niet afhangt van de waarden van x. Dit zijn aannames die we kunnen verifiëren door de residuen te bestuderen.

• Het statistische model voor multipele lineaire regressie is: y_i= β₀+ β₁x_i1 + β₂x_i2+ … + β_px_ip + ε_i.

• De gemiddelde respons µy is een lineaire functie van alle verklarende variabelen: µ_y = β₀+ β₁x₁ + β₂x₂+ … + β_px_p.

• De afwijkingen (ε_i) zijn normaalverdeeld met een gemiddelde van 0 en standaarddeviatie σ. We kunnen dit samenvatten als N(0,σ). De parameters van het model zijn β₀+ β₁, β₂, …, β_p en σ.

Hoe schat je parameters bij multipele regressie?

Zoals bij simpele lineaire regressie maken we bij het schatten van parameters (β) gebruik van steekproefwaarden (b). De details zijn echter wat ingewikkelder.

• b₀, b₁, b₂,…, b_p worden gebruikt om β₀, β₁, β₂,… β_p te schatten.

• Voor de i-ste observatie is de voorspelde y (ŷ_i): b₀+ b₁x_i1 + b₂x_i2 + …+ b_px_ip.

• Het i-ste residu (e_i) is het verschil tussen de geobserveerde en de voorspelde respons= y_i- ŷ_i. Dit is hetzelfde als: y_i-b₀ - b₁x_i1 - b₂x_i2 - …- b_px_ip.

• Vervolgens moet de volgende formule gebruikt worden: Σ(y_i-b₀ - b₁x_i1 - b₂x_i2 - …- b_px_ip)². Dit betekent dat alle residuen gekwadrateerd moeten worden om niet op 0 uit te komen.

• De parameter σ² wordt geschat aan de hand van s². We vinden s² als volgt: Σe²_i /n-p-1. In deze formule staat n voor de steekproefgrootte en p voor het aantal predictoren. Om de standaarddeviatie (σ) te vinden trekken we de wortel uit s².

Hoe bereken je betrouwbaarheidsintervallen voor multipele regressie?

We kunnen betrouwbaarheidsintervallen berekenen en significantietoetsen uitvoeren voor de regressiecoëfficiënten van alle predictoren (β_j).

• Het betrouwbaarheidsinterval voor β_j is b_j± t*SE_bj. In deze formule is SE_bj de standaardfout van b_j en t* is de waarde van t(n-p-1).

• Om de hypothese β_j=0 te toetsen berekenen we een t-toets:

• t = b_j/ SE_bj. De alternatieve hypothese kan zowel eenzijdig als tweezijdig zijn.

Wat is de ANOVA-tabel voor multipele regressie?

Omdat er sprake is van meerdere predictoren bij multipele regressie, worden de vrijheidsgraden voor SS_M en SSE op een andere manier berekend:

Hoe voer je significantietoetsen uit voor regressiecoëfficiënten bij multipele regressie?

• Bij multipele regressie kunnen we de nulhypothese toetsen die stelt dat alle regressiecoëfficiënten 0 zijn: β₁= β₂=…= β_p= 0. De nulhypothese zegt dus eigenlijk dat geen van de x-variabelen een voorspeller is van de y-variabele.

• De alternatieve hypothese stelt dat tenminste één van de regressiecoëfficiënten (β_j) niet 0 is. Deze hypothese zegt eigenlijk dat minstens één van de x-variabelen een voorspeller is van de y-variabele.

• De F-toets wordt als volgt gevonden: MS_M/MSE. Als de nulhypothese waar is, dan heeft F de F(p, n-p-1) distributie.

• Tot slot kunnen we berekenen hoeveel variantie in y wordt verklaard door alle verklarende variabelen tezamen: R² = SS_M/SS_T.