Wat is multipele regressie?

Het voorspellen en verklaren van (causale) relaties kan ook belangrijk zijn als er meer dan twee variabelen zijn, omdat een fenomeen vaak veroorzaakt wordt door meerdere factoren. Het is goed met zoveel mogelijk factoren rekening te houden. Het gebruik van multipele regressie heeft op dit gebied drie voordelen boven het gebruik van Pearson correlaties.

In de eerste plaats geeft het ons informatie over de optimale voorspelling van Y aan de hand van een combinatie van X-variabelen. Daarnaast kunnen we vaststellen hoe goed onze voorspelling is, door te kijken wat de totale bijdrage is van de set predictoren aan de voorspelling. Tenslotte kunnen we vaststellen hoe goed elke individuele predictor is, dus wat de bijdrage is van elke predictor aan de voorspelling. Het is belangrijk om op te merken dat de meest optimale voorspelling niet per definitie een correcte voorspelling hoeft te zijn. Het laatste voordeel kan gebruikt worden om duidelijker een causale relatie vast te stellen of te kijken of het toevoegen van een predictor toegevoegde waarde heeft.
De formule voor multipele regressie is als volgt: = b₀ + b₁X₁ + b₂X₂ + … + b_pX_p

Multipele correlaties

De multipele correlatie (R) heeft altijd een waarde tussen 0 en 1, en kan dus niet negatief zijn in tegenstelling tot de pearson correlatie. R² verwijst naar de proportie verklaarde variantie van Y, waarbij een hogere R² wijst op een betere voorspelling. Om te corrigeren voor een overschatting van de gedeelde variantie kan gebruik gemaakt worden van de adjusted R². Deze wordt als volgt berekend: 1 - ((1-R²)(N-1)/(N-p-1)). De voorspellers kunnen dus gedeelde en unieke variantie hebben. Deze unieke variantie kan worden weergegeven met gekwadrateerde semi-partiële correlaties. Soms is er sprake van suppressie, waarbij de unieke bijdrage van een variabele na correctie voor een andere variabele groter is dan de bijdrage zonder correctie. In andere woorden, het echte effect van X₁ op Y werd onderdrukt door de relaties van X₁ en Y met X_2.

Partiële en semi-partiële correlatie

De (semi-)partiële correlatiecoëfficiënten controleren voor het effect van één of meer andere variabelen.

Partiële correlatie

De partiële correlatie r_01.2 is de correlatie tussen twee variabelen met één of meer variabelen weggenomen uit zowel X als Y. Stel dat we de relatie tussen inkomen en schoolprestaties onderzoeken. We vinden een significante correlatie tussen de twee. Dit betekent nog niet dat succes op school leidt tot een hoger inkomen. Het zou verklaard kunnen worden door IQ: dit leidt zowel tot hogere schoolprestaties als een hoger inkomen. De manier om dit te onderzoeken is de partiële correlatie te berekenen tussen schoolprestatie en inkomen, met IQ weggehaald uit beide variabelen.

Voor de partiële correlatie doen we een aparte regressieanalyse op beide variabelen met de te controleren variabelen (in het voorbeeld: inkomen op IQ en schoolprestatie op IQ). Van beide analyses nemen we het residu. Dit is het deel van de variatie dat niet wordt verklaard door IQ. De correlatie hiertussen is de partiële correlatie.

De notatie voor de partiële correlatiecoëfficiënt is r_01.23..p, waarbij links van de punt de gecorreleerde variabelen staan en rechts van de punt de variabelen waarvoor is gecontroleerd.

De partiële correlatie in het kwadraat geeft de verklaarde variatie.

Semi-partiële correlatie

De semi-partiële correlatie wordt ook wel de deelcorrelatie genoemd. Het is de correlatie tussen de criterium Y en een gecontroleerde (partialled) predictor variabele. Waar de partiële correlatie dus een variabele wegneemt uit zowel criterion als de predictor, doen we dat hier alleen uit de predictor. De semi-partiële correlatie is de correlatie van Y met dat deel van X₁ dat onafhankelijk is van X₂ (het residu)_.

De notatie voor de semi-partiële correlatie is: r_0(1.2) waarbij we variabele 2 weghalen uit predictor 1. Voor de correlatie geldt: r²_0(1.2) = R²_0.12 - r²₀₂.

Constante en regressiegewichten

De constante heeft over het algemeen geen intrinsieke waarde voor psychologen en is daarom moeilijk te interpreteren. Ook de interpretatie van de regressiegewichten kan problematisch zijn, omdat de meeteenheden vaak arbitrair zijn. Dit maakt het ook lastig om te bepalen welke voorspeller het meest belangrijk is. Dit laatste probleem kan worden opgelost door het gebruiken van gestandaardiseerde regressiegewichten. Gestandaardiseerde regressiegewichten krijgen het teken β. Op deze manier ben je onafhankelijk van meeteenheden en kun je verschillende voorspellers goed vergelijken. Dit heeft echter als negatieve consequentie dat je afhankelijk wordt van de standaardafwijking binnen samples, wat met name problematisch is als je verschillende studies met elkaar wilt vergelijken. Regressiegewichten zijn altijd partieel, wat betekent dat ze alleen geldig zijn zolang alle variabelen zijn meegenomen in de vergelijking, dus als er voor de effecten van alle andere variabelen gecorrigeerd wordt. Je kunt de regressiegewichten dus niet als losstaand iets bekijken, maar alleen in de context.

Testen: van samples naar populaties

Tot dusver hebben we alleen gekeken naar beschrijvende statistiek. We kunnen echter ook gebruik maken van inferentiële statistiek om uitspraken te doen over de populatie waaruit de sample afkomstig is. Om te bepalen of de totale bijdrage van alle variabelen verschilt van nul kan een F-test gebruikt worden. Om vast te stellen wat de unieke bijdrage van elke predictor is kan er voor iedere voorspeller een t-test uitgevoerd worden. Hoe meer voorspellers, hoe groter de kans op type 1 fouten.

Daarom wordt de algemene F-test als een soort ‘gatekeeper’ gebruikt om te bepalen of de t-tests overwogen moeten worden. Als de F-toets significant is, worden t-testen gedaan. De F-toets wordt als volgt berekend: F = ((N-p-1)R²)/p(1-R²) met N onderwerpen/proefpersonen/(in dit geval staten) en p predictoren. Er zijn p en N-p-1 vrijheidsgraden bij betrokken.

Voor de t-toets hebben we de standaardfout van de statistiek nodig. Dit is de variabiliteit van de statistiek over de herhaalde steekproeven. De toets is als volgt:

t = (b_j - b_j*)/s_bj met N - p - 1 vrijheidsgraden.

Om de nulhypothese: b_j* = 0 te testen gebruiken we t = b_j/s_bj

Assumpties

Er zijn verschillende assumpties waaraan voldaan moet worden:

1. De afhankelijke variabele moet van intervalniveau zijn; voorspellers kunnen binair of op intervalniveau zijn.
   • Het voldoen aan deze assumptie is vrijwel onmogelijk, maar belangrijk voor correcte interpretatie. Gelukkig is multipele regressie over het algemeen vrij robuust voor kleine afwijkingen van het intervalniveau.
2. Er bestaat een lineaire relatie tussen de voorspellers (X_is) en de afhankelijke variabele.
   • Met standaard multipele regressie kunnen alleen lineaire relaties worden gevonden (en bijvoorbeeld geen curvi-lineaire relaties). Afwijkingen kunnen worden vastgesteld met een residual plot.
3. De residuen hebben (a) een normale distributie, (b) dezelfde variantie voor alle waarden van de lineaire combinaties van voorspellers en (c) zijn onafhankelijk van elkaar.

De assumptie van normaal verdeelde residuen is niet erg belangrijk om na te gaan, omdat regressietesten robuust zijn tegen schending ervan als de sample groot genoeg is (N>100). Meestal wordt deze assumptie gecontroleerd met een histogram. De assumptie van heteroscedasticiteit (3b) moet wel gecontroleerd worden, omdat regressie niet robuust is tegen schending hiervan. Hiervoor kan gebruik gemaakt worden van een residuenplot. De laatste assumptie (onafhankelijkheid van fouten, 3c) is erg belangrijk, maar lastig te controleren. Gelukkig wordt aan deze assumptie bij de meeste onderzoeksdesigns voldaan. Het controleren van assumpties is altijd afhankelijk van het oordeel van onderzoekers en kan dus door iedereen verschillend geïnterpreteerd worden.

Multicollineariteit en uitschieters

Uitschieters zijn scores van drie of meer standaardafwijkingen boven of onder het gemiddelde. Het is belangrijk om na te gaan waarom de score van een individu een uitschieter is in de analyse. Daarnaast kunnen uitschieters een disproportionele invloed hebben op de regressiegewichten. Als je besluit om uitschieters te verwijderen uit de analyse, is het goed om hier in de rapportage duidelijk over te zijn en expliciet aan te geven waarom je hiervoor gekozen hebt.

Er kunnen zich verschillende problemen voordoen als correlaties tussen voorspellende variabelen te sterk zijn. Soms geeft de regressie helemaal geen resultaten. In andere gevallen zijn de schattingen onbetrouwbaar of is het moeilijk om de resultaten te interpreteren. Om op multicollineariteit te controleren kun je kijken naar de tolerantie van elke voorspeller (moet groter zijn dan 0.10). Tolerantie wordt berekend door 1 - R²_j, waarbij R_j de multipele correlatie is tussen variabele j en alle andere predictor variabelen. Ook kan je kijken naar de VIF, deze bereken je door 1/tolerantie. Deze moet zo laag mogelijk zijn, in ieder geval kleiner dan 0.10.

Mediërende en modererende relaties

In de psychologie zijn vaak mediatoren en moderatoren van belang: variabelen die een rol spelen in de relatie tussen twee andere variabelen.

Mediatie

Een mediator medieert de relatie tussen twee andere variabelen. Bijvoorbeeld: de mate van zelfvertrouwen die ik heb medieert tussen de hoeveelheid zorg die ik van mijn ouders heb gehad en hoe ik zelf denk over het opvoeden van mijn kinderen. (Verzorgende ouders leidt tot hoog zelfvertrouwen, leidt tot vertrouwen in zelf opvoeden).

Baron en Kenny hebben veel geschreven over mediatie. Er zijn volgens hen drie stappen die moeten voldoen, wil er sprake zijn van mediatie. Zij stellen dat we eerst moeten aantonen dat de onafhankelijke variabele een significante relatie heeft met de mediator. Daarna moet een significante relatie worden aangetoond tussen mediator en afhankelijke variabele, en tussen de onafhankelijke en de afhankelijke variabele. De volgende stap is demonstreren dat wanneer de mediator en onafhankelijke variabele samen gebruikt worden om de afhankelijke te voorspellen, het pad tussen onafhankelijke en afhankelijke variabele (c) minder sterk (liefst niet-significant) wordt.

Maar wanneer pad ‘c’ niet helemaal verdwijnt en nog significant is, wat dan? Een manier is de Sobel test, waarbij we vragen of het volledige mediërende pad van onafhankelijke naar mediator naar afhankelijke variabele significant is. Hiervoor hebben we de regressie-coëfficiënten en standaardfouten van de twee paden nodig.

De standaardfout van de Beta (s_β) wordt niet gegeven en moeten we dus berekenen:t = β/s_β dus s_β = β/t

Moderatie

Bij modererende relaties verandert de relatie tussen onafhankelijke en afhankelijke variabele, door de derde (moderator)variabele. Bijvoorbeeld: we onderzoeken de invloed van dagelijkse stress-events op het aantal symptomen van stress dat een student aangeeft. Daarbij stellen we dat wanneer de student veel sociale steun heeft (in zijn omgeving), hij minder symptomen laat zien dan iemand met weinig sociale steun.