Hoe wordt de relatie tussen variabelen berekend? - Chapter 9

De voorgaande hoofdstukken gingen over de verschillen tussen steekproefgemiddelden. Dit hoofdstuk begint met onderzoek naar relaties tussen variabelen. Het verschil is dat er bij verschillen tussen gemiddelden vaak maar weinig kwantitatieve of kwalitatieve niveaus van de onafhankelijke variabele gebruikt worden, terwijl bij relaties tussen variabelen er meestal veel kwantitatieve niveaus zijn. Vaak gaat het hierbij om het aantonen dat de afhankelijke variabele een bepaalde functie is van de onafhankelijke variabele.

Correlatie en regressie zijn twee onderwerpen die sterk verweven zijn, maar toch anders zijn. Bij simpele correlatie en regressie kijken we naar N participanten die voor twee variabelen geobserveerd of getest zijn. Stel dat we kijken naar rensnelheid van een muis in een doolhof (Y). Dit is een willekeurige variabele waarover we geen controle hebben. Wanneer we de relatie van Y bekijken met het aantal keer dat de rat op een knopje drukt voordat het uiteindelijk lukt (X), hebben we twee willekeurige, niet te beïnvloeden variabelen. In dat geval gebruiken we de term correlatie. Beide variabelen zullen variëren per experiment (het zijn random variabelen) en hebben een steekproef error.

In het geval waar X een van tevoren bepaalde variabele is, gespecificeerd door de onderzoeker (bijvoorbeeld: het aantal voedselkorrels dat de rat krijgt per goed gelukte poging), spreken we van regressie.

Dit onderscheid gaat niet altijd op. Soms is regressie het doel als beide variabelen random zijn. Een ander verschil tussen correlatie en regressie is, dat wanneer we Y willen voorspellen op basis van X, we spreken van regressie. Maar, als we alleen de relatie tussen twee variabelen willen weergeven (zonder enige invloed te hebben), spreken we van correlatie.

Waarvoor wordt een scatterplot gebruikt?

Een handige manier om de relatie tussen twee variabelen te onderzoeken is met een scatterplot. Elke proefpersoon wordt daarbij weergegeven door een stip met coördinaten, die de waarden op variabelen X en Y aangeven.

Normaliter staat de voorspellende variabele op de X-as en de criterium variabele op de Y-as. De criterium variabele wordt voorspeld vanuit de voorspellende variabele. Als het echter om een correlatiecoëfficiënt gaat, is het niet altijd duidelijk welke variabele X en welke variabele Y is. In dit geval maakt het niet uit hoe de variabelen gelabeld worden. In een scatterplot wordt zo goed mogelijk een lijn door de puntenwolk getrokken. Die lijn heet de regressielijn van Y voorspeld door X (oftewel Y op X) en geeft de beste voorspelling van Y_i voor een X_i-waarde. Wanneer de regressielijn recht is, heet de relatie tussen de variabelen een lineaire relatie. Is de lijn krom, dan is er sprake van een curvilineaire relatie.

De mate waarin de punten in de puntenwolk om deze regressielijn liggen is gerelateerd aan de correlatie (r) tussen X en Y. Hoe dichter de punten (de behaalde resultaten) bij de regressielijn liggen (de voorspelde waarde), hoe hoger de correlatie. Het correlatiecoëfficiënt kan vorm aannemen tussen de -1 en 1, waarbij een perfecte correlatie 1.00 is (en alle punten op de lijn liggen). + of - geeft de richting van de relatie aan en beïnvloedt niet de mate van de relatie.

Een voorbeeld

Stel dat we de relatie tussen stress en mentale gezondheid onderzoeken. Dit laatste meten we met een checklist. Ten eerste is het belangrijk te onderzoeken of beide variabelen normaal verdeeld zijn en weinig extreme waarden hebben. Voor een onderzoek naar correlatie moeten beiden wat variantie hebben (anders is het niet mogelijk om verschillen in stress te vergelijken met verschillen in mentale gezondheid).

Hoe wordt de covariantie berekend?

De eerste stap voor het berekenen van de correlatie is het berekenen van de covariantie (cov_xyof s_xy), die de mate weergeeft waarin twee variabelen samen variëren.

\[cov_{xy}=\frac{\sum(X-X)(Y-Y)}{N-1}\]

Het lijkt erg op de variantie, want als de Y’s vervangen worden door X’en (of de X’en vervangen door Y’s) krijgen we s²_x (of s²_y). De formule wordt ook wel gegeven door:

\[\frac{\sum{XY}-\frac{\sum{X}\sum{Y}}{N}}{N-1}\]

We verwachten een sterk positieve relatie: grotere waarden van X (stress) geven grotere waarden van Y (mentale gezondheid). Dit zal een grote covariantie-waarde geven. Als er sprake geweest was van een sterke negatieve relatie, zou de som van de producten van de afwijkingen van gemiddelden groot en negatief zijn. Als er geen relatie is tussen de variabelen zal de som uitkomen rond de nul. De covariantie van het voorbeeld is 1,336.

De Pearson product-moment correlatiecoëfficiënt (r)

Om de correlatiecoëfficiënt te berekenen, moeten we nog rekening houden met de standaarddeviaties van X en Y.

\[r=\frac{cov_{XY}}{s_Xs_Y}\]

De correlatie loopt van -1,00 tot 1,00.

Uit het voorbeeld komt een correlatie van r = .529. Dit betekent niet dat er 53% relatie is tussen stress en symptomen. Het geeft alleen de sterkte van de relatie aan tussen de twee variabelen; hoe dichterbij de ± 1,00, hoe sterker de relatie. De + en - geven de richting van de relatie aan, waarbij een positieve correlatie aangeeft dat als X hoger is, Y ook hoger is.

Aangepaste r

De r die net is berekend, is geen goede schatting van de correlatiecoëfficiënt van de populatie (ρ – rho). Zeker bij een klein aantal observaties zal de coëfficiënt r afwijken van ρ. Om hiervoor te corrigeren, berekenen we de aangepaste correlatiecoëfficiënt r_aang:

\[r_{aang}:\sqrt{1-\frac{(1-r^2)(N-1)}{N-2}}\]

Voor het voorbeeld geldt een aangepaste r van .522. Dit ligt niet ver af van de Pearson correlatie r (.529). Wanneer de steekproef vrij groot is, zal r weinig afwijken van r_aang.

Wat laat een regressielijn zien?

De positieve relatie die werd aangetoond met r = .529, is ook af te leiden met de regressielijn. Een positieve relatie zal een stijgende lijn laten zien. De formule voor de regressielijn is die voor een rechte lijn:

\[\hat{Y}=bX+a\]

• Ŷ = de voorspelde waarde van Y
• b = de helling van de regressielijn (hoeveel Ŷ verandert bij een één-eenheid-verschil in X)
• a = het snijpunt (de waarde van Ŷ waar X=0)
• X = de waarde van de voorspellende variabele

De regressielijn moet die lijn worden, die het best over de puntenwolk past: de lijn waar alle puntscores zo dicht mogelijk bij liggen. Om die lijn te vinden, moeten we a en b weten. We moeten hierbij gebruik maken van de errors van voorspelling, namelijk de (Y-Ŷ) afwijkingen. Dit wordt ook het residu genoemd. De lijn die deze errors minimaliseert, is de lijn die we zoeken. Deze som van errors kunnen we echter niet minimaliseren, dus doen we dat met de som van gekwadrateerde errors, ∑(Y -Ŷ). De normale vergelijkingen voor a en b zijn.

\[a=\hat{Y}-\bar{X}\]

\[b=\frac{cov_{xy}}{s^2_x}\]

Om de regressielijn te trekken kunnen twee X-waarden getekend worden, met bijbehorende berekende Ŷ-waarden en deze punten kunnen met een rechte lijn verbonden worden.

Interpretatie van de regressielijn

Soms is alleen de regressievergelijking al informatief, zoals in het voorspellen van een score op het examen gebaseerd op eerdere resultaten. Meestal willen we echter geen individuele voorspellingen weten, maar algemenere principes achterhalen. Daar is de regressielijn ook nuttig bij.

Snijpunt

Het snijpunt is het punt van Ŷ waar X = 0. Dit kan een nuttige betekenis hebben, maar alleen als de variabele X daadwerkelijk betekenisvol is. Stel dat we kijken naar de relatie tussen eigenwaarde (Y) en gewichtsverlies (X), dan kunnen we uit het snijpunt afleiden hoeveel eigenwaarde een persoon heeft die geen gewicht heeft verloren. Maar, als X het gewicht zelf weergeeft, is het onzin te kijken naar eigenwaarde van iemand die 0 kilo weegt. In dat geval is het zinnig om de data te centreren: van elke waarde van X trek je het gemiddelde van X af. Hierdoor representeert X = 0 het gemiddelde X, en het snijpunt geeft dan de waarde van Y bij X is het gemiddelde. Dit centreren heeft geen effect op de helling of correlatiecoëfficiënt.

Gestandaardiseerde regressie coëfficiënten

Wanneer de data gestandaardiseerd wordt geeft een verschil van één eenheid in X een verschil van één standaarddeviatie weer. Als de helling bijv. 0,75 is (voor gestandaardiseerde data) zal voor elke standaarddeviatie toename in X, Ŷ drie kwart standaarddeviaties toenemen. De helling bij gestandaardiseerde data wordt gestandaardiseerde regressie coëfficiënt of β genoemd.

Bij gestandaardiseerde data geldt s_x = s_y = s²_x = 1, waarbij de helling en correlatiecoëfficiënt gelijk zijn. Een correlatie van r = .80 geeft dus aan dat één standaarddeviatie verhoging van X is geassocieerd met achttienden standaarddeviatie verhoging van Y. Er wordt echter nooit gesproken van oorzaak en gevolg. Het is een correlationeel verband.

Welke andere lijnen zijn belangrijk?

Een rechte lijn is niet altijd de beste manier om data te beschrijven. In sommige situaties is een kromme lijn beter. Hier zijn verschillende manieren voor die vallen onder scatterplot smoothers. Voorbeelden zijn splines en loess. Om tot de lijn te komen worden de Y waarden dichtbij de doelwaarde van de voorspeller gemiddeld. Soms geven deze lijnen een beter overzicht van de relatie tussen de variabelen.

Hoe accuraat is de voorspelling?

Standaarddeviatie als errormeting

De beste voorspelling voor een individueel geval is het gemiddelde en voor de error de standaarddeviatie van Y.

\[s_Y=\sqrt{\frac{\sum{(Y-\bar{Y})^2}}{N-1}}\]

De teller van de breuk is de sum of squares van Y (SS_Y). De noemer is het aantal vrijheidsgraden.

\[s^2_Y=\frac{SS_Y}{df}\]

Schatting van standaardfout

Wanneer we de relevante X-waarde en de regressievergelijking hebben, is de beste voorspelling voor een individu met Ŷ. De standaardfout is gegeven door de volgende formule:

\[S_{Y\times{X}}=\sqrt{\frac{\sum{(Y-\hat{Y})^2}}{N-2}}\]

De teller van deze breuk geeft de SS_residu, namelijk de variabiliteit na het voorspellen van Y uit X. S_Y∙X is de schatting van de standaardfout. Het kwadraat is de residuele variantie of errorvariantie.

De set Y’s die overeenkomen met een bepaalde X-waarde heet de conditionele verdeling van Y. Bij bovenstaande formule zou je voor elke observatie van Y de berekening moeten uitvoeren en dit bij elkaar optellen. Dit is onnodig veel werk, een veel snellere procedure maakt gebruik van de correlatie r².

\[S_{Y\times{X}}=s_Y\sqrt{(1-r^2)\frac{N-1}{N-2}}\]

Bij grote steekproeven is (N-1)/(N-2) ongeveer 1, waardoor s_Y∙X geschreven kan worden als:

\[\sqrt{1-r^2}\]

Uit deze formules is af te leiden dat als r toeneemt, de standaardschattingsfout afneemt. Daarom moet er altijd voorzichtigheid zijn bij het interpreteren van voorspellingen. Daarnaast geldt SS_residu = SS_Y(1-r²).

r² als maat voor variabiliteit

SS_residu kan ook op een andere manier worden weergegeven:

\[SS_Y-SS_Y(r^2)\]

Een andere formule voor r² is:

\[\frac{(SS_Y-SS_{residu})}{SS_Y}=\frac{SS_{\hat{Y}}}{SS_Y}\]

Stel dat we geïnteresseerd zijn in de relatie tussen rookgedrag (X) en leeftijd van overlijden (Y). Mensen sterven niet allemaal op hetzelfde moment, dus er is variatie in variabele Y, ongeacht het rookgedrag. Dit is de SS_y. Sommige mensen roken meer dan anderen, ongeacht leeftijd van overlijden. Dit is de SS_x. Het onderzoek toont aan dat rokers eerder overlijden dan niet-rokers, waar we een regressielijn van kunnen maken. Door die lijn kunnen we ook voorspellen hoe lang iemand te leven heeft (of voorspelde levensverwachting). Dit wordt vastgelegd in:

\[SS_{\hat{Y}}=\sum(\hat{Y}-Y)^2\]

De variabiliteit in Y verklaard door de variabiliteit in X. De laatste bron van variabiliteit in scores is die variantie in Y die we niet kunnen verklaren door X, en heet SS_residu.

Stel dat alle niet-rokers bij een leeftijd van 70 jaar overlijden, en alle rokers, terwijl ze allemaal evenveel roken, op 65 jaar. Alle variatie in levensverwachting is te voorspellen vanuit de variatie in rookgedrag, dus geldt:

\[SS_{\hat{Y}}=SS_Y\]

en SS_residu = 0. In alledaagse situaties is er altijd wat variatie die niet te voorspellen is door X. Wat we willen is specificeren welk percentage van de variatie in levensverwachting wel door X te voorspellen is, en daarvoor kunnen we r² gebruiken.

Stel dat we vinden dat de correlatie tussen roken en levensverwachting .80 is, dan is dus .802 = 64% van de variatie in levensverwachting te voorspellen door rookgedrag. Het geeft geen oorzaak-gevolg relatie aan. r² is makkelijker te interpreteren dan r, omdat het aangeeft hoeveel variabiliteit verklaard wordt door de variabiliteit in een andere meting. r² is de proportionele reductie in error. Als X niet gebruikt wordt op Y te voorspellen is de error SS_Y.

Soms wordt de proportionele verbetering in voorspelling (PIP) gebruikt:

\[1-\sqrt{(1-r^2)}\]

Het is de vermindering in geschatte standaardfout bij grote steekproeven en de reductie in breedte van het betrouwbaarheidsinterval. Het meet error in standaarddeviatie eenheden, terwijl r² error meet in sums of squares.

Welke assumpties moeten gedaan worden voor regressie en correlatie?

Ten eerste moet er sprake zijn van homogeniteit van varianties. Dit houdt in, dat de variantie van Y bij elke waarde van X even groot is (in de populatie). Dit is belangrijk wanneer we voor significantie testen met s²_Y∙X. Daarnaast moeten de waarden van Y overeenkomend met de bijbehorende X-waarden normaal verdeeld zijn rondom Ŷ. Wanneer we op zoek zijn naar de steekproefcorrelatie, vervangen we de regressie model assumpties met de assumptie dat we een steekproef trekken van een bivariate normaalverdeling. De conditionele verdelingen in deze verdeling zijn de verdelingen van Y en X gegeven een specifieke waarde van X of Y. Wanneer we kijken naar alle Y-waarden, onafhankelijk van X, spreken we van de marginale verdeling van Y. Als laatste gaan we er vanuit dat de relatie tussen X en Y lineair is.

Betrouwbaarheidsintervallen

Stel dat we een toekomstige participant onderzoeken op stressniveau, en dan zijn of haar symptomen willen voorspellen. Dan hebben we een voorspellingsinterval nodig, die zowel de variantie van Y, voorspeld door X, moet omvatten en de variantie van observaties. De standaardfout wordt gegeven door:

\[s'_{Y\times X}=s_{Y\times X}\sqrt{1+\frac{1}{N}+\frac{(X_i-\bar{X})^2}{(N-1)s^2_X}}\]

De teller van de breuk geeft de afwijking van de individuele score van het gemiddelde van X weer. De formule voor het voorspellingsinterval wordt dan:

\[CI(Y)=\hat{Y}\pm(t_{\frac{a}{2}})(s' _{Y\times X})\]

Dit interval is het smalst voor waarden van X dichtbij X̄, maar wordt breder als I X - X̄ I vergroot.

De standaardfout voor een betrouwbaarheidsinterval van gemiddelde Y voor een specifieke waarde van X is:

\[s"_{Y\times X}=s_{Y\times X}\sqrt{\frac{1}{N}+\frac{(X_i-\bar{X})^2}{(N-1)s^2_X}}\]

en dit geeft een betrouwbaarheidsinterval van:

\[CI(Y)=\hat{Y}\pm(t_{\frac{a}{2}})(s" _{Y\times X})\]

In SPSS kan je zowel het voorspellingsinterval als betrouwbaarheidsinterval krijgen door Save/Prediction Intervals - Mean and Individual.

Welke hypothesetesten worden gebruikt?

De significantie van r

Bij het hypothesetesten bij correlaties, wordt meestal de nulhypothese getest dat de correlatie tussen X en Y in de populatie, oftewel ρ, nul is. Het verwerpen van de nulhypothese betekent, dat er een correlatie is en dus een bepaalde lineaire relatie. Dit wordt bepaald met een t-toets:

\[t=\frac{r\sqrt{N-2}}{\sqrt{1-r^2}}\]

• met vrijheidsgraden N-2.

Veel onderzoekers rekenen in plaats van een t statistiek de F statistiek uit. Dit is simpelweg de t waarde in het kwadraat.

De significantie van b

Wanneer X en Y correleren, en er een lineaire relatie is, dan zal de helling van de regressielijn niet gelijk zijn aan nul en b een bepaalde waarde anders dan nul hebben. Dit is het geval bij één voorspellende variabele, maar wanneer er meerdere voorspellende variabelen zijn, hoeft de helling niet voor elk van deze variabelen significant te zijn.

b* is het parametrische equivalent van b, namelijk de helling als we X en Y metingen op de hele populatie hadden.

De standaardfout is:

\[s_b=\frac{s_{Y\times X}}{s_x\sqrt{N-1}}\]

Om te testen dat de populatiehelling nul is, gebruiken we de volgende formule voor t:

\[t=\frac{b-b*}{s_b}=\frac{b}{\frac{s_{Y\times X}}{s_X\sqrt{N-1}}}=bs_x\sqrt{N-1}\]

• met N-2 vrijheidsgraden.

Het betrouwbaarheidsinterval van b* is:

\[CI(b*)=b\pm(t_{\frac{a}{2}})(\frac{s_{Y\times X}}{s_X\sqrt{N-1}})\]

Verschil tussen twee onafhankelijke b’s

Het kan zijn dat je bij een onderzoek twee onderzoeksgroepen hebt met beide een andere helling. Met de volgende manier kan je testen of dit verschil in helling significant is.

H₀ = b*₁ = b*₂ en de steekproefverdeling van b₁ - b₂ is normaal met een gemiddelde van nul en standaardfout van:

\[s_{b_1-b_2}=\sqrt{s^2_{b_1}+s^2_{b_2}}\]

met:

\[t=\frac{(b_1-b_2)}{s^2_{b_1}+s^2_{b_2}}\]

met N1 + N2 - 4 vrijheidsgraden.

De standaardfout van b is in de vorige alinea behandeld en maakt de formule dus tot:

\[s_{b_1-b_2}=\sqrt{\frac{s^2_{Y\times{X_1}}}{s^2_{X_1}(N_1-1)}+\frac{s^2_{Y\times{X_2}}}{s^2_{X_2}(N_2-1)}}\]

Wanneer we uitgaan van homogeniteit van error varianties kunnen we de twee schattingen samennemen, gewogen naar vrijheidsgraden:

\[s^2_{Y\times X}=\frac{((N_1-2)s^2\times{Y\times{X_1}}+(N_2-2)s^2_{Y\times{X_2}})}{(N_1+N_2-4)}\]

Het verschil tussen twee onafhankelijke rs testen

Stel dat we twee onafhankelijke steekproeven hebben en de correlaties van beide steekproeven willen vergelijken. Als de correlaties van de bijbehorende populaties niet gelijk zijn aan nul (ρ ≠ 0), dan zullen de rs niet normaal verdeeld zijn en kunnen we geen t test uitvoeren. We moeten de correlaties eerst omvormen tot r’ (r accent):

• r’ = (0,5)loge |(1+r)/(1-r)|

r’ is wel normaal verdeeld rond ρ’ met standaardfout:

\[s_{r'}=\frac{1}{\sqrt{N-3}}\]

Hierna rekenen we de bijbehorende z-waarde uit:

\[z=\frac{(r'_1-r'_2)}{\sqrt{\frac{1}{N_1-3}+\frac{1}{N_2-3}}}\]

Wanneer de gevonden z waarde de kritieke waarde overschrijdt, verwerpen we de nulhypothese. De conclusie is daarbij, dat de correlaties van beide steekproefgroepen niet gelijk zijn.

Testen dat ρ gelijk is aan een bepaalde waarde

Om uit te rekenen of ρ gelijk is aan een bepaalde waarde, wordt de standaardfout:

\[\frac{1}{\sqrt{N-3}}\]

gebruikt met:

\[z=\frac{(r'-\rho')}{\sqrt{\frac{1}{N-3}}}\]

Hiernaast kan ook het betrouwbaarheidsinterval bepaald worden:

\[CI(\rho')=r'\pm z_{\frac{a}{2}}\sqrt{\frac{1}{N-3}}\]

Welke factoren beïnvloeden correlatie?

Range beperkingen

Sommige studies beperken de correlatie tussen X en Y. De scatterplot die van deze ‘beperkte’ waarden wordt gemaakt, zal nooit een perfecte weergave zijn van de eigenlijk behaalde scores. De daarover berekende correlatie zal dan ook afwijken. Meestal wordt r door het beperken van de range verkleind. Het kan echter vergroot worden als door de range beperkingen een curvilineaire relatie verdwijnt.

Heterogene subsamples

Soms worden in een steekproef verschillende variabelen samengenomen, zoals mannen en vrouwen, terwijl die ongelijk scoren op de afhankelijke variabele. Bijvoorbeeld bij het onderzoeken van lengte x gewicht. Mannen zijn over het algemeen langer en zwaarder dan vrouwen. De relatie tussen lengte en gewicht kan dus beïnvloed worden door het samennemen van beide geslachten, waardoor de gehele correlatie af kan wijken van de correlaties voor de geslachten apart.

Hoe bereken je de power voor r?

Om power te berekenen, moeten we eerst d (de effectgrootte) weten:

• d = ρ₁ – ρ₀ = ρ₁ – 0 = ρ₁. ρ₁ is de correlatie in de populatie gedefinieerd door H₁.

Daarna kunnen we δ berekenen met:

\[\delta=d\sqrt{N-1}=\rho_1\sqrt{N-1}\]

en de δ waarde zoeken we op in de Appendix Power.