Hoe werkt de analyse van variantie? - Chapter 11

In dit hoofdstuk wordt ingegaan op de variantieanalyse, als procedure voor het testen van verschillen tussen twee of meer gemiddelden.

De analyse van variantie (ANOVA) is al lange tijd de meest gebruikte statistische test in psychologisch onderzoek. Het stelt ons namelijk in staat om, zoals de t test, verschillen tussen steekproefgemiddelden te onderzoeken, maar dan voor een k aantal gemiddelden. Ook kan de ANOVA het effect van twee of meer onafhankelijke variabelen, inclusief het interactie-effect, op een afhankelijke variabele onderzoeken.

Een voorbeeld

Stel dat we onderzoeken in hoeverre agressie toeneemt bij mensen die gedronken hebben, bij minder of meer afleiding van die agressie. Hiervoor laten we vijf groepen mensen, die evenveel gedronken hebben, een taak uitvoeren die steeds moeilijker is per groep.

Wat is de ANOVA?

In dit hoofdstuk wordt de one-way ANOVA nader uitgelegd. Dit is de variantieanalyse voor één onafhankelijke (one way) variabele.

Stel dat we een gok willen doen over de individuele score van iemand in een experiment. In dat experiment zijn meerdere groepen proefpersonen. De beste gok is het populatiegemiddelde. Een andere manier om achter die score te komen, is het gemiddelde van de groep waar de persoon in hoort, uit te rekenen.

• X_ij = µ + τ_j, waarbij τ_j voor het verschil tussen het groepsgemiddelde en het grote gemiddelde staat.

Zijn score zal echter enigszins afwijken van dat groepsgemiddelde, wat we uitdrukken in ε (van ‘error’). Dit leidt tot de volgende formule:

• X = μ + τ_j + ε_ij, waarbij ε_ij het verschil tussen de individuele score en het groepsgemiddelde weergeeft. Dit is het structurele model van variantie analyse.

Welke assumpties moeten gedaan worden voor de ANOVA?

Voor het uitvoeren van een ANOVA geldt een aantal voorwaarden of aannames.

Homogeniteit van variantie

Ten eerste stelt de ANOVA dat van elke populatie (in ons geval van elke groep in het onderzoek) de variantie gelijk is. σ²₁ = σ²₂ = σ²₃, etc. Deze voorwaarde wordt homogeniteit van variantie genoemd, of homoscedasticiteit. σ^2e staat voor error variantie, de variantie die niet gerelateerd is aan behandelingsverschillen.

In veel gevallen is deze voorwaarde niet heel belangrijk. De ANOVA kan dan nog steeds uitgevoerd worden, hoewel de resultaten voorzichtiger moeten worden bekeken. Soms kan heterogeniteit van variantie wel voor problemen zorgen.

Normaalverdeling

De tweede aanname is, dat bij elke conditie of steekproefgroep de scores normaal verdeeld zijn. Omdat afwijking van het gemiddelde ook wel error wordt genoemd, heet deze voorwaarde ook weleens ‘de normale verdeling van error’. Kleine afwijkingen van normaliteit zorgen vaak niet voor problemen.

Onafhankelijkheid

De derde aanname is dat de observaties of scores onafhankelijk zijn van elkaar. Dit wil zeggen dat als we één observatie weten, dat dit niets zegt over een andere observatie. Dit kan misgaan wanneer de proefpersonen niet random worden toegewezen aan een groep.

De nulhypothese

De nulhypothese bij het voorbeeld onderzoek, is dat de verschillen in groepsgemiddelden tussen de verschillende niveaus van afleiding zeer klein zijn. De notatie hiervoor is:

• H₀ : μ₁ = μ₂ = μ₃… etc.

Wat is er belangrijk bij mean squares?

Door de assumpties normaliteit en homogeniteit van varianties, kunnen de verdelingen alleen verschillen in hun gemiddelden. Voor het onderzoeken van de nulhypothese moeten we een bepaalde schatting maken van de populatievariantie (σ²_e), zonder aan te nemen dat de nulhypothese juist of onjuist is. In het voorbeeldonderzoek zijn vijf groepen te onderscheiden, elk met hun eigen populatievariantie. Hieruit volgt dat de verwachte variantie in de totale populatie gelijk is aan het gemiddelde van die vijf.

\[\sigma^2_e=s^2_e=s^2_j=\frac{\sum{s^2_j}}{k}\]

• met als k het aantal ‘behandelingen’ of groepen

Deze schatting van de populatievariantie heet de MS_error, ook wel MS_within.

Naast deze populatievariantie is er de steekproefvariantie, ofwel de variantie die we verkrijgen uit de vijf groepen in de steekproef. Wanneer de nulhypothese waar is, en de steekproeven dus uit dezelfde populatie getrokken zijn, gaan we ervan uit dat de steekproefvariantie gelijk is aan de populatievariantie gedeeld door de steekproefgrootte: de steekproeven zijn dan een goede weerspiegeling van de populatie. Voor deze populatievariantie is de formule:

\[\frac{\sigma^2_e}{n}=s^{\frac{2}{X}}\]

of

\[\sigma^2_e=n^{2^{\frac{2}{X}}}\]

• waarbij n de grootte van elke steekproef is.

Deze schatting van de populatievariantie heet de MSbehandeling.

We hebben nu twee schattingen van de populatievariantie. Voor MS_behandeling geldt dat deze alleen juist is bij een juiste nulhypothese. Wanneer de twee schattingen dus gelijk zijn, hebben we bewijs voor de juistheid van H_0. Zijn ze ongelijk, dan hebben bewijs om H₀ te verwerpen. Dit is precies wat de ANOVA doet.

Variantie schatting

Het behandelingseffect is het verschil tussen het gemiddelde van de behandeling en het grote gemiddelde. De variantie van de ware populatie gemiddelden geven we weer als θ2τ:

\[\theta^2_{\tau}=\frac{\sum(\mu_j-\mu)^2}{k-1}=\sum{\tau^2_j}\]

De verwachte waarde (E) kan geformuleerd worden als:

• E(MS_error) = σ²_e
• E(MS_behandeling) = σ²_e + nθ²_τ

Als H₀ juist is, zijn E(MS_error) en E(MS_behandeling) gelijk, omdat θ²_τ nul is. Als H₀ onjuist is zal E(MS_error) kleiner zijn dan E(MS_behandeling).

Welke berekeningen zijn van toepassing bij de ANOVA?

Hoewel bij de ANOVA meestal een computer te pas zal komen, is het toch handig iets te weten van de onderliggende berekeningen.

Veel van de berekeningen over variantie hebben te maken met sums of squares (SS). Dit is de som van de gekwadrateerde afwijkingen van het gemiddelde:

\[\frac{\sum(X-\bar{X})^2}{(n-1)}=\frac{\frac{\sum{X^2}-(\sum{X})^2}{n}}{(n-1)}\]

Hierbij is n-1 het aantal vrijheidsgraden.

Controleren van voorwaarden

Een eerste stap bij het berekenen van de ANOVA is het controleren van de voorwaarden. Men moet kijken of de verdelingen normaal verdeeld zijn of bijvoorbeeld scheef of bimodaal. Een belangrijke voorwaarde is die van homogeniteit van variantie. Van elke groep/conditie in het onderzoek moet de variantie bekeken worden. Is er een groot verschil tussen de varianties, dan is de ANOVA nog steeds uit te voeren. Hiervoor geldt dat de totale analyse (dus met alle groepen tegelijk) robuust is tegen schending van de voorwaarde, vooral als elke groep evenveel participanten bevat.

De analyse

Wanneer een one-way ANOVA uitgevoerd wordt, zal de uitdraai van computersoftware eruit zien als in Tabel 13.

• SS_totaal is de sum of squares voor alle observaties: SS_total = ∑(X_ij-X)²

De SS_behandeling in de tabel is de som van de afwijkingen van de groepsgemiddelden van het totale gemiddelde:

• SS_behandeling = n∑(X_j - Y_j)². SS_error = SS_totaal - SS_behandeling.

Daarbij is SS_error gelijk aan de som van variantie binnen elke groep (variantie die niet is te verklaren door behandeleffecten).

• Oftewel, SS_error = SS_within1 + SS_within2 + etc.

Voor de vrijheidsgraden (df) kolom gelden de volgende berekeningen:

• df_totaal = N -1 met N als het aantal proefpersonen
• df_behandeling = k – 1 met k als het aantal groepen
• df_error = df_totaal - df_tbehandeling

De MS kolom geeft de twee schattingen van de populatievariantie σ²e, en daarvoor geldt

MS = SS/df. MSerror staat voor de populatievariantie, los van het feit of H0waar is of niet. Het is het gemiddelden van de binnengroepsvariantie als de steekproefgroottes gelijk zijn. MSbehandeling is de variantie van gemiddelden vermenigvuldigd met n.

De laatste kolom geeft de F statistiek. Deze wordt berekend door MS_behandeling/MS_error. Wanneer H₀ waar is, zouden MS_error en MS_behandeling min of meer gelijk aan elkaar moeten zijn, en is de ratio ongeveer 1. Wanneer de ratio afwijkt van 1, is dat een bewijs dat H₀ onjuist is. Een andere manier om naar de F statistiek te kijken is in een formule met verwachtte waarden: E(MS_behandeling)/E(MS_error) = (σ²_e + nθ²_τ) / σ²_e. De ratio zal 1 zijn als θ²_τ is nul, wanneer θ²_τ groter is dan nul, zal de ratio groter zijn dan 1.

Maar hoe groot moet de ratio zijn om de nulhypothese te verwerpen? Hiervoor gebruiken we de F distributie, welke in de F appendix is uitgeschreven (Howell, 2013: p.692). De vrijheidsgraden van teller (MS_behandeling) en noemer (MS_error) zijn respectievelijk k – 1 en k(n-1) – met n het aantal proefpersonen per groep.

Stel dat F = 6.80 bij 4 en 55 df. De uiteindelijke notatie van de ANOVA is dan: F_.05(4,55) = 2.54, dus bij een α = .05 zouden we de nulhypothese verwerpen. De verschillen tussen de behandelgroepen zijn significant. F(4,55) = 6.80, p < .05.

Conclusies

Op basis van de gevonden F hebben we de nulhypothese verworpen: de verschillen tussen groepen waren significant. Maar, dit betekent alleen dat tenminste één populatiegemiddelde verschilt van een ander populatiegemiddelde. Welke verschillen is niet duidelijk. Dit komt in het volgende hoofdstuk.

Hoe voer je de ANOVA uit in SPSS?

Om de éénweg ANOVA in SPSS uit te voeren, moet men de volgende menu’s volgen: Analyze > Compare Means > One-Way ANOVA. In ‘Options’ kunnen beschrijvende statistieken en gemiddelden plots opgevraagd worden. Een andere optie i.p.v. Compare Means > One-Way ANOVA is ‘General Linear Model > Univariate’.

In de output geeft de eerste lijn ‘Corrected Model’. Dit geeft het gecombineerde effect van twee of meer onafhankelijke variabelen. Als er dus maar één variabele is, geeft deze lijn dezelfde sum of squares als de behandelingsgroep. ‘Intercept’ is een test van de nulhypothese dat het grote gemiddelde nul is in de populatie. Dit is meestal niet interessant.

Wat is de procedure bij ongelijke steekproefgroottes?

Meestal proberen onderzoekers behandelgroepen te creëren met evenveel proefpersonen (een gebalanceerd design). Dit lukt niet altijd. Wanneer de groepen niet even groot zijn, moet de ANOVA aangepast worden. De aanpassing zit in de SSbehandeling. De formule hiervoor is normaal het aantal proefpersonen per groep, maal de som van de gekwadrateerde afwijkingen van het gemiddelde:

\[SS_{behandeling}=n\sum(\bar{X_j}-\bar{X})^2\]

Wanneer de n per groep verschilt, moeten we hiervoor corrigeren. We vermenigvuldigen de groepsgrootte met de afwijkingen van het gemiddelde per groep. Hierdoor zal een grotere steekproef meer bijdragen aan de SS_behandeling.

\[SS_{behandeling}=n\sum(n_j(\bar{X_j}-\bar{X})^2)\]

Er moet wel rekening gehouden worden met gemiste data. Als deze data random gemist wordt is er geen probleem, maar als er een systematische reden voor is levert dit serieuze problemen op.

Wat gebeurt er als de voorwaarden geschonden worden?

De ANOVA is over het algemeen een zeer robuuste test. Dit betekent dat de voorwaarden tot op zekere hoogte geschonden kunnen worden, zonder dat dit grote gevolgen heeft voor de test. Als de populaties redelijk symmetrisch verdeeld zijn, en als de grootste variantie niet meer dan vier keer zo groot is als de kleinste, is de ANOVA nog valide. Als de steekproefgroottes erg veel verschillen is de test minder robuust tegen heterogeniteit van varianties.

Met ongelijke varianties ligt de ware F-waarde tussen de F met 1 en (n-1) vrijheidsgraden en de F met (k-1) en k(n-1) vrijheidsgraden. Box stelde voor F_obt te vergelijken met F_α(1,n-1). Wanneer dit significant is, zijn de gemiddelden significant anders onafhankelijk van de (on)gelijkheid van varianties. De test is echter extreem conservatief. Een andere methode is de Welch procedure. Deze wordt gebruikt wanneer men heterogene varianties verwacht. Hier zijn verschillende formules voor:

\[W_k=\frac{n_k}{s^2_k}\]

\[\bar{X}=\frac{\sum{W^{\bar{X}}_k}}{\sum{W_k}}\]

\[F"=\frac{\frac{\sum{W_k(\bar{X_k}}-\bar{X})^2}{k-1}}{1+\frac{2(k-2)}{k^2-1}\sum(\frac{1}{n_k-1})(1-\frac{W_k}{\sum{W_k}})^2}\]

Welke soorten transformaties zijn er?

De Welch methode kan alleen wanneer de steekproeven getrokken zijn uit normaal verdeelde populatie. Wanneer dit niet het geval is kan de data ook getransformeerd worden. Een kanttekening hierbij is wel, dat de conclusies die dan uit het onderzoek komen wellicht niet altijd overeenkomen met wat je wilde aantonen. Transformaties moeten altijd vermeld worden. Standaarddeviaties kunnen niet omgezet worden.

1. Logaritmische transformaties

Een transformatie naar logaritmen is praktisch wanneer de standaarddeviatie correleert met het gemiddelde, of wanneer de data sterk positief scheef is. Een logaritme is een macht: afhankelijk van de basis is het een uitdrukking tot welke macht het getal wordt behaald. Dus, log₁₀(25) = 1.398 want 10^1.398 = 25. In de statistiek wordt vaak de ‘natuurlijke logaritme’ gebruikt, met de basis e = 2.718. log_e is ook wel ln. Deze transformaties zullen standaarddeviaties bij grote steekproeven meer reduceren dan standaarddeviaties bij kleine steekproeven.

Een nadeel van het logaritme is dat deze niet gebruikt kan worden op negatieve of naar 0 neigende ruwe data. In dat geval is het mogelijk om een constante aan alle scores toe te voegen, zodat die allemaal positief worden.

2. Vierkantswortel transformatie

Als het gemiddelde correleert met de variantie, gebruiken we een vierkantswortel transformatie, zoals van de vorm Y =√X, Als de X-waarden klein zijn kunnen bijvoorbeeld de volgende formules gebruikt worden:

• Y = √X +0.5 of Y = √X + √X+1

Het is echter moeilijk om te weten of de correlatie met de variantie veel groter (of kleiner) is dan de correlatie met de standaarddeviatie. Daarom kunnen ook beide transformaties uitgevoerd worden.

3. Wederzijdse transformatie

Deze transformatie is handig bij het verminderen van de invloed van extreme waarden. Hierbij berekenen we een nieuwe X van de vorm 1/X of -1/X. Hierdoor hebben de uitbijters minder effect op de grootte van de standaarddeviatie.

4. Arcsine transformatie

Bij een binomiale verdeling, waarbij de variantie afhankelijk is van het gemiddelde hebben de groepen met verschillende gemiddelden verschillende varianties. Dit brengt problemen mee. Een handige transformatie is de arcsine transformatie (sin-¹ op rekenmachine):

• Y = 2 arcsin √p. P is hier de proportie correct.

Bij een correlatie tussen de variantie en het gemiddelde kan zowel de vierkantswortel als de arcsine transformatie gebruikt worden. Het verschil is dat de vierkantswortel transformatie de scheve staart samendrukt, terwijl de arcsine transformatie beide staarten uitrekt. De arcsine transformatie is nuttiger bij proporties.

5. Getrimde steekproef

Naast het transformeren van de ruwe data, is het ook mogelijk om een selectie te maken uit de data om de heterogeniteit van variantie te verminderen. Dit is het trimmen (inkorten) van de data, en is vooral handig wanneer een verdeling ‘zware staarten’ heeft, ofwel veel scores in de staarten. Bij meerdere groepen, trim je elke groep op dezelfde wijze. Het trimmen gebeurt door een bepaald percentage aan beide uiteinden te verwijderen.

Bij een Winsorized steekproef worden de scores ook getrimd, maar worden de weggehaalde scores vervangen door de dan overblijvende extreemste score. Dus wanneer uitschieters 3 en 7 weg worden gehaald, en de volgende score is een 10, dan worden de 3 en 7 vervangen door twee keer een 10. Als er vier scores verwijderd en vervangen zijn, wordt er gewerkt met N-1-4 vrijheidsgraden.

Wanneer transformaties gebruiken?

Transformaties zijn nuttig bij sterk van normaal afwijkende verdelingen en bij heterogene varianties. Daarnaast zijn ze toegestaan om de variantie of vorm aan te passen. Transformaties moeten wel gekozen worden voordat de statistische test uitgevoerd wordt, in plaats van daarna. Transformaties kunnen ook gebruikt worden bij negatief scheve verdelingen, maar dan moet de data eerste vermenigvuldigd worden met -1 en moet er een constante worden toegevoegd of afgetrokken.

Wat is het verschil tussen fixed en random modellen?

Bij het onderzoeken van behandelingseffecten, is het soms van belang om te kijken naar het soort model waar mee gewerkt wordt. Bij een fixed-model ANOVA worden de behandelniveaus, of behandelgroepen, zorgvuldig geselecteerd en blijven deze gelijk wanneer het experiment wordt herhaald. Bij een random model worden de behandelniveaus door een willekeurig proces verkregen, en variëren deze dus per herhaling.

Effectgrootte

Net als bij de andere statistische testen hebben we aan alleen een significant resultaat niet genoeg. We moeten ook weten of de resultaten in praktische zin van belang zijn. In het geval van de F statistiek is de r- familie van effectgroottes geschikt. In het geval van de ANOVA representeert de effectgrootte hoeveel van de variatie in de afhankelijke variabele kan worden toegeschreven aan een behandeleffect (de grootte van het experimentele effect). Twee van de meest voorkomende statistieken zijn η² en ω².

Eta-kwadraat η²

Dit is de simpelste meting van het effect. SSbehandeling is een maat voor hoeveel van de observatieverschillen door de verschillende behandelingen tot stand komen. SS_totaal is de maat voor de verschillen in de complete dataset. Deze twee SS’s gedeeld door elkaar geven een percentage van de variatie door de behandeling:

• η² = SS_behandeling / SS_totaal

Deze statistiek heet eta-kwadraat, maar wordt ook wel correlatie ratio genoemd. Wanneer de sum of squares niet bekend zijn, kan eta-kwadraat ook anders uitgerekend worden:

• η² = 1 / (1+ (df_error / (F x df_behandeling)))

Er kan ook gekeken worden naar percentage reductie in error (PRE). SS_totaal geeft de variabiliteit van alle observaties, zonder te kijken naar groepslidmaatschap. SS_error geeft de variatie binnen groepen. Het verschil hier tussen is SS_behandeling. Dus SS_behandeling/SS_totaal geeft aan hoeveel de voorspellingserror verminderd is door groepslidmaatschap mee te nemen.

η² gaat er vanuit dat de regressielijn door de gemiddelden van elke groep gaat. Dit is echter niet zo, waardoor de metingen biased zullen zijn. η² is de effectgrootte met de meeste bias. Het is echter goed te gebruiken bij het maken van statements over een bepaalde data set of om een idee te krijgen van de effectgrootte. Het resultaat η² begint steeds meer op andere metingen te lijken als de steekproeven groter worden.

Omega-kwadraat ω²

Omega-kwadraat ω²

Wortel-gemiddelde-gekwadrateerde gestandaardiseerde effect (RMSSE)

Hierbij wordt gebruik gemaakt van de d-familie van effectgrootte.

\[d=\sqrt{\frac{1}{k-1}\sum(\frac{\mu_j-\mu}{\sigma})^2}\]

Voor elke groep wordt het verschil genomen tussen het gemiddelde en het grote gemiddelde, waarna dit wordt gedeeld door de standaarddeviatie. Dit heet het gestandaardiseerde effect. Vervolgens wordt dit gekwadrateerd en gemiddeld over alle groepen. Dit geeft het gemiddelde gekwadrateerde gestandaardiseerde effect. Doordat hier de wortel van genomen wordt heet het dus het ‘wortel-gemiddelde-gekwadrateerde gestandaardiseerde effect’.

Hoe wordt de power van een ANOVA berekend?

De berekening van de power van een ANOVA lijkt sterk op die bij een t test, alleen is de notatie anders. Net als bij t wordt de statistiek phi prime (φ’) berekent, waaruit vervolgens phi (φ) voortkomt. Hierna wordt power opgezocht in de noncentrale F verdeling.

Stel dat we data verzamelen op de activiteit van ratten, na het injecteren van een bepaalde hoeveelheid medicijn. We hebben vijf groepen ratten, die elk een verschillende hoeveelheid van het medicijn ingespoten krijgen. Door middel van resampling verkrijgen we een steekproefverdeling: we trekken uit de vijf groepen ratten herhaaldelijk een steekproef en berekenen telkens de F statistiek. Wanneer we dit 10.000 keer hebben gedaan, kijken we hoe vaak de F de kritieke waarde overschrijdt. Dit is de definitie van power.

Tegenwoordig hebben statistische programma’s een optie voor het berekenen van power. Meerdere websites hebben (gratis) power calculators.

\[\frac{E(MS_{behandeling})}{E(MS_{error})}=\frac{\frac{\sigma^2_e+n\sum{\tau^2_j}}{k-1}}{\sigma^2_e}\]

Als H0 onjuist is, wordt de ratio:

\[\frac{E(MS_{behandeling})}{E(MS_{error})}=1+\frac{\frac{n\sum{\tau^2_j}}{(k-1)}}{\sigma^2_e}=1+\frac{\lambda}{k-1}\]

• waarbij

\[\lambda=\frac{n\sum{\tau^2_j}}{\sigma^2_e}\]

• Deze statistiek heet lambda of noncentraliteitsparameter.

De effectgrootte wordt gegeven met:

\[\varphi'=f=\sqrt{\frac{\frac{\sum{a^2_j}}{k}}{MS_{error}}}\]