Hoe gaat de analyse van complexe designs in zijn werk? - Chapter 12

Wat is een Type-I-fout?

Als we meer dan twee groepen willen onderzoeken, dan moeten we al gauw veel afzonderlijke t-testen uitvoeren. Het probleem hierbij is dat de kans op een type-I-fout toeneemt, wanneer we meer t-toetsen uitvoeren. Een type-I-fout is de kans dat we de nulhypothese verwerpen, terwijl deze in werkelijkheid wel waar is. Als we één t-toets uitvoeren, dan is de kans op een type-I-fout 5%, maar hoe meer testen we uitvoeren, hoe hoger dit percentage wordt. Onderzoekers proberen de kans op een type-I-fout zo klein mogelijk houden. Dit doen ze door een strenger alfaniveau te hanteren. Dit kan onder andere door gebruik te maken van de Bonferroni-aanpassing (‘Bonferroni adjustment’). Hierbij wordt de alfa (vaak 5%) gedeeld door het aantal t-testen dat uitgevoerd moet worden. Als we bijvoorbeeld tien t-testen willen uitvoeren, dan moeten we een alfa van (0.05 / 10 = ) .005 gebruiken, in plaats van een alfa van .05. Het probleem is echter, dat door het gebruik van de Bonferroni-aanpassing de kans op een type-II-fout toeneemt. Zoals in eerdere hoofdstukken is uitgelegd, is de type-II-fout de kans dat de nulhypothese wordt behouden, terwijl deze in werkelijkheid niet juist is. De kans dat de t-toets effecten mist die eigenlijk wel aanwezig waren, wordt groter door het toepassen van de Bonferroni-aanpassing. Dit komt doordat het alfaniveau zo laag is.

Om deze reden wordt ANOVA (‘analysis of variance’) geprefereerd boven de Bonferonni aanpassing. ANOVA wordt gebruikt voor designs die meer dan twee condities bevatten. Deze analyse is niet tijdrovend, omdat alle groepsgemiddelden tegelijkertijd geanalyseerd kunnen worden. ANOVA bepaalt of er een statistisch significant verschil bestaat tussen een set van groepsgemiddelden, welke groepsgemiddelden dit ook mogen zijn. De kans op een type-I-fout neemt niet toe door een ANOVA-toets uit te voeren.

Wanneer en hoe wordt ANOVA gebruikt?

Wanneer een onafhankelijke variabele geen effect heeft, dan zijn verschillen in groepsgemiddelden slechts het gevolg van error variantie. Als de onafhankelijke variabele wel effect heeft, dan zouden de verschillen in groepsgemiddelden groter zijn dan verwacht zou worden op basis van alleen de error variantie. We zouden dan moeten vinden dat de spreiding tussen de condities (de tussengroepsvariantie) groter is dan de variantie binnen de condities (de binnengroepsvariantie). ANOVA is gebaseerd op de F-toets. Deze toets wordt berekend om de variantie tussen condities (‘between-groups variance’) te vergelijken met de variantie binnen condities (‘within-groups variance’ / ‘error variance’). We kunnen de kans inschatten dat de verschillen tussen de conditiegemiddelden het gevolg zijn van error variantie door deze F-ratio te toetsen.

De werking van ANOVA

Zoals eerder beschreven, kan de totale variantie van een dataset verdeeld worden in systematische variantie en error variantie. In formulevorm is dat: totale variantie = systematische variantie + error variantie. In een eenweg design wordt ANOVA gebruikt om de totale variantie in de genoemde componenten op te splitsen.

• De ‘sum of squares’ (SS) staat voor de totale hoeveelheid spreiding in een dataset. De ‘total sum of squares’ wordt berekend door (1) van elke score het gemiddelde af te trekken, (2) deze verschillen te kwadrateren en (3) de gekwadrateerde verschillen op te tellen. De formule is: SS_total = Σ(x_i - )² .

• SS_total staat voor de totale spreiding in een dataset. Deze spreiding wordt opgedeeld in (1) ‘sum of squares between-groups’ (de tussengroeps sum of squares, oftewel SS_bg) en (2) ‘sum of squares within-groups’; (de binnengroeps sum of squares, oftewel SS_wg) _. 

• Om de ‘sum of squares within-groups’ (SS_wg ) te berekenen, moet eerst de spreiding binnen elke afzonderlijke conditie berekend worden. Vervolgens moeten al deze gegevens opgeteld worden. Kortom: SS_wg = Σ(x₁ - ₁)² + (x₂ - ₂)² + …+ (x_k - _k)² .
  De SS_wg is een meting van de error variantie om verschillende redenen. Binnen elke conditie ervaren alle proefpersonen de onafhankelijke variabele in dezelfde mate. Daarom zou de gevonden spreiding binnen elke specifieke conditie niet het gevolg kunnen zijn van de onafhankelijke variabele. Het is dus duidelijk dat de onafhankelijke variabele niet voor de spreiding heeft gezorgd. Er kan dus geen sprake zijn van systematische variantie. Daarom kunnen we vaststellen dat er sprake is van error variantie. SS_wg wordt groter naarmate er meer condities zijn. Om toch een beeld te krijgen van de gemiddelde spreiding binnen de experimentele condities, delen we SS_wg door n-k. N staat hierbij voor het totaal aantal deelnemers. K staat voor het aantal condities. We noemen n-k ook wel de ‘vrijheidsgraden’ van de spreiding binnen de groepen (‘within-groups degrees of freedom’) en korten deze af met df_wg. Deze vrijheidsgraden rekenen we eerst uit. Vervolgens delen we SS_wg door deze vrijheidsgraden. Het resultaat noemen we ‘mean square within-groups’. Kortom; MS_wg = SS_wg/df_wg. De uitkomst geeft ons een idee van de error variantie. De tussengroepsvariantie (within-groups variance) is hetzelfde als de error variantie.

• De ‘sum of squares between-groups’ (ook wel ‘sum of squares for treatment’) staat voor de variantie die ontstaat als gevolg van de manipulatie van de onafhankelijke variabele. De berekening van ss_bg is gebaseerd op het idee dat alle groepsgemiddelden ongeveer gelijk zouden moeten zijn als de onafhankelijke variabele geen effect gehad zou hebben. Elk groepsgemiddelde zou dan ook bijna gelijk moeten zijn aan het gemiddelde van alle groepen samen (het groot gemiddelde, oftewel de ‘grand mean’). Als de onafhankelijke variabele echter effect heeft, dan zouden de groepsgemiddelden moeten verschillen van het groot gemiddelde. Om ss_bg te berekenen, gebruiken we de volgende formule:
  ss_bg = n₁ (₁ - GM)² + n₂ (₂ - GM)² + … + n_k (_k - GM)². In deze formule staat GM voor het groot gemiddelde. Ook bij SS_bg hoort een berekening van de vrijheidsgraden (‘between-groups degrees of freedom’). De formule van deze vrijheidsgraden is k-1. K staat ook hier voor het aantal condities. Om de ‘mean square between-groups’ MS_bg te vinden, maken we gebruik van de volgende formule: MS_bg = SS_bg / df_bg.

De F-toets

We verwachten altijd een verschil tussen de groepsgemiddelden te vinden. Wat we echter niet weten, is of de verschillen tussen de groepsgemiddelden groter zijn dan we zouden verwachten op basis van alleen de error variantie. Onderzoekers willen dit graag wel weten. Om hierachter te komen, voeren ze een F-toets uit.

De F-waarde vinden we als volgt: F= MS_bg/ MS_wg. Als de onafhankelijke variabele geen effect heeft gehad, dan liggen de teller en de noemer niet heel ver van elkaar af. De F-waarde zal dan rond de 1.00 liggen. Als de onafhankelijke variabele echter wel effect heeft, dan zou MS_bg relatief groot moeten zijn. De vraag is echter hoe groot het verschil moet zijn om van een significant verschil te kunnen spreken. Om hierachter te komen, moeten we de kritische waarde van F vinden in de F-tabel. Om deze waarde te vinden, moeten we (1) eerst een alfaniveau vaststellen (vaak is die alfawaarde .05). Vervolgens (2) berekenen we de vrijheidsgraden voor tussen de groepen (df_bg) en tot slot (3) berekenen we de vrijheidsgraden voor binnen de groepen (df_wg). Als de gevonden F-waarde groter is dan de F-waarde in de tabel, mogen we de nulhypothese verwerpen. Het verwerpen van de nulhypothese houdt in dat we kunnen vaststellen dat minstens één van de groepsgemiddelden verschilt van een ander groepsgemiddelde, of van meerdere andere groepsgemiddelden.

Uitbreiding van ANOVA tot factoriële designs

Ook in een eenweg-ANOVA kan de totale variantie opgedeeld worden in systematische variantie en error variantie. Deze soorten variantie worden ook wel aangeduid met between-groups en within-groups variantie. Hierbij is between-groups variantie hetzelfde als systematische variantie. Within-groups variantie is hetzelfde als error variantie. In een formule ziet het er als volgt uit: SStotaal = SSbg +SSwg.

In een ANOVA met meer dan 1 onafhankelijke variabele, kan de systematische variantie nog verder worden opgedeeld in subgroepen. Bijvoorbeeld de variabelen A en B. We kunnen hiervan de sum of squares (SS) en de mean square berekenen (MS) berekenen.

Samengenomen bestaat het totaal nu uit vier groepen, namelijk:

1. De error variantie.

2. Het hoofdeffect van variabele A (SSA en MSA).

3. Het hoofdeffect van variabele B (SSB en MSB).

4. De interactievariabele tussen A en B (AxB).

In schema ziet dit er als volgt uit: SStotaal = SSA+ SSB + SSAxB+ SSwg.

Dit houdt in dat er geen andere invloed op het totaal kan bestaan, naast de effecten van variabele A, B, AxB of de error.

Voor het berekenen van de systematische variantie die door de onafhankelijke variabele A is veroorzaakt (SSA) moeten we variabele B in dit voorbeeld negeren. We berekenen hier alleen de between-group variantie voor variabele A (SSbg). Als de onafhankelijke variabele (A) geen effect heeft, verwachten we dat de gemiddelden voor de verschillende condities van A ongeveer gelijk zijn aan het gemiddelde van het alle groepen samen, ook wel grand mean of het groot gemiddelde genoemd (GR). Wanneer de gemiddelden in de condities van de variabele A echter groter zijn dan de gemiddelden van de andere condities, dan zouden deze gemiddelden moeten verschillen van het groot gemiddelde.

In schema kunnen we SSA op de volgende manier berekenen:

SSA = n a1 (a1- GM)² + n a2(a2-GM)² + ……+ n aj(bk-GM)²

In deze formule wordt het groot gemiddelde (GM) steeds van het gemiddelde van elke conditie (aj) afgetrokken. Vervolgens wordt het antwoord op die som gekwadrateerd. Ten slotte worden de gekwadrateerde antwoorden opgeteld. Door simpelweg de A (conditie A) in de formule te vervangen door B (conditie B), geldt de formule ook voor SSB . De formule wordt dan: SSB = n b1 (b1- GM) ²+… etc.

Wanneer we de antwoorden op deze formules delen door het aantal vrijheidsgraden (‘degrees of freedom’, oftewel DF), dan krijgen we de mean square (MS) voor de betreffende variabele. Het aantal vrijheidsgraden kun je op de volgende manier vinden: het aantal condities van betreffende variabele -1.

Bijvoorbeeld: MSA= n a1 (a1- GM)² + n a2(a2-GM)² + ……+ n aj(bk -GM)² / DFA .

DFA: aantal condities in A-1

Als de variantie in de uitkomsten van de deelnemers toegewezen kan worden aan de hoofdeffecten A en B en er geen interactie is, dan ziet de formule er als volgt uit: SStotaal = SSA+ SSB + SSwg.

Het kan echter ook voorkomen dat de optelsom van SSA,SSB en SSwg samen lager uitkomt dan het totaal (SStotaal). In dat geval is er sprake van een interactie tussen de variabelen (AxB). De interactie kan dan ook berekend worden door SSA,SSB en SSwg van het totaal af te trekken. In formulevorm is dit: SSAxB (interactie) = SStotaal - (SSA+ SSB + SSwg)

F- toets 

F- toets berekenen in een factorieel design ( bijvoorbeeld bij een 2x2 design):

Een F- toets is statistisch significant (F>F*= SS), wanneer de berekende F waarde groter is dan de kritische waarde. Als dit het geval is, dan weten we dat in elk geval één van de groepsgemiddelden verschilt van de andere gemiddelden. Om de resultaten goed te kunnen interpreteren, worden eerst de gemiddelden voor de significante effecten berekend. Als het hoofdeffect van A bijvoorbeeld significant is, moet de gemiddelden van de andere condities van A worden berekend. Variabele B wordt in die berekening buiten beschouwing gelaten.

Er hoeft bij een significant resultaat niet verder te worden getest, wanneer een onafhankelijke variabele maximaal twee condities heeft. De significante F-toets geeft namelijk aan dat twee gemiddelden significant verschillen. Het komt echter ook voor dat een onafhankelijke variabele drie of meer condities heeft. Een significant resultaat geeft dan aan dat er een significant verschil is tussen ten minste twee conditiegemiddelden, maar het geeft niet precies aan welke gemiddelden dit zijn. Wanneer hier sprake van is, wordt een follow-up test gebruikt. Follow-up test worden ook wel ‘post-hoc tests’ of ‘multiple comparisons’ genoemd. De meest gebruikte zijn: LSD (Least Significant Differences) test, Tukey’s test en de Newman-Keuls test. Ze dienen te bepalen welk conditiegemiddelde verschilt van de anderen, nadat er met een F-toets is vastgesteld dat er conditiegemiddelden zijn die van elkaar verschillen. Een follow-up test mag alleen gebruikt worden, wanneer de vooraf berekende F-toets significant is. Als een F-toets niet significant is, zijn er immers geen verschillen tussen de gemiddelden gevonden. De H0 is dan aangenomen.

Interacties

Wanneer een interactie is gevonden (AxB), dan weten we dat er sprake is van een simple main effect. Een simple main effect is het effect van de ene onafhankelijke variabele op een bepaald niveau van een andere onafhankelijke variabele. In andere woorden: het is een hoofdeffect dat kenbaar is op een bepaald level van de andere variabele. De vier simple main effecten in en 2x2 design zijn:

• Een simple main effect van A op B1

• Een simple main effect van A op B2

• Een simple main effect van B op A1

• Een simple main effect van B op A2

Het testen van simple main effect laat ons zien welke conditiegemiddelden binnen de interactie precies van elkaar verschillen. Een simple main effect kan dus alleen worden berekend als er is vastgesteld dat er sprake is van een interactie.

Waarin verschilt MANOVA van ANOVA?

Soms willen onderzoekers de verschillen tussen condities van verschillende afhankelijke variabelen tegelijkertijd testen. T-toetsen en ANOVA-analyses kunnen alleen uitgevoerd worden als er sprake is van slechts één afhankelijke variabele. MANOVA (‘multivariate analysis of variance’) wordt gebruikt om de effecten van twee of meer condities op twee of meer afhankelijke variabelen te toetsen. De vraag is natuurlijk waarom we niet twee ANOVA’s uitvoeren voor beide afhankelijke variabelen afzonderlijk. Dit heeft twee redenen:

• Soms hangen de gemeten afhankelijke variabelen met elkaar samen. Ze kunnen bijvoorbeeld onderdeel zijn van een algemeen construct. In zo’n geval kan een onderzoeker van mening zijn dat het beter is om de variabelen als een set te analyseren, in plaats van afzonderlijk.

• Hoe meer testen er worden uitgevoerd, hoe groter de kans op een type-I-fout wordt. Om deze reden voeren we liever een ANOVA uit dan meerdere t-toetsen. Het is echter ook zo dat de kans op type-I-fouten groter wordt wanneer we t-testen of ANOVA’s uitvoeren op meerdere afhankelijke variabelen. Hoe meer afhankelijke variabelen we bestuderen, hoe groter de kans dat we significante verschillen vinden die het gevolg zijn van een type-I-fout in plaats het gevolg van de onafhankelijke variabele. Omdat MANOVA tegelijkertijd de verschillen tussen groepsgemiddelden over meerdere afhankelijke variabelen meet, blijft de alfa 5%. De kans op een type-I-fout neemt hierbij dan ook niet toe.

De werking van MANOVA

MANOVA werkt met een nieuwe variabele. Deze variabele wordt een ‘canonical variable’ genoemd. De canonical variable is een soort gewogen optelsom van de variantie in alle afhankelijke variabelen in het onderzoek. Het geeft ons dus een overzichtelijk beeld van de variabele waarin we geïnteresseerd zijn. Vervolgens wordt tijdens MANOVA een multivariate versie van de F-toets uitgevoerd. Hiermee kunnen we vaststellen of de scores van deelnemers op de variabele waarin we geïnteresseerd zijn, verschillen op basis van de experimentele condities.

Als de multivariate F-toets significant is, kunnen we concluderen dat de experimentele manipulatie de set van afhankelijke variabelen als geheel heeft beïnvloed. MANOVA wordt gebruikt om de kans op een type-I-fout te verkleinen. Een significante multivariate F-toets zorgt er hierbij voor dat de onderzoeker afzonderlijke ANOVA’s kan uitvoeren voor elke variabele. MANOVA laat namelijk zien dat de groepen op iets (dus op één van de afhankelijke variabelen) verschillen. Om te zien waar deze verschillen nou precies liggen, moeten er echter extra testen worden uitgevoerd. Als MANOVA niet significant is, dan is het riskant om afzonderlijke ANOVA’s per afhankelijke variabele uit te voeren.

Als we meer dan twee groepen willen onderzoeken, dan moeten we al gauw veel afzonderlijke t-testen uitvoeren. Het probleem hierbij is dat de kans op een type-I-fout toeneemt, wanneer we meer t-toetsen uitvoeren. Een type-I-fout is de kans dat we de nulhypothese verwerpen, terwijl deze in werkelijkheid wel waar is. Als we één t-toets uitvoeren, dan is de kans op een type-I-fout 5%, maar hoe meer testen we uitvoeren, hoe hoger dit percentage wordt. Onderzoekers proberen de kans op een type-I-fout zo klein mogelijk houden. Dit doen ze door een strenger alfaniveau te hanteren. Dit kan onder andere door gebruik te maken van de Bonferroni-aanpassing (‘Bonferroni adjustment’). Hierbij wordt de alfa (vaak 5%) gedeeld door het aantal t-testen dat uitgevoerd moet worden. Als we bijvoorbeeld tien t-testen willen uitvoeren, dan moeten we een alfa van (0.05 / 10 = ) .005 gebruiken, in plaats van een alfa van .05. Het probleem is echter, dat door het gebruik van de Bonferroni-aanpassing de kans op een type-II-fout toeneemt. Zoals in eerdere hoofdstukken is uitgelegd, is de type-II-fout de kans dat de nulhypothese wordt behouden, terwijl deze in werkelijkheid niet juist is. De kans dat de t-toets effecten mist die eigenlijk wel aanwezig waren, wordt groter door het toepassen van de Bonferroni-aanpassing. Dit komt doordat het alfaniveau zo laag is.

Om deze reden wordt ANOVA (‘analysis of variance’) geprefereerd boven de Bonferonni aanpassing. ANOVA wordt gebruikt voor designs die meer dan twee condities bevatten.