Hoe werkt de variantieanalyse bij herhaalde metingen designs? - Chapter 14

Dit hoofdstuk behandelt de variantieanalyse bij experimenten waar dezelfde participant bij alle niveaus van de onafhankelijke variabele(n) wordt gemeten.

In voorgaande hoofdstukken hadden de verschillende cellen in de studie verschillende participanten, waardoor de cellen onafhankelijk waren. In designs waarbij dezelfde participant meerdere keren wordt gemeten, geldt dit niet meer. Dit leidt tot ingewikkelder formules. Vrijwel iedereen zal zulke analyses dan ook uitvoeren door middel van de computer. Het doel van het hoofdstuk is om de achterliggende berekeningen aan het licht te brengen voor een beter begrip van de analyse.

In een herhaalde-metingen ontwerp worden participanten meerdere keren gemeten. In het geval waarbij de participanten drie keer worden gemeten (X1, X2 en X3), is er waarschijnlijk sprake van een correlatie tussen hun scores: de betere participanten bij X1 presteren waarschijnlijk ook beter op de andere meetmomenten. Een van de voordelen van het herhaalde-metingen ontwerp is dat we deze correlatie of afhankelijkheid tussen de scores van dezelfde persoon kunnen scheiden van de totale variatie: we zeven het effect door afhankelijkheid weg. De participant verschillen kunnen verwijderd worden van de error, waardoor de error onafhankelijk is van behandeling tot behandeling.

Verschillen tussen de participanten (dus binnen behandelingen) hebben niets te maken met het behandeleffect. Als deze verschillen eruit gehaald kunnen worden zal dit leiden tot een betere schatting van de error. Er zijn twee manieren om dit te doen:

1. Alle bijdragen van de participanten worden samengenomen door de gemiddelden gelijk te maken:

\[X'_{ij}=X_{ij}-\bar{X_i}\]

• x̄_i is het gemiddelde van de i-de participant. De participanten zullen nu dezelfde gemiddelden hebben en de overige verschillen komen door error of behandelingen.

2. Om alleen de variatie door behandeleffect over te houden, beginnen we met het aftrekken van de SS_{between subj} (SS tussen participanten) van SS_totaal. Van de variatie binnen de subjecten is een deel afkomstig van de behandelingen en een deel door error.

De totale variantie (met kn-1 df) wordt verdeeld in between subjects (met n-1 df) en within subjects (met n(k-1) df). Vervolgens kan de within subjects verder worden onderverdeeld in ‘tussen behandelingen’ (met k-1 df) en error (met (n-1)(k-1) df).

Wat is het achterliggende model bij herhaalde-metingen analyse?

Het model achter de herhaalde-metingen analyse is:

• X_ij = µ + π_i + т_j + πт_ij + eij, waarbij:
• μ = het totale gemiddelde
• π_i = een constante voor de i-de participant, die weergeeft hoeveel hij verschilt van de gemiddelde persoon
• τ_j = een constante voor de j-de behandeling, die weergeeft hoeveel dat behandelgemiddelde verschilt van het gemiddelde behandelgemiddelde
• πτ_ij = de participant x behandeling interactie
• e_ij = de error voor persoon i in behandeling j

Hierbij gelden twee assumpties: πi, eij en πтij zijn onafhankelijk en normaal verdeeld rond nul binnen elke behandeling. Hun varianties zijn homogeen over de behandelingen.

Voor het berekenen of er sprake is van een significant effect gebruiken we de volgende formule (incl. interactie):

\[F=\frac{E(MS_{between subject})}{E(MS_{error})}=\frac{(\sigma^2_e+k\sigma^2_{\pi})}{\sigma^2_e+\sigma^2_{\pi\tau}}\]

en

\[F=\frac{E(MS_{behandeling})}{E(MS_{error})}=\frac{(\sigma^2_e+\sigma^2_{\pi\tau}+n\Theta^2_{\tau})}{\sigma^2_e+\sigma^2_{\pi\tau}}\]

Wat is er belangrijk bij de covariantie?

Een belangrijke voorwaarde voor de herhaalde-metingen analyse is dat de covarianties tussen de metingen gelijk zijn aan elkaar. Om dit te controleren, kunnen we in een tabel de varianties van de metingen uiteenzetten. De diagonaal geeft de varianties binnen elke behandeling. De off-diagonal elementen zijn de covarianties tussen de behandelingen. Bij constante varianties binnen een behandeling en tussen de behandelingen, hebben we compound symmetry (samenstelling symmetrie). Over het algemeen wordt deze voorwaarde sfericiteit (letterlijk: bolvormigheid) genoemd. Zonder sfericiteit kan het zijn dat de F-waarden niet verdeeld zijn zoals in de tabellen staat aangegeven.

Als de cellen onafhankelijk zijn in een variantieanalyse, zijn de covarianties altijd nul. Bij herhaalde metingen is dit niet het geval en moeten we aannemen dat de covarianties elijk zijn. Bij de multivariate variantieanalyse is de assumptie van gelijke covarianties niet nodig. Deze methode wordt later geïntroduceerd.

Een voorbeeld

Als voorbeeld kijken we naar een studie over migraine en de werking van ontspanningstechnieken daarbij. We laten negen participanten met migraine de duur van hun hoofdpijn noteren. Na twee weken baseline geven we ze drie weken lang een training in ontspanning. De afhankelijke variabele is de duur van de hoofdpijn. Voor elke week rekenen we de gemiddelde duur uit, met XW als weekgemiddelde. X.. staat voor het totale gemiddelde, en XS voor het gemiddelde per participant.

• Voor SS_totaal geldt:

\[\sum(X-\bar{X})^2\]

• Voor SS_subjects geldt:

\[w\sum(\bar{X_s}-\bar{X_{..}})^2\]

• Voor SS_weken geldt:

\[n\sum(\bar{X_W}-\bar{X})^2\]

• En SS_error = SS_totaal – SS_subjects – SS_weken

De F_weken (= 84.01) is een significante score bij F_.05 (4, 32) = 2.68. We kunnen de nulhypothese (H₀: μ₁ = μ₂ = .. = μ₅) verwerpen: het ontspanningsprogramma leidt tot een vermindering van de duur van de hoofdpijn.

De error term is gelijk aan het interactie effect tussen participant en weken in dit geval. Het grote voordeel van de herhaalde-metingen analyse, is dat door het gebruik van dezelfde groep participanten de error term een stuk kleiner wordt. Dit zorgt voor een grotere F.

Contrasten

We weten nu dat dat er statistisch significante verschillen tussen de vijf weken zitten, maar niet waar deze verschillen zich bevinden. Stel dat we de weken voorafgaand aan de behandeling (week 1 en 2) willen vergelijken met het gemiddelde van de drie trainingsweken. Dit doen we met een contrast. Week 1 en 2 krijgen coëfficiënt 1/2, en week 3 t/m 5 krijgen

-1/3. De formule voor het contrast is zoals eerder:

\[\hat{\Psi}=\frac{1}{2}\bar{X_1}+\frac{1}{2}\bar{X_2}+(-\frac{1}{3})\bar{X_3}+(-\frac{1}{3})\bar{X_4}+(-\frac{1}{3})\bar{X_5}\]

Dan geldt:

\[t={\hat{\Psi}}{\sqrt{\frac{(\sum{a^2_i})MS_{error}}{n}}}\]

• de error term is van de totale analyse.

In het geval van ons voorbeeld is de t = 18,21 met 32 df, en duidelijk significant

Effectgrootte

Voor de effectgrootte geldt weer:

\[d=\frac{\hat{\Psi}}{s_{error}}\]

Het contrast is middels hierboven te berekenen, maar voor serror moeten we een aanvullende berekening maken. We willen een error term die uniek is voor het betreffende contrast. De beste serror is de standaarddeviatie van het gemiddelde van de baseline (vóór de behandeling) scores. Als d=4.98, kunnen we zeggen dat de hoofdpijnen tijdens de training vijf standaarddeviaties minder waren dan tijdens de baseline.

Andere designs – één between subjects en één within subjects variabele

Het voorgaande was een simpel voorbeeld waarbij we één onafhankelijke variabele hadden (naast de participanten) en elke participant op elk niveau van die variabele testten. Natuurlijk zijn veel variaties mogelijk op de herhaalde-metingen analyse. Hier volgen wat voorbeelden.

Stel dat we de tolerantie van ratten onderzoeken op een medicijn dat hun motorische activiteit verminderd. Net als bij het voorbeeld van de morfine-tolerantie, krijgen ratten snel weerstand tegen het medicijn en neemt hun motorische activiteit weer toe. We willen onderzoeken of de tolerantie omgeving gebonden is. We hebben een groep ‘Zelfde’, die een aantal keer wordt ingespoten met het medicijn en op de testdag weer, in dezelfde omgeving. De groep ‘Anders’ krijgt ook injecties maar op de testdag op een andere plek. Een controlegroep kreeg telkens een zoutoplossing toegediend, en pas op de testdag voor het eerst het medicijn. We verwachten dat de ‘Anders’ groep ongeveer reageert zoals de controlegroep, omdat de testomgeving waarin ze het medicijn krijgen, veranderd is. Er zal dus waarschijnlijk geen tolerantie optreden.

De afhankelijke variabele is motorische activiteit. We meten na de injectie zes keer elke vijf minuten de activiteit (daarna gaat het medicijn uit het systeem). Elke groep heeft dus zes meetmomenten.

Er is een aantal variatietermen die van belang zijn. De totale variatie bestaat ten eerste uit Between subjects variatie enerzijds en Within subjects anderzijds. Bij SS_between horen de verschillen tussen groepen participanten SS_groepen en de verschillen tussen participanten in dezelfde groep SS_{within groups}. Bij SS_within hoort SS_interval (het hoofdeffect van interval), SS_{I x G} (de interactieterm) en SS_{I x SS within groups.}

Hiervoor geldt:

• SS_{within subjects} = SS_totaal – SS_{between subjects}
• SS_{within groups} = SS_{between subjects} – SS_groups
• SS_{I x SS within groups} = SS_{within subjects} – SS_intervals - SS_IG

Between subjects

Wanneer we de intervallen even negeren, en per participant één gemiddelde score nemen over de totale tijd, dan krijgen we drie groepen scores op basis van Groep (Controle, Zelfde en Anders). De analyse die daar van toepassing is, is de one-way ANOVA met onafhankelijke groepen. De error term die we dan gebruiken, noemen we ook wel errorbetween.

Within subjects

De term Interval x SS Within groups wordt ook wel errorwithin genoemd, en we gebruiken hem als error term voor de within-subjects effecten. De SSinterval x Ss within groups is de som van de sum of squares voor de I x S interacties, apart berekend voor elke groep.

Vrijheidsgraden

De individuele verschillen zullen door de analyse er uit gefilterd worden. Uit de ruwe scores is te halen dat de ‘Anders’ groep inderdaad meer lijkt op de controlegroep, dan de ‘Zelfde’ groep. De berekeningen zijn verder bekend. Of een factor between-subjects of within-subjects is maakt niet uit, de berekening van de SS blijft hetzelfde. Het heeft echter wel invloed op de berekening van de F-waarde.

Voor de algemene effecten Intervallen, Groepen en Participanten geldt dat het aantal df gelijk is aan het aantal niveaus min 1. Voor de interacties geldt het product van de betreffende hoofdeffecten. De overige vrijheidsgraden zijn als volgt te berekenen:

• df_{within subjects} = df_totaal - df_{between subjects}
• df_{Ss within groups} = df_{between subjects} - df_groups
• df_{IxSs within groups} = df_{within subjects} - df_interval - df_IG

De mean squares worden opnieuw gevonden door de sum of squares te delen door hun vrijheidsgraden.

F

Voor het berekenen van de F krijgen we een tabel met vijf F scores. Voor de algemene effecten Groep en Intervallen en voor de interactie-term is er een significant effect. De interactie-term weerspiegelt dat het injecteren van een dier in een nieuwe omgeving de opgebouwde tolerantie bijna helemaal opheft. Een verdere analyse van de resultaten komt later.

Voorwaarde checken

Voor deze studie geldt weer dat we moeten checken op voorwaarden, namelijk die van normaliteit, homogeniteit van variantie en sfericiteit van Σ. Voor dat laatste betekent het dat we aannemen dat de variantie van individuele gemiddelden binnen een niveau van Groep hetzelfde is als die in de andere niveaus van Groep (de between-subjects term). Schending van deze assumptie is echter niet zo’n groot probleem. Bij onafhankelijke groepen met homogene varianties is sfericiteit in orde, omdat de off-diagonals nul zijn.

Twee andere assumpties zijn:

1. De individuele variantie-covariantie matrixed zijn hetzelfde voor alle niveaus van G.
2. De variantie matrix voldoet aan compound symmetrie. Dit is echter een erg strenge assumptie, en vaak is het al genoeg om aan te nemen dat de standaardfouten van de verschillen tussen paren van Interval gemiddelden constant zijn. Dat wil zeggen:

\[\sigma^2_{{I_i}-\bar{I_j}}\]

Aanpassen van vrijheidsgraden

Voor een afwijking in de sfericiteit kan nog gecorrigeerd worden met een aanpassing in het aantal vrijheidsgraden. De vrijheidsgraden voor de F-toets zullen als volgt zijn:

• (g - 1)(i - 1)ε, g(n - 1)(i - 1)ε

De variantieanalyse is wel vrij robuust voor schending van de voorwaarde.

Simpele effecten

De interactie-term was significant, maar nu moet nog worden onderzocht hoe de interactie tot stand komt. De eerste stap is het plotten van de drie groepen en het bekijken van de verschillen. Hieruit is zichtbaar dat de ‘Zelfde’ groep altijd hoger scoort dan de andere twee groepen en dat de activiteit erg afneemt na het eerste interval. Ook is duidelijk dat de 'Anders' groep na het eerste interval vrijwel gelijk is aan de Controlegroep, zoals we hadden voorspeld. Daarnaast neemt de ‘Zelfde’ groep over vier intervallen af, terwijl de ‘Zelfde’ en controlegroep na het tweede interval niet meer afnemen, maar ongeveer gelijk blijven.

Voor het berekenen van de simpele effecten moeten we corrigeren voor sfericiteit, als deze voorwaarde is geschonden. Dit doen we door een aparte error term te berekenen voor elk simpel effect (dus, als we kijken naar het simpele effect van Interval op de Controlegroep, spreekt de error term puur voor dat effect).

Wanneer we de simpele effecten van Interval op elk van de drie groepen apart berekenen, hebben we in feite te maken met een herhaalde-metingen analyse (one-way) op elke groep. Voor elke analyse krijgen we vanzelf een aparte error term. Alle analyses van interval op de drie groepen zijn significant.

Wanneer we de between-subjects effecten (Groep op Interval 1 bijvoorbeeld) willen berekenen, kunnen we kiezen voor de methode hierboven, maar we verliezen hiermee veel vrijheidsgraden (we hebben immers zes intervallen). In feite doen we zes keer een one-way ANOVA. Om meer vrijheidsgraden te behouden, poolen we de error term (een soort gemiddelde over de zes losse analyses). De juiste error term vinden we door SS_{within cell} = SS_{within group}+ SSI x S _{within group}.

Elke analyse wordt vervolgens met dezelfde error term uitgevoerd. De F-waarde wordt op de volgende manier berekend:

• f’ = (u + v)²/(u²/df_u + v²/df_v), waarbij
• u = SS_{Ss within groups}
• v = SS_{IxSs within groups}

Uit de analyses blijkt dat alleen bij Interval I een significant verschil was tussen de groepen.

Wat is de procedure bij twee between-subjects variabelen en één within-subjects variabele?

De berekeningen bij meer variabelen lijken sterk op die met slechts twee variabelen. Stel dat we de preventie van HIV infectie onderzoeken met twee behandelingen: een gedragstraining (GT) van acht weken en een twee uur durend onderwijsprogramma als controleconditie (OC). We meten voor de behandeling, vlak erna, en zes en twaalf maanden na afsluiting, bij zowel mannelijke als vrouwelijke adolescenten. Het design is 2x2x4 met interventie en sekse als between-subjects factor en tijd als de within-subjects factor. De afhankelijke variabele is de frequentie van condoomgebruik. In Tabel 20 is de somtabel van de analyses gegeven.

Tabel 20

• SS_{within subjects} = SS_totaal - SS­_{between subjects}
• SS_{Ss within groups} = SS_{­between subjects} - SS_G - SS_S - SS_GS
• SS_{TxSs within groups} = SS_{within subjects} - SS_T - SS_TG - SS_TS - SS_TGS

De laatste twee termen zijn errortermen van between-subjects en within-subjects effecten.

In de tabel zien we dat het algemene effect voor Sekse significant is. Dit houdt in dat er een verschil is tussen jongens en meisjes. De meisjes blijken een lagere frequentie te rapporteren van condoomgebruik dan jongens (na latere analyse blijkt dit te liggen aan een lagere frequentie van seks). Het interactie effect voor TijdxGroep is wat de onderzoekers interessant vonden en dit is significant. Ze wilden dat de GT groep zou veranderen over tijd (een hogere condoomfrequentie) en de OC niet. En dit is gebeurd. We zijn niet geïnteresseerd in het algemene effect van groep: we willen dat de groepen gelijk zijn bij de pretest, en dit zorgt voor verduistering van groepseffecten tijdens de behandeling (een significant effect zou dus een probleem kunnen vormen).

Simpele effecten

Eerste bekijken we de between-subject simpele effecten: hoofdefecten van groep en sekse op elk tijdstip, en sekse x groep simpel interactie effect op elk tijdstip. We willen het interactie-effect TijdxGroep nader gaan bekijken. De makkelijkste manier om dit te doen is door aparte two-way analyses (GroepxSekse) voor elk niveau van de Tijd variabele (op elk meetmoment) uit te voeren. Zo kunnen we bijvoorbeeld bekijken of GT en OC significant van elkaar verschillen op de zes maanden follow-up meting. Doe alleen die analyses waar je interesse in hebt, want elke aparte ANOVA vergroot de kans op een Type I error.

Je kan de F-waarde acepteren of de errortermen van de vier analyses poolen en deze term gebruiken in de berekening. Bij heterogene termen, is het niet handig om ze te poolen. Bij homogene varianties kan het wel, omdat er dan meer vrijheidsgraden zijn.

Hiernaast kunnen we within-subjects effecten bekijken, zoals het simpele effect van Tijd voor elke Groep apart. Zo kunnen we onderzoeken of de GT groep significant over tijd verandert. Wanneer we het simpele effect van GT over tijd berekenen, blijkt uit de analyse dat er wel een significant verschil is voor Sekse (meisjes hebben een lagere frequentie van condoomgebruik), maar niet voor Tijd of TijdxSekse interactie. Dit betekent, dat wanneer we het gemiddelde nemen over sekse, er geen significante verandering is in het condoomgebruik tussen de twee interventies. Dit simpele effect weerlegt dus het algemene significante effect van TijdxGroep wat we eerder vonden.

Wat is de procedure bij twee within-subjects variabelen en één between-subjects variabele?

Bij meerdere between subjects variabelen kunnen we makkelijk een uitbreiding maken van ons originele model, door een extra hoofd en interactie effect toe te voegen. Dit is niet zo met meerdere within subjects variabelen. Nu krijgen we namelijk meerdere error termen. Een voorbeeld hiervan is dat we het vorige onderzoek uitbreiden met een extra conditiegroep. In dit geval zullen er vier errortermen zijn.

Dit kan als volgt worden uitgevoerd in SPSS: Analyze > General Linear Model > Repeated Measures. Er kan worden aangegeven welke plots men wil zien, welke contrasten uit te voeren en welke beschrijvende statistieken men wil zien.

Op welke manier bereken je de intraclass correlatie?

Een belangrijk onderdeel van het uitvoeren van analyses is het bekijken of de metingen wel betrouwbaar zijn. Stel dat we meerdere onderzoekers het gedrag van participanten laten beoordelen. Dan willen we in een ideaal geval dat alle onderzoekers precies dezelfde scores geven aan de participant. Wanneer we dan variatie in scores hebben, is dit door de participant en niet door verschillen tussen beoordelaars of random error.

In een andere situatie beoordelen de onderzoekers de kinderen wel op gelijke volgorde, maar komen de niveaus van het gedrag in de beoordeling niet overeen. In dit geval is er variabiliteit tussen de kinderen, maar ook tussen de beoordelaars. Er is echter nog steeds weinig random error. Dit is het meest realistische model. In een situatie waarin de beoordelaars het niet alleen oneens zijn over de niveaus, maar ook over de volgorde van de kinderen, komt een groot deel van de variabiliteit door errorvariantie.

De intraclass correlatie is een manier om de mate van overeenstemming tussen beoordelaars weer te geven. De meest gebruikte methode om de intraclass correlatie te vinden, is als volgt. We zien de beoordelaars als een willekeurige steekproef van alle mogelijke beoordelaars. Deze mensen beoordelen dezelfde groep participanten. Voor de score van een participant geldt:

\[X_{ij}=\mu+\alpha_i+\pi_j+\alpha\pi_{ij}+e_{ij}\]

waarbij α het effect is van de i-de beoordelaar, πj voor het effect van de j-de participant, απij de interactie tussen hen (de mate waarin de beoordelaar anders gaat beoordelen wanneer hij die participant ziet) en eij de error. Voor een effectgrootte meting (zoals de r2 familie) berekenen we een variantie ratio. Dus geldt:

• Intraclass correlatie =

\[\frac{\sigma^2_{\pi}}{(\sigma^2_{\alpha}+\sigma^2_{\pi}+\sigma^2_{\alpha\pi}+\sigma^2_e)}\]

Als de meeste variatie komt door verschillen tussen participanten, en niet door verschillen tussen beoordelaars, dan zal de ratio de 1.00 naderen. Hoe meer verschillen tussen beoordelaars, hoe kleiner de ratio zal worden. Dit gebeurd ook bij een beoordelaar x participant interactie en als er veel error in de ratings aanwezig is.

In dit geval is de formule voor de intraclass correlatie:

• (MS_participant - MS_BxP)/(MS_participant + (j - 1)MS_BxP + j(MS_beoordelaar - MS_BxP)/n). j is hierbij het aantal beoordelaars en n het aantal participanten.

Wat is er nog meer belangrijk bij herhaalde-metingen designs?

Naast de betrouwbaarheid van de scores, krijgen we bij herhaalde metingen designs ook te maken met een opeenvolgings-effect of carry-over effect. Dit houdt in dat de eerste of eerdere behandeling de reactie op een volgende behandeling beïnvloedt. Er moet dan goed nagedacht worden of men een herhaalde-metingen design wil gebruiken.

Bij een herhaalde metingen analyse zal een drop-out uit de studie vaak betekenen dat de scores voor die participant bij elke meting missen. Hierdoor blijven de aantallen scores proportioneel, maar wel met ongelijke groepsgroottes. Als een participant een deel van het onderzoek mee heeft gedaan, is aan te raden hem helemaal uit de data te verwijderen. Wanneer maar één of twee scores missen, kunnen deze vervangen worden door schattingen.

Het verschil tussen een herhaalde-metingen ontwerp en normale factoriële ontwerpen, is dat de off-diagonal elementen van ∑ niet nul zijn, oftewel de behandelingen zijn gecorreleerd. Het herhaald gebruiken van participanten leidt tot deze correlaties, maar dit is ook het geval bij gematchte steekproeven.

Waartoe dient het mixed models design?

Een van de nadelen van het originele model van herhaalde metingen is dat deze gevoelig is voor sfericiteit van de data. Daarnaast moet de dataset compleet zijn. Als een participant één score mist in de reeks, dan moet deze verwijderd worden uit de analyse. Een alternatieve methode voor herhaalde metingen, die niet afhangt van sfericiteit of complete data, is het mixed models design (of hiërarchisch modeleren). In dit ontwerp maken we gebruik van maximum likelihood of restricted maximum likelihood (REML).

Het mixed model is te ingewikkeld om met de hand te berekenen, een programma zoals SPSS is nodig. In de SPSS is de tabel ‘Covariance Parameters’ te vinden. De ‘CS diagonal offset’ geeft de residuele variantie weer. Het is de error term voor within-subjects tests bij gebalanceerde ontwerpen. De ‘CS covariance’ lijn is de variantie van de intercepten.

Als er twee modellen zijn, moet beoordeeld worden welke beter is. Hierbij kan gekeken worden naar de ‘Information Criteria’. Het model met een lagere waarde van Akaike’s Information Criterion (AIC) of Bayesian Information Criterion (BIC) is het betere model. Mixed models zijn handig in het vergelijken van modellen. Het grote nadeel van het mixed model is dat het moeilijk te specificeren is, en ook moeilijk te interpreteren.