Wanneer en hoe wordt de chi-kwadraat test gebruikt? - Chapter 6

Wanneer we te maken krijgen met categorische data, bestaat deze data uit frequenties van observaties die in twee of meer categorieën vallen. In het vorige hoofdstuk keken we naar gebeurtenissen die slechts twee mogelijke uitkomsten hadden. In dit hoofdstuk kijken we naar gebeurtenissen die twee of meer uitkomsten kunnen hebben. Daarnaast komen situaties aan bod die twee onafhankelijke variabelen hebben, en waarbij we willen onderzoeken of ze echt onafhankelijk zijn. Voor beide situaties is de juiste test de chi-kwadraat test.

Hoe verschilt de chi-kwadraat verdeling van andere verdelingen?

De formule voor de chi-kwadraat functie wijkt af van andere functies, omdat het slechts één parameter heeft. De rest zijn constanten. De normaal verdeling heeft er twee parameters (μ en σ), de chi-kwadraat heeft alleen k als parameter. In de statistische wereld staat k voor het aantal vrijheidsgraden (degrees of freedom df). Vrijheidsgraden worden vaak weergegeven als χ²3 of χ²(3).  Hoe groter k wordt, hoe symmetrischer de verdeling. Het gemiddelde en de variantie nemen toe als k toeneemt. Verder geldt:

• Gemiddelde = k
• Variantie = 2k

Hoe is de chi-kwadraat test opgebouwd?

Deze test is gebaseerd op de chi-kwadraat verdeling. We beginnen met een voorbeeld met twee categorieën. Therapeutische tast is een behandelmethode waarbij menselijke energie wordt gebruikt om iemand te helen. Als experiment werden deze therapeuten geblinddoekt en de onderzoeker hield haar hand boven één van hun handen, en de therapeuten moesten aangeven boven welke hand haar hand hing. Van de 280 trials waren de therapeuten in 123 gevallen correct: een percentage van 44%. Op basis van kans zouden de therapeuten het vaker juist moeten hebben (140 trials - 50%). Wat we willen weten is of dit verschil met hetgeen wat we zouden verwachten significant is (oftewel, of we kunnen concluderen dat op de trials niet willekeurig gekozen werd). Hiervoor is een goodness-of-fit test nodig.

De chi-kwadraat formule maakt gebruik van de geobserveerde frequenties en de verwachte frequenties. De geobserveerde frequenties zijn de werkelijke frequenties in de data. De verwachtte frequenties zijn de frequenties, die je zou verwachten wanneer de nulhypothese waar is. We verwachten, wanneer de antwoorden berust zijn op kans, 123 correcte keuzes. De geobserveerde frequentie aan juiste antwoorden noemen we O, de verwachte frequentie noemen we E (expected). De formule voor de chi-kwadraat is:

\[X^2=\sum\frac{(O-E)^2}{E}\]

• Waarbij je voor elke categorie de berekening uitvoert, en optelt. De χ² statistiek voor het voorbeeld is (123-140)²/140 = 4.129.

Hoe ziet de tabel van chi-kwadraat verdeling eruit?

Nu we een waarde hebben voor χ² moeten we deze vergelijken met de χ² verdeling om de kans te bepalen dat een waarde van χ² minstens zo extreem voorkomt, gegeven dat de nulhypothese waar is. Hiervoor kun je de standaard tabelverdeling van χ² gebruiken. De tabel maakt gebruik van vrijheidsgraden. Voor een eendimensionale tabel geldt: df = (k -1), het aantal categorieën min één. In het voorbeeld hebben we dus 1 df. In de tabel staat dat een χ² van 3.84 de bovenste 5% van de verdeling markeert. Onze χ² is groter dan 3.84, namelijk 4.129, dus kunnen we de nulhypothese verwerpen: participanten waren minder accuraat dan pure kans zou voorspellen.

Een probleem is dat de chi-kwadraat verdeling continue is, terwijl de mogelijke waarden van chi-kwadraat discreet zijn (vooral bij kleine steekproefgroottes). Het passen van een discrete verdeling in een continue verdeling is een slechte fit.

Een voorbeeld met meer dan twee categorieën

Hiervoor kijken we naar het spel steen-papier-schaar (SPS). Stel dat we 75 kinderen observeren die SPS spelen en de frequentie van elk symbool tellen per trial (zie Tabel 6).

Hieruit blijkt dat kinderen vaker voor steen kiezen. Dit kan puur toeval zijn. We kunnen berekenen of de afwijking van het verwachtte groot genoeg is om te zeggen dat kinderen echt vaker steen kiezen.

Voor de berekening van χ² kan de formule weer gebruikt worden, alleen zijn er nu drie categorieën, dus hebben we 2 df.

\[\frac{(29-25)^2}{25}+\frac{(22-25)^2}{25}+\frac{(24-25)^2}{25}=1.04\]

De kritieke waarde van χ² bij 2 df blijkt 5.99 te zijn. Een stuk hoger dan 1,04 dus. Dit geeft aan dat de kinderen puur bij toeval elk symbool kozen.

Twee classificatie variabelen

In de vorige voorbeelden spraken we over één dimensie (of classificatie variabele). Vaak zijn er echter meerdere classificatie variabelen en willen we weten of die onafhankelijk van elkaar zijn. Wanneer ze niet onafhankelijk zijn, zijn ze in minder of meerdere mate contingent op of afhankelijk van elkaar. In een contingentie tabel kunnen we de verdelingen van elke variabele tegen elkaar afzetten.

In een contingentie tabel staan de frequenties die we zouden verwachten als de twee variabelen onafhankelijk waren (tussen haakjes). De verwachtte frequentie wordt bereikt door het vermenigvuldigen van de totalen van de rij en kolom waar het om gaat (dit zijn marginale totalen) en dit getal te delen door de totale steekproefgrootte. Dit is weer te geven in een formule: E_ij = R_iC_j / N. Eij is hierbij de verwachtte frequentie voor de cel in rij i en kolom j. R_i en C_j zijn de rij en kolom totalen.

Zie tabel 7 voor een voorbeeld.

Bijvoorbeeld: het verwachte aantal niet-blanken die de doodstraf krijgen is:

\[E(\text{expected})=\frac{44\times272}{792}=15.11\]

De kans dat een observatie in rij 1 valt is het totaal van die rij gedeeld door het totaal aantal cellen. Dit geldt ook voor kolommen. De verwachtte frequentie, als de observaties onafhankelijk zijn, kan verkregen worden door deze twee kansen met elkaar te vermenigvuldigen en dit resultaat te vermenigvuldigen met N.

De waarde van χ² is weer met dezelfde formule te berekenen:

\[\sum\frac{(O-E)^2}{E}\]

• In dit voorbeeld gaat het om vier cellen.

Vrijheidsgraden

Uit de contingentie tabel is het aantal vrijheidsgraden af te leiden door:

• df = (R – 1)(C – 1) met R en C het aantal rijen en kolommen in de tabel. Het aantal vrijheidsgraden is in het voorbeeld dus df = 1.

In dit voorbeeld hoort bij het aantal vrijheidsgraden een kritieke waarde van 3.84. Stel dat we een χ² hadden gevonden van 5.65, dan overschrijdt dit de kritieke waarde en kunnen we de nulhypothese verwerpen. De nulhypothese was dat de variabelen onafhankelijk van elkaar zijn. Wanneer een verdachte niet-blank was, kreeg deze in dit geval eerder de doodstraf.

Veel boeken vinden dat de Yates’ correctie voor continuïteit gebruikt moet worden voor 2x2 tabellen, vooral bij kleine verwachte frequenties. Dit wordt gedaan door de absolute waarde van elke teller met een halve eenheid te verlagen voor het te kwadrateren.

Fisher’s Exacte Test

In Fisher’s Exacte Test wordt van de rij- en kolom totalen elke mogelijke 2x2 tabel gemaakt, en dan uitgerekend wat de som is van de kansen op een tabel met extremere resultaten dan de tabel met de huidige resultaten. Als die som kleiner is dan α, wordt de nulhypothese verworpen en wordt er geconcludeerd dat de twee variabelen in de contingentie tabel een significant verband hebben. Deze test is een conditionele test omdat het uitgaat van bestaande waarden (die in de tabel). Het voordeel van deze test is dat het niet gebaseerd is op de chi-kwadraat verdeling en dus niet aan deze assumpties hoeft te voldoen. Het is echter ook een controversiële test, omdat het conditioneel is. Daarnaast moet je duidelijk van tevoren stellen of je een eenzijdige of tweezijdige test wil doen. Meestal komt uit Fisher’s Exacte Test en de Pearson’s chi-kwadraat dezelfde uitkomst. Fisher’s test is echter alleen te gebruiken bij 2x2 tabellen.

Welke voorwaarden zijn er voor de Pearson chi-kwadraat?

Een van de belangrijkste voorwaarden om de chi-kwadraat test te gebruiken, is een redelijke grootte van verwachte frequenties. Kleine verwachte frequenties kunnen voor problemen zorgen. Ze zorgen namelijk voor een beperkt aantal contingentie tabellen en dus voor een beperkt aantal waarden voor chi-kwadraat. De continue χ² verdeling kan deze discrete verdeling niet goed beschrijven.

Over het algemeen is de regel dat alle verwachte frequenties minstens vijf moeten zijn. Bij kleinere frequenties is het aan te raden Fisher’s Exacte Test te gebruiken, omdat die niet gebaseerd is op de χ² distributie. Bij verwachtte frequenties van één in een cel van een 2x2 tabel kan de chi-kwadraat met de volgende formule gevonden worden:

\[X^2_{adj}=\frac{X^2\times{N}}{N-1}\]

De Fisher’s Exact Test wordt gebruikt voor de verwachtte waarden groter dan één.

χ² voor ordinale data

Wanneer de χ² wordt uitgerekend voor een contingentie tabel, maakt het niet uit hoe de rijen of kolommen gerangschikt zijn: de volgorde maakt niet uit in de berekening. Maar wat als de volgorde van rijen of kolommen wel van belang is? Bijvoorbeeld in het geval, waarbij we patiënten met een eetstoornis aan een behandeling mee laten doen, en meten wie stopt met de behandeling of niet. Daarbij letten we op het aantal traumatische gebeurtenissen dat de patiënt heeft meegemaakt in haar jeugd. Dit probleem moet opgelost worden door middel van correlaties. Dit komt terug in hoofdstuk tien over correlatietechnieken.

Welke voorwaarden zijn er voor de chi-kwadraat test?

De voorwaarde van onafhankelijkheid

De chi-kwadraat test onderzoekt de onafhankelijkheid van variabelen, zoals bij een contingentietabel. Een belangrijke voorwaarde om de test te mogen uitvoeren is, dat de observaties onafhankelijk van elkaar zijn. Dit houdt in dat de keuze van de ene participant geen invloed heeft op de keuze van een andere participant.

De inclusie van niet-voorvallende waarden

Stel dat we willen weten hoeveel studenten van stad en platteland positief zijn over de instelling van de zomertijd. Van de twintig studenten van het platteland zijn 16 mensen voor en van de twintig studenten uit de stad zijn 10 mensen voor. Voor het uitrekenen van de χ² moeten we echter ook weten hoeveel mensen negatief denken over de zomertijd (oftewel de ‘niet-voorvallende waarden’). Wanneer je niet-voorvallende waarden niet meeneemt in de berekening, wordt de waarde van χ² onterecht kleiner, en de kans op het verwerpen van H₀ ook.

Wanneer we kijken naar de steekproefverdeling van χ², kunnen we stellen dat de test eenzijdig is: we verwerpen H₀ alleen wanneer onze waarde van χ² extreem rechts in de verdeling ligt. In feite is de chi-kwadraat test non directioneel.

Hoe moet onderzoek aangepast worden bij herhaalde metingen?

De voorwaarde van onafhankelijke data stelt dat de verkregen scores niet van elkaar afhankelijk mogen zijn. Maar wanneer metingen herhaald worden bij dezelfde mensen, dan moeten we ons onderzoek aanpassen. We willen namelijk dat de verandering die we onderzoeken alleen door het experiment komt en niet door andere variabelen (zoals ouder worden, meer ervaring hebben, et cetera). De standaardfout van veranderingsscores geeft aan in hoeverre de scores afhankelijk van elkaar zijn. Stelt dat we een interventie starten om het hulpvaardig gedrag onder kinderen te vergroten. We meten kinderen vóór en na de interventie en noteren of ze wel of niet hulpvaardig zijn. In dit geval moeten we per kind meten of die op tijdstip 1 en 2 wel of geen hulp bood aan anderen (zie Tabel 8a).

In deze tabel is af te leiden welke kinderen zijn veranderd in het hulpvaardig zijn. Dit zijn alleen die kinderen in de dikgedrukte frequenties. De test die hierbij gebruikt kan worden, is McNemar’s test: hierbij worden uit een contingentietabel alleen de twee diagonale cellen gebruikt. De verwachte frequentie is dat in elke situatie de helft van de kinderen verandert.

Voor deze test zetten we de waarden waar we geïnteresseerd in zijn, in een nieuwe tabel (Tabel 8b).

De formule wordt:

\[X^2=\sum\frac{(O-E)^2}{E}=\frac{(4-8)^2}{8}+\frac{(12-8)^2}{8}=4\]

De χ² overschrijdt de kritieke waarde (χ² = 3.84) en de nulhypothese kan worden verworpen. We concluderen dat de interventie succesvol was, en dat de kinderen hulpvaardiger zijn geworden.

Wat zijn waarschijnlijkheidsratio's?

Een andere manier om categorische data te analyseren is door middel van waarschijnlijkheidsratio’s. Bij grotere steekproeven kan zowel deze als de standaard Pearson chi-kwadraat gebruikt worden, bij kleinere steekproefgroottes is de Pearson chi-kwadraat beter. Waarschijnlijkheidsratio’s worden gebruikt in log-lineaire modellen voor het analyseren van contingentie tabellen.

Simpel gezegd berekenen we de kans of waarschijnlijkheid dat de data die we hebben verkregen, zou voorkomen als de nulhypothese waar is, en de kans dat de data voorkomt bij een alternatieve hypothese. Als de data waarschijnlijker is onder de alternatieve hypothese, verwerpen we H₀. Als de data waarschijnlijker is onder de nulhypothese, dan behouden we H₀. De waarschijnlijkheidsratio is kortom de ratio van deze twee waarschijnlijkheden en wordt uitgedrukt in χ².

De formule is:  

\[X^2_{(C-1)}=2\sum{O_i}ln(\frac{O_i}{E_i})\]

• waarbij ‘ln’ staat voor natuurlijk logaritme en O_i en E_i de geobserveerde en verwachte frequenties zijn voor elke cel. Het aantal vrijheidsgraden is C-1. Bij contingentie tabellen wordt dezelfde formule gebruikt, maar dan met vrijheidsgraden  (R-1)(C-1).

Waarvoor wordt de Mantel-Haenszel statistiek gebruikt?

Bij de bovenstaande 2x2 tabellen is de interpretatie vrij simpel, maar wat als we willen controleren voor een derde variabele (‘conditioneel op’). Bijvoorbeeld wanneer we naar de relatie kijken tussen stress (hoog/laag) en mentale status (normaal/verstoord) in verschillende omgevingen. Hiervoor wordt de Mantel-Haenszel statistiek (ook wel Cochran-Mantel-Haenszel statistiek genoemd) gebruikt.

Als voorbeeld wordt de Simpson paradox gebruikt: de situatie waarin de relatie tussen twee variabelen omkeert wanneer je een derde variabele erin meerekent.

Bij een universiteit werd bekend dat voor een bepaald jaar 48% van de mannelijke inschrijvers werden toegelaten, en slechts 30% van de vrouwelijke. Dit lijkt discriminatie, maar omdat de toelatingen per faculteit worden geregeld, moeten we ook dit meenemen in het onderzoek. De Mantel-Haenszel statistiek is ontworpen om de data van elke faculteit apart te onderzoeken (we conditioneren op faculteit). Hierna wordt de data van elke faculteit opgeteld.

In feite maakt de Mantel-Haenszel berekening dus losse 2x2 tabellen voor elke faculteit, met het aantal mannen en vrouwen die toegelaten of geweigerd zijn. De Mantel-Haenszel statistiek wordt weergegeven door M2. De statistiek kan als een chi-kwadraat met één vrijheidsgraad beoordeeld worden. Uit het onderzoek kwam een M2 van 0.096, welke een kans had van .76. De nulhypothese dat toelating onafhankelijk is van geslacht kan dus niet verworpen worden.

Welke manieren zijn er om de grootte van effect weer te geven?

Of een verband wel of niet statistisch significant is, door middel van de overschrijdingskans, vertelt nog niet of het verband praktisch significant is: of het een belangrijke vondst is. Naast een significantietest is het belangrijk om de grootte van het effect weer te geven. Hier zijn twee verschillende manieren voor.

Ten eerste is er de d-familie van Rosenthal, die gebaseerd is op de verschillen tussen de gemeten groepen. Ten tweede is er de r-familie (ofwel de associatie metingen), die een soort correlatiecoëfficiënt geeft tussen de twee onafhankelijke variabelen.

Voorbeeld

Bij een studie naar hartaanvallen nam een grote groep mannen dagelijks een aspirine of een placebo, en werden zij lange tijd gevolgd om te onderzoeken welke groep meer kans had op een hartaanval. Dit is een prospectieve studie omdat de behandeling eerst wordt gegeven en toekomstige uitkomsten van belang zijn. De studie is ook wel een cohort studie, omdat er twee cohorten (groepen) participanten zijn. In een gerandomiseerde klinische trial worden participanten willekeurig toegewezen aan condities. Een retrospectieve studie of case-control design zou terugkijken in de tijd bij mensen die wel of niet een hartaanval hebben gehad, om te zien hoe hun medicijngebruik was. Uit het onderzoek komt een statistisch significant resultaat, wat inhoudt dat er een relatie is tussen of iemand wel of niet dagelijks aspirine neemt, en of hij later een hartaanval kreeg.

d-familie: risico’s en odds

Dit zijn twee belangrijke concepten bij 2x2 tabellen en worden vaak door de war gehaald. Het risico is de kans op een hartaanval bij mensen in de aspirine- of placebogroep (bijvoorbeeld 0.94% versus 1.69%). Het verschil in risico is dus .77%. Dit lijkt niet veel, maar het gaat hier wel over hartaanvallen. Het probleem met het risico verschil is dat de grootte afhangt van het algehele risiconiveau. Een andere notatiemanier is middels een risico ratio of relatief risico: 1.69%/0.94% = 1.798. Het risico op een hartaanval wanneer je geen aspirine slikt, is dus 1.8 keer hoger dan wanneer je dit wel slikt.

Rekenen we uit door het aantal hartaanvallen delen door het totaal aantal mensen in die groep (b/v 104/11.037 = .94%). De odds op een hartaanval voor iemand in de aspirine groep is het aantal hartaanvallen delen door het totaal aantal mensen die geen hartaanval kregen (104/10933 = 0.0095) in die groep. De odds ratio is dan dus de ratio van het aantal hartaanvallen versus geen hartaanvallen. De odds ratio kan ook gevormd worden door twee odds door elkaar te delen. Bijvoorbeeld: Odds|GeenAspirine/Odds|Aspirine = .0174/.0095 = 1.83.

De odds ratio heeft een aantal voordelen, naast de risico ratio die eigenlijk altijd uitgerekend wordt. Zo is de odds ratio bruikbaarder in een retrospectieve studie, wanneer we bijvoorbeeld terugkijken in het verleden of hartpatiënten of normale mensen meer aspirine gebruikten. Risico is toekomst georiënteerd. Daarnaast is de odds ratio zeer geschikt bij kleine kans gebeurtenissen zoals hartaanvallen, omdat het dan een goede schatting geeft van wat de risico ratio zou zijn. De odds ratio is even goed voor prospectieve, retrospectieve en cross-sectionele studies. Daarnaast is de natuurlijke log van de odds ratio [ln(OR)] erg handig bij bijvoorbeeld logistische regressie en log-lineaire modellen.

Odds ratios in 2 x K en 2 x 2 x K tabellen

In het geval van een 2 x k tabel (met meer dan twee rijen), is de odds ratio niet meer zo voor de hand liggend, omdat het niet duidelijk is wat onze ratio moet vormen. In dat geval is het verstandig om per set een odds ratio uit te rekenen en deze met elkaar te vergelijken.

In het geval van een 2 x 2 x k tabel, dus wanneer een 2x2 tabel wordt herhaald voor verschillende afdelingen/faculteiten etc., kunnen we de kansratio voor alle afdelingen uitrekenen met de formule:

\[\text{OR}\text{(odds ratio)}=\frac{\sum{(\frac{n_{11k}n_{12k}}{n_{...k}})}}{(\frac{n_{12k}n_{21k}}{n_{...k}})}\]

De OR in de voorbeeld tabel (Tabel 9) komt dus uit op 5.80/7.66 = 0.76.

r-familie metingen

De d-familie metingen vergelijken verschillen (differences) tussen condities, door middel van risico- of kansratio’s. Een oudere methode is het bekijken van correlaties tussen twee variabelen (en correlaties worden uitgedrukt in r). Deze methode wordt niet vaak gebruikt, vooral omdat de interpretatie ervan niet duidelijk is. Wat betekent het, wanneer de correlatie tussen variabele X en Y .02 is? Daarom heeft de d-familie in dit geval de voorkeur.

In 2x2 tabellen wordt de correlatiecoëfficiënt phi genoemd (griekse letter φ), welke de correlatie tussen twee dichotome (met één of twee waarden) variabelen aangeeft.

\[\varphi=\sqrt{\frac{X^2}{N}}\]

Bij grotere tabellen hebben we Cramer’s V nodig:

\[V=\sqrt{\frac{X^2}{N(k-1)}}\]

waarbij N de steekproefgrootte is en k de kleinere is van het aantal rijen of kolommen (bij k=2 zijn de twee formules gelijk!)

Hoe wordt overeenstemming gemeten?

Kappa (K)

Bij categorische data is het vaak van belang om te meten in hoeverre beoordelaars overeenstemmen in hun oordeel. Stel dat we bijvoorbeeld willen meten of 30 adolescenten problemen vertonen, met een indeling van ‘geen problemen’ (1), ‘problemen op school’ (2) en ‘problemen thuis’ (3). We vragen twee beoordelaars (clinici) om dit te onderzoeken, zodat we de twee beoordelingen kunnen vergelijken. Middels een contingentietabel (Tabel 10) onderzoeken we hoe vaak de beoordelaars op elke schaal hebben gescoord. Stel dat we vinden dat de beoordelaars het in 20 van de 30 gevallen eens zijn (de diagonale cellen), dan is er 66% overeenstemming. Dit is het percentage van overeenstemming. Daarnaast vinden de beoordelaars beiden dat de meerderheid van de adolescenten geen problemen vertonen.

Het probleem met alleen uitrekenen van een percentage, is dat we geen rekening houden met de mogelijkheid dat de beoordelaars per toeval dezelfde classificatie geven. Om te corrigeren voor kans, ontwikkelde Cohen de statistiek kappa (κ). Hiervoor worden de verkregen en verwachte frequenties voor elke classificatie gebruikt. De verwachte frequentie van de classificatie Geen probleem is bijvoorbeeld (20x20)/30 = 13.33.

\[K=\frac{\sum{f_0}-\sum{f_E}}{N-\sum{f_E}}\]

waarbij f₀ de verkregen frequentie is op de diagonaal en f_E de verwachtte.

Stel dat kappa uitkomt op K = .33. Dit houdt in dat we na correctie voor kans 33% overeenstemming hebben tussen de beoordelaars. Dit is veel lager dan de eerder uitgerekende waarde van 66%.