Hoe vergelijk je twee groepen met elkaar in de statistiek? – Chapter 7

7.1 Wat zijn de basisregels voor het vergelijken van twee groepen?

In de sociale wetenschappen worden vaak twee groepen met elkaar vergeleken. Bij kwantitatieve variabelen worden gemiddelden vergeleken, bij categoriale variabelen proporties. Wanneer je twee groepen met elkaar vergelijkt, creëer je een binaire variabele: een variabele met twee categorieën (soms ook wel dichotoom genoemd). Stel bijvoorbeeld dat je mannen en vrouwen vergelijkt, dan creëer je een binaire variabele ‘geslacht’ met de twee categorieën mannen en vrouwen. Het vergelijken van deze groepen is een voorbeeld van een bivariate statistische methode.

Twee groepen kunnen afhankelijk en onafhankelijk van elkaar zijn. De groepen zijn afhankelijk wanneer de respondenten van nature matchen met elkaar, bijvoorbeeld wanneer je dezelfde groep gebruikt voor en na een meting. Een longitudinaal onderzoek (met dezelfde subjecten maar op verschillende momenten in de tijd) is dan ook een voorbeeld van een afhankelijke steekproef. Er is sprake van een onafhankelijke steekproef wanneer er geen matching is tussen de groepen, bijvoorbeeld wanneer je gebruik maakt van randomisatie. Een voorbeeld van een onafhankelijke steekproef is een cross-sectioneel onderzoek, waarbij er een dwarsdoorsnede van de populatie wordt gemaakt.

Stel dat we twee groepen met elkaar vergelijken die onafhankelijk van elkaar zijn: mannen en vrouwen en hun tijdsbesteding aan slapen. Mannen en vrouwen zijn twee groepen, met allebei een ander populatiegemiddelde en een andere schatting daarvan. Er zijn dan ook twee standaardfouten. De standaardfout geeft namelijk aan hoeveel het gemiddelde per steekproef varieert. Omdat we het verschil tussen mannen en vrouwen in de populatie willen weten, heeft ook dit verschil een standaardfout (want je schat het populatieverschil met het steekproefverschil). Het verschil wat je wilt weten, is µ₂ – µ₁, dit wordt geschat door ȳ₂ – ȳ₁. Van ȳ₂ – ȳ₁ kan vervolgens een steekproefverdeling worden weergeven. De standaaardfout van ȳ₂ – ȳ₁ geeft aan hoeveel het gemiddelde varieert tussen verschillende steekproeven. De formule voor de standaardfout van het verschil tussen twee schattingen is:

Geschatte standaardfout =

Omdat het gaat om twee groepen, zijn er twee standaardfouten, twee steekproefgroottes, etc.

Hierbij is se₁ de standaardfout van groep 1 (mannen) en se₂ de standaardfout van groep 2 (vrouwen).

In plaats van het verschil tussen gemiddelden, kan de ratio worden weergegeven, vooral in geval van hele kleine proporties. Als de proportie van taarten die in iemands gezicht worden gegooid 0,000967 is bij mannen en 0,000043 is bij mannen, zijn dit erg kleine getallen. De ratio is dan 0,000967/0,000043 = 967/43 = 22 en geeft wellicht duidelijker aan dat het toch zonde is van de verspilde taarten.

7.2 Hoe vergelijk je twee proporties van categorische data?

Het verschil tussen de proporties van twee populaties (π₂ – π₁) wordt geschat door het verschil tussen de steekproefproporties (). Als de steekproeven echter erg groot zijn, is het verschil ertussen klein.

Het betrouwbaarheidsinterval bestaat uit de puntschatting van het verschil ± de t-score maal de standaardfout. De formule van het groepsverschil is:

betrouwbaarheidsinterval = waarbij 

Wanneer het betrouwbaarheidsinterval positieve waarden aangeeft, dan betekent dat dat µ₂ - µ₁ positief is, en dus dat µ₂ groter is dan µ₁. Wanneer het betrouwbaarheidsinterval negatieve waarden heeft, betekent het dan ook dat µ₂ kleiner is dan µ₁. Als de uitkomst een klein betrouwbaarheidsinterval is, betekent dat dat de twee groepen niet veel van elkaar verschillen.

Om een significantietoets uit te voeren waarbij de proporties van twee groepen worden vergeleken, is H₀ : π₂ = π₁. Dit zou inhouden dat de proportie in beide groepen precies hetzelfde is. Een andere mogelijke H₀ is π₂ – π₁ = 0, wat er ook op neerkomt dat er geen verschil is. Het berekenen van de z-score en de P-waarde werkt verder bijna hetzelfde als voor slechts een groep. Het verschil is datstaat voor een schatting van de proportie in beide groepen uit de steekproef. Dit heet een pooled estimate. De schatting komt in dit geval neer op ₂- ₁. Hiermee kan de standaardfout worden berekend. Voor se₀, de standaardfout waarbij de nulhypothese klopt, wordt bij een vergelijking van de proporties uit twee groepen een alternatieve formule gebruikt:

se₀ =

Dit kan ook met software worden berekend. De uitkomsten kunnen overzichtelijk worden weergegeven, bijvoorbeeld in een kruistabel. In een kruistabel worden de categorieën van de verklarende variabele in de rijen geplaatst en de categorieën van de responsvariabele in de kolommen. De cellen geven dan de combinaties van uitkomsten weer.

7.3 Hoe vergelijk je twee gemiddelden van kwantitatieve data?

Voor de twee gemiddelden van de populatie (µ₂ – µ₁) kan een betrouwbaarheidsinterval worden berekend aan de hand van de steekproefverdeling (ȳ₂ – ȳ₁).

De formule voor dit betrouwbaarheidsinterval is:

(ȳ₂ – ȳ₁ ) ± t(se) waarbij 

De t-score is hierbij de score die past bij het gekozen betrouwbaarheidsniveau. De vrijheidsgraden df worden meestal berekend met software. Als de standaarddeviaties en de steekproefgroottes voor elke groep gelijk zijn, dan is een gesimplificeerde formule voor de vrijheidsgraden: df = (n₁ + n₂ – 2). De uitkomst is positief of negatief en geeft daarmee aan voor welke van de twee groepen het gemiddelde hoger is.

Bij een significantietoets om twee gemiddelden te vergelijken, wordt H₀ : µ₁ = µ₂ wat op hetzelfde neerkomt als H₀ : µ₂ – µ₁ = 0.

De formule wordt dan: t = waarbij 

De standaardfout en de vrijheidsgraden zijn hetzelfde als bij een betrouwbaarheidsinterval voor twee gemiddelden. Onderzoekers zijn vaak geïnteresseerd in het verschil tussen twee groepen en gebruiken vaker significantietoetsen hiervoor dan voor een groep.

7.4 Hoe vergelijk je gemiddelden van afhankelijke steekproeven?

Bij afhankelijke steekproeven wordt gematchte paren data vergeleken. Bij een longitudinaal onderzoek (met dezelfde subjecten maar op verschillende momenten in de tijd) wordt gebruik gemaakt van herhaalde metingen. Een voorbeeld is een crossover study, waarbij een subject een bepaalde behandeling krijgt en later een andere behandeling.

Als er gematchte paren worden vergeleken, ontstaat er voor elk paar een variabele (genaamd y_d): verschil = observatie in steekproef 2 – observatie in steekproef 1. Het steekproefgemiddelde is dan ȳ_d. Een regel bij gematchte paren is dat het verschil tussen de gemiddelden gelijkstaat aan het gemiddelde van de verschillende scores.

Het betrouwbaarheidsinterval van µ_d (het verschil tussen de gemiddelden) is:

De significantietoets bij dit betrouwbaarheidsinterval wordt dan:

  waarbij

Als een significantietoets over verschillende observaties voor afhankelijke paren gaat, heet het de gepaarde t-toets.

De voordelen van afhankelijke steekproeven zijn:

• Andere variabelen die meespelen, gelden zowel voor de eerste als voor de volgende steekproef, omdat het om dezelfde subjecten gaat.

• De spreiding is minder groot en daarmee de standaardfout ook.

7.5 Welke complexe methoden zijn er voor het vergelijken van gemiddelden?

Naast een gepaarde t-toets, zijn er ook andere methoden voor het vergelijken van gemiddelden. Deze methoden zijn onder andere: verondersteld identieke standaarddeviaties, gerandomiseerd blokontwerp, effectgrootte en een model.

Bij een onafhankelijke steekproef wordt aangenomen dat bij de nulhypothese de verdelingen van de responsvariabele identiek zijn, en daarmee ook de standaarddeviaties en de gemiddelden. De schatting van de standaarddeviatie wordt dan:

Het betrouwbaarheidsinterval is hierbij:

(ȳ₂ – ȳ₁ ) ± t(se) waarbij se =

De vrijheidsgraden bestaan uit het gecombineerde aantal observaties min het aantal geschatte parameters (µ₁ en µ₂) en worden dan df = n₁ + n₂ – 2.

Een andere methode is het gerandomiseerd blokontwerp. Dit houdt in dat subjecten met soortgelijke kenmerken als een paar worden beschouwd en slechts een (willekeurig geselecteerd) subject een behandeling krijgt toegewezen. Ook het geval waarbij een subject voor en na een behandeling wordt geobserveerd, is een voorbeeld van een gerandomiseeerd blokontwerp. Bij complete randomisatie daarentegen worden individuen volledig willekeurig over twee groepen verdeeld. Een gerandomiseerd blokontwerp is dus een constructie waarbij een zekere mate van randomisatie van kracht is.

Software kan inferenties uitvoeren voor een spreiding die gelijk is in twee groepen, maar ook voor het geval dat een gelijke variantie niet wordt verondersteld. Er kan dus worden verondersteld dat de standaarddeviatie van de populatie hetzelfde is (σ₁ = σ₂), maar dat hoeft niet per se. Als de steekproefgroottes namelijk (bijna) hetzelfde zijn, worden de uitkomsten van toetsingsgrootheden voor gelijke varianties en ongelijke varianties identiek. Als er echter een vermoeden is van sterk verschillende standaarddeviaties, is het beter om deze methode niet te gebruiken. De functie F in software, die test of de standaarddeviaties van een populatie gelijk zijn, wordt afgeraden, omdat deze niet robuust is voor verdelingen die niet normaal zijn.

Een andere methode is om gemiddelden te vergelijken aan de hand van de effectgrootte. De formule hiervoor is (ȳ₁ – ȳ₂) / s. De uitkomst wordt als groot beschouwd indien deze ongeveer 1 of groter is. Deze methode is vooral handig als het verschil erg anders zou zijn in andere meeteenheden (bijvoorbeeld kilometers of mijlen).

Een manier om gemiddelden te vergelijken, is een model gebruiken. Een model is een simpele benadering van de echte verhouding tussen twee (of meer) variabelen in de populatie. We kunnen bijvoorbeeld uitgaan van een normale verdeling met een gemiddelde en een standaarddeviatie, op te schrijven als N(µ, σ). y₁ is een observatie van groep 1 en y₂ is een observatie van groep 2. Een model kan dan zijn:

H₀ : y₁ heeft als verdeling N(µ, σ₁) en y₂ heeft als verdeling N(µ, σ₂)

H_a : y₁ heeft als verdeling N(µ₁, σ₁) en y₂ heeft als verdeling N(µ₂, σ₂) en µ₁ ≠ µ₂

Hierbij wordt dus onderzocht of de gemiddelden verschillen. Er wordt niet aangenomen dat de standaarddeviaties hetzelfde zijn, want dat zou de werkelijkheid misschien teveel simplificeren, waardoor grote fouten kunnen optreden.

7.6 Welke complexe methoden zijn er voor het vergelijken van proporties?

Zelfs voor afhankelijke steekproeven of hele kleine steekproeven zijn er methoden om proporties te vergelijken. Voor afhankelijke steekproeven kunnen proporties worden vergeleken met een z-score die de proporties vergelijkt, of met McNemar's toets, of met een betrouwbaarheidsinterval. Voor kleine steekproeven is Fishers exacte toets geschikt.

Voor afhankelijke steekproeven kunnen proporties vergeleken worden net zoals gemiddelden. De z-score meet het aantal standaardfouten tussen de schatting en de waarde van de nulhypothese en de formule ervan komt in dit geval neer op: (steekproefproportie – proportie van de nulhypothese) / standaardfout.

Voor gepaarde proporties kan ook McNemar's toets worden gebruikt. De toetsingsgrootheid van McNemar's toets is:

Behalve een significantietoets kan ook een betrouwbaarheidsinterval nuttig zijn om de verschillen tussen afhankelijke proporties duidelijk te maken. De formule voor dit betrouwbaarheidsinterval is:

(₂ – ₁ ) ± z(se) waarbij 

Fishers exacte toets is geschikt voor kleine steekproeven, het is een complexe toets maar deze kan makkelijk met software worden uitgevoerd.

7.7 Welke nonparametrische methoden zijn er voor het vergelijken van groepen?

Parametrische methoden gaan uit van een bepaalde vorm van de distributie, zoals de normale verdeling. Nonparametrische methoden maken geen aannames over de vorm van een distributie.

Nonparametrische methoden voor het vergelijken van groepen worden vooral gebruikt bij kleine steekproeven en erg scheve verdelingen. Voorbeelden zijn de Wilcoxon toets, Mann-Whitney toets en nonparametrische effectgrootte meting.

Sommige nonparametrische toetsen nemen aan dat de vorm van de populatiedistributies identiek is, maar nemen niet aan dat het normale verdelingen zijn. Het model is dan:

H₀ : y₁ en y₂ hebben dezelfde distributie.

H_a : De distributies van y₁ en y₂ hebben dezelfde vorm, maar de distributie van y₁ is meer omhoog of omlaag gevormd dan degene van y₂.

Een test van deze soort is de Wilcoxon toets. Deze toets opereert op een ordinale meetschaal en deelt de observaties in een klassement in.

Een andere test van deze soort is de Mann-Whitney toets. Deze toets vergelijkt een reeks observaties van een groep met een reeks observaties van een andere groep, bijvoorbeeld als twee weermannen het weer van een bepaalde week proberen te voorspellen.

De effectgrootte kan ook op nonparametrische verdelingen worden toegepast. Hierbij wordt bekeken hoe vaak de observaties van een groep bijvoorbeeld hoger waren dan de observaties van een andere groep.

Een andere optie is ordinale variabelen behandelen als kwantitatieve variabelen. Hierbij krijgt elke categorie een score. Dit werkt soms makkelijker dan wanneer klassementen als ordinale variabelen worden behandeld.

TentamenTickets

• Er zijn een hoop variaties en toepassingen mogelijk van significantietoetsen. Voor een beter begrip van de formules, helpt het om de algemene formule te kennen: de toetsingsgrootheid (bijvoorbeeld z-score) meet het aantal standaardfouten tussen de schatting en de waarde van de nulhypothese. Dit komt neer op: (schatting – nulhypothesewaarde) / standaardfout.

• Steeds meer toetsen worden uitgevoerd met software. Zeker voor de complexere, minder reguliere of zelfs nonparametrische methoden om gemiddelden of proporties te vergelijken, volstaat het om te weten welke toets je in welke situatie gebruikt. Mocht dat specifieke geval zich voordoen, dan kun je er meer informatie over opzoeken of zelfs de formules die de software gebruikt om de toets te berekenen.