Wat is de power van een statistische test? - Chapter 8

In dit hoofdstuk wordt het concept power van een statistische test besproken. Veel experimenten houden zich vooral bezig met het zo klein mogelijk maken van de kans op een Type I fout: het vinden van een verschil, dat er eigenlijk niet is. Power heeft betrekking op een ander type fout, namelijk de Type II: het niet vinden van een verschil, dat er wel is. De kans hierop wordt ook wel β genoemd, en power = 1- β. Power is de kans van het correct verwerpen van de nulhypothese, oftewel het correct concluderen dat er een verschil is.

Wat houdt het concept power in?

Power geeft de kans dat een nulhypothese correct verworpen wordt. Een omslachtige manier om dit zelf uit te rekenen, is door een steekproef te nemen (waarvan populatiegemiddelde en standaarddeviatie bekend zijn) en hiervan de t waarde te bepalen. Vervolgens herhalen we dit proces 9.999 keer, waardoor we 10.000 t waarden hebben. Van die t waarden kunnen we vervolgens bepalen hoeveel van die waarden groter waren dan de kritieke waarde van t. Stel dat 86% van de resultaten groter waren dan de kritieke waarde, dan is de power van het experiment .86.

Welke factoren beïnvloeden de power?

Power is een functie van een aantal variabelen, namelijk (1) α, de kans op een type I fout, (2) de alternatieve hypothese, (3) de steekproefgrootte en (4) de gebruikte test. Elk heeft zijn eigen invloed op hoe groot de power zal zijn.

Power als functie van α

Als we de overschrijdingskans α vergroten (door het cut off punt naar links te verschuiven), zal de kans op het verwerpen van de nulhypothese simultaan toenemen (dit doen we immers bij p < α). Dit verkleint de kans op het onjuist behouden van de nulhypothese (β) en vergroot de power. Een grotere α geeft wel meer kans op een Type I fout.

Power als functie van H₁

Als de alternatieve hypothese H₁ meer afwijkt van de nulhypothese H₀, wordt logischerwijs de kans groter dat we dit verschil zullen ontdekken. De power wordt dus groter, maar er is nog een redelijk grote kans op type II fout.

Power als functie van n en σ²

De makkelijkste manier om power te beïnvloeden is met de steekproefgrootte n. Dit heeft te maken met de steekproefverdeling van het gemiddelde. Bij hypothesetesten vergelijken we gemiddelden, en maken we gebruik van de steekproefverdeling van die gemiddelden. De formule voor de variantie in die verdeling is:

\[\sigma^2_{\bar{X}}=\frac{\sigma^2}{n}\]

De variantie van de verdeling wordt dus kleiner als n groter wordt of σ² kleiner wordt.

Als de variantie van een verdeling kleiner wordt, wordt de verdeling spitser, met kleinere staarten. De verdelingen van H₀ en H₁ zullen dan minder overlappen, wat de kans vergroot op het juist verwerpen van H₀.

Hoe wordt de power berekent?

Power is dus afhankelijk van de hoeveelheid overlap tussen de steekproefverdelingen onder H₀ en H₁. Deze overlap wordt bepaald door de afstand tussen μ₁en μ₂en de standaardfout.  Voor het berekenen van power hebben we effectgrootte d nodig. Deze wordt namelijk berekend door de gemiddelden van beide groepen in de populatie (μ₁en μ₂) van elkaar af te trekken, en te delen door de standaarddeviatie. We kunnen d op verschillende manieren vinden (aflopend van best tot minst):

1. Eerder onderzoek: we kunnen naar steekproefgemiddelden en varianties van andere studies kijken en die als uitgangspunt nemen om μ₁en μ₂ en σ te schatten.
2. Zelf inschatten wat belangrijk is: veel onderzoekers willen uit hun onderzoek een bepaald effect vinden, om te kunnen zeggen dat het een belangrijk/groot effect is. Stel dat we minstens 40 punten verschil op een bepaalde behandeling willen behalen, en de standaarddeviatie van deze test al weten (100), dan is d = 40/100 = .40.
3. Een laatste redmiddel is het zelf kiezen van d aan de hand van Cohen’s richtlijnen.

Het percentage overlap geeft aan hoeveel de twee distributies (H₀ en H_­1) overlappen en dus ook een maat voor het geproduceerde verschil door de behandeling.

Effectgrootte en n samennemen

Omdat power beïnvloed wordt door n, moet die in de formule worden ingevoegd. De statistiek δ (Griekse letter delta) representeert deze combinatie van d en n, en afhankelijk van de test die we willen doen, zal de formule anders zijn.

Hoe wordt de power berekent bij een één steekproef t-test?

Bij een t-test in een enkele steekproef is de formule:

\[\delta=d\sqrt{n}\]

Stel dat we een intelligentieonderzoek doen bij 25 cliënten met psychische problemen, en we willen weten wat de power is voor het vinden van tenminste vijf punten verschil tussen de algemene populatie en deze groep. We weten dat μ0 = 100, σ = 15 en μ1 = 105.

• d = (105-100)/15 = 0.33
• δ = 0.33√25= 1.65

Deze waarde van de power is vervolgens in de Appendix Power op te zoeken, afhankelijk van of de onderzoeker een- of tweezijdig test en afhankelijk van de α. Bij een tweezijdige test met α = .05 ligt de bijbehorende power tussen .36 en .40. Dit betekent dat als H₀ onjuist is en μ₁ echt 105 is, de onderzoeker slechts in 38% van de tijd een statistisch significant verschil zal vinden tussen haar steekproefgemiddelde en de populatie. In 62% van de gevallen is er dus sprake van een type II fout.

De onderzoeker zal hier niet blij mee zijn, en wil de power vergroten. Dit kan door α te verhogen naar .10, maar een betere optie is om de steekproef te vergroten. Voor een power van .80 moet δ = 2.80 zijn.

• n = (δ/d)2 = (2,80/0,33)2 = 71.91.

Voor een power van .80 moeten er dus 72 cliënten in de steekproef worden opgenomen. We settelen voor een power van .80, omdat de steekproefgrootte te groot wordt voor hogere power. Dit is niet vaak niet haalbaar voor de middelen van de onderzoeker.

Noncentraliteit parameters

δ is een noncentraliteit parameter. t is verdeeld rond nul onafhankelijk of de nulhypothese waar is, zolang μ het ware gemiddelde van de verdeling is. Als H₀:μ = μ₀ waar is, zal:

\[t=\frac{\bar{X}-\mu_0}{\frac{s}{\sqrt{n}}}\]

rond nul verdeeld zijn, maar als H₀ onjuist is en μ ≠ μ₀, dan zal t niet rond nul verdeeld zijn. Dan zal de t verdeling gecentreerd zijn rondom:

\[\delta=\frac{\mu_1-\mu_0}{\sigma\sqrt{n}}\]

Deze wisseling van gemiddelde van de distributie heet mate van noncentraliteit.

Als we op zoek gaan naar power, kijken we naar de kans dat de waarde van de noncentrale distributie groter is dan de kritieke waarde van t onder H₀. β staat gelijk aan de waarden tussen ± t._025.

Hoe wordt de power berekent voor verschillen tussen twee onafhankelijke gemiddelden?

Wanneer we het verschil tussen twee onafhankelijke gemiddelden willen onderzoeken, lijkt de powertest sterk op die voor slechts één gemiddelde. Nu staat in de teller het verschil tussen de gemiddelden voor H₁ en voor H₀, maar omdat bij de nulhypothese μ₁= μ₂ = 0, kunnen we die weglaten uit de formule.

\[d=\frac{(\mu_1-\mu_2)}{\sigma}\]

Gelijke steekproefgroottes

Bij twee onafhankelijke gemiddelden, en evenveel participanten per steekproef is de bijbehorende formule voor δ: δ = d √n/2 waarbij n het aantal participanten in één van de steekproeven is (bijv. 25 per sample).

Voor een power van .80 is dus te berekenen hoeveel participanten er moeten zijn. Uit Appendix Power is af te lezen dat δ = 2,80 moet zijn.

• n = 2(δ/d)². Dus 2(2,80/0,50)² = 62,72

Ongelijke steekproefgroottes

In het geval dat er ongelijke aantallen in elke steekproef zitten (wat vaak zal zijn), moeten we een aanpassing doen in de formule. Bij vrijwel gelijke steekproeven die een redelijk groot aantal participanten hebben, kan ervoor gekozen worden de kleinere n te nemen als uitgangspunt. Een andere procedure is het wegen van de steekproefgroottes en daar een gewogen gemiddelde uit te nemen. Dit is het harmonisch gemiddelde (X_n) van een k aantal steekproeven:

\[X_n=\frac{k}{\sum(\frac{1}{X_i})}\]

Dus bij 2 steekproefgroottes (n₁ en n₂):

\[\bar{n_n}=\frac{2}{(\frac{1}{n_1}+\frac{1}{n_2})}=\frac{2n_1n_2}{(n_1+n_2)}\]

In de berekening van δ wordt dan gebruik gemaakt van \[\bar{n_n}\]. Dit wordt de effectieve steekproefgrootte genoemd.

Hoe wordt de power berekent bij gepaarde t test?

Het berekenen van power is lastiger bij twee gepaarde steekproeven. Een extra parameter wordt hier toegevoegd. In een gepaarde t test is de formule voor d:

\[d=\frac{(\mu_1-\mu_2)}{\sigma_{X_1-X_2}}\]

Het probleem is, dat σ_x1-x2 de standaarddeviatie is van de verschilscores van de twee populaties. Deze kunnen we wel uitrekenen, met ρ (rho); de correlatie tussen X₁ en X₂. De variantie som wet geeft de volgende formule:

\[\sigma_{X_1\pm{X_2}}=\sigma^2_{X_1}+\sigma^2_{X_2}\pm2\rho\sigma_{X_1}\sigma_{X_2}\]

Met de assumptie homogeniteit van variantie (σ²_X1 = σ²_X2 = σ²) geldt:

\[\sigma^2_{X_1-X_2}=2\sigma^2-2\rho\sigma^2=2\sigma^2(1-\rho)\]

\[\sigma_{X_1-X_2}=\sigma\sqrt{2(1-\rho)}\]

Bij herhaalde metingen geldt weer de formule van power van de enkele steekproef: δ = d√n. Als ρ vermindert, neemt ook de power af. Met ρ = 0 zijn de gepaarde steekproeven eigenlijk onafhankelijk. In deze situatie is het gepaarde steekproef ontwerp echter nog steeds krachtiger dan het ontwerp voor onafhankelijke groepen.

De ‘p’-waarde voor statistische significantie vertelt niet altijd genoeg. Een betrouwbaarheidsinterval kan over veel extra informatie beschikken.

Wat is retrospectieve power?

De voorgaande berekeningen gaven een a priori power schatting: de power die we berekenen voordat het experiment uitgevoerd is, op basis van schattingen van de populatieparameters voor gemiddelde, correlatie, variantie etc. De laatste jaren is de post hoc of retrospectieve power belangrijker geworden: power die wordt uitgerekend na het experiment, op basis van de resultaten. Een van de redenen waarom deze wordt berekend, is om de ontwerpen van toekomstig onderzoek te verbeteren. Daarnaast kan het worden gebruikt om studies te evalueren (zoals bij een meta-analyse).