Deze samenvatting is gebaseerd op het studiejaar 2013-2014.

HC Valkuilen van statistisch toetsen

Toetsstatistiek: meet hoezeer de steekproef afwijkt van wat men verwacht als H0 waar zou zijn.

Alles wat men uit een steekproef berekent, is variabel:

• Steekproefgemiddelde en – standaarddeviatie
• Boxplot
• Histogram
• P-waarde
• Betrouwbaarheidsinterval

Hoe groter de steekproef, hoe kleiner de variabiliteit, want het zit dichterbij de waarheid.

Type I fout: fout positief: De uitkomst lijkt positief maar is dit niet, de nulhypothese is onterecht verworpen. Dit veroorzaakt fouten in de publicaties. Dit is bij p ≤ 0,05 de kans hierop is 5%, het komt dus 1 op 20 keer voor.

Type II fout: fout negatief: De nulhypothese is onterecht niet verworpen, dit komt veel vaker voor.

Betrouwbaarheidsintervallen variëren in locatie en lengte. Het betrouwbaarheidsinterval klopt niet als de echte waarde in die populatie niet binnen het betrouwbaarheidsinterval valt. Er is 5% kans dat het betrouwbaarheidsinterval niet klopt. Vanwege dit gegeven spreekt men vaak van een 95% betrouwbaarheidsinterval.

Als de nulhypothese is dat er geen verschil is, moet 0 buiten het betrouwbaarheidsinterval vallen om de hypothese te verwerpen. De p-waarde (sig. (2-tailed)) is dan ook kleiner dan 0,05.

De p-waarde zegt hoeveel waarden er nog extremer zijn. De p-waarde zegt hoe zeker men weet dat het effect niet nul is; het zegt niet direct iets over de grootte van het effect. Een p-waarde van kleiner dan 0,05 is significant.

Wanneer de p-waarde kleiner is dan 0,05 en de 0 valt binnen het betrouwbaarheidsinterval, is er een fout of je  werkt met een odds ratio.

Als de Odds ratio 1 is: er gebeurt niks.

Als 1 binnen het betrouwbaarheidsinterval valt, dan verwerp je de H0 niet.

Bij een ongepaarde t-toets worden twee verschillende groepen met elkaar vergeleken. H0 is dat er geen verschil is tussen de twee groepen.

Bij een gepaarde t-toets worden bij één groep twee keer metingen gedaan en deze worden met elkaar vergeleken. H0 is dat er tussen de eerste en tweede meting geen verschil is.

Regressie naar het gemiddelde: uitschieters naar boven of beneden trekken bij een tweede meting gemiddeld recht, bij de tweede meting lijken de slechtste het dus veel beter te doen. Komt voor bij gerandomiseerd onderzoek met een controlegroep.

Bij een Anova F-toets wordt gebruikt bij het vergelijken van een heleboel groepen, bijvoorbeeld verdeeld over maanden. H0 is dan dat alle groepen gelijk zijn, de alternatieve hypothese is dat er minstens twee groepen zijn die significant verschillen.

Wanneer je de hoogste met de laagste vergelijkt met een ongepaarde t-toets kom je te snel op een significant verschil uit. Dat is een type 1 fout. Dat is omdat je eigenlijk heel veel toetsen doet, dan kom je type 1 fouten tegen. Met 12 maanden heb je 12x 5% kans. Hiervoor moet je compenseren. Dit voorkom je door per onderzoeksvraag slechts één toets te doen en dit van te voren vast te leggen.