Hoe trek je een conclusie uit statistisch onderzoek? - Chapter 13

Wat houdt significantietoetsing in?

In onderzoeken wordt vaak gebruikgemaakt van steekproeven. Je kunt in een onderzoek naar het verband tussen gehoorschade en het luisteren van rockmuziek immers niet alle luisteraars van rockmuziek meenemen. Je kunt berekenen hoe groot de kans is dat de uitkomst van de steekproef voor de gehele populatie geldt. Als deze kans groter is dan 95%, is sprake van een 'significant' resultaat. De 'alfafout' is vaak 0,05: onderzoekers accepteren maximaal 5% kans dat de uitkomst van de steekproef op toeval berust. Een voorbeeld. Een onderzoeker gooit 10 keer een euromunt op. Hij gooit 9 keer munt. Mag hij generaliserend vaststellen dat de euromunt vals is? In geval van een normale euromunt is de kans op minstens 9 keer munt slechts 1,07%. Hij concludeert dus dat de euromunt niet echt is. De kans dat hij de alfafout maakt is een kleine 1%. 

De veronderstelling waaronder men de kans op de gevonden uitkomst kan berekenen noemt men de 'nulhypothese'. Onderzoekers willen hun nulhypothese meestal verwerpen ten gunste van een 'alternatieve hypothese'. Een onderzoeker die bijvoorbeeld een verband wil aantonen tussen koopgedrag en geslacht, zal de steekproefresultaten berekenen uitgaande van de nulhypothese (Er is geen verband tussen geslacht en koopgedrag in de populatie). Is de kans op het verkrijgen van het steekproefresultaat onder aanname van deze nulhypothese geringer dan 5%, dan is zijn nulhypothese verwerpbaar. Deze procedure noemt men 'significantietoetsing'. 

Wat houdt onderscheidingsvermogen in?

Wanneer de nulhypothese correct is en de onderzoeker deze accepteert, dan neemt hij de correcte beslissing. Verwerpt hij de nulhypothese, dan maakt hij de alfafout (ook wel: 'fout van de eerste soort'). Hij kan ook een ander soort fout maken: de nulhypothese accepteren, terwijl de alternatieve hypothese correct is. Hij maakt dan de bètafout (ook wel: 'fout van de tweede soort'). Vervolgens neemt hij de correcte beslissing door de nulhypothese te verwerpen wanneer de alternatieve hypothese correct is. De kans op het nemen van deze laatste correcte beslissing betreft het 'onderscheidingsvermogen' van de onderzoeker. 

Schematisch weergegeven:

Nulhypothese is correct & nulhypothese wordt niet verworpen > correcte beslissing (kans is gelijk aan 1 - alfa)

Nulhypothese is correct & nulhypothese wordt verworpen > alfafout (kans is gelijk aan alfa)

Alternatieve hypothese is correct & nulhypothese wordt niet verworpen > bètafout (kans is gelijk aan bèta)

Alternatieve hypothese is correct & nulhypothese wordt verworpen > correcte beslissing (kans is gelijk aan 1 - bèta)

Naarmate de kans op een alfafout kleiner wordt, wordt de kans op een bètafout groter. Neemt bèta toe, dan neemt het onderscheidingsvermogen af. Kortom: naarmate alfa kleiner wordt, wordt het onderscheidingsvermogen kleiner. 

Welke tweede factor is bepalend voor de grootte van het onderscheidingsvermogen?

Naast de grootte van alfa wordt de grootte van het onderscheidingsvermogen bepaald door twee andere factoren. Een hiervan betreft de effectgrootte: de grootte van het verschil tussen nulhypothese en de alternatieve hypothese. Een groot effect is eenvoudiger waar te nemen dan een klein effect. Als algemene regel kun je aanhouden: des te groter de effectgrootte, des te groter het onderscheidingsvermogen. 

Welke derde factor is bepalend voor de grootte van het onderscheidingsvermogen?

Naast de grootte van alfa en de effectgrootte is de steekproefgrootte bepalend voor de grootte van het onderscheidingsvermogen. Hoe meer waarnemingen een onderzoeker doet, hoe beter het verschil met de nulhypothese opvalt. Meer meten = meer weten. Kortom: des te groter de steekproef, des te groter het onderscheidingsvermogen.

Wat houdt de viereenheid tussen onderscheidsvermogen en de drie besproken factoren in?

De effectgrootte, steekproefgrootte en alfafout vormen samen met het onderscheidsvermogen een viereenheid. Wanneer drie van hen op een zekere waarde worden gefixeerd, dan ligt de resterende automatisch vast. 

Wat is het onderscheid tussen eenzijdig en tweezijdig toetsen?

Het onderscheid tussen alfa-eenzijdig en alfa-tweezijdig toetsen is voor een onderzoeker die significantietoetsing toepast erg belangrijk. Heeft hij zeer aannemelijke theoretische verwachtingen over de richting waarin resultaten zullen afwijken van de nulhypothese, dan is eenzijdig toetsen beter. De grootte van de alfafout wordt dan berekend vanuit de veronderstelling dat de steekproefuitkomsten alleen van de nulhypothese zullen afwijken in de verwachte richting. Je moet er erg zeker van zijn dat geen effecten kunnen optreden in de niet-verwachte richting. Weet je niet welke kant het op zal gaan, dan is tweezijdig toetsen beter. Eenzijdig toetsen resulteert in een groter onderscheidingsvermogen. 

Wanneer maak je wel en wanneer niet gebruik van significantietoetsing?

Wat significantietoetsing betreft, zijn er drie valkuilen mogelijk:

1. Significantietoetsing komt met onzekerheden: het maken van een alfa- of bètafout blijft mogelijk. Gebruik het niet als een alternatief onderzoek betrouwbaardere resultaten oplevert dan een steekproef. Soms kun je bijvoorbeeld ergens concrete data opvragen.
2. Soms denkt een onderzoeker ten onrechte dat significantietoetsing nodig is, terwijl hij geen steekproef uitvoerde, maar een onderzoek onder de gehele populatie. Een geringe populatie kan alsnog de gehele populatie zijn.
3. De uitgevoerde steekproef is te groot. Te klein is niet goed, maar het tegenovergestelde evenmin. Elk klein verschil wordt dan statistisch significant. Door te gedetailleerd te kijken, verliest de uitkomst betekenis. 

Wat houdt de bayesiaanse benadering in?

De bayesiaanse benadering is behulpzaam bij het uitrekenen van de kans op 'indien X, dan Z' wanneer je de kans weet op 'indien Z, dan X'. Je moet goed beseffen dat er een enorm verschil is tussen beide formuleringen. 

Een voorbeeld. Je werkt op de afdeling personeelszaken en bent op zoek naar een nieuwe jurist. Kandidaat Kim staat je erg aan, maar je twijfelt. Ze heeft namelijk gestudeerd aan Universiteit Utrecht en onlangs werd bekend dat 10% van alle plagiaat plegende juristen daar studeerde. Je vreest dat de kans 10% is dat je een plagiaatpleger aanneemt. In dat geval ben je geen kritische denker. De kans 'indien plagiaatpleger, dan Universiteit Utrecht, is totaal anders dan de kans 'indien Universiteit Utrecht, dan plagiaatpleger'. Neem aan dat 30 juristen in ons land plagiaat plegen. 3 daarvan studeerden aan de Universiteit Utrecht (10% dus). Aan de Universiteit zijn in de laatste 20 jaar 1500 juristen afgestudeerd. Dit resulteert in een percentage van 0,2% plagiaatplegers (3:1500). Het risico dat je de verkeerde persoon aanneemt, is dus niet 10%, maar slechts 0,2%.

De bayesiaanse benadering speelt een belangrijke rol als je voor een onderzoek bepaalde zaken moet opsporen. Je weet bijvoorbeeld dat 55% van de snelheidsovertreders aan kickboksen heeft gedaan. Is dit zinvolle informatie voor het opsporen van overtreders? Heeft het nut om beter op iedereen die aan kickboksen doet te letten? Vast niet. De kans 'als snelheidsovertreder, dan kickbokser' is 70%, maar de kans 'als kickbokser, dan snelheidsovertreder' is veel kleiner.