Op welke manier wordt experimentele data geanalyseerd? - Chapter 11

Welke rol speelt systematische variantie in analyse?

Wetenschappers moeten statistische analyses uitvoeren om hun onderzoeksvragen te kunnen beantwoorden. Na de uitvoering van het experiment, moet de onderzoeker bepalen of de gemanipuleerde onafhankelijke variabele het voorspelde effect heeft gehad op de afhankelijke variabele. Over het algemeen kunnen we zien of dit het geval is door te bepalen of de totale variantie in de data systematische variantie bevat, als gevolg van de manipulatie. Als systematische variantie aanwezig is, zijn de gemiddelden van de verschillende experimentele groepen verschillend. We kunnen dus bepalen of er sprake is van systematische variantie, door de gemiddelden van de experimentele groepen te vergelijken. Verschillen in gemiddelden komen doordat de manipulatie van de onafhankelijke variabele ervoor heeft gezorgd dat de groepen verschillend scoren. Wanneer de groepen verschillend scoren, is er sprake van systematische variantie. De manipulatie van de onafhankelijke variabelen heeft dan immers effect gehad op de scores op de afhankelijke variabele. Als er echter geen verschil in de groepsgemiddelden bestaat, dan is er geen sprake van systematische variantie en heeft de onafhankelijke variabele geen effect gehad.

Welke rol spelen error variantie en groepsgemiddelden in analyse?

De gemiddelden van de condities kunnen echter van elkaar verschillen zonder dat de onafhankelijke variabele effect heeft gehad. Daarom is alleen maar kijken naar de gemiddelden van de groepen niet helemaal een goede methode voor het ontdekken van de systematische variantie. Verschillen in gemiddelden kunnen bijvoorbeeld ontstaan doordat de twee variabelen (x en y) samen variëren of samen verschillen op een andere variabele (z) (een ‘confounding variable’). Hierdoor kan het lijken alsof de twee gemiddelden verschillen, en er dus sprake is van systematische variantie, terwijl dit niet zo hoeft te zijn. Ook kan het door een confounding variable lijken alsof de twee gemiddelden niet verschillen, en er dus geen sprake is van systematische variantie, terwijl dit wel zo is.

Zelfs al is er geen sprake van een confounding variable, dan zijn verschillen tussen de gemiddelden van de condities van nature alsnog vaak aanwezig. Het is bijna niet mogelijk dat mensen in verschillende condities precies hetzelfde gemiddelde hebben. Dit kan toevallig zijn. Het hoeft dus niet altijd veroorzaakt te worden door de manipulatie van de onafhankelijke variabele. Kleine verschillen in groepsgemiddelden zijn het gevolg van error variantie. Het gaat hierbij om variabelen die invloed op het gedrag van deelnemers hebben, zoals stemming en persoonlijkheidskenmerken. Kortom, de groepsgemiddelden verschillen altijd in bepaalde mate. Hoe kunnen we er dan toch achter komen of het verschil in groepsgemiddelden het gevolg is van de onafhankelijke variabele of van error variantie? Dit kunnen we uitzoeken door middel van inferentiële statistiek.

Wat is de functie van inferentiële statistiek?

Er is een manier om uit te zoeken of het verschil in groepsgemiddelden het gevolg is van error variantie of van systematische variantie. Hier kunnen we namelijk achter komen door middel van een inferentiële statistiek. Deze methode gaat er vanuit dat de onafhankelijke variabele effect heeft gehad, wanneer het verschil tussen de gemiddelden van de condities groter is dan dat we zouden verwachten op basis van alleen error variantie. We vergelijken daarom de groepsgemiddelden die we gevonden hebben met de groepsgemiddelden die we verwachtten te vinden als er alleen sprake zou zijn van error variantie. Deze methode geeft helaas geen zekerheid. We kunnen alleen de kans vaststellen dat de verschillen in groepsgemiddelden het gevolg zijn van error variantie.

Hoe werkt het toetsen van hypothesen?

Wetenschappers proberen hun onderzoekshypotheses te toetsen door de verschillende groepsgemiddelden te analyseren. Eerst formuleren ze een nulhypothese. Deze hypothese stelt dat de onafhankelijke variabele geen effect heeft gehad op de afhankelijke variabele. De experimentele hypothese staat hier vaak tegenover. Deze stelt dat de onafhankelijke variabele wel effect heeft op de afhankelijke variabele. De experimentele hypothese kan geen richting (‘nondirectional’) of wel een richting (‘directional’) aangeven. Een directionele experimentele hypothese (met een richting) wordt eenzijdig genoemd. Hierbij geeft de onderzoeker namelijk al aan of hij verwacht of de onafhankelijk variabele zorgt voor een stijging of daling in de afhankelijke variabele. Wanneer een onderzoeker geen vermoeden heeft over de richting van een effect, dan voert hij of zij een tweezijdige toets uit. Hierbij geeft de onderzoeker geen richting aan. Dit is dus een niet-directionele hypothese. Op basis van statistische analyses kan de nulhypothese verworpen (‘rejecting the null hypotheses’) of behouden (‘failing to reject the null hypothesis’) worden.

Het verwerpen van de nulhypothese betekent dat de onafhankelijke variabele effect heeft gehad. Het verwerpen van de nulhypothese houdt namelijk in dat je stelt dat de nulhypothese niet waar is. De nulhypothese stelt dat er geen verschil is tussen de gemiddelden. Door de nulhypothese te verwerpen, geef je aan dat er wel verschil is tussen de gemiddelden. De onafhankelijke variabele heeft dan dus effect gehad, en er is sprake van systematische variantie. Bij het verwerpen van de nulhypothese is het verschil in de groepsgemiddelden groter dan wat we zouden verwachten op basis van alleen de error variantie. Als de nulhypothese behouden wordt, dan betekent dit dat de onafhankelijke variabele geen effect heeft gehad op de afhankelijke variabele. In dit geval zijn verschillen in groepsgemiddelden niet het resultaat van de onafhankelijke variabele, maar van error variantie. De groepsgemiddelden verschillen dan niet meer dan dat we op basis van de error variantie zouden verwachten.

Type-I en type-II-fouten

Wanneer de onderzoeksdata statistisch geanalyseerd wordt, zijn er vier mogelijkheden denkbaar.

1. Correct besluit: de nulhypothese is onjuist, en de onderzoeker verwerpt hem.

2. Correct besluit: de nulhypothese is juist, en de onderzoeker behoudt hem.

3. Type-I-fout: de nulhypothese is juist, maar de onderzoeker verwerpt hem. De onderzoeker denkt dus ten onrechte dat de onafhankelijke variabele effect heeft gehad. De kans om een type I fout te maken wordt het alfaniveau genoemd. In de meeste gevallen gebruiken onderzoekers een alfaniveau van 5%. Dit betekent dat ze de nulhypothese verwerpen wanneer er 5% kans is dat de gevonden verschillen tussen de groepsgemiddelden het gevolg zijn van error variantie. Op deze manier is er maar 5% kans dat ze het bij het verkeerde eind hebben. Soms hanteren wetenschappers een strenger alfaniveau, namelijk een alfa van 1%. Ze hebben dan maar 1% kans om een type I fout te maken.
   Het verschil tussen de groepsgemiddelden wordt als statistisch significant bestempeld wanneer we de nulhypothese verwerpen met een lage kans op een type-I-fout. Een statistisch significant resultaat is een resultaat waarvan we weten dat er maar een kleine kans is (vaak kleiner of gelijk aan 5%) dat deze het gevolg is van error variantie.

4. Type-II-fout: de nulhypothese is onjuist, maar de onderzoeker behoudt deze toch. De onderzoeker stelt dus dat de onafhankelijke variabele geen effect heeft gehad, terwijl dat in werkelijkheid wel zo was. De kans op een type-II-fout wordt bèta genoemd. Het onbetrouwbaar meten van de afhankelijke variabele verhoogt de bèta. Effecten die in werkelijkheid wel bestaan, worden met een onbetrouwbare meting namelijk niet opgemerkt. Dit leidt tot een grotere kans op een type-II-fout, dus een grotere bèta. Ook kunnen fouten in het verzamelen en coderen van responsen, extreem heterogene steekproeven en slechte experimentele controle leiden tot een grotere bèta. Om de kans op een type-II-fout te verkleinen, proberen wetenschappers experimenten te ontwerpen die veel power hebben. Power is de kans dat een onderzoek de nulhypothese afwijst als de nulhypothese ook echt niet blijkt te kloppen. In andere woorden; power is de mate waarin het effect van de manipulatie door de onafhankelijke variabele wordt ontdekt. Hoe meer deelnemers er zijn, hoe groter de kans wordt dat bestaande effecten ook echt worden opgemerkt. Om vast te stellen hoeveel mensen nodig zijn om bestaande effecten vast te stellen, wordt een poweranalyse uitgevoerd. Onderzoekers willen vaak minimaal een power van .80. Dit betekent dat het onderzoek 80% kans heeft om een effect op te merken als dit ook daadwerkelijk bestaat. Onderzoekers gaan over het algemeen niet voor een power van .99, omdat hier extreem veel proefpersonen voor nodig zijn.

Effectgrootte

Als een onderzoeker concludeert dat de onafhankelijke variabele effect heeft gehad, dan wil hij of zij vaak ook nog weten hoe groot het effect van de gemeten onafhankelijke variabele is. Dit bepalen ze door een effectgrootte (‘effect size’) te berekenen. De effectgrootte is de proportie van de variabiliteit van de afhankelijke variabele, die wordt veroorzaakt door de manipulatie van de onafhankelijke variabele. Bij een factorieel ontwerp – dat wil zeggen, experimenten met meer dan één onafhankelijke variabele – kan er een effectgrootte worden berekend voor elke geteste onafhankelijke variabele. Effectgroottes liggen tussen de .00 en 1.00. Een effectgrootte van 1.00 zegt dat 100% van de variantie in de afhankelijke variabele wordt verklaard door de onafhankelijke variabele. Een effectgrootte van .00 zegt juist dat er geen enkele variantie in de afhankelijke variabele wordt verklaard door de onafhankelijke variabele. Twee bekende effectgrootte maten zijn eta-squared en omega-squared.

De t-test

Om te toetsen of verschillen in groepsgemiddelden statistisch significant zijn, kunnen t- en F-toetsen gebruikt worden. Zowel bij de t- als bij de F-toets worden de gevonden groepsgemiddelden vergeleken met de groepsgemiddelden die we zouden verwachten als de resultaten alleen veroorzaakt zouden worden door error variantie. In dit deel gaan we het hebben over de t-toets. Een t-test wordt gebruikt om een twee groepen gerandomiseerd groepsexperiment (‘two-group randomized groups experiment’) te analyseren.

Het uitvoeren van een t-test gaat in vijf stappen:

• Stap 1: Bereken de gemiddelden van de twee groepen. Deze gemiddelden noemen we ²₁ en ²₂.

• Stap 2: Bereken de standaardfout voor het verschil tussen de twee gemiddelden. Op basis van dit getal kunnen we zien welke groepsgemiddelden we zouden moeten vinden als de data alleen beïnvloed zouden zijn door error variantie. Om de standaardfout te vinden, moeten we eerst de varianties van de twee experimentele groepen berekenen.
  De variantie wordt voor elke conditie als volgt berekend: s²= Σ²_i – [(Σ_i)²/n]/n-1. Bereken deze variantie voor elke conditie. Hier moet hij twee keer berekend worden, namelijk voor conditie 1 en conditie 2. Vervolgens moet de gepoolde variantie berekend worden: s²_p = (n₁-1) s²₁ + (n₂-1) s²₂ / n₁ + n₂ -2. In deze formule zijn n₁ en n₂ de steekproefgroottes voor beide condities en zijn s²₁ en s²₂ de varianties van beide steekproeven. Tot slot moet de wortel getrokken worden uit de gepoolde variantie. Dit leidt tot de gepoolde standaarddeviatie: s_p. Zoals eerder besproken, is de wortel van de variantie immers (s²) gelijk aan de standaarddeviatie (s).

• Stap 3: Stel de waarde van t vast. Op basis van de berekende groepsgemiddelden, de gepoolde standaarddeviatie en de steekproefgroottes kan de t-statistiek berekend worden. Bereken daarvoor eerst ²₁ - ²₂. Vermenigvuldig de gepoolde standaarddeviatie (s_p) met de wortel uit 1/n₁ + 1/ n₂. Deel vervolgens ²₁ - ²₂ door het antwoord op deze laatste som.

• Stap 4: Stel de kritische waarde (‘critical value’) van t vast. Om de kritische waarde vast te stellen, moeten twee stappen doorlopen worden. Als eerste moeten de vrijheidsgraden voor de t-toets worden uitgerekend. De vrijheidsgraden (df) staan gelijk aan het totaal aantal deelnemers min twee; (n₁ + n₂ -2). Vervolgens (2) moet het alfaniveau voor de test worden vastgesteld. Vaak wordt gekozen voor een alfa van .05. Een alfa van .01 komt ook vaak voor.

• Stap 5: Bepaal of de nulhypothese moet worden verworpen. Doe dit door de berekende t te vergelijken met de kritische waarde van t. vergelijk dus het antwoord van stap 3 met het antwoord van stap 4. Deze vergelijking kun je uitvoeren door gebruik te maken van de t-tabel.

Gepaarde t-test

Een gepaarde t-toets (‘paired t-test’) wordt gebruikt wanneer er sprake is van een gematcht ontwerp of van herhaalde metingen. Bij de gepaarde t-toets wordt er rekening mee gehouden dat de deelnemers in de twee condities op elkaar lijken.

Bij een gemacht ontwerp worden tenslotte paren van deelnemers gevormd die op elkaar lijken. Bij herhaalde metingen doen dezelfde deelnemers mee aan alle condities. Daarom zouden gematchte scores in de twee condities positief gecorreleerd moeten zijn. Dit geldt ook voor het herhaalde metingen design: deelnemers die hoog scoren op de ene conditie zouden ook hoog moeten scoren op de andere conditie. De gepaarde t-toets maakt dan ook gebruik van deze positieve correlaties om t te berekenen. In de gepaarde t-toets wordt de error variantie automatisch verminderd. Dit komt doordat er gebruik gemaakt wordt van gematchte groepen proefpersonen. De proefpersonen lijken in beide genoemde designs op elkaar, of zijn zelfs hetzelfde. Dit leidt tot een test met meer power: als de onafhankelijke variabele daadwerkelijk effect heeft, dan blijkt dit ook uit de test. Hoe minder error variantie er namelijk is, hoe groter de power van het experiment. De hoge power zorgt ervoor dat de gepoolde standaarddeviatie (s_p) kleiner wordt. Het kleiner worden van de gepoolde standaarddeviatie leidt weer tot een grotere t-waarde.

Wat zijn voor- en nadelen van computeranalyses?

Vroeger werden statistische analyses allemaal met de hand uitgevoerd. Tegenwoordig zijn computerprogramma’s ontwikkeld die onderzoekshypotheses snel en accuraat kunnen toetsen. We moeten er wel rekening mee houden dat het voor kan komen dat data foutief worden ingevoerd. De accurate statistische analyses kunnen dit niet compenseren. Onderzoekers die data invoeren moeten dus zeer voorzichtig en accuraat zijn. Dit kan er dus alsnog voor zorgen dat de statistische analyse een tijdrovend proces kan zijn. Ook is het zo dat tegenwoordig bijna iedereen allerlei statistische analyses kan uitvoeren met de computer. Echter, niet iedereen begrijpt iets van deze statistische analyses en de uitkomsten daarvan (die de computerprogramma’s opleveren). Dit kan leiden tot foutieve interpretaties en conclusies. Onderzoekers moeten daarom alleen onderzoeken uitvoeren die ze zelf ook echt begrijpen, zodat ze genoeg inzicht hebben in de conclusies uit de resultaten, die het statistisch onderzoek met de computer oplevert.

Wetenschappers moeten statistische analyses uitvoeren om hun onderzoeksvragen te kunnen beantwoorden. Na de uitvoering van het experiment, moet de onderzoeker bepalen of de gemanipuleerde onafhankelijke variabele het voorspelde effect heeft gehad op de afhankelijke variabele. Over het algemeen kunnen we zien of dit het geval is door te bepalen of de totale variantie in de data systematische variantie bevat, als gevolg van de manipulatie. Als systematische variantie aanwezig is, zijn de gemiddelden van de verschillende experimentele groepen verschillend. We kunnen dus bepalen of er sprake is van systematische variantie, door de gemiddelden van de experimentele groepen te vergelijken. Verschillen in gemiddelden komen doordat de manipulatie van de onafhankelijke variabele ervoor heeft gezorgd dat de groepen verschillend scoren. Wanneer de groepen verschillend scoren, is er sprake van systematische variantie. De manipulatie van de onafhankelijke variabelen heeft dan immers effect gehad op de scores op de afhankelijke variabele. Als er echter geen verschil in de groepsgemiddelden bestaat, dan is er geen sprake van systematische variantie en heeft de onafhankelijke variabele geen effect gehad.