Deze samenvatting is gebaseerd op het studiejaar 2013-2014.

College 22: H11 quasi experimenten H12 Replicatie

In quasi experimenteel onderzoek manipuleer je niet,  maar je selecteert mensen. Dit gebeurt in een situatie waarin manipuleren onmogelijk is, of niet ethisch of onpraktisch. Je vergelijkt bestaande groepen.

Er zijn vier soorten van validiteit, je begint onderaan de trap met statistische validiteit, dit kijkt of er überhaupt een effect is opgetreden. Daarna kijk je of er interne validiteit is, of het effect een causaal effect is. Vervolgens wordt er gekeken naar de coanstructvaliditeit, of het effect echt iets zegt over de achterliggende constructen. Als laatste wordt er gekeken of het effect te generaliseren is dit heet de externe validiteit. Bijvoorbeeld met andere  mensen, andere setting en overige operationalisaties.

Bedreigingen voor de interne validiteit zijn dat het geen random groepen zijn, de manipulatie meerdere variabele beinvloed of proefpersonen uitvallen. Drie regels waar op zijn minst aan voldaan moet worden voor causaliteit is correlatie, er moet wel samenhang zijn anders is er ook geen causaal effect. Verder moet de oorzaak aantoonbaar eerder zijn dan het gevolg. En er mogen geen derde variabele zijn, variabele die de samenhang ook kan verklaren.

Longitudinaal design, is onderzoek over tijd. Bijvoorbeeld een meting en dan 10 jaar later de nameting. Dit soort onderzoek kan vaak meer zeggen over de richting van het verband. Er moet nog wel rekening worden gehouden met mogelijke derde variabele. Soms kan de tijd tussen de meting ook te lang zijn.

Vanuit een theorie en voorspelling te handelen is ook een goede manier om te corrigeren. Door naar een theorie te kijken kan je er specifieke voorspellingen uit halen. Voorspellingen kunnen andere verklaringen verwerpen of voorspellen.  

Replicatie, een onderzoek overnieuw doen om te kijken of je dezelfde resultaten weer vindt en die te generaliseren zijn. De externe validiteit kijkt of de bevinden generaliseerbaar zijn. Dit wordt gedaan bij andere afhankelijke variabelen, een andere populatie, andera onafhankelijke variabele en andere situaties. Het generalisatiemodel zegt dat alle alle onderdelen van een experiment generaliseerbaar moet zijn. Dus elke setting, meting, operationalisatie en proefpersonen moeten representatief zijn voor een bepaalde populatie. Kijkt ook naar hoe representatief deze manipulatie is voor alle mogelijke manipulaties.

In het theoretische model is de externe validiteit minder belagnrijk, maar de interne validiteit heel belangrijk. Het gaat meer om de theorie, je test aspecten van de theorie. Hoe kan je nu goed replicatie onderzoek doen? Er zijn drie soorten replicaties. Een directe replicatie is dat het onderzoek in een exact dezelfde setting wordt uitgevoerd. Dit kan de kans op toevallige resultaten verkleinen. Daarnaast kan het ook de fouten van eerder onderzoek detecteren. Je kan ook een systematische replicatie doen, hierbij varieer je enkele aspecten uit de onderzoekssetting. Dit geeft een indicatie voor de generaliseerbaarheid van het effect. De laatste is een conceptuele replicatie, je toets dezelfde onderzoeksvraag in een gehele nieuwe setting. Dit geeft een sterk bewijs voor de generaliseerbaarheid. Houdt altijd rekening met obscuring factoren, er zijn bijvoorbeeld extra individuele verschillen die je mee moet nemen zoals sekse.   

College 23: H13 en H14 Wetenschappelijke integriteit

Er zijn veel intuïtieve hypotheses. Mensen gaan in hun data zoeken naar resultaten, maar de empirische cyclus wordt niet geheel doorlopen, zij zijn dus niet wetenschappelijk integer bezig. Mensen denken dat wanneer ze iets significant vinden dat ze dan een goed onderzoek hebben gedaan. Het gevolg hiervan is ten eerste data dredging, de onderzoekers gaan verschillende tests uitproberen en in hun data graven. Ten tweede is er HARP-ing, er wordt data verzameld en daarna wordt er gekeken of er associaties tussen bestaan. Het derde probleem is file drawer problem, het onderzoek wordt netjes uitgevoerd maar de resultaten zijn niet significant en vervolgens wordt er niets gedaan hiermee en kunnen andere onderzoekers dit niet terug vinden. Als er geen effect wordt gevonden hoeft dit niet een slecht onderzoek te zijn.

Kanskapitalisatie betekent dat je veel toetsen doet zodat er altijd wel significantie is. Dit betekent dat je elke nulhypothese kan verwerpen als je maar genoeg tests doet. Confirmatief betekent dat je specifieke hypotheses test. In sommige gevallen is meerdere testen doen onoverkomelijk, dit heet kanskapitalisatie. Er bestaat een correctie als je meerder toetsen doet door middel van je significantie aanpassen. Dit heet de bonferroni correctie, je deelt het significantie niveau wat je eigenlijk wilde hebben door het aantal toetsen dat je hebt gedaan. Soms zijn er studies effectsizes heterogeen, dit betekent dat er positieve en negatieve resultaten uitkomen. Dit kan komen door steekproeffluctuaties en moderatoren, het onderzoek verschilt op de type taak of de inhoud van de taak. Hierdoor kan je niet het echte effect achterhalen.

Het funnel plot wordt gebruikt om te kijken of er publication bias zijn, of er onderzoek is dat niet significant is, maar wel nuttig. Zoals kleine studies met grote spreiding, er kan wel een effect zijn maar soms kan je het niet aantonen door de statistiek.

Er zijn problemen met de nulhypothese toetsing. Statistische significantie en praktische significantie. Het probleem is dat je met grote samples elk verschilletje significant kan maken. Het tweede probleem is dat het significantieniveau arbitrair is. De p-waarde is de mate van bewijs tegen de nulhypothese. De 0.05 p-waarde is een arbitraire grens. Het beste is om naar de effect size te kijken, of je het belangrijk vindt wat je vindt.

Ethische richtlijnen zijn dat je mensen van te voren een informed consent moet geven en inprincipe ben je over alles eerlijk. Zodat mensen zelf nog kunnen beslissen of ze wel of niet meedoen. Het kan zijn dat je decptie nodig hebt voor je onderzoek, je kan bijvoorbeeld niet alles van te voren tegen mensen zeggen als dat nodig is voor je onderzoek, maar dit mag niet te erg zijn. Mensen mogen niet meer risico lopen dan in het dagelijks leven. Achteraf moet je dit wel uitleggen, dit heet debriefing. En mensen moeten altijd kunnen stoppen, anoniem zijn en mogen achteraf altijd bezwaar maken. Aan de ethische commissie stel je je onderzoek voor. In de commissie zitten onderzoekers, leken en mensen met diverse achtergrond. Zij maken een risico/baten analyse ze kijken naar de wetenschappelijke relevantie en het tijdelijke ongemak voor de proefpersonen. Voor dieren onderzoek is een speciale commissie, zij hanteren de drie r’en Reduction, zo min mogelijk dieren onderzoek, Refinement, zo goed mogelijke zorg voor dieren en Replacement, zoeken naar andere methodes die dierenonderzoek kunnen vervangen.   

College 24: Multipele regressie

Hierbij gebruik je meerdere voorspellers, om uiteindelijk tot een betere voorspeller te komen. in het multipele regressie model wordt het gemiddelde van variabele y gerelateerd aan meerdere (explanatory) variabele. Een multipele regressie kan meer dan één predictor hebben. In een formule is dit te zien als Y= a + b₁x₁ + b₂x₂.

Wanneer je in deze formule de multipele regressiecoefficient wilt interpreteren houdt je één predictor fixed. Dit gaat als volgt: je maakt van de laatste term b₂x₂ ook een constante door voor x₂ een 1 in te vullen. Deze constante kan je dan optellen bij de a (de andere constante) en dan krijg je de formule Y= a + bx dan kan je dus de coefficient interpreteren met behulp van de term bx. Je krijgt dan een bivariate regressievergelijking, want je hebt weer één variabele. Een coefficient in een multipele regressie is de (rechtlijnige) relatie met het gemiddelde van y waarbij de andere predictoren constant (fixed) worden gehouden. Er wordt aangenomen dat de helling van een predictor gelijk blijft ongeacht de waarde van de andere predictor.

Als we nog meer voorspellers op willen nemen kunnen we extra b_nx_n termen toevoegen aan het model. Het maximaal aantal voorspellers dat toegevoegd kan worden is de steekproefgrootte gedeel door 10: in een steekproef van 30 kunnen dus maximaal 3 voorspellers worden opgenomen in het model.

            Hoe goed de voorspelling is die we doen werd in een enkelvoudige regressie bepaald aan de hand van de correlatie (r) en de verklaarde variantie (r²). In een meervoudige regressie gaat het om de meervoudige correlatie (R) en de verklaarde variantie (R²). Hoe groter de R² is, hoe beter het model voorspelt.        

De multipele correlatie R is de correlatie tussen geobserveerde waarden y op basis van het mutipele regressie model. Dit is dus een maat hoe goed de voorspellingen zijn. De R² geeft een percentage hoeveel variantie te verklaren is door het model. Hoe meer dit percentage naar de 100% gaat hoe beter het model is. De R² ligt altijd tussen 0 en 1. R²= 0 is slecht en R²=1 is goed. R²=1 wanneer alle residuen 0 zijn, oftewel wanneer y=y^. R²=0 wanneer y gelijk is aan y gemiddeld en alle hellingen (slopes) gelijk zijn aan 0. R² wordt hoger of blijft gelijk indien een explanatory variabele wordt toegevoegd aan het multipele regressie model. Verder maakt het niet uit welke eenheden je gebruikt voor de R².

            De F-toets is de Mean square regression gedeeld door de Mean square error.

De F is een maat voor hoe goed jouw regressiemodel verklaart.

Nu volgen er een aantal handige forumules:

MS_error (MS_within) = SS_error / df_error

MS_factor (MS_between) = SS_factor / df_factor

df_error (=df_within = df₂) = N-g

F_factor = MS_factor / MS_error

De MS staat voor de Mean Squares en df staat voor de degrees of freedom (het aantal vrijheidsgraden).

Naast het meenemen van categorische variabelen als voorspellers, is het ook mogelijk om een categorische variabele te voorspellen. Hier wordt echter alleen gekeken naar variabelen die slechts twee categorieen hebben, de zogenaamde binaire variabelen. Het voorspellen van een binaire variabele wordt een logistische regressie genoemd.

College 25: H14.1 ANOVA

ANOVA gebruik je bij het vergelijken van 3 of meer groepen. Je vergelijkt de spreiding binnen groepen met de spreiding tussen groepen.

In dit hoofdstuk wordt de ANOVA gebruikt om meerdere gemiddelden met elkaar te vergelijken. In de ANOVA is de nulhypothese dat meerdere gemiddelden hetzelfde zijn: u1=u1=u3. Er wordt vergeleken of de gemiddelden van elkaar verschillen. De belangrijkste assumpties van de ANOVA zijn dat de data random verzameld zijn, dat de data voor alle groepen normaal verdeeld is en dat de groepen dezelfde standaardafwijking hebben. De formule om F uit te rekenen ziet er als volgt uit: F = betweengroupsvariability / withingroupsvariability. De F-waarde kent twee vrijheidsgrapen, df1 en df2. Df1 wordt gegeven door de forumule g-1, het aantal groepen min 1. Df2 wordt gegeven door de forumule N-g, het aantal deelnemers in alle groepen min het aantal groepen.

            Het lijkt makkelijker om gewoon drie verschillende t-toetsen te doen, zodat ook meteen duidelijk is waar de verschillen zitten. Waarom we dat niet doen heeft te maken met het multiple comparisons problem, wanneer er meerdere toetsen vergeleken worden, neemt de kans dat 1 van die toetsen onterecht een significant resultaat laat zien toe. Hierdoor is het alpha niveau dat we hanteren nier meer 0.05, maar wordt het hoger. Door 1 toets te doen houden we het alpha niveau op 0.05. de twee bekendste manieren om te corrigeren bij het doen van meerdere toetsen zijn de Bonferroni correctie en de Tukey methode. De Bonferroni correctie is erg simpel, het alpha niveau wordt gedeeld door het aantal toetsen dat gedaan wordt. Dus als er 3 toetsen worden gedaan, is het alpha niveau per toets 0.05/3 = 0.017, de Tukey methode heeft een moeilijke berekening en is iets vrijer. De Bonferroni correctie is namelijk meestal te streng en de Tukey methode zorgt ervoor dat het overall alpha niveau 0.95 is (bij Bonferroni is het vaak net hoger dan 0.95).

Wanneer er meerdere groepen worden gemeten dan kan dat met de two-way ANOVA.

De Omnibus toetst op verschil tussen alle groepen (cellen). Er wordt gekeken of er een verschil is in gemiddelden tussen de groepen. De omnibus test geeft aan of er ergens een verschil is of dat er geen verschil is.

 De simpele effecten (post hoc) toetst paarsgewijze verschillen tussen groepen via betrouwbaarheidsintervallen. De aannames hierbij zijn dat je onafhankelijke steekproeven hebt en dat de normaalverdeling van alle groepen hetzelfde is. Je neemt dus aan dat bij elke groep de standaarddeviatie gelijk is. De within-groups variability is de spreiding (standaarddeviatie/variantie) binnen iedere groep. Deze komt door verschillen tussen proefpersonen. Deze is niet systematisch en veroorzaakt alleen spreiding binnen de groep, niet een verandering van lokatie (germiddelde). Als alle varianties (standaarddeviaties) in de populaties hetzelfde zijn (assumpties), dan kan je de binnen-groeps variantieschatters combineren om een betere schatter te krijgen. De between-groups variability is de spreiding (standaarddeviatie/variantie) tussen groepen. Deze komt door verschillen tussen groepen via de manipulatie. Deze is wel systematisch (effect op alle proefpersonen) en veroorzaakt verschillen tussen groepen via een verandering van lokatie (gemiddelde).  De between-groups variability wordt geschat door de variantie van de gemiddelden te berekenen en dan te vermenigvuldigen met n (de grootte van de groep). De within-groups variability schat de variantie door de varianties van iedere groep te middelen. De between-groups variability schat de variantie door de variantie tussen groepen te bepalen met gemiddelden ten opzichte van het algemeen gemiddelde. De F waarde reken je uit door de between-groups variance te delen door de within-groups variance. De F toets rekent uit of er uberhaupt een significant verschil is tussen de groepen, maar je weet niet welke groepen. Aan de hand van de betrouwbaarheidsintervallen per groep worden dan de groepen onderling vergeleken. Maar als je bijvoorbeeld 4 groepen hebt moet je 3+2+1=6 vergelijkingen maken tussen de groepsgemiddelden.

College 26: H 14.2 14.3 ANOVA

In een twee-weg ANOVA met factoren A en B is er geen hoofdeffect van factor A wanneer voor elk niveau van factor B geldt dat factor A constant is. Er is sprake van een hoofdeffect als H0 kan worden verworpen. Een vergelijkbare hypothese kan worden opgesteld voor het hoofdeffect van B. Een hoofdeffect kun je karakteriseren als het effect van de ene factor zonder invloed van de andere factor. Het is gebruikelijk om plaatjes te tekenen bij een twee-weg ANOVA. Dezelfde dataset kan steeds op twee manieren worden weergegeven. Dat hangt af van de factor die je op de horizontale as uitzet.

In een ANOVA met twee factoren A en B kan getoetst worden op de nulhypothese van geen hoofdeffect, met de F = MS voor factor A gedeed door MS error. Waarbij MS de mean square (variantie) voor factor A is, de between groups variantie schatter. De MS error is de within groups variantie schatter. In de praktijk zijn de MS voor de factoren en de MS error gegeven of moeten ze worden berekend uit een ANOVA tabel. Met een grote F is het waarschijnlijk dat de H0 hypothese waar is.

Er is geen interactie-effect als het effect van factor A op de afhankelijke variabele y gelijk is voor alle niveaus van factor B (en als het effect van factor B op de afhankelijke variabele y gelijk is voor alle niveaus van factor A). De lijnen in de plot lopen dan parallel (en vallen eventueel samen als er maar een of helemaal geen hoofdeffect is).

Er is wel een interactie-effect als het effect van factor A op de afhankelijke variabele y verschilt voor de niveaus van factor B (of als het effect van factor B op de afhankelijke variabele y verschilt voor de niveaus van factor A). De lijnen in de plot lopen dan niet parallel. In de praktijk lopen de lijnen zelden parallel en moet een F-toets uitwijzen of er sprake is van statistisch significante interactie. Als het interactie-effect significant is dan kunnen de hoofdeffecten niet worden geinterpreteerd. Er moet paarsgewijs voor iedere cel in het design gemiddelden worden vergeleken. Dit wordt soms simple effects genoemd.

Voor het verband tussen regressie en ANOVA is het nodig regressie met categorische variabelen te begrijpen. Daarom een voorbeeld. Stel je wilt het verschil in inkomen voor mannen en vrouwen onderzoeken en controleren voor werkervaring. Je stelt de volgende regressie vergelijking op: INK=a+b₁ ERV + b₂ GES waarin INK staat voor inkomen, ERV staat voor werkervaring en GES voor geslacht waarbij vrouw = 0 en man=1.

Stel je vind dat: INK=10 + 2xERV + 3xGES waarin de bedragen zijn uitgedrukt in duizenden euro’s. Hoe interpreteer je dat? Het inkomen stijgt met 2000 euro voor elk jaar werkervaring. Mannen verdienen gemiddeld 3000 euro per jaar meer dan vrouwen met dezelfde werkervaring. Op deze manier kan je door 0 en 1 aantonen dat categorische variabelen veel doen in een regressievergelijking.

Dit kan ook met categorische variabelen met meer dan 2 categorieen.

Een indicator variabele is een variabele x die aangeeft in welke groep de proefpersoon zit. De variabele x=0 als de proefpersoon niet in de groep zit en x=1 als de proefpersoon wel in de groep zit;  x is categorisch en binair. Merk op dat variabele x₃ overbodig is; alle subjecten die niet in groep 1 of 2 zitten moeten namelijk in groep 3 zitten.

De afhankelijke variabele is kwantitatief en de onafhankelijke variabele is een categorische variabele. De multipele regressie van de afhankelijke variabele op de categorische variabelen is hetzelfde als een ANOVA.

College 27: H15 Niet-parametrische Statistiek

Alle toetsen die we tot nu toe gebruikt hebben om hypotheses te toetsen hebben als aannames dat de data normaal verdeeld moet zijn en dat er op schaalniveau gemeten is. wanneer die aannames geschonden worden kan er gebruik worden gemaakt van non parametrisch toetsen, een voorbeeld voor geordende data is de Wilcoxon test.

Met weinig data is het erg lastig om te toetsen of er sprake is van een normale verdeling en kun je geen t-toets gebruiken. Je kunt dan een rangordening aanbrengen in de scores van groot naar klein. Dus niet-parametrische toetsen maken gebruik van de rangordening van scores en dit moet dus wel mogelijk zijn. Het basisidee van de niet-parametrische toets is dat je werkt met rangordes in plaats van waarden en je bouwt de steekproevenverdeling zelf op om de P-waarde uit te rekenen. Dit wordt gedaan als de n te klein is, de verdeling scheef is of wanneer het meetniveau niet goed is. Parametrische toetsen zijn normaal verdeeld, zijn gevoelig voor outliers en werkt goed bij veel data. Bij niet parametrische statistiek worden geen aannames gedaan over de vorm van de verdeling.

Wanneer de variabele kwantitatief is en moet worden omgezet in rangordes, kan dezelfde score bij twee of meer proefpersonen voorkomen. Een tie is wanneer twee of meer proefpersonen een gelijke score hebben en dezelfde rangorde behoren te krijgen. De rangordes worden voor de proefpersonen met gelijke score gemiddeld. Dit heeft geen invloed op de verdeling van alle verschillen tussen gemiddelde rangordeningen. Bijvoorbeeld de scores zijn 3, 4, 4. De rangordes 1, 2, 3 kan niet want er is twee keer een 4. Dan worden de 2^e en 3^e plaats 2.5.

Bij de wilcoxon toets moet de rangorde ordinaal zijn. Bij de kruskall-wallis gebruik je als je drie of meer groepen wilt vergelijken.  Het is een alternatief voor de one-way ANOVA en je gebruikt hem als de variabele niet normaal verdeeld is of als je weinig weet van de verdeling, bijvoorbeeld omdat de steekproef erg klein is.

De Sign-test gebruik je bij afhankelijke steekproeven (machted-pairs, bijvoorbeeld een voor- en nameting) door te kijken wanneer de verschillen positief dan wel negatief zijn. Het nadeel van deze test is dat je alleen gebruik maakt van de richting van het verschil en niet van de grootte van het verschil en je gebruikt dus mogelijk niet alle beschikbare informatie.

De Wilcoxon signed-rank test gebruik je bij het vergelijken van afhankelijke steekproeven

(matched pairs, bijvoorbeeld voor- en nameting) door te kijken naar de rangorde en richting (positief en negatief) van de verschillen tussen paren waarnemingen.

Je gaat als volgt te werk:

Stap 1 bepaal voor elk paar het verschil (hier na - voor)

Stap 2 neem de absolute waarde (verwijder eventueel minteken)

Stap 3 bepaal de rangorde van de absolute verschillen

Stap 4 zet eventueel verwijderd minteken voor de rangorde

Stap 5 neem de som van de positieve rangen (=2+3=5)

Het basisidee is dat als de nulhypothese waar is (er geen verschil tussen voor en nameting) dan is het niet waarschijnlijk dat je een hoge of lage positieve rangsom vindt (kijk naar het meest extreme geval: ’na’ altijd hoger dan ’voor’)