Deze samenvatting is geschreven in collegejaar 2012-2013.

1. Hoorcollege 1 (methoden): Het experiment, door Joop Hox

22 april 2013

Onderzoek staat centraal in MTS cursussen. Enerzijds staat kennis over methode en statistiek waarmee artikelen beter te begrijpen zijn centraal. Bijvoorbeeld om kwalitatieve onderzoeksvragen herkennen en zelf op te zetten. Anderzijds staat het ervaren van wat het is om onderzoeker te zijn centraal.

In de natuurwetenschappen wordt een experiment gezien als proefje. In de gedragswetenschappen is de term experiment specifieker vastgelegd. Bij een experiment in de gedragswetenschappen is er een vergelijking van proefgroepen het liefst inclusief een controlegroep. Dingen en waarnemingen zijn onzeker, daardoor is een controlegroep belangrijk. Experimenten zijn vooral sterk in het toetsen van causale hypothesen. Bij bijvoorbeeld de vreedzame school worden interventies uitgevoerd om te kijken of dingen werken. De rekenkamer eist dat een deel van het geld wat besteed wordt aan dit soort interventies besteed wordt aan experiment, dus kijken of er sprake is van causale relaties.

Om causaliteit aan te tonen zijn 3 voorwaarden die aanwezig moeten zijn namelijk de volgorde in tijd, de bewezen relatie en geen of zo min mogelijk alternatieve verklaringen (ceteris paribus) .

Wat een experiment vaak wil is theorieën toetsen door middel van het afleiden van hypotheses. Door hypotheses wordt gekeken of onderzoek uitkomt. Er is sprake van een voorspelling op basis van een theorie. Een theorie is nooit te bewijzen omdat het universeel is. Als een taal bijvoorbeeld moeilijker is dan een andere, betekent het dus niet dat kinderen sneller kunnen praten en lezen, terwijl dit wel uit onderzoek zou kunnen komen. Het is deels mogelijk door middel van falsifiëren. We hechten meer waarde aan een wetenschappelijke theorieën die meer toetsingen overleven. Het experiment is vooral een sterke onderzoeksmethode omdat een goed opgezet experiment veel alternatieve verklaringen uitsluit.

Hoe zit een experiment in elkaar?

Er is sprake van twee soorten vergelijkingen. Allereerst voor en na, ook wel binnen personen (within subjects) genoemd. Dit betekent het twee keer meten van dezelfde personen en kijken of er verschil is voor en na interventie/ingreep. Ten tweede naast elkaar, tussen personen (between subjects). Hierbij worden er twee groepen vergeleken: een experimentele groep en een controle groep.

De methodologische redenering in een experiment is echter hetzelfde. Het begint met een causale hypothese en vervolgens wordt er een situatie gemanipuleerd in de experimentele conditie/groep. Tot slot wordt de uitkomst geobserveerd met en zonder d manipulatie. Het is belangrijk om de onafhankelijke variabele (independent) te manipuleren en dan de afhankelijke variabele (dependent) te observeren.

De experimentele groep en de controle groep moeten vergelijkbaar zijn, anders weet je niet of het verschil komt door de manipulatie. Verschillende manieren hiervoor:

Randomisatie: personen worden door een toevalsmechanisme verdeeld over de experimentele en controle groep. Dit door middel van een tabel met random getallen, SPSS of web apps. Automatisch kloppen hier de variabelen bij.

Matching: maak ‘tweelingen’. Bijvoorbeeld op sekse of opleidingsniveau. Dit betekent dat er personen gekoppeld worden die aan elkaar gelijk zijn op een aantal matchingsvariabelen. Twee lastige dingen: op veel variabelen matchen is lastig, bijna onvindbaar. En je kan alleen matchen op variabelen die je daadwerkelijk gemeten hebt en waarvan je als onderzoeker denkt dat die belangrijk zijn voor het onderzoek. Bij voorkeur bij kleine groepjes.

Kort randomisatie versus matching: precisiematchen op veel variabelen is vrijwel onmogelijk. Randomisatie controleert in principe voor alle mogelijke variabelen, inclusief ongemeten variabelen!

Simpele manieren om te randomiseren zijn bijvoorbeeld proefpersoonnummer, sekse, IQ of een variabele die random is.

Voorbeeld

Voorbeeld van een experiment: cafeïne hecht zich aan GABA receptoren en verhoogt daardoor het concentratievermogen. We kunnen een experiment doen door echte koffie en decaf te vergelijken. De onafhankelijke variabele is dan het drinken van wel of geen cafeïne. De afhankelijke variabele is de concentratie.

Hoe pak je dit aan? Binnen personen of tussen personen?

Als de aanpak van tussen personen gekozen wordt, is de situatie als volgt: 5 koffie decaf, 5 koffie conditie. Hierbij is sprake van twee variabelen: in de experimentele groep of in de controle groep en wel of geen koffie. Altijd twee variabelen! De conditie en de concentratie. Hierbij hoort de statistische t-toets voor independent samples.

Als de aanpak van binnen personen gekozen wordt, is de situatie 5 maal de volgorde AB en 5 maal de volgorde BA. Daarbij ook het tussentijds wachten om dat effect van cafeïne weg te nemen. Dit is dus lastig om te meten, omdat het lang duurt voordat de tweede conditie gemeten kan worden. Ook hierbij is er sprake van twee variabelen namelijk concentratie A en concentratie B. Hierbij hoort de statistische t-toets voor dependent samples.

Terminologie bij experimentele opzet

Pre-test gebruiken: meting van de afhankelijke variabele voordat de onafhankelijke variabele is gemanipuleerd.

Post-test: meting van de afhankelijke variabele nadat de onafhankelijke variabele is gemanipuleerd. Randomisatie: at random toekennen/ matching.

Experimentele groep en controlegroep/variant: verschillende experimentele groepen, met verschillen de manipulaties, en geen echte controlegroep. Bij alleen een experimentele groep weet je niet goed wat er gebeurd, ook al vind je iets. Het glazen plafond onderzoeken bij vrouwen zegt niet genoeg. Belangrijk is dan om bijvoorbeeld tevergelijken naar hoe het zit bij mannen.

Deze gegevens kunnen ook in schema’s geplaatst worden, zie hiervoor de college slides.

De pre-test kan verstorend werken. Als er aan kinderen eerst een gewelddadig filmpje wordt laten zien voordat de test gemeten wordt, kan het kind iets doorhebben omdat deze ‘inleiding’ het kind alert maakt op wat je aan het doen bent. Andersom kan ook: eerst observatie, dan filmpje laten zien. Je wilt juist naïeve proefpersonen en geen proefpersonen die hun gedrag aanpassen op de interventie. Als dat echter wel mogelijk is, levert het wel meer informatie op.

Voorbeeld van een factorieel experiment (twee variabelen manipuleren): “Wie mooi is heeft talent?”

De opzet is als volgt. Mannelijke studenten krijgen de opdracht om een cijfer (schoolcijfer van 1-10) te geven aan een essay zogenaamd van een ‘studente’. Bij het essay zat een foto van die studente. Random kreeg 1/3 van de proefpersonen een ‘fysiek aantrekkelijke’ foto, 1/3 een onaantrekkelijke en 1/3 een neutrale foto.

Random kreeg de helft van de beoordelaars een slecht essay, de andere helft een goed geschreven essay. (Essays in werkelijkheid geschreven door onderzoekers).

Er is sprake van drie variabelen: onafhankelijk: gemanipuleerd (mooiheid en kwaliteit essay) en de afhankelijke variabele: de beoordeling. 3 hypothesen: mooiheid heeft invloed op de beoordeling van het essay, kwaliteit heeft invloed op de beoordeling van het essay, mooheid en de kwaliteit van het esay hebben een gezamenlijke invlied op de beoordeling van het essay (indirect). Mogelijke resultaten: oordelen zijn positief als schrijfster knap was. Schrijfster van goede essays positever beoordeeld. Met name bij de slechte essays werd de schrijfstr positiever beoordeeld als er een knappe foto bijwas. Bij goede essays is het effect van de foto veel kleiner. Dit is een voorbeeld van de interactie hypothese.

Kritiek op de interne validiteit van dit onderzoek is dat er niet is nagegaan of de manipulaties gelukt zijn. Er is wel een aselect toewijzing aan de condities (goed).

Wat betreft de externe validiteit zijn de proefpersonen voornamelijk mannelijke studenten (niet goed) en een foto is anders dan echte persoon (niet goed).

Factoriele onderzoeksopzet: minstens twee variabelen tegelijk manipuleren. Bovengenoemd experiment is 3x2 factor (zie collegeslides)

Verschillende interacties (collegeslide 37). Experimenten met meer dan 3 factoren zijn zeldzaam omdat het moeilijk haalbaar is.

Pre-experimentle onderzoeksopzetten

Pre-experimentele onderzoeksopzetten missen blangrijke onderdelen van een goede experimentele opzet. Een one-shot case study is één groep met alleen een posttest en zonder een controlegroep. Bij een one goup pretest-posttest design is er ook geen controlegroep. Bij en Static group comparison is er wel sprake van een posttest maar zonder equivalente controlegroep. Er is geen randomisatie maar wel een controlegroep en potentieel is een niet vergelijkbare controlegroep.

Quasi-experimentele onderzoeksopzet: mensen vullen maandelijks testjes in en halverwege is er een manipulatie.Therapieën zijn hier ook vaak op gebaseerd. Quasi-experimentele onderzoeksopzetten missen belangrijke onderdelen van een goede experimentele opzet, maar compenseren die zwakheid. Interrupted time series (halverwege de therapie een manipulatie). Equivalent time series betekent het volgende: waar interventie wel en niet op richt, dus een breuk in een lijn maar niet in de andere.

Kernpunten van experimentele onderzoeksopzetten

Er zijn altijd onafhankelijke, afhankelijke en externe (storende) variabelen. Een voorbeeld van een externe variabele is bijvoorbeeld het karakter van de onderzoeker. Er is verder altijd sprake van minimaal één onafhankelijke variabele. Daarnaast ook subject variables. De validiteit is de statistische conclusie, construct, wat onderverdeeld kan worden in externe en interne validiteit. Interne validiteit is de bedreigingen van de causale interpretatie (alternatieve verklaringen) en de externe validiteit houdt de generaliseerbaarheid in.

Interne validiteit:

Experimental mortality: als mensen uit ene onderzoek wegvallen (mensen die afvallen gedurende therapie-sessies). Dit is in orde als de procedures goed gevolgd worden. Contamination of treatment betekent dat de controlegroep iets meekrijgt van de bedreiging. Mensen blijven niet naïef, maar worden beïnvloed door bijvoorbeeld gesprek. De logica van de experimentele onderzoeksopzet is goed, we kunnen alternatieve verklaringen uitsluiten.

Selection bias, history, maturation, testing. Experimenter of subjects expectancy zijn bepaale verwachtingen. Bijvoorbeeld leerlingen met een hoog IQ zullen ook beter presteren. Dit komt uit. Verwachtingen hebben een effect op uitkomst (pigmalion effect).

Een deelnemer vraagt zich af waar onderzoek over gaat. Dubbelblinde opzet betekent het contact via onderzoeksopzet waarin noch de experimentator noch de subjecten weten wie in welke groep is. Placebo betekent dat de controlegroep een namaak-behandeling krijgt.

Externe validiteit:

Bedreigingen:

– Deelnemers niet representateif, kunstmatige setting, kunstmatige manipulatie, reactiviteit van deelnemers

– Hawthorne effect: vroeg voorbeeld van reactiviteit).

Veldexperiment: externe validiteit is hierbij beter maar de interne validiteit is echter slechter omdat er minder controle is door de onderzoekers.

Natuurlijk experiment: niet als experiment geplande gebeurtenis kan gebruikt worden om hypothesen te toetsen alsof het wel een experiment was = expost facto

Voorbeeld veldexperiment: wat gebeurd er als je verliefd wordt? Liefde is een emotie, maar wat is dan emotie? (2 dingen: fysieke opwinding en een interpretatie (attributie) in de hersenen -> = emotie) Dit kan gemanipuleerd worden. Onafhankelijke variabele: opwinding (hangbrug oversteken) en aantrekkelijke stimulus. Alle proefpersonen zijn mannelijk. Gloria benadert de mannen op de hangbrug of de controlebrug (stabieler)en vraagt een opstel te schrijven over een TAT plaatje (psychologisch onderzoek van een plaatje wat onduidelijk is, projectietest) van een jonge vrouw die haar hoofd half bedekt met een hand en geeft het telefoonnummer. Twee afhankelijke variabele: TAT was gecodeerd voor sexual imagenary en hoeveel % mannen die Gloria belden.

Kritiek: Geen manipulatie! Zelfselectie van jonge mannen die wel of niet oer de hoge brug gaan.

Dit experiment werd gevolgd door het tweede experiment: geen selectie, alleen de hangbrug.

2. Hoorcollege 2 (statistiek): Gravetter hoofdstuk 12, door Kirsten Namesnik

23 april 2013

Gisteren was er een college over experimenten, dat gaat over verschillen aantonen en herhaalde metingen. Vandaag kijken we naar de onderzoeksvragen, want dat leidt tot verschillende soorten onderzoeken. Bijvoorbeeld een survey, experiment of interview. Er zijn daarbij verschillende variabelen en er moet bepaald worden hoe die gemeten gaan worden, ook wel operationaliseren genoemd. Het is belangrijk deze punten te bedenken vóór de start van het daadwerkelijke onderzoek.

Voorbeeld: Verhoogt cafeïne het concentratievermogen van studenten? Hierbij past het beste een experiment. In deze casus krijgt men drie verschillende experimentele groepen: espresso, gewone koffie en decafé. Dit is de operationalisering van het vaststellen van het toedienen van veel/middelmatig/geen cafeïne. Het concentratievermogen kan gemeten worden door middel van een concentratietest. Dit totale proces is de operationalisering van de onderzoeksvraag; hoe gaan we meten en wat gaan we meten. Onderzoek begint dus niet met statistiek. De manier waarop je gaat onderzoeken zou kunnen leiden tot statistiek, maar belangrijk is om bij het begin te beginnen.

Wanneer we 2 onafhankelijke groepen willen vergelijken, gebruiken we een t-toets. Wanneer we meer dan 2 groepen willen vergelijken kunnen we geen t-toets meer toepassen. Wanneer we dan dus 3 of meer (onafhankelijke) groepen willen vergelijken, gebruiken we de techniek die variantieanalyse of ANOVA (analysis of variance) heet. Hierbij is het belangrijk om te realiseren dat dit ongeveer hetzelfde is dan de t-toets, waar je kijkt naar het verschil. De voorwaarden die bij de t-toets gelden blijven hetzelfde, evenals de meetniveaus.

Er is sprake van afhankelijke variabelen en onafhankelijke variabelen. De afhankelijke variabele (Y) heeft het minimale meetniveau interval. De onafhankelijke variabele (X) heeft als minimale meetniveau nominaal. Deze onafhankelijke variabele wordt vaak factor genoemd. De verschillende condities of waarden van deze factor worden niveaus of levels genoemd.

In het voorbeeld: de Y is het concentratievermogen. Hierbij is het meetniveau interval. De X is de onafhankelijke variabele, in dit geval de hoeveelheid cafeïne, omdat het de experimentele conditie is. Dit is ordinaal, er is een bepaalde volgorde in de groepen.

Dit leidt tot een statistische vraagstelling: is het gemiddelde concentratievermogen van de drie groepen gelijk of zijn er verschillen tussen groepen? Er kan niet eenzijdig getoetst worden, met de ANOVA kan er alleen een algemene hypothese opgesteld worden.

Er zijn drie populaties. Studenten die espresso drinken, studenten die koffie drinken en studenten die decafé drinken. Het is onmogelijk alle studenten te testen, daarom nemen we uit alle drie de groepen een aselecte steekproef en gaan die vergelijken. Daarna kan er een conclusie getrokken worden door die steekproefgemiddelden te vergelijken. Er is sprake van een terugkoppeling naar de hele populatie.

Er zijn verschillende stappen om de hypothese te toetsen. Deze stappen blijven vrijwel hetzelfde. Stap 1 is de hypotheses bepalen en significantie niveau kiezen. Hierbij is de nul-hypothese de gemiddelde concentratievermogen scores die in de drie populaties gelijk zijn. De H1 hypothese is als de populatiegemiddelden niet allemaal gelijk zijn. Anders geformuleerd: er is ten minste één populatie gemiddelde anders dan de anderen.

Stap 2 is de kritieke waarden bepalen. Deze stap wordt vaak uitgevoerd aan de hand van SPSS output, die later gevonden wordt. Daarom is deze stap niet altijd relevant.

Stap 3 is de toetsingsgrootheid uitrekenen. Van iedere steekproef wordt het steekproefgemiddelde uitgerekend. Ook wordt er gekeken naar de spreiding binnen elke steekproef. Het is niet het kijken naar het verschil tussen twee gemiddelden in onze casus, maar naar hoeveel het groepsgemiddelde verschilt van het totale gemiddelde. Als de nul-hypothese waar is zijn de verschillen nul of zeer klein. Dit kan pas gezegd worden na het kijken naar het verschil in de spreiding binnen de groepen met de spreiding tussen groepen, omdat je dan pas ziet of het gemiddelde relatief afwijkt of niet. Dit is de variantie-analyse. Het geobserveerd variantie tussen gemiddelden gedeeld door het verwachte gemiddelde variantie zonder effect levert de F op (dit is het zelfde als bij de t-toets, maar daar is het woord variantie vervangen door verschil!). Een Mean Square is eigenlijk gewoon de variantie. De tussenvariantie wordt de Mean Square within of Mean Square Error genoemd. Dit bestaat uit de kwadratensom gedeeld door het aantal vrijheidsgraden, waarbij k de aantal groepen zijn die we willen vergelijken en n de totale steekproefomvang (zie formuleblad).

De totale spreiding is dus onderverdeeld in de tussenspreiding en de binnenspreiding. De tussenspreiding meet twee stukken namelijk de die te wijten is aan het feit dat groepen nu eenmaal anders zijn (treatment effect) en de bestaande verschillen tussen de mensen (chance).

De meetspreiding is te wijten aan bestaande verschillen tussen mensen (chance). Om de verschillen tussen de groepen te relativeren, delen we de tussenvariantie door de binnenvariantie. Deze breuk wordt gebruikt als de toetsingsgrootheid, zodat meerdere gemiddelden vergeleken kunnen worden.

In stap 4 wordt de beslissing genomen over de H0 hypothese. We verwerpen H0 als de p-waarde kleiner of gelijk is aan alfa. Deze beslissing gebeurt dus aan de hand van de p-waarde. De H0 wordt ook verworpen als de toetsingsgrootheid in het kritieke gebied ligt.

Als H0 waar is dan zijn er geen verschillen tussen de groepen, er is geen treatment effect. Als de H0 waar is dan is het gedeelte spreiding wat de verschillen tussen de groepen meet, ongeveer gelijk aan nul. Als H0 gelijk is zijn de verschillende varianties van de binnenspreiding en de tussenspreiding ongeveer gelijk. De F is dan ongeveer gelijk aan 1.

Als H0 niet waar is wordt de tussenspreidingsmaat groter ten opzichte van de binnenspreiding. De F ratio wordt groter dan 1.

De F-verdeling is een scheve verdeling naar rechts. Aan de hand van de F-verdeling kan een kritieke waarde of p-waarde opgezocht worden. Die F-verdeling begint bij nul en wordt dan groter. In het kritieke gebeid vinden we de F-ratio zo groot dat de H0 verworpen wordt. Waar de kritieke grens ligt, hangt af van het aantal groepen en hoe groot de steekproeven zijn. De F-verdeling wordt gedefinieerd door 2 paar vrijheidsgraden, namelijk boven de streep (df between) en onder de streep (df within). Aan de hand van de df en de kritieke waarde vinden we kritieke waarden in de tabel. Als de vrijheidsgraden er niet in staan, altijd het dichtstbijzijnde, lagere getal nemen.

Rekenformules in he boek geven de G (grand total), T (total) en SS. Deze mogen overgeslagen worden omdat ze niets laten zien over wat je meet en wat je met de data doet.

Om alle verschillende sources helder te houden, wordt de ANOVA-tabel gebruikt. Waarin overzichtelijk alle formules weergegeven worden. Verticaal wordt er opgeteld en horizontaal wordt er gedeeld!

Voordat er gerapporteerd ka worden (stap 5) moet eerst de effectgrootte berekend worden. Hiervoor wordt het eta-kwadraat gebruikt. Dit eta-kwadraat geeft het percentage van de verklaarde variantie en is een indicatie van de sterkte van het effect van de factor op de afhankelijke variabele. Kleine waarden geven een klein effect en grote waarden geven een groot effect. De hoeveelheid van de totale spreiding wordt verklaard door de verschillen tussen groepen. Dit levert een percentage op wat gerapporteerd moet worden. De interpretatie hiervan kan aan de hand van de richtlijnen van Cohen.

Bij ANOVA gebeurd de rapportage aan de hand van de tabel. Anders mag het via de APA-regel.

Hier volgen nog enkele praktische handreikingen. ANOVA mag gebruikt worden bij 2 of meer dan 2 groepen. Bij 2 groepen mag er gekozen worden welke toets je wilt gebruiken, namelijk een t-toets voor 2 onafhankelijke groepen of een ANOVA. Het is belangrijk te beseffen dat de toetsingsgrootheid t en de toetsingsgrootheid F precies hetzelfde meten. De p-waarde van de twee toetsen zal echter identiek zijn.

Het nadeel van ANOVA is dat het niet eenzijdig getoetst kan worden. Het is ook niet mogelijk om te kijken welke groep er verschilt als de H0 waar is. Als de H0 aangenomen wordt, blijkt dat alle gemiddelden gelijk lijken te zijn. Alle steekproeven zijn genomen uit een populatie met eenzelfde gemiddelde. Het is echter niet meer nodig om de verschillende groepen te onderscheiden. Als de H0 echter wel verworpen wordt, is de conclusie dat alle gemiddelden niet gelijk zijn. Maar waarom en waardoor die H0 verworpen is kan door paarsgewijze vergelijkingen opgelost worden. Dit kan met verschillende technieken. De voorkeur gaat uit volgens de manier van Tukey, die de betrouwbaarheidsintervallen samen gaat vergelijken. De post hoc toets zorgt dat het totale betrouwbaarheidsniveau blijft waar het moet zijn. Dit hoeft alleen via SPSS.

3. Hoorcollege 3, Gravetter hoofdstuk 15 en 17, door Kirsten Namesnik

29 april 2013

Het herkennen van het meetniveau en de variabelen is erg belangrijk. In een correlatiestudie wordt er gekeken of er een relatie is tussen twee variabelen. Bijvoorbeeld of er een relatie is tussen het aantal uren dat je voor het tentamen leert en je tentamen cijfer? Of is er een relatie tussen het aantal Facebook-vrienden en de studiecijfers? Dit kan worden beantwoord aan de hand van een correlatiestudie.

Deze studies kijken naar lineaire relaties tussen twee variabelen. Deze relatie wordt beschreven aan de hand van een correlatie-coëfficiënt voor de sterkte, richting en significantie van de correlatie. Er bestaan twee vormen, namelijk 2 variabelen van interval/ratio meetniveau wat de Pearson correlatie genoemd wordt. 2 variabelen van ordinaal meetniveau wordt de Spearman correlatie genoemd.

Er wordt alleen gekeken of er überhaupt een relatie is. Er wordt dus niet gekeken of de ene variabele de andere variabele beïnvloedt of veroorzaakt.

Als we naar een correlatie gaan kijken moet er eerst gekeken worden naar een grafiek. Er moet namelijk sprake zijn van een lineaire trend zijn. Dit kan aan de hand van een spreidingsdiagram. Als er echter sprake is van een oorzaak-gevolg relatie, moet er gekeken worden naar experiment. De relatie tussen twee variabelen kan ook een ander patroon vormen bijvoorbeeld een kromme. Er kan dan geen correlatie zijn.

Er moet vervolgens ook gekeken worden naar de richting van de relatie. Het gaat hierbij om een algemene trend. Er kan sprake zijn van een positieve en negatieve richting. Een positieve richting betekent dat de X-variabele toeneemt. De Y-variabele neemt ook toe. De twee variabelen bewegen dus in dezelfde richting. Een negatieve relatie geeft een toename in de X-variabele en een afname in de Y-variabele. De 2 variabelen bewegen in tegengestelde richting.

Pearson

De Pearson correlatie meet de sterkte en de richting van het lineaire verband tussen twee variabelen op het interval/ratio meetniveau. Het gaat dus alleen over de lineaire relatie. De correlatie wordt aangeduid met een r. waarden die dicht bij 0 liggen geven een zwakke relatie aan. Waarden die dicht bij +1 liggen geven een sterk verband aan. Een waarde van +-1 geeft een perfect lineair verband aan. In de collegeslides staan op de 13^e slide duidelijke voorbeelden hierbij.

De Person correlatie gaat meten hoeveel van de spreiding in X en de spreiding van Y een gezamenlijke spreiding is. De gezamenlijke spreiding van X en Y delen door de spreiding van X en Y apart geeft de correlatiecoëfficiënt. De spreiding van X en Y wordt gemeten met de kwadratensom (SS). Voor de gezamenlijke spreiding gebruiken en niet een kwadratensom maar een productensom (SP=som of products). De correlatie in de populatie wordt aangegeven door de Griekse letter rho.

Stappen

Allereerst worden de hypotheses bepaald en het significante niveau gekozen. De tweede stap zijn de kritieke waarden berekenen. Als H0 waar is verwachten we dat de steekproefcorrelatie r dicht bij 0 zal vallen. Dan zullen we H0 niet verwerpen als de r klein is en we zullen H0 verwerpen als de r groot is. We zullen H0 dan verwerpen als de r groter of gelijk is aan de r-kritiek. Tijdens de derde stap wordt de toetsingsgrootheid uitgerekend. Door te kijken naar de tabel B6. De vierde stap is de beslissing nemen over H0, waarbij de H0 wel of niet verworpen wordt. De laatste stap is het rapporteren van de conclusie. Er moet op drie decimalen na nauwkeurig gerapporteerd worden. Volgorde van de rapportage is als volgt; allereerst de r. Hierbij moet een + of min vermeld worden Daarna volgt de n en daarna de p. Tot slot of het een eenzijdige of tweezijdige toetsing is.

Let op, de factoren met een grote invloed op de correlatiecoëfficiënt, zoals bijvoorbeeld uitschieters of een beperkt bereik (deel van de scores die je bekijkt, subgroepen in plaats van het totaal) van data in de steekproef.

Spearman

De Spearman correlatiecoëfficiënt meet de sterkte en de richting tussen 2 ordinale variabelen. Deze twee variabelen kunnen oorspronkelijk al ordinaal gemeten zijn; of ordinaal gemaakt zijn door middel van rangscores om een non-lineaire relatie recht te trekken. Dit kan alleen maar als de kromme alleen maar stijgend is of alleen maar dalend is.

Een non-lineaire (kromme) relatie kun je rechtmaken door rangscores te berekenen. Als een lineaire lijn niet helemaal d goede relatie weergeeft, dan kunnen er geen rangscores berekend worden. Bij de kromme wel, omdat er een consistente toename is. Als er dan sprake is van een knoop (tie) wat betekent dat er twee dezelfde X-en zijn, krijgen deze geen verschillende rangscore maar beiden de helft van de rangscore. Na het opnieuw maken van een grafiek is zichtbaar dat de kromme recht getrokken is. De Spearman correlatiecoëfficiënt wordt berekend met dezelfde formule als de Pearson, aan de hand van de rangscores voor X en Y. Ook voor de Spearman correlatie kunnen we een toets doen. Deze werkt hetzelfde als de vorige correlatietoets. Hiervoor moet echter wel een andere tabel gebruikt worden, namelijk B.7. Let op, een verschil met B.6 is dat de kritieke waarden gebaseerd zijn op n en niet op df=n-2.

Chi-kwadraat

Er is een onderzoek naar de kleurvoorkeur bij baby’s. Deze data worden samengevat in bijvoorbeeld een kruistabel. Er is sprake van data op nominaal niveau! Toetsen met nominale variabelen doen we met de Chi-kwadraat toets. Als er sprake is van een variabele noemen we de toets Goodness of Fit. Bij twee variabelen wordt het de Test of independence genoemd.

Goodness of Fit test

Opnieuw de 4 stappen voor het toetsen. Er zijn in de eerste stap 2 mogelijkheden voor de 0-hypothese. De eerste mogelijkheid is H0=geen voorkeur. Dit betekent dat de verschillende categorieën even vaak gekozen worden. De frequenties en percentages zijn gelijk voor de verschillende categorieën. In het bovengenoemde voorbeeld betekent het dat de kleuren even vaak gekozen worden. De tweede mogelijkheid is dat er geen verschil is met de bestaande populatieverdeling. Dit betekent dat er een bestaande populatieverdeling bekend is, dat de verschillende categorieën worden gekozen volgens dat model en dat de frequenties/percentages in de populatie voor de verschillende categorieën waarden aannemen van dat bestaande model.

De data voor deze toets bestaan uit twee rijen met frequenties, namelijk de geobserveerde frequenties en de verwachte frequenties. Deze verwachte frequenties worden berekend onder H0. Na deze berekeningen kunnen de frequenties vergeleken worden.

De Chi-kwadraat toetsingsgrootheid meet de verschillen tussen bovengenoemde geobserveerde en verwachte frequenties. Dit verschil is vooral absoluut, maar je wil juist het relatieve verschil meten (dat kan door de toetsingsgrootheid). Om te bepalen of dit verschil groot of niet groot is, worden de verschillen tussen de geobserveerde en verwachte frequenties gerelativeerd aan de hand van de verwachte frequenties. Grote verschillen geven een grotere waarde voor Chi-kwadraat. De kleine verschillen geven een kleine waarde voor Chi-kwadraat. H0 wordt dus verworpen als chi kwadraat groot is.

Deze toetsingsgrootheid volt een verdeling, genaamd Chi-kwadraat verdeling. Aan de hand van deze verdeling kunnen de kritieke waarden en de p-waarden bepaald worden.. Deze zogenaamde Chi-kwadraat verdeling wordt gedefinieerd door vrijheidsgraden. De kritieke waarden die hierbij horen kunnen gevonden worden in de tabel B.8. Er moet volgens APA stijl gerapporteerd worden: Chi-kwadraat (hoeveelheid categorieën, aantal (n)) = …. (toetsingsgrootheid) Met een p < …

Let erop dat een geobserveerde frequentie een heel getal moet zijn, en dat het niet kan eindigen op decimalen. Een verwachte frequentie kan wel op decimalen eindigen. Een Chi-kwadraat verdeling kan van vorm veranderen. Dit gebeurt als de df-waarden veranderen. Bij hogere vrijheidsgraden gaat de vorm steeds meer lijken op een normaalverdeling (minder scheef).

Test of independence

De hypothesen die bij deze test horen zijn H0: er is geen samenhang tussen de twee variabelen en H0: de twee variabelen zijn onafhankelijk van elkaar. De data bestaan net als bij de Goodness of Fit test uit twee rijen met frequenties, namelijk de geobserveerde frequenties en de verwachte frequenties. De geobserveerde frequenties kunnen direct uit de kruistabel gehaald worden. De verwachte frequenties worden weer onder H0 berekend. Onder H0 kunnen we de verwachte frequenties uitrekenen met een eenvoudige formule. De verwachte frequentie tabel kan opgedeeld worden in verschillende namen. De rijtotalen worden de Fr genoemd. De kolomtotalen worden Fc genoemd. De verwachte frequenties worden vaak tussen haakjes gezet in de tabel. De toetsingsgrootheid die we gebruiken is dezelfde als voor de Goodness of Fit toets. De toets is vrijwel hetzelfde, op enkele puntjes na.

De effectgroottes kunnen alleen voor de test of independence gemeten worden, niet voor de Goodness of fit test! Dit kan op twee verschillende manieren gemeten worden. Voor 2x2 kruistabellen wordt het phi-coefficient genomen en dat is een soort correlatie. Deze phi-coefficient is de effectgrootte en 0.1 is een klein effect, 0.3 is en medium effect en 0.5 een groot effect. Als de tabel groter is dan 2x2 gebruiken we Cramer’s V. Deze wordt aangepast aan de hand van een soort vrijheidsgraad, namelijk de kleinste vrijheidsgraad die afgelezen kan worden in de tabel. De interpretatie van Cramer’s V hangt af van de df, die afgelezen kan worden in de tabel 17.10 in het statistiekboek.

Voor de beide toetsen gelden enkele regels. De observaties moeten allemaal onafhankelijk zijn (dus geen within subject toets). Ook mogen de verwachte frequenties niet onder de 5 vallen (de invloed van een bepaalde cel wordt te groot).

4. Hoorcollege 4 (Methoden), kwalitatief onderzoek

7 mei 2013

Neuman verstaat onder kwalitatief onderzoek ‘observing people in natural settings’, dit is echter een beperkte blik zal blijken uit dit college. De aanpak van onderzoek wordt tot nu toe vaak uitgevoerd als kwantitatief zoals het experiment en survey. Vandaag gaan we kijken naar kwalitatief onderzoek.

Het voorbeeld ter inleiding zijn gegevens over de hoeveelheid mannen in vrouwenberoepen en de hoeveelheid vrouwen in mannenberoepen. Hierbij kunnen verschillende onderzoeksvragen gesteld worden zoals bij voorbeeld of de beloning en status van een beroep samenhangt met het aantal vrouwen dat in een beroep werkzaam is. Vragen die niet beantwoord kunnen worden met statistiek zijn hoe-vragen en welke-vragen, want statistiek beantwoord hoeveel vragen. Het is belangrijk om dit verschil te zien zodat het duidelijk is of er kwalitatief of kwantitatief onderzoek nodig is. In kwalitatief onderzoek gaat het over het perspectief wat je onderzoekt.

Kwalitatief onderzoek

Door middel van interviews kunnen bepaalde patronen uiteengezet worden. Hiervoor is interpretatie nodig. Daarna kunnen er profielen gemaakt worden, in het voorbeeld vrouwen die in de techniek blijven (persisters) en vrouwen die afvallen (non-persisters). Voor de persisters kunnen rolmodel en coping een rol spelen in de keuze. Voor non-persisters kunnen het niet zijn van technisch, moeite met curriculum een rol spelen in de keuze.

De stappen in het onderzoeksproces

Voor zowel kwantitatief en kwalitatief is het onderzoeksproces vrijwel het zelfde. Er wordt gestart met de focus, het selecteren van een onderwerp. Naar aanleiding van het onderwerp moet de hoofdvraag gesteld worden. Vervolgens wordt het design van de studie gemaakt en dat is verschillend met kwantitatief onderzoek. Er is namelijk nog niet zo veel theorie want je gaat op zoek naar theorie. Er wordt dan dus data verzameld, er wordt geanalyseerd en geïnterpreteerd. Daarna worden de resultaten gepubliceerd.

Het verschil tussen kwantitatief onderzoek en kwalitatief onderzoek is vooral het inductie en deductieproces. Bij inductie wordt gestart met specifieke (kwalitatief) observaties en dan wordt er gewerkt naar een algemeen idee of theorie. Deductief is onderzoek waarin dat precies andersom is.

Dus: Deductief is van ideeën en concepten naar geobserveerde data. Inductief is van geobserveerde data naar bepaalde concepten.

Er kan gebruik worden gemaakt van verschillende methoden. Onder andere veldwerk of participerende observatie, interviewen, groepsinterviews en foto elicitatie (foto’s in een interview gebruiken om te kijken wat het doet met de mensen).

Bovengenoemde dingen hebben een paar dingen gemeen. Je gaat naar de ‘real world’ in plaats van in een ‘hokje’ met manipulatie. Bovendien zijn de methoden flexibel. Ook de betrokkenheid van de onderzoeker is belangrijk, omdat de onderzoeker zowel participant als onderzoeker is. Het laatste gemeenschappelijk kenmerk is dat ze allen kwalitatieve data leveren.

De beperkte visie van Neuman: hij heeft het alleen over het veldwerk, terwijl er veel meer kwalitatieve methoden zijn.

Het principe dat we kennis krijgen over gebeurtenissen door het dagelijks leven te observeren in de natuurlijke setting wordt naturalisme genoemd.

De veldrelaties zijn complex. Enerzijds ben je onderzoeker en observeerde maar aan de andere kant ben je participant. Je moet je ergens plaatsen op dit continuüm. Beide extremen zijn niet gewenst. Als je jezelf alleen ziet als onderzoeker plaats je jezelf buiten het experiment. Echter, bij going native (extreme participant) ga je op in de situatie en worden bepaalde dingen niet meer geobserveerd.

Er zijn verschillende manieren om te interviewen. Bijvoorbeeld gestructureerd interview (kwantitatief). Hierin liggen de vragen, formulering, volgorde en antwoordcategorieën vast. Bij een half-gestructureerd onderzoek vraagt de onderzoek vragen, luistert en de interview is een actieve deelnemer. Het is meer een conversatie-stijl, maar zeker wel een methode om gegevens voor onderzoek mee te verzamelen. Ongestructureed is vaak rijk gedetailleerd en textueel.

Exploratief onderzoek past goed bij kwalitatie onderzoek, omdat je nog niet veel van een onderwerp af weet en dat juist wil onderzoeken. Het kan ook beschrijvend zijn. Verklarend en causaal is haast niet mogelijk in kwalitatief onderzoek. Ook evaluatief onderzoek is mogelijk, bijvoorbeeld of een interventie werkt. Hiermee kan worden gekeken of er bijvoorbeeld draagvlak is onder werknemers.

Er is sprake van een cyclisch verloop tussen dataverzameling en analyse. Er worden eerst gegevens verzameld, die worden geanalyseerd en dan wordt er een sampling getrokken. De onderzoeksgegevens worden weer verzameld en dit proces herhaald zich weer. Dit cyclische verloop stopt als er sprake is van saturatie of verzadiging, er is voldoende informatie.

Data-analyse

Het is belangrijk om de onderzoeksgegevens te begrijpen en te interpreteren. Hierbij kan informatie uit elkaar gehaald worden en weer bij elkaar gezet worden door te kijken naar patronen en profielen en te labelen. Dit kan met behulp van een data matrix. Waarin in de kolommen de thema’s/labels gezet worden en bij de rijen de namen. Hierdoor krijgt de onderzoeker themagewijs inzicht.

Er kunnen ook codebomen gemaakt worden. Uit interviews worden bepaalde codes gehaald. Daaruit worden weer de kenmerken onderverdeeld onder hoofdcodes en daaronder weer vertakkingen.

Open coderen kan aan de hand van bepaalede vragen, bijvoorbeeld zijn er overeenkomstige codes.

Coderen en terugzoeken is ook een manier. Dit wordt ook wel retrieve genoemd. Er zijn eerst een aantal kenmerken en daarna wordt er gezocht binnen de interviews naar deze kenmerken.

Ook de kwaliteit, waaronder betrouwbaarheid en validiteit vallen, is belangrijk. In kwalitatief onderzoek is er veel sprake over de kwaliteit. Bedreigingen voor kwalitatief onderzoek zijn de volgende. Het is moeilijk te herhalen, je kunt maar een keer een setting hebben, de setting is veranderlijk. Bovendien gebruik je een flexibel meetinstrument (jij, de onderzoeker) en improviseer je. Ook reactiviteit als gevolg van de aanwezigheid van de onderzoeker kan gevaarlijk zijn net als de vooringenomenheid van de onderzoeker.

Hoe kunnen deze bedreigingen zo veel mogelijk uit de weg geruimd worden? Dit kan door reflectie op de rol van de onderzoeker, door met meer onderzoekers te werken, door triangulatie (het gebruik van meerdere methoden), door normaliseren, door feedback te krijgen van de participanten en door methodische verantwoording.

5. Hoorcollege 5 (methoden), de survey, door Edith de Leeuw

13 mei 2013

Het boek van Neuman is erop gericht om volwassenen te onderzoeken. De studenten moeten beseffen dat er meer is dan alleen volwassenen, maar dat is een heel breed en ander terrein. In dit college gaat het vooral over de survey in het algemeen.

Survey onderzoek is een methode voor het verzamelen van data op een gestructureerde manier. Het verschil met andere dataverzamelingen is dat er dezelfde vragen worden voorgelegd aan een groot aantal respondenten. Bij andere methoden als experiment, observatie, inhoudsanalyse en kwalitatieve open interviews is het aantal respondenten veel kleiner.

Het type onderzoek wat vaak op universiteiten gedaan wordt, verschilt van een opinion poll. Bij een opinion poll is er sprake van weinig vragen en deze methode is eenvoudig te analyseren.

Sociaal onderzoek/wetenschappelijk onderzoek bestaat uit veel vragen, is correlationeel en is hypothese-testend. Het is op een gestructureerde manier dezelfde vragen voorleggen aan een groot aantal mensen (respondenten). Bijvoorbeeld vragen over gedrag, ervaringen, meningen, houdingen, kennis en achtergrondkenmerken. Er is een (kans) steekproef nodig uit een goed gedefinieerde doelpopulatie.

Soms zijn surveys alleen voor ‘fun’; het gaat alleen om een kop of een grappig gegeven. Soms zijn er cijfers nodig voor planning, bestuur en maatschappij. Neem bijvoorbeeld het CBS (o.a. economische statistieken). Soms hebben onderzoeken een harde economische achtergrond (bijvoorbeeld kijkcijfers bij tv-programma’s).

Survey onderzoek meet vaak veel variabelen en het test meestal meerdere hypothesen. Dit onderzoek is niet experimenteel want er worden correlationele verbanden geanalyseerd. Wat de oorzaak en het gevolg is kan met behulp van andere controlevariabelen bepaald worden. Oorzaak en gevolg worden dus indirect onderzocht.

Er zijn verschillende survey methoden, die verderop in dit college dieper uitgewerkt worden.

Face to face (bezoek) interview

Dit kan op de ‘ouderwetse’ manier met papier en pen. Het kan ook door middel van het CAPI (Computer-Assisted-Personal Interview). De interviewer leest de vragen van het scherm en vult deze digitaal in.

Telefonisch interview

Dit kan opnieuw eenvoudig met papier en pen. Bij groot onderzoek wordt het aanbevolen om CATI te gebruiken (Computer-Assisted Telephone Interview).

Schriftelijke vragenlijst

Dit kan door middel van een post-enquete, maar ook groepsgewijs op bijvoorbeeld scholen. Ook web surveys kunnen hierbij ingezet worden om mensen makkelijk te bereiken.

Wat moet je wanneer kiezen? Het hangt af van je onderzoeksvraag, het type te stellen vragen en de populatie waarin je geïnteresseerd bent. Een voorbeeld: als je de sociale netwerken van ouderen onderzoekt kan er het beste een interviewer face-to-face onderzoek toepassen. Bij een visueel-gehandicapte jongen is een websurvey wat afgespeeld kan worden het best toepasbaar.

Hoekstenen van kwaliteit

Allereerst de dekking van de populatie. Heeft iedereen in de populatie een kan s om mee te doen of zijn er bepaalde groepen die dan buitengesloten worden? Bijvoorbeeld het hebben van wel of geen internetaansluiting.

Ten tweede de steekproeftrekking. Hoe trek je de steekproef en hoe groot maak je de steekproef? Is het een kans-steekproef of niet?

Ten derde de non-respons. Hoe groot is deze non-respons en is deze selectief of niet?

Ten vierde de meting en de meetfouten. Wat is de betrouwbaarheid? Wat is de validiteit? Het is belangrijk om goede vragen te maken.

Face-to-face interview

Deze manier van interviewen heeft veel voordelen. Het heeft namelijk een goede dekking populatie en een hoge respons. Bovendien kunnen er hele complexe vragenlijsten gebruikt worden met veel doorvragen en instructies. Ook kunnen er relatieve lange vragenlijsten gebruiken. Er kan ook visueel materiaal gebruikt worden en er kan veel uitleg gegeven zijn. Er zijn echter ook nadelen; deze manier van interviewen heeft hoge kosten, kost veel tijd, heeft een lange periode van dataverzameling, er is training en supervisie nodig van de interviews, er is het gevaar van interviewerfouten en interviewereffecten en er kan sprake zijn van sociale wenselijkheid.

Telefonisch interview

Deze manier van interviewen heeft veel voordelen. De interviewer kan uitleg en hulp geven. Bovendien kunnen er eveneens complexe vragen gesteld worden, vanuit een centrale ruimte (dus goede supervisie en monitoring). Ook kan het relatief snel en is er een korte dataverzamelingsperiode. Eveneens zijn de kosten lager door geen reistijd en efficiënter plannen.

Er zijn echter ook nadelen. Er kunnen maar beperktere vragen gesteld worden dan bij Face-to-Face, omdat het alleen auditief kan en niet visueel. Ook zijn de interviews minder lang, is er sprake van een lagere response en zijn er problemen met de dekkingsgraad door toename van de mobiele telefoons. Net als bij face-to-face interviews is er sprake van intervieweffecten, sociale wenselijkheid en inhibitie gevoelige vragen.

Postenquête

Alles voor postenquêtes geldt ook voor schriftelijke vragenlijsten. De voordelen van de postenquête zijn ook veel, namelijk lage kosten, eenvoudig te implementeren, geen interviewers, kan visueel, respondent kan iets opzoeken in eigen tempo (locus of control) en de respons is behoorlijk hoog als er een herinnering gestuurd wordt.

De nadelen zijn als volgt. Doordat er geen interviewer is, wordt er geen hulp en uitleg gegeven. De vragen moeten dus goed getest zijn! Ook kunnen er geen complexe vragenlijsten afgenomen worden, zijn er lees- en schrijfvaardigheden nodig (dus jonge kinderen bereik je zo niet) en er is geen controle over wie, waar en wanneer de vragenlijst invult.

Web-Survey

De voordelen voor een web-survey zijn: lage kosten, grote en snelle steekproeven, complexe vragenlijsten met veel skips (goed programmeren is wel nodig!), heeft een goede dekking, geen ongewenste intervieweffecten, visueel en ‘locus of control’.

De nadelen zijn hetzelfde als bij de postenquête. Er is echter wel een lagere respons dan bij een postenquête.

Ethiek en Survey onderzoek

Er moet opgepast worden oor een invasie van de privacy. Er moet ook rekening gehouden worden met de gevoelens van de respondent, er is een gevaar dat ze emotioneel worden. De deelname aan een survey onderzoek moet vrijwillig zijn. In Nederland moeten kinderen onder de twaalf jaar toestemming hebben van de ouders/verzorgers. Misbruik wordt pseudosurvey genoemd. Dat is net doen alsof je een onderzoek doet om een ander doel te bereiken, bijvoorbeeld iets verkopen.

Het type gevraagde informatie bepaalt vaak de keuze van het instrument. Er kan hierbij onderscheid worden gemaakt van feitelijke informatie en subjectieve informatie. Onder feitelijke informatie verstaan we kennis, gedrag, ervaringen (of je iets heeft meegemaakt, geen gevoelens) en attributen. Onder subjectieve informatie verstaan we attitudes, opinies, intenties en evaluaties.

Feitelijk vs. subjectief:

Feiten liggen klaar in het geheugen. Subjectieve informatie moet echter vaak nog geconstrueerd worden. Bij subjectieve informatie is er ook meer kans op een meetfout. Meerdere vragen (een schaal) wordt vaak gebruikt ter reductie op een meetfout. Ieder soort heeft weer eigen type antwoordschalen. Bij subjectieve informatie is de informatie vaak bipolair, dus bijvoorbeeld van eens – oneens. Feitelijke informatie is vaak unipolair: een frequentie of aantal.

Het ontwerp

Eerst operationallisering: wat wil je precies weten en wat is het doel van het onderzoek. Vervolgens moet de onderzoeker een outline vragenlijst maken. Dat zijn de onderdelen waarover men informatie wil, de logische volgorde en de achtergrondvariabelen. Dit leidt tot de voorlopige versie van de vragenlijst.

Bij open vragen zijn alle antwoorden toegestaan. Open vragen geen verbale (kwalitatieve) data die nog gecodeerd moeten worden. Vaak worden open vragen gebruik in de exploratiefase van het onderzoek. In die fase is het nog niet zeker welke responscategorieën er gebruikt moeten worden.

Bij gesloten vragen moeten de respondenten kiezen uit een aantal voor-gecodeerde antwoordmogelijkheden.

Goede gesloten vragen moeten allereerst mutually exclusive (uitsluitend) zijn. De categorieën mogen niet overlappen. Ook moeten de mogelijke antwoordmogelijkheden exhaustive (uitputtend) zijn. Alle mogelijke antwoordmogelijkheden moeten dus gebruikt worden en anders moet er een uitwegoptie zijn, bijvoorbeeld ‘anders, namelijk’. Ook moeten de antwoordmogelijkheden balanced zijn; het evenwichtig aanbieden van positieve en negatieve keuzes.

Moet er in een survey de optie ‘weet-niet’ of ‘geen mening’ aangeboden worden?

Dit kan niet in een standaard Format Qustion, omdat dat een gewone gesloten vraag is zonder weet-niet en geen mening. Een quasi-filter is een gesloten vraag met ‘weet-niet’. In een interview moet dit altijd gevolgd worden met een probe. Full-filter is het eerst vragen of respondent een mening heeft (filtervraag). Alleen aan diegene die ja zeggen de vraag voorleggen.

Een contingency vraag heeft tot doel dat er een bepaalde groep geselecteerd wordt (screening, uitfilteren). Vervolgens wordt aan deze groep een of meerdere vragen gesteld. Een full filter voor meningsvragen is ook een contingency-vraag.

Het begin van een vragenlijst moet interessant, leuk en niet te moeilijk zijn. De volgorde van de vragen is ook van belang, omdat er moet worden opgepast voor context/volgorde effecten. Geef informatie altijd op de plaats waar nodig is en begin niet met naam, geslacht en leeftijd.

Het doel van een goede lay-out is om het de respondent zo eenvoudig mogelijk te maken en om verwarring te voorkomen. De presentatie is verschillend voor een interview en een vragenlijst. Het is belangrijk om consistent te zijn qua lay-out en om het zo eenvoudig mogelijk te houden.

Een vragenlijst in het algemeen wordt ook wel de KISS (Keep It Simple Stupid) genoemd. Korte zinnen bouwen heldere lange vragen. Ook worden er woorden gebruikt die iedereen kan begrijpen, zoals eenvoudige woorden, geen dubbele ontkenningen en goede leesbaarheid. Vragen moeten verder zo concreet mogelijk zijn. Dit houdt in dat hypothetische vragen en dubbelloops vragen vermijd moeten worden. Ook de tijdsperiode moet gedefinieerd worden.

Een ander manier is de Toch Een Lijstje. Dat houdt in dat er één vraag tegelijk wordt gesteld, dus geen dubbele vraagstelling. Een vraag is hierbij zo specifiek mogelijk met eenvoudige woorden en zonder vage begrippen. Ook moet vooraf de betekenis van centrale begrippen gecontroleerd worden door bijvoorbeeld medestudenten.

In het kort wat zaken die belangrijk zijn:

1. Neutraal formuleren

2. Zo makkelijk mogelijk voor de respondenten

3. Eerst algemeen dan specifieke vraag

4. Responsecategorieën moeten elkaar uitsluiten

5. Responsecategorieën moeten uitputtend zijn

6. Nooit vertrouwen op eigen intuïtie

Vragenlijsten moeten uitgetest worden. De eerste versie is nooit goed. Het professionele testen van de eerste vragenlijst wordt ook wel de pre-test genoemd. Pilot-onderzoek is het testen van de hele survey-procedure. Dit is een generale repetitie op kleine schaal. Neuman gebruikt deze termen door elkaar heen (blz. 157).

6. Hoorcollege 6 (Statistiek), Regressie, door Kirsten Namesnik

14 mei 2013

Het gaat in dit hoofdstuk over lineaire relaties. Aan de hand van het beschrijven van deze relaties kunnen er voorspellingen gemaakt worden. Bij een correlatiestudie wordt er gekeken of er een relatie is tussen twee variabelen. Dit wordt gebruikt bij de verificatie van theorieën, betrouwbaarheid, validiteit en om te voorspellen. Validiteit voorspellen wordt regressie genoemd. De vraagstelling die hierbij hoort is: kan de waarde van iemand op een bepaald kenmerk voorspeld worden met kennis over andere kenmerken?

Een regressieanalyse heeft duidelijke rollen wat betreft de variabelen. De afhankelijke variabele (Y), dat onderzoekt de regressieanalyse, met een minimaal meetniveau interval. In regressie wordt de onafhankelijke variabele (X) vaak de predictor genoemd.

De eerste stap is net als bij correlatie, eerst een spreidingsdiagram maken. Het verschil tussen het gebruik van een correlatieanalyse of een regressie analyse is dat bij een correlatieanalyse er een relatie is tussen de twee variabelen en dat de variabelen geen specifieke rol spelen. Bij een regressieanalyse doe je een voorspelling van een variabele (afhankelijk) aan de hand van de andere variabele (onafhankelijk). Er moet altijd gekeken worden naar de vraagstelling, want daar ligt het aan welke analyse je gebruikt. De onafhankelijke variabele altijd op de x-as. De afhankelijke variabele altijd op de y-as. De lijn die je ziet in de spreidingsdiagram zorgt ervan dat het lineaire verband beter zichtbaar is. Ook geeft het het gemiddelde aan. Met deze lijn door de puntenwolk kunnen voorspellingen gedaan worden.

De lineaire relatie tussen twee variabelen wordt beschreven als Y = bX + a. b noemen we de richtingscoëfficiënt. De a is de Y intercept, waar snijdt de lijn de y-as als x nul is? De waarde van de Y-intercept is bij de sociale wetenschappen vaak niet interessant omdat het niets betekent. Want het is bijvoorbeeld: hoeveel weegt een student van nul centimeter lang? In natuurwetenschappen is dit heel anders.

In de statistiek bepalen we de vergelijking die de ‘gemiddelde’ relatie tussen twee variabelen X en Y beschrijft. We gaan dan op zoek naar de vergelijking die het beste bij de data past. De techniek die hiervoor gebruikt wordt is de Least Squares Regression.

Vervolgens moet er een bepaalde definitie gemaakt worden welke lijn in de puntenwolk het beste past bij wat je wilt weten. Dan kan de afstand gemeten worden tussen de puntenwolk en de lijn. De afstand tussen een observatie en de lijn heet residu. Het gaat om de verticale afstand. Deze afstand wordt ook wel de schattingsfout genoemd. Als een punt onder de lijn ligt is het residu negatief. Als een punt echter boven de lijn ligt, dan is het verschil positief. Als je een lijn hebt die niet goed bij de residuen past, is de som van alle residuen groot. Als er sprake is van positieve en negatieve residuen, worden deze gekwadrateerd en vervolgens bij elkaar opgeteld. De vergelijking die de kleinste kwadratensom van residuen oplevert past het beste bij de data, de standaardfout is daar het kleinst. Het is nu ook duidelijk waarom de techniek Least Squares Regression heet (minste kwadratensom). Dezelfde formule wordt genoemd: Y (y met dakje erop!) = bX + a.

Hoe kom je aan de richtingscoefficient?

Dit wordt berekent aan de hand van de productensom gedeeld door de sum of squares van x. Als de Y-intercept uitgerekend worden gebruik je: M van y – bM van x. Dit is het resultaat van het punt (M van x, M van y) dat altijd precies op de regressielijn valt.

Er is echter ook een alternatieve formule die gebruikt maakt van de standaardafwijkingen. De ratio daarvan moet vermenigvuldigd worden met de gemiddelde standaardafwijking van Y en X. Met deze formule kun je goed het nauwe verband tussen correlatie en regressie zien.

Stappen in Regressie

De eerste stap van het voorspellen van de Y-score is om de X-waarde van die individu in de regressievergelijking te stoppen. Dit betekent dat je een voorspelling van de Y-waarde van een individu krijgt bij een bepaalde X. Het kan ook zijn dat het een schatting is van het gemiddelde van Y voor iedereen bij een bepaalde X.

De waarde van Y-dakje is dezelfde waarde maar de betekenis is anders. Let dus goed op dat deze waarde op twee manieren geïnterpreteerd kan worden. Bovendien moet je geen voorspellingen doen buiten het bereik van X (extrapoleren), dus niet buiten de waarden om die je geobserveerd hebt.

Er bestaat ook een gestandaardiseerde vorm van regressie-vergelijking, bij verschillende variabelen die gestandaardiseerd zijn. Hierbij moeten de z-scores gebruikt worden, waarbij alle eenheden vervallen. Alle variabelen krijgen dan dezelfde eenheden, waardoor de x-variabelen vergeleken kunnen worden. Hierbij moeten eerste de X en de Y gestandaardiseerd worden. Daarna standaardiseren (de z-scores uitrekenen). Hierbij geven we beta als naam aan de gestandaardiseerde richtingscoëfficiënt. Beta is dus de correlatiecoëfficiënt.

Spreiding

Bij weinig spreiding rond de regressielijn zijn de residuen klein. De voorspellingen die we maken met betrekking tot de regressievergelijking zijn dan veel nauwkeuriger. Bij veel spreiding rond de regressielijn zijn de voorspellingen die we maken minder nauwkeurig.

De spreiding rond de regressielijn wordt gemeten door een standaardafwijking. Deze standaardafwijking doemen we de standaardschattingsfout (standard error of the estimate). Dit kan gerapporteerd worden, waardoor je kan zien of de voorspelling nauwkeurig is.

Voor de standaardschattingsfout gebruiken we weer een kwadratensom gedeeld door de vrijheidsgraden. De kwadratensom is SS residual. De df zijn n-2. De standaardschattingsfout is dan de wortel van de ss residual gedeeld door n-2.

Effectgrootte

Ook bij de regressie kijken we naar de effectgrootte. De effectgrootte bepalen we aan de hand van de proportie verklaarde variantie. Dit wordt gemeten door r². r² is het kwadraat van de correlatie tussen X en Y. r² heet ook wel de coëfficiënt of determination en meet de proportie van de totale spreiding van de Y die verklaard wordt door de lineaire relatie met X. (1-r²) met dan dus de proportie van de spreiding dat niet verklaard wordt door de regressie relatie. De totale spreiding van Y = SS_y. Het stuk spreiding dat verklaard wordt door het regressiemodel is SS regression. Dan krijg je dus SS regression gedeeld door SS totaal. Dit levert de effectgrootte op. Deze laatste formule staat niet goed in het boek en ook niet op het formuleblad.

Toetsing

Tot slot moet getoetst worden of de relatie wel significant is. Dit is eigenlijk hetzelfde als kijken of de X-variabele wel goed functioneert. Wordt er wel een significant deel van de spreiding verklaard? Dit kan op twee manieren getoetst worde. Een toets voor de richtingscoëfficiënt of een toets voor een significante relatie. De eerste is kijken of het richtingscoëfficiënt in de populatie (beta) gelijk is aan nul of niet en kan met een gewone t-toets. De p-waarde is ook hetzelfde als voor de correlatietoets.

De tweede manier van toetsen is de toets voor een significante relatie. Deze toetst of een significant deel van de spreiding in Y wordt verklaard door de lineaire relatie. Deze toets worden ook wel de regressieanalyse genoemd en is eigenlijk hetzelfde als de variantieanalyse, de F-toets dus. Hierbij wordt de totale spreiding verdeeld onder de regressie (verklaard deel) en de residuen (onverklaard deel). In een enkelvoudig (een x-variabele, meervoudig zijn meerdere x-variabelen) regressiemodel zijn de t-toets en de F-toets identiek! F= t², p-waarden zijn gelijk!