Hoe moet je data verzamelen? - Chapter 3

Wanneer we bezig zijn met verkennende data-analyse (exploratory data analysis), is de grafische weergave van distributies belangrijk. Alleen maar deze vorm van data-analyse uitvoeren is echter vaak onvoldoende. Dit omdat opvallende patronen in de data veel verschillende oorzaken kunnen hebben. De validiteit van de conclusies die we uit een data-analyse trekken hangen niet alleen af van de beste methoden van analyse, maar ook van de kwaliteit van de data. Daarom wordt hier begonnen met het behandelen van de bronnen van data. De belangrijkste bronnen zijn experimenten en steekproef-surveys. Deze worden daarom ook behandeld. Statistische technieken voor het produceren van data zijn de basis voor statistische gevolgtrekkingen, die antwoord geven op specifieke vragen. Ook ethische vragen met betrekking tot het ontwerp van studies en de analyse van data worden in dit hoofdstuk behandeld.

Welke verschillende bronnen van data zijn er?

Anekdotische data en beschikbare data

Vaak komt het voor dat mensen op basis van hun eigen ervaringen conclusies trekken. Ze hebben dan niet door dat hun ervaringen niet altijd representatief zijn. We zeggen dat mensen in dit soort gevallen uitgaan van anekdotes. Anekdotisch bewijs (anecdotal evidence) is gebaseerd op onze eigen selectie van informatie. Deze selectie is vaak gebaseerd op zaken die op één of andere manier onze aandacht trekken. Deze informatie is dus niet per se representatief.

Soms maken we gebruik van beschikbare data (available data), welke in het verleden voor een bepaald doel verzameld is. We gebruiken deze data dan om een nieuwe vraag te beantwoorden. Beschikbare data kan bijvoorbeeld in de bibliotheek of op het internet gevonden worden. Soms moet er toch data gemaakt worden op specifieke vragen. We gebruiken daarbij experimenten en steekproeven.

Steekproeven (samples)

Vaak zijn onderzoekers geïnteresseerd in hoe de populatie naar bepaalde zaken kijkt. Hoe denken Amerikanen bijvoorbeeld over abortus? En hoeveel geven studenten uit aan studieboeken? Om dit soort vragen te beantwoorden, worden mensen ondervraagd (sample surveys). Het idee is dat een steekproef representatief is voor een grotere populatie. Sampling houdt in dat we een onderdeel van een groep bestuderen om uitspraken over de hele groep te doen.

Onderzoekers geven de voorkeur aan steekproeven boven een census. Bij een census wordt elk individu uit de gehele populatie onderzocht. Dit is niet efficiënt en bovendien blijkt dat een goed uitgevoerde steekproefprocedure preciezere resultaten geeft dan een census. Dit omdat onderzoekers minder scherp worden als ze ontzettend veel mensen moeten onderzoeken. Ze kunnen dan sneller fouten maken.

Het bestuderen van steekproeven is een vorm van een observationeel onderzoek (observational study). Dit omdat individuen geobserveerd worden en variabelen gemeten worden. De reacties worden niet beïnvloed. Dit in tegenstelling tot een experiment, waarbij opzettelijk een interventie uitgevoerd wordt, om te kijken hoe mensen hierop reageren. Als onderzoeker veroorzaak je dan dus zelf veranderingen in responsen van mensen. Experimenten krijgen vaak de voorkeur boven observationele onderzoeken, omdat we bij experimenten meer controle hebben over de variabelen.

Voorbeelden van bronnen

Hoe breder en vindingrijker je omgaat met het zoeken van bronnen voor data, hoe meer er te vinden valt. Bij elke bron is het belangrijk om na te gaan wat de betrouwbaarheid en waarde van het materiaal is en of en hoe het te analyseren valt. Elke bron heeft voor- en nadelen. Bronnen kunnen bijvoorbeeld het volgende zijn:

• Anekdotische data: een student die vertelt dat een docent de beste docent van de universiteit is.
• Beschikbare data: statistische gegevens van het UWV over het aantal werkenden.
• Steekproeven: enquêtes gehouden door het Centraal Bureau voor de Statistiek.
• Observationeel onderzoek: een groep wielrenners die de kracht in hun kuiten opmeet
• Experiment: een bedrijf dat schoenen verkoopt op internet, wisselt af tussen twee websites, om te bekijken welke website voor de hoogste verkoop zorgt.

Welke verschillende typen experimenten zijn er?

Begrippen

• De individuen die we voor een experiment gebruiken, worden experimentele eenheden (exprimental units) genoemd.
• Wanneer deze eenheden mensen zijn, noemen we ze proefpersonen (subjects).
• Een specifieke experimentele conditie die op experimentele eenheden wordt toegepast, wordt een behandeling (treatment) genoemd.
• Het onderscheid tussen verklarende variabelen en responsvariabelen is voor experimenten van belang, omdat we causaliteit willen vastleggen. Vaak lukt dit ook echt alleen met experimenten. De verklarende variabelen worden factoren genoemd. Vaak wordt er in onderzoeken gekeken naar de gezamenlijke invloed van meerdere factoren. In zo een experiment wordt elke behandeling gevormd door specifieke waarden of hoeveelheden van factoren te combineren. Deze specifieke waarden worden levels genoemd.

Vergelijkende experimenten

In veel experimenten in het laboratorium wordt er maar één interventie in een experiment uitgevoerd. Deze interventie wordt dan toegepast op alle experimentele eenheden. Een dergelijke opzet wordt als volgt samengevat:

• Behandeling > Geobserveerde respons.

Wanneer experimenten echter met levende organismen worden gedaan, zijn wat complexere designs handiger. Dit om echt vast te stellen dat de geobserveerde responsen het gevolg zijn van de behandeling en niet van bijvoorbeeld een op de loer liggende variabele.

Soms wordt er in experimenten gebruik gemaakt van een placebo-effect. Mensen denken dan dat een bepaalde behandeling effect heeft gehad, terwijl het effect in werkelijkheid niet toe te schrijven is aan de behandeling. Je kunt mensen bijvoorbeeld een neppilletje geven en zeggen dat deze hun depressie zal verminderen. Het komt regelmatig voor dat mensen na afloop echt het gevoel hebben dat ze minder depressief zijn geworden.

Een controlegroep kan ingezet worden om te kijken of een interventie echt leidt tot specifieke resultaten. De controlegroep krijgt dan geen interventie, terwijl andere groepen dat wel krijgen. Als blijkt dat de groepen die wel een interventie (interventiegroep) gehad hebben anders scoren op de responsvariabele dan de controlegroep, dan komt dit hoogstwaarschijnlijk door de interventie zelf en niet door andere variabelen.

Een onderzoek is partijdig (‘biased’) wanneer deze systematisch bepaalde resultaten geeft die niet het gevolg zijn van echte effecten.

Randomisatie (randomization)

Het design van een experiment beschrijft de responsvariabele(n), de factoren (verklarende variabelen) en hoe het experiment opgezet is. Vergelijkingen tussen groepen maken (en verschillen ontdekken) is voor een onderzoeker het allerbelangrijkst. Een tweede aspect van een experiment gaat over hoe deelnemers worden toegewezen aan condities. Dit kan door subjects met verschillende sekse, leeftijd, gezondheid, etc. met elkaar te matchen. Echter is dit niet geheel adequaat omdat de onderzoeker dit niet van iedereen kan onderzoeken vooraf en er zelfs andere variabelen zijn waar hij vooraf niet aan gedacht had. Daarom wordt er vaak gebruikt gemaakt van het random toewijzen, zodat onderzoeksresultaten echt het gevolg zijn van de interventie en niet van andere factoren tussen groepen, die voor de interventie al aanwezig waren. Randomisatie is vaak het gevolg van toeval. De onderzoeker beoordeelt dan zelf niet in welke groepen mensen terecht moeten komen. Hij of zij kan bijvoorbeeld door middel van tossen mensen toewijzen aan verschillende condities. Randomisatie is het gebruik van toeval om experimentele eenheden in groepen in te delen.

Vergelijkende experimenten randomiseren

Het randomiseren van vergelijkende experimenten heeft de volgende gevolgen:

• Randomisatie zorgt ervoor dat we twee groepen proefpersonen krijgen waarvan we verwachten dat ze soortgelijk zijn op alle relevante vlakken, voordat de behandelingen uitgevoerd worden.
• Een vergelijkend design zorgt ervoor dat invloeden, behalve de behandeling zelf, gelijk over de groepen verdeeld zijn. Dit zorgt ervoor dat er geen systematische verschillen tussen de groepen bestaan.
• Verschillen in groepsgemiddelden op de responsvariabele moeten dan dus wel het gevolg zijn van de experimentele ingreep.

Het zou kunnen zijn dat de verschillen in de responsvariabele toch oorzaak zijn van de verschillende proefpersonen in de groepen. Gebruik daarom genoeg proefpersonen om kansvariatie te verminderen.

Principes van experimentele designs

De belangrijkste principes van experimentele designs zijn:

• Vergelijking: Experimenten vergelijken twee of meer behandelingen met elkaar. Dit zorgt ervoor dat de effecten van op de loer liggende variabelen onder controle worden gehouden.
• Randomisering: Het gebruik van toeval om experimentele eenheden aan behandelingen tot te wijzen.
• Herhaling: De herhaling van elke behandeling op vele verschillende experimentele eenheden zorgt ervoor dat variatie in de onderzoeksresultaten, als gevolg van toeval, wordt verkleind.

We hopen dat de verschillen op de responsvariabele per groep verschillen en dat deze zo groot zijn dat ze niet het gevolg kunnen zijn van toevalsverschijnselen. We kunnen met statistische formules achterhalen of de resultaten het gevolg van toeval zijn of hoogstwaarschijnlijk het gevolg van echte effecten zijn. Een gevonden effect dat zo groot is dat deze hoogstwaarschijnlijk niet het gevolg is van toeval, noemen we statistisch significant.

Het proces van randomiseren

Je kunt software gebruiken om te randomiseren, maar handmatig kan ook gerandomiseerd worden. Er moet dan een tabel met random cijfers gebruikt worden. Een tabel van random cijfers is een lijst van de cijfers 0,1,2,3,4,5,6,7,8,9. Deze getallen:

• Hebben allemaal dezelfde kans om geselecteerd te worden.
• Zijn onafhankelijk van elkaar, omdat de ene waarde geen invloed heeft op een andere waarde.

Een experimenteel design is helemaal gerandomiseerd (completely randomized design) wanneer alle experimentele eenheden random aan alle condities worden toegewezen. Met zo een design kunnen heel wat behandelingen met elkaar vergeleken worden.

Experimentele designs

Een onderzoek is dubbel-blind (double-blind) wanneer zowel de subjecten zelf als de onderzoekers niet weten welke behandelingen de proefpersonen gekregen hebben. Zo een design zorgt ervoor dat verwachtingen van onderzoekers geen invloed hebben op hun interpretaties van de gevonden resultaten, en dat de onderzoeker iedere proefpersoon op dezelfde manier onderzoekt. Een nadeel van experimenten is het gebrek aan realisme (lack of realism). In dat geval zijn de proefpersonen, de behandelingen of de setting van een experiment geen goede representaties van de condities die de onderzoekers willen onderzoeken. Veel onderzoekers willen hun conclusies generaliseren naar een setting die anders is dan de setting waarin het experiment gedaan is. Het is belangrijk om te onthouden dat statistische analyse van een experiment ons niet kan vertellen hoe goed de resultaten naar andere settings te generaliseren zijn.

Gematchte paar-ontwerpen (matched pair designs) en blok ontwerpen

• Gematchte paar-design: bij dit design worden twee behandelingen met elkaar vergeleken. In sommige matched pair-designs ontvangt iedere proefpersoon twee behandelingen. In andere worden de proefpersonen aan elkaar gekoppeld, waarbij één proefpersoon in elk paar een behandeling krijgt. De onderzoeker kan de proefpersonen bijvoorbeeld koppelen op basis van geslacht, sekse en inkomen. Het idee is dat gekoppelde proefpersonen meer op elkaar lijken dan proefpersonen die niet gekoppeld worden. Het vergelijken van responsen binnen paren zou daarom meer zeggen dan het vergelijken van responsen van mensen die niets met elkaar gemeen hebben. Het koppelen van proefpersonen (matching) geeft vaak preciezere resultaten dan wanneer alleen randomisatie wordt toegepast.
• Blok design: in dit design wordt gebruik gemaakt van zogenaamde blokken. Een blok is een groep van experimentele eenheden of proefpersonen die op elkaar lijken. Er wordt van uitgegaan dat de overeenkomsten tussen proefpersonen invloed zullen hebben op de resultaten. In een blokdesign wordt de random toewijzing van experimentele eenheden aan behandelingen afzonderlijk voor elk blok gedaan. Je kunt het bijvoorbeeld zo doen dat je eerst mannen en vrouwen van elkaar splitst in twee blokken. Vervolgens ga je deze random toewijzen aan verschillende behandelingen. Nu kun je de behandeling tussen de groepen van een bepaald geslacht vergelijken en het geslacht op zich vergelijken. Deze designs kunnen van alle groottes zijn.

Waar moet je op letten bij het trekken van een steekproef uit de populatie?

Begrippen

• Een hele groep individuen waar we iets over willen weten, noemen we een populatie. Zo kunnen we spreken over de Nederlandse kiezer, Nederlandse studenten en Ajax-supporters. Dit zijn allemaal voorbeelden van populaties.
• Een sample (steekproef) is een deel van de populatie. Dit deel onderzoeken we om informatie te verzamelen. Deze informatie kunnen we gebruiken om uitspraken over de populatie als geheel te doen.
• Het design van een steekproefonderzoek (sample survey) vertelt ons iets over de manier waarop we een steekproef uit de populatie selecteren.
• Soms worden er steekproeven gebruikt die twee keer onderzocht worden. Sommige individuen doen de tweede keer echter niet meer mee, omdat ze bijvoorbeeld verhuisd zijn. Het deel van de oorspronkelijke sample dat bruikbare data levert, wordt de response rate genoemd.

Extreme meningen

Een vrijwillige responssteekproef (voluntary response sample) bestaat uit mensen die zelf kiezen om mee te doen aan een onderzoek. Dit soort steekproeven zijn partijdig (‘biased’), omdat mensen met sterke meningen (vooral negatieve meningen) vaker reageren.

Voorbeeld: Een onderzoeker wil uitzoeken of de bevolking denkt dat er te veel immigranten in Nederland worden toegelaten. Mensen die er helemaal van overtuigd zijn dat er te veel immigranten in Nederland worden toegelaten, reageren veel sneller op zo een onderzoek, dan mensen die daar een neutrale mening over hebben. Om deze reden zijn de verkregen onderzoeksresultaten vaak misleidend. Bij een dergelijke steekproef is randomisatie niet aan de orde.

Soorten steekproefdesigns

Om juiste conclusies te trekken, is het van belang om bij het selecteren van steekproeven randomisatietechnieken toe te passen.

Een kanssteekproef (probability sample) is een steekproef die aan de hand van toeval wordt geselecteerd. We moeten weten welke steekproeven mogelijk zijn en welke kans met elke steekproef gepaard gaat. Een kanssteekproef kan simple random zijn, of gestratificeerd.

Een simpele random steekproef (SRS) is een steekproef waar individuen zo zijn gekozen dat elke set van n aantal individuen evenveel kans heeft gehad om voor de steekproef geselecteerd te worden. We selecteren een SRS door alle individuen uit de populatie een label te geven en software (of een tabel met random cijfers) te gebruiken om een steekproef van de gewenste grootte te selecteren. Bij een SRS heeft elk individu evenveel kans om gekozen worden, maar elke set van individuen heeft ook evenveel kans om gekozen te worden.

Een gestratificeerde (stratified) random steekproef wordt vaak gebruikt als er sprake is van een onderzoek naar een grote populatie. Een SRS is dan vaak niet toereikend genoeg. Om een gestratificeerde random steekproef te trekken moet de populatie eerst in groepen van soortgelijke individuen verdeeld worden. Deze groepen noemen we strata. Vervolgens wordt afzonderlijk per stratum een SRS getrokken. Tot slot worden al deze SRS’s gecombineerd tot een volledige steekproef.

Tot slot bestaat er nog het multistage sampling ontwerp. Bij dit ontwerp wordt de steekproef in fasen geselecteerd. Dit design wordt bijvoorbeeld vaak gebruikt bij nationale onderzoeken over huishoudens en werkloosheid. In zo een geval moet je als onderzoeker informatie verzamelen over de werkloosheid in het hele land, maar het is ook belangrijk om per provincie te weten hoe het met de werkloosheid zit. Daarom wordt een land als het ware opgedeeld in gebieden (bijvoorbeeld in termen van provincies) voor een multistage sampling ontwerp. Vervolgens worden er blokken gevormd in elke provincie. Deze blokken zijn voorbeelden van stratificatie (zoals bij een gestratificeerde random steekproef). De blokken kunnen gevormd worden op basis van etniciteit of (een) andere variabele(n). Tot slot wordt er een gestratificeerde steekproef van de blokken in elke provincie getrokken.

Gevaren van steekproeven

Vaak weten we niet precies hoe groot de populatie is waar we een uitspraak over willen doen. Omdat er zelden een lijst beschikbaar is van de hele populatie, is er bij veel steekproeven sprake van onvoldoende dekking.

Onvoldoende dekking (undercoverage): hiervan is sprake als sommige groepen uit de populatie systematisch niet betrokken worden bij een steekproef. Een voorbeeld is dat iemand een onderzoek uitvoert door mensen te bellen. In Amerika heeft 6% van de mensen echter geen telefoon. Zo een onderzoek kan dan ook tot misleidende resultaten leiden.

Een andere bron van misleidende informatie is nonrespons. Er is sprake van nonrespons wanneer een individu, die voor een steekproef geselecteerd is, niet meewerkt aan het onderzoek of als er met hem of haar geen contact opgenomen kan worden.

Vervolgens kan er bij steekproeven ook sprake zijn van responsbias: deelnemers reageren dan bijvoorbeeld niet eerlijk over zaken als drugsgebruik of stelen. Dit omdat niemand ongewenst gedrag wil toegeven.

Tot slot kan de bepaalde verwoording van vragen invloed hebben op de respons in de steekproef. Verwarrende vragen kunnen bijvoorbeeld voor veel bias zorgen.

Wat zijn de grondbeginselen van ethiek bij onderzoek?

Basisbeginselen

Onderzoekers kunnen voor ethische dilemma’s komen te staan wanneer ze data proberen te verzamelen. Dit komt vooral vaak voor bij experimenten, omdat deze altijd samengaan met een interventie. Zo kunnen bijvoorbeeld nieuwe medicijnen op een groep mensen uitgeprobeerd worden. De vraag is natuurlijk of dit ethisch gezien acceptabel is. Er is een aantal grondbeginselen waar een onderzoeker zich aan moet houden, of hij of zij nou een sample survey of een experiment uitvoert.

Grondbeginselen van ethiek bij onderzoek:

• Beoordelingscommissie (institutional review board)

De organisatie die het onderzoek laat uitvoeren moet een beoordelingscommissie (institutional review board) hebben, die alle geplande onderzoeken van tevoren moet bekijken en goed moet keuren. Dit wordt gedaan om deelnemers te beschermen tegen gevaren.

• Informed consent (toestemming van de respondenten)

Alle deelnemers die mee willen doen aan een onderzoek moeten hun goedkeuring voor deelname geven. Dit moet gedaan worden nadat de deelnemers volledig over het onderzoek geïnformeerd zijn en voordat het onderzoek van start gaat.

• Confidential (vertrouwelijkheid)

Individuele data moet vertrouwelijk blijven. Alleen statistische informatie over groepen of individuen mag openbaar gemaakt worden.

De beoordelingscommissie

Het doel van de beoordelingscommissie is het beschermen van de rechten en de (mentale) gezondheid van deelnemers. De beoordelingscommissie beoordeelt verder dus niet of een onderzoek genoeg waardevolle informatie zal opleveren. De commissie bekijkt het onderzoeksplan en kan vragen om aanpassingen. Ook bekijkt de commissie het goedkeuringsformulier die de deelnemers van de onderzoeker zullen krijgen.

Staan echt alle relevante feiten en mogelijke risico’s op het formulier?

Goedkeuring van de deelnemer (informed consent)

Subjecten moeten van tevoren geïnformeerd worden over hoe het onderzoek gedaan zal worden en of het onderzoek risico’s en gevaren met zich meebrengt. Op basis van deze informatie dienen deelnemers vervolgens hun goedkeuring (consent) op papier te bevestigen.

Vertrouwelijkheid (confidentiality)

Vertrouwelijkheid staat niet gelijk aan anonimiteit. Bij vertrouwelijkheid maakt de onderzoeker de namen van de deelnemers niet openbaar, maar heeft hij of zij de namen zelf wel genoteerd voordat het onderzoek van start ging. Van anonimiteit is echter sprake wanneer de onderzoeker zelf ook niet weet wie er precies hebben meegedaan aan het onderzoek. Dit komt in de praktijk maar zelden voor.

Klinische onderzoeken

Klinische onderzoeken (clinical trials) bestuderen de effectiviteit van medische behandelingen op patiënten. Dit is ethisch gezien een complex onderwerp, omdat medische behandelingen soms meer kwaad verrichten dan goed. Vanwege de belangen van de patiënten, moet goed worden nagedacht over of placebo's of andere middelen worden gebruikt om de resultaten te controleren. De data moet bij alle groepen op dezelfde manier worden gekregen, om uit te kunnen gaan van de betrouwbaarheid van de resultaten.

Gedragsexperimenten en sociale experimenten

Mogelijke problemen bij gedragsexperimenten en sociale experimenten zijn:

• Ook niet-medische experimenten kunnen schadelijk zijn voor mensen, bijvoorbeeld emotioneel. Het is de vraag tot in hoeverre onderzoekers mensen hiervoor moeten beschermen.
• Goedkeuring van de deelnemer kan in het gedrang komen als op voorhand weinig informatie was gegeven over het experiment, omdat voor sommige experimenten het verrassingselement noodzakelijk is.