Samenvatting: Dit is onderzoek!

Deze samenvatting bij Dit is onderzoek! (Baarda) is geschreven in 2015

Inleiding

Onderzoek is onderdeel van het dagelijkse leven en wordt niet alleen gedaan door saaie wetenschappers. Maar als je bijvoorbeeld onderzoek doet voor een overheidsinstelling of bedrijf, dan is het belangrijk dat dit onderzoek systematisch en betrouwbaar is. Dit is anders bij een onderzoek wanneer je je sleutel kwijt bent.

Het boek ‘Dit is onderzoek!’ is vooral gericht op relatief eenvoudig toegepast onderzoek. Dit is onderzoek met het doel om informatie te leveren waarmee problemen opgelost kunnen worden. Het doel is dus niet fundamenteel wetenschappelijk onderzoek, waarbij gestreefd wordt naar het vermeerderen van wetenschappelijke inzichten over een bepaald onderwerp. Het boek heeft een meer praktische insteek.

1. Wat wil de onderzoeker weten?

1.1 Probleemstelling, doelstelling en onderzoeksvraag

Het komt vaak voor dat iemand een bepaald probleem heeft, maar niet weet hoe dit probleem het beste opgelost kan worden. Daarom is er (meer) informatie nodig om tot een oplossing te komen. Het is in dat geval mogelijk om een voorstel te schrijven, gevolgd door een onderzoeksverslag over het betreffende probleem. Bij zowel het voorstel als het verslag is het belangrijk om eerst het probleem duidelijk te omschrijven of vast te stellen. Dit wordt de probleemstelling genoemd.

Het is de taak van de onderzoeker om voldoende relevante informatie te verzamelen ten aanzien van het probleem in de probleemstelling. Met die informatie kunnen anderen vervolgens tot een werkelijke oplossing van het probleem komen en die eventueel ook uitvoeren.

Het is eveneens belangrijk om in het onderzoeksplan en het onderzoeksverslag de achtergrond van het onderzoek te schetsen. De lezer moet begrijpen wat het belang van het onderzoek is, dus waarom het gedaan is.

De doelstelling van het onderzoek is tevens een belangrijk onderdeel. De doelstelling van een onderzoek is het doel dat de onderzoeker met het betreffende onderzoek wil bereiken. Het is meestal het beste om dit doel ook duidelijk en expliciet te vermelden. Het is goed om als onderzoeker ervan bewust te zijn dat opdrachtgevers vaak kant-en-klare oplossingen van een onderzoeker wensen, maar dat dit niet de ware taak van een onderzoeker is. Dat is namelijk om informatie aan te leveren - de resultaten van het onderzoek - die opdrachtgevers in staat stellen om de juiste beslissingen te nemen. Opdrachtgevers kunnen op basis van de resultaten (beter) problemen signaleren en oplossingen bedenken.

De onderzoeksvraag hoort een vraag te zijn waar de onderzoeker een duidelijk antwoord op kan geven. Een verkeerde onderzoeksvraag is bijvoorbeeld ‘Hoe kan een marktaandeel vergroot worden’. De juiste vraag is in dat geval: ‘In hoeverre zijn consumenten bekend met een bepaald product?’.

De doelstelling van toegepast onderzoek moet wel meer zijn dan alleen het leveren van kennis of informatie. Het is hierbij belangrijk om aan te geven waar de informatie voor dient en wat de onderzoeker met het verzamelen van de informatie wil bereiken. Wanneer een onderzoek alleen dient om informatie te verzamelen gaat het om een zuiver wetenschappelijk onderzoek.

De onderzoeksvraag: Het is belangrijk om in de gaten te houden dat de onderzoeksvraag echt een vraag is, waar het onderzoek antwoord op zal geven. Deze vraag moet daarom helder omschreven worden om misverstanden te voorkomen. Bij de ontwikkeling van de onderzoeksvraag werkt een onderzoeker meestal van breed naar smal. Ditzelfde geldt daarom voor de inleiding zelf: het is goed om hierbij van breed naar smal te gaan en te eindigen met de onderzoeksvraag.
Het formuleren van de onderzoeksvraag is meestal een intensief proces dat lang kan duren. Meestal komt er pas een definitieve onderzoeksvraag tevoorschijn na meerdere pogingen. Hierbij moet goed overlegd worden met de opdrachtgevers. Zij moeten ten slotte tevreden zijn met de resultaten die het onderzoek opleveren. Daarom is het belangrijk om duidelijke afspraken te maken met een opdrachtgever, wanneer deze bij het onderzoek betrokken is, over de onderzoeksvraag.

Bij deze afspraken dient ook rekeningen gehouden te worden met de ethische voorwaarden die er voor onderzoek gelden. In feite mag een onderzoek alleen uitgevoerd worden wanneer het onderzoek aan een aantal voorwaarden voldoet:

• De respondenten doen vrijwillig mee;

• Aan de respondenten wordt voor het onderzoek duidelijk uitgelegd wat de werkwijze en het doel van het onderzoek is;

• De gegevens van de respondenten worden vertrouwelijk en anoniem verwerkt;

• De uitkomsten van het onderzoek hebben geen nadelige gevolgen voor de respondenten;

• Het onderzoek wordt op een eerlijke en objectieve manier uitgevoerd.

Het is goed om de volgende zaken te checken, met betrekking tot het formuleren van de probleemstelling, de doelstelling en de onderzoeksvraag:

• Het probleem waar het onderzoek uit voortkomt moet duidelijk worden gemaakt;

• Het belang en de relevantie van het onderzoek moeten duidelijk zijn;

• De onderzoeksvraag moet goed naar voren komen;

• Het onderzoek moet ethisch verantwoord zijn, door aan een aantal belangrijke voorwaarden te voldoen.

1.2 Kwalitatief en kwantitatief onderzoek

Bij een onderzoek kan er sprake zijn van twee verschillende vormen van onderzoeksvragen. Het is belangrijk om dit onderscheid te maken, omdat beide vormen van onderzoeksvragen een verschillende manier van onderzoek vragen.

1. Een open onderzoeksvraag;

2. Een gesloten onderzoeksvraag

Bij een open onderzoeksvraag wordt kwalitatief onderzoek gedaan. De onderzoeksvraag is meestal breed en er is relatief weinig voorkennis. Daarom wordt er meestal niet met vaste (vragen)lijsten gewerkt. De respondent kan de onderzoeker op nieuwe ideeën brengen, waardoor de onderzoeker nieuwe vragen kan stellen, waar hij van tevoren niet aan gedacht had. Het gaat bij kwalitatief onderzoek vooral om het verkrijgen van inzichten en minder om feitelijk onderbouwde gegevens. In een kwalitatief onderzoeksverslag zullen daardoor vooral beschrijvingen staan. Uitgewerkte verslagen vormen het uitgangspunt van de analyse. Er wordt ook veel met foto’s en video’s gewerkt omdat het om zaken gaat die moeilijk duidelijk zijn te maken met bijvoorbeeld getallen. Daarom wordt er met andere analysetechnieken gewerkt dan bij een kwantitatief onderzoek. Er bestaan verschillende vormen van kwalitatief onderzoek en er zijn ook veel verschillende ideeën over.

Het gehanteerde standpunt over kwalitatief onderzoek is in dit geval dat de onderzoeker zich volledig open stelt voor wat hij in het onderzoek tegenkomt: de onderzoeker wil er graag van leren en moet zich daarom zo open mogelijk opstellen. De kritiek hierop is dat een onderzoeker nooit helemaal blanco en onbevooroordeeld kan zijn, en dit is in zekere zin terecht omdat de onderzoeker als mens nooit helemaal blanco is.

Bij kwantitatief onderzoek is de onderzoeksvraag smal en weet de onderzoeker inhoudelijk al wat hij gaat onderzoeken. Bij deze vorm van onderzoek wordt aan respondenten steeds dezelfde vraag voorgelegd en is al bekend welke antwoorden verwacht kunnen worden. De onderzoeksresultaten zijn meestal getallen, die op een systematische manier middels een programma worden geanalyseerd. Bij deze vorm van onderzoek kan het bijvoorbeeld gaan om de sterkte van een verband tussen verschillende verschijnselen (bijvoorbeeld het verband tussen RSI-klachten en de hoeveelheid beeldschermwerk).

Het is bij elke vorm van onderzoek belangrijk dat gecontroleerd kan worden op welke manier de onderzoeker aan zijn conclusies is gekomen. Dit is de verifieerbaarheidseis van een onderzoek. Het is noodzakelijk dat de gegevens van een betreffend onderzoek verifieerbaar zijn. Dit is makkelijker bij een kwantitatief onderzoek te verwezenlijken dan bij een kwalitatief onderzoek.
Voor kwantitatief onderzoek geldt tevens de reproduceerbaarheidseis. Het onderzoeksverslag moet zo in elkaar zitten dat iemand anders het onderzoek op dezelfde manier kan doen. Elke stap moet daarom verklaard worden. Bij kwalitatief onderzoek is dit lastiger omdat het vaak voorkomt dat geen enkel interview of observatie hetzelfde is. Maar ook hierbij moeten de conclusies plausibel en de werkwijze transparant zijn.

Het is goed om bij een onderzoek na te gaan of het om een open onderzoek (kwalitatief) of een gesloten (kwantitatief) onderzoek gaat. Deze keuze moet duidelijk uit het onderzoeksplan of onderzoeksverslag naar voren komen en de bijbehorende strategie moet passen bij het karakter van de onderzoeksvraag.

1.3 Eenheden en kenmerken

In een onderzoek wil de onderzoeker altijd iets relevants zeggen over personen, bedrijven, situaties, scholen of een dergelijk thema en deze vormen daardoor de onderzoekseenheden. Het is belangrijk om helder te hebben wie of wat de onderzoekseenheden in een bepaald onderzoek zijn. Daarmee legt de onderzoeker tevens de generalisatiepretentie van het onderzoek vast. Dit betreft de vraag voor wie de uitkomsten van het onderzoek gelden. Wanneer onderzoekers hier niet zorgvuldig mee omgaan is het onduidelijk voor wie de onderzoeksresultaten gelden.

Het is vaak lastig om de populatie, alle eenheden bij elkaar, af te bakenen. Maar dit is wel belangrijk om goede resultaten te verkrijgen. Soms zitten de onderzoekseenheden in een onderzoeksvraag ingebouwd, zoals bij ‘Zijn jongens agressiever dan meisjes?’. De eenheden zijn hierbij de kinderen of jongeren. Het geslacht is de eigenschap of het kenmerk van de eenheden.

De onderzoeker kan het zichzelf makkelijk maken door bij het eerste ontwerp van het onderzoek een datamatrix te maken. Op die manier wordt snel duidelijk wat de eenheden en de kenmerken zijn. Op de horizontale as staan de eenheden en op de verticale as (de kolommen) staan de kenmerken. Soms kan het zijn dat de kenmerken niet op hetzelfde probleem betrekking hebben. Dit kan bij het begin van een onderzoek gesignaleerd en opgelost worden door het maken van een datamatrix.

Bij kwalitatief onderzoek zijn de kenmerken vaak minder helder dan bij kwantitatief onderzoek. Soms dient een onderzoek er zelfs toe om de kenmerken te achterhalen. Maar een onderzoek begint nooit helemaal blanco. Ook bij een kwalitatief onderzoek is het van belang dat de onderzoeker duidelijk maakt over wie of wat zijn onderzoek resultaten zal geven. Maar die pretentie kan wel tijdens het onderzoek bijgesteld worden, terwijl dit bij een kwantitatief onderzoek niet mogelijk is.

Bij een kwalitatief onderzoek is het altijd verstandig de hoofdvraag in te perken. Stapje voor stapje is het eventueel mogelijk om tijdens het onderzoek de onderzoeksvraag iets uit te bereiden. Op die manier voorkom je als onderzoeker dat je heel veel gegevens hebt waar het moeilijk is om een lijn in te zien. Het probleem kan dan te complex zijn of de groep die onderzocht wordt is te verschillend.

Bij het doen van onderzoek is het belangrijk om goed na te gaan wat de eenheden en kenmerken van het betreffende onderzoek zijn. De eenheden zijn datgene waar de onderzoeker iets over wil kunnen zeggen na afloop van het onderzoek en de kenmerken van de eenheden zijn een specificatie van welk element van de eenheden de onderzoeker onder de loep neemt.

1.4 Inhoudelijke oriëntatie

Het opzetten van een onderzoek met een bepaalde vraagstelling begint meestal met een eerste oriëntatie. Dit betekent dat je overlegt met collega’s en de opdrachtgever en in de bibliotheek en op internet zoekt wat er over het onderwerp bekend is. Pas daarna is het mogelijk om een (voorlopig) definitieve onderzoeksvraag te definiëren. Dit formuleren van de onderzoeksvraag is een lang proces waarin de vraag toch vaak nog gewijzigd wordt. Een onderzoeksvraag die op het eerste gezicht eenvoudig lijkt, kan namelijk bij nader inzien toch nog te ingewikkeld zijn.

Aan het begin van het onderzoek is het logisch om eerst een grondige voorstudie naar het onderwerp en de eventuele vraagstelling te doen. De opdrachtgever kan op basis van die resultaten een voorstel voor een onderzoeksvraag doen. Soms is het nodig om eerst een vooronderzoek te doen. Op die manier kan je er beter achter komen wat voor soort onderzoek bij het betreffende probleem of het betreffende onderwerp past. In dat geval wordt er eerst een kwalitatief vooronderzoek gedaan, voordat er met het kwantitatieve onderzoek gestart kan worden.

Het kan ook zijn dat een vooronderzoek niet nodig is, maar een literatuuronderzoek wel. Het is allereerst belangrijk om te controleren of het onderzoek dat je in gedachten hebt niet al door iemand anders is uitgevoerd. Maar ook als je geen vergelijkbaar onderzoek aantreft is het verstandig om eerst op internet te kijken welke onderzoeken er al zijn geweest die verband houden met het onderzoek dat jij wil gaan doen.

Dit is belangrijk om de volgende drie redenen:

1. Het is belangrijk omdat je uit een ander onderzoek kan opmaken hoe onderzoekers begrippen hebben gedefinieerd en gemeten die je zelf ook van plan bent te gebruiken. Dit soort verwante onderzoeken is heel belangrijk voor een nieuw onderzoek.

2. In verwante onderzoeken kan gekeken worden naar de methodologische aspecten: de manieren waarop vergelijkbare onderzoeken zijn opgezet, uitgevoerd en hoe dit ervaren is.

3. Ook wanneer een onderzoeker naar een theorie zoekt om bepaalde resultaten te verklaren is het goed te kijken wat verwante onderzoeken hierover zeggen. Hier kunnen belangrijke punten uit worden meegenomen die het onderzoek ten goede komen.

Bij bronnenonderzoek is het heel belangrijk dat een onderzoeker de juiste zoektermen gebruikt. Het is altijd goed om niet op één woord te zoeken, maar ook naar alternatieve termen te zoeken. Het is ook mogelijk om naar verwante termen in het woordenboek te kijken of in thesaurussen. Dit laatste is een soort woordenboek waarin je een begrip kan opzoeken. Vervolgens staan er verschillende vergelijkbare termen en begrippen. Verder is het belangrijk om een juiste vertaling van een bepaalde term te gebruiken als je naar informatie in andere talen zoekt. Voor het zoeken op zoektermen is het goed om eerst op internet te kijken, maar vervolgens ook gespecialiseerde bibliotheken en boekhandels te bezoeken. Ook in tijdschriften die je daar kan vinden, kan je verrassende informatie tegenkomen. Bij het zoeken naar zoektermen op internet kan je gebruik maken van algemene zoekmachines, zoals Google. Maar het is beter om ook gebruik te maken van sites die zich richten op wetenschappelijke literatuur. Voorbeelden van dit soort sites zijn de Scholar-versie van Google en Scirus. Deze sites geven artikelen, maar ook suggesties voor verwante artikelen en verwijzingen. Het is een handige truc om aan de zoektermen het begrip ‘research’ toe te voegen. Op die manier beperk je je zoekresultaten en ontdek je eerder relevante informatie.

Boeken en vooral proefschriften kunnen ook interessante informatiebronnen vormen. Achterin staan meestal goede literatuuroverzichten, waardoor je weer nieuwe informatie kan ontdekken. Nederlandse proefschriften zijn te vinden op DAREnet. Google Books is een goede site om naar boeken te zoeken.

Tijdens het zoeken naar informatie is het heel handig om een logboek bij te houden. Dit kan bijvoorbeeld in de vorm van een Word bestand waarin je precies bij houdt wat je waar gevonden hebt en welke waarde de informatie heeft. Wanneer je dit niet doet kan je het overzicht kwijt raken. Houd wel in de gaten dat je voor de verwijzingen naar bronnen de juiste manier gebruikt die voor jouw vakgebied geldt.

Kortom, bij een inhoudelijke organisatie gaat het erom of een vooronderzoek noodzakelijk is en is het belangrijk dat er naar recente en relevante literatuur wordt gezocht om bepaalde zaken na te gaan. Het is bij de inhoudelijke oriëntatie belangrijk om de juiste zoektermen te gebruiken en gespecialiseerde bronnen te gebruiken en hier ook op de juiste wijze naar te verwijzen.

1.5 Beschrijven, exploreren of toetsen

Het karakter van onderzoeksvragen kan erg verschillen. Er kunnen drie verschillen worden aangeduid:

1. Een beschrijvend onderzoek;

2. Een explorerend of verkennend onderzoek;

3. Een verklarend / toetsend onderzoek.

1. Beschrijvend onderzoek: wanneer een onderzoek een kwantitatief beschrijvend onderzoek betreft, gaat het meestal om frequentievragen. Dit zijn vragen naar de mate waarin een verschijnsel voorkomt. De onderzoeksresultaten zijn hierbij vaak te tonen in een tabel, een cirkeldiagram of een histogram. De gegevens laten de ernst en de omvang van het probleem zien. De betekenis van deze gegevens kan het best onderzocht worden middels een kwalitatieve casestudie. Op deze manier kan een goed beeld gevormd worden van de inhoud en betekenis van de problemen. Dit is met een tabel moeilijker te laten zien.

2. Explorerend / Verkennend onderzoek: wanneer een onderzoek de oorzaak van resultaten wil onderzoeken is dit mogelijk met een explorerend of onderzoek. Wanneer een onderzoeker geen idee heeft van de oorzaken kan hij het beste beginnen met een kwalitatief verkennend onderzoek. Het resultaat van zo’n onderzoek kan een theorie zijn die een verklaring voor de gevonden resultaten biedt.
Bij een kwantitatief explorerend onderzoek heeft de onderzoeker van tevoren al wel een idee van de mogelijke oorzaken. Bij dit soort onderzoek moeten immers gerichte vragen gesteld worden waardoor je al van tevoren moet weten welke vragen van toepassing zijn. Het is dus noodzakelijk dat de onderzoeker al weet welke factoren van invloed zijn op de resultaten. Alleen op die manier kan er een vaste vragen- of observatielijst gemaakt worden. Wanneer de onderzoeker alle gegevens heeft verzameld, kan hij met behulp van statistisch onderzoek verbanden of verschillen in de resultaten ontdekken en ook hoe sterk en hoe groot deze zijn.

3. Verklarend / toetsend onderzoek: een onderzoeker kan ook bestaande theorieën voor een onderzoek gebruiken, waarbij het voordeel is dat deze theorieën al een keer getoetst zijn (namelijk in de eerdere onderzoeken). De onderzoeker kan dan toetsen of deze theorieën ook voor het betreffende onderzoek opgaan. Een theorie leidt altijd tot een bepaalde verwachting. Deze verwachting wordt in het geval van een onderzoek de hypothese genoemd. Wanneer het onderzoek de hypothese bevestigd, betekent dat dat de theorie ook voor dat onderzoek geldt. Maar niet elke hypothese is gekoppeld aan een theorie. Een onderzoek kan ook tot doel hebben om na te gaan of iets een gewenst effect heeft. Dit zijn toetsende of evaluerende onderzoeken.
Kwalitatief toetsend onderzoek komt bijna niet voor omdat het moeilijk is om op deze manier goed bewijs voor een vraag te vinden. Alleen de template benadering is een toetsend onderzoek dat op een kwalitatieve manier gedaan kan worden. Dit bekent dat een onderzoek dat bijvoorbeeld in Amerika gedaan is om een bepaald effect te onderzoeken, ook in Nederland gehouden kan worden.

Kortom, het karakter van een onderzoeksvraag kan (1) beschrijvend, (2) verkennend of (3) toetsend zijn. Wanneer het een toetsend onderzoek betreft is het nodig om naar de gebruikte theorie te kijken en hypothese(n) te vormen.

1.6 Uitvoerbaarheid

Het is belangrijk om al bij het begin van het onderzoek goed na te gaan in hoeverre het onderzoek dat je van plan bent ook echt uitvoerbaar is. De uitvoerbaarheid wordt bepaald door vier factoren: (1) de tijd, (2) het beschikbare geld, (3) de bereidheid van respondenten, (4) de bereikbaarheid van respondenten of van bestaand materiaal.

1.Tijd: bij het doen van een onderzoek is het verstandig om van tevoren een tijdsplanning voor het onderzoek te maken. Hierbij kan eerst de einddatum vastgesteld worden, waarna je vervolgens terug kan rekenen tot het moment waarop je met het onderzoek begint. Op die manier kan je een tijdsbegroting maken, waarbij het goed is om te kijken in hoeverre die planning haalbaar is. Op die manier voorkom je dat je te weinig tijd voor een onderzoek hebt.

2. Geld: bij het begin van het onderzoek kan je alvast een globale materiële, personele en een tijdsbegroting maken. Deze begrotingen moeten worden bijgesteld wanneer het onderzoeksplan definitief is.

3. Bereidheid respondenten: heel belangrijk voor een onderzoek is de mate waarin mensen bereid zijn om aan een onderzoek mee te werken. Deze bereidheid hangt van de volgende factoren af:

• De uitvoerende instantie (een commercieel bureau wordt anders beoordeeld dan een school);

• De manier waarop mensen benaderd worden;

• De tijd die een onderzoek kost;

• De aantrekkelijkheid van het onderwerp;

• Het nut van het onderzoek;

• Een blijk van materiële waardering dat iemand meedoet aan het onderzoek (deze motivatie wordt incentive genoemd).

Het is goed om op basis van die punten na te gaan hoe groot de bereidheid zal zijn, om te voorkomen dat veel mensen weigeren aan het onderzoek deel te nemen. In dat laatste geval is het onderzoek weinig zinvol. Het is beter om een kleine groep respondenten te hebben waarvan de meeste aan het onderzoek meedoen, dan een grote groep waarin echter veel non-respons voorkomt.

4. Bereikbaarheid respondenten: het is goed om je te realiseren dat de respondenten wel te vinden moeten zijn. Dit kan best veel tijd kosten, die je vooraf niet incalculeert. Het is daarom goed om eerst na te gaan hoeveel tijd en moeite het bereiken van de respondenten kost.

2. Kiest de onderzoeker een opzet waarmee hij zijn onderzoeksvraag kan beantwoorden?

2.1 Het onderzoeksontwerp

Wanneer de onderzoeker de onderzoeksvraag heeft vastgesteld (wat hij wil weten) moet vastgesteld worden hoe hij dat gaat onderzoeken. Dit is het onderzoeksontwerp, waarbij drie vragen beantwoord moeten worden:

1. Voor welke vorm van onderzoek wordt gekozen?

2. Welke eenheden worden gebruikt (allemaal of steekproefsgewijs)?

3. Op welke manier worden de eigenschapbegrippen uit de onderzoeksvraag gemeten?

De vorm van onderzoek

Om de invloed van een bepaalde factor te onderzoeken moet de onderzoeker een experiment opzetten. Experimenten worden gebruikt om bijvoorbeeld het effect van een ingreep of inventarisatie te onderzoeken, zoals medicijnen of een voorlichtingscampagne. Het doel van een survey is om informatie te verzamelen over onderzoekseenheden. De meeste enquêtes, zoals klant-tevredenheidsonderzoeken, zijn surveys. Maar in plaats van een survey kan ook gekozen worden voor een diepte-interview om meer informatie te achterhalen. De onderzoeksvraag bepaalt dus welke vorm het onderzoek heeft. De verschillende vormen van onderzoek worden designs genoemd.

Voor grootschalige beschrijvende onderzoeken wordt als onderzoeksvorm meestal gekozen voor een eenmalige survey. Hierbij wordt een bepaald verschijnsel gade geslagen. Een survey kan dus een enquête, interview of observatie zijn.

Ook bij kwalitatief onderzoek wordt gebruik gemaakt van surveys. Het verschil tussen een kwantitatieve survey en een kwalitatieve survey is dat de onderzoeker bij een kwantitatieve survey een beeld wil krijgen van de mate waarin een vooraf vastgesteld verschijnsel voorkomt. De vragenlijs of het observatieschema moet immers opgesteld worden. Bij een kwalitatieve survey worden meestal open vragen gesteld of gaat de onderzoeker observeren. Beiden vormen kunnen elkaar echter ook aanvullen. Wanneer beide methoden gebruikt worden dan wordt er in het Engels gesproken van Mixed Method Research.

Het verschil tussen beide surveys is ook in eenheden te benaderen. Bij een kwantitatieve survey heb je meestal veel eenheden (bijvoorbeeld respondenten) nodig. Hoe groter het aantal, hoe nauwkeurig er uitspraken gedaan kunnen worden. Bij een kwalitatieve survey zijn er meestal maar een beperkt aantal eenheden. Anders kan de onderzoeker snel het overzicht verliezen.

Maar er is nog een belangrijk verschil tussen beide surveys: Bij een beschrijvend kwantitatief onderzoek ligt de focus op getallen, waar een kwalitatieve survey is gericht op het beschrijven van gedachten, situaties en bijvoorbeeld de beschrijving van betekenissen.

Een voorbeeld van een kwalitatieve survey is de casestudie. Hierbij kies je enkele typische gevallen of gebeurtenissen om een probleem of situatie te beschrijven. Een case is een kenmerkend voorbeeld van een gebeurtenis of voorval en kan ook over een bedrijf gaan.

Er zijn nog een aantal kwalitatieve onderzoeksvormen die op een survey lijken. Het kwalitatieve onderzoek heeft haar grondslagen in de culturele antropologie. Een beschrijvend onderzoek op basis van participatie, zoals dat bij de culturele antropologie veel voorkomt, is een etnografisch onderzoek.
Een andere veel gebruikte vorm van een kwalitatief survey onderzoek is het focusgroeponderzoek. Met een groep respondenten worden één of meerdere gerichte groepsgesprekken gevoerd. Dit soort gesprekken heeft specifieke voor- en nadelen die later in het boek behandeld worden.

Het Delphi-onderzoek is een kenmerkende vorm van onderzoek om meningen, met name op het gebied van beleid, te inventariseren en vorm te geven. Er zijn verschillende vormen van dit onderzoek, maar in het algemeen wordt er in een groep met verschillende rondes gewerkt waarbij de respondenten in elke ronde op stellingen en elkaars reacties op deze stellingen reageren. Deskundigen verwerken deze reacties meerdere malen, tot er uiteindelijk een soort nieuw beleid tot stand komt. Dit Delphi-onderzoek kan op veel verschillende terreinen worden toegepast.

Surveyonderzoek wordt ook gebruikt om ideeën en theorieën te ontwikkelen, dus als verkennend onderzoek. Vooral kwalitatief onderzoek is hier goed bruikbaar voor. Het kenmerk van kwalitatief onderzoek is namelijk dat je als onderzoeker van het onderzoek wilt leren. In het kwalitatief onderzoek wordt veel gebruik gemaakt van de gefundeerde theoriebenadering (grounded theory). Dit is een gestructureerde manier om van ruw onderzoeksmateriaal tot meer abstractere inzichten te komen.

Behalve de eenmalige survey bestaan er ook longitudinale surveys. Hierbij worden onderzoekseenheden (bijvoorbeeld leerlingen) meerdere jaren gevolgd, waarbij met enige regelmaat metingen worden gedaan, waardoor ontwikkelingen vastgesteld kunnen worden. Voor de overheid en het bedrijfsleven zijn dit soort ontwikkelingen interessant omdat het beleid hierop afgestemd kan worden. Er zijn twee verschillende technieken om longitudinale surveys uit te voeren.

De eerste techniek is panelonderzoek, waarbij een vaste groep wordt gevolgd en er op verschillende tijdstippen metingen plaats vinden. Wanneer het een goed panel is krijg je op deze manier de beste gegevens over ontwikkelingen.
Bij een trendonderzoek worden ook verschillende metingen gedaan, maar met wisselende onderzoeksgroepen. Daarom weet je nooit zeker of een verandering in uitkomsten aan de ontwikkeling of aan de veranderde groep respondenten te wijten is.

Bij een survey onderzoek moet je voorzichtig zijn, zeker als het om het zoeken van oorzaken gaat: oorzakelijke verbanden. Dit zijn verbanden waarbij de ene factor invloed heeft op de andere factor. Maar het kan ook zijn dat er nog andere factoren meespelen. Dus je moet voorzichtig zijn met het leggen van deze oorzakelijke verbanden omdat het je ook op het verkeerde been kan zetten. De onderzoeker moet dus goed opletten met het leggen van schijnverbanden of schijnverschillen. Er kunnen ook nog andere factoren een rol in een bepaald verband spelen. Deze factoren worden mediërende kenmerken genoemd. Het is heel belangrijk om bewust van deze kenmerken te zijn als je een survey onderzoek uitvoert.

Daarnaast zijn er ook nog moderatorkenmerken. Dat zijn kenmerken die van invloed zijn op een relatie tussen twee kenmerken, maar niet in medierende zin. Bekende voorbeelden van de moderatorkenmerken zijn geslacht en leefsituatie. Als het niet te ingewikkeld is om moderatorkenmerken in een onderzoek op te nemen is het altijd goed om dit te doen.

2.2 De geschikte vorm van het onderzoek

Een voorbeeld van een zuiver experiment is een onderzoek naar het effect van extra nazorg bij een beroerte. Het is een experiment, omdat er een onafhankelijke variabele is (het soort zorg), die gemanipuleerd wordt. Er is tevens een afhankelijke of effect variabele, waar de onafhankelijke variabele invloed op uitoefent. Dit is in het voorbeeld de zorgtevredenheid. Meestal is er dus sprake van een interventie (zoals een therapie of voorlichtingsreclame) waarvan het effect op de afhankelijke variabele wordt vast gesteld. Experimenten zijn zeer goed toepasbaar bij effect- of evaluatie onderzoeken.
Er kunnen ook verschillende experimentele groepen worden vergeleken, zoals een experimentele en een controlegroep. De experimentele groep krijgt dan wel de interventie en de controle groep niet. Op die manier kan er een (gebrek aan) verschil ontdekt worden.
Bij een onderzoek naar de effecten van medicijnen kan een placebo (nepmedicijn) gebruikt worden. Een dubbel-blind-onderzoek is het geval wanneer zowel de onderzoeksmedewerkers als de patiënten niet weten wie het echte medicijn en wie de placebo gebruikt.

Het voorbeeld van de extra nazorg bij een beroerte is een voorbeeld van een zuiver experiment omdat het lot bepaalt of patiënt normale of extra nazorg krijgt. Er is sprake van een random toewijzing van het soort zorg aan een patiënt.

Het kan ook mogelijk zijn dat het om praktische of ethische redenen niet mogelijk is om onderzoekseenheden willekeurig aan een conditie toe te voegen. De onderzoek moet in dat geval werken met bestaande groepen. De onderzoeker maakt dan gebruik van een quasi-experimenteel design, doordat hij geen gebruik maakt van randomisatie. Het gevaar hierbij is dat gevonden verschillen ook door iets anders dan de onderzochte interventie veroorzaakt kunnen worden. Het kan veroorzaakt zijn door een verschil dat al bij het begin aanwezig was. Dit wordt het selectie-effect genoemd. Dit probleem kan enigszins verzacht worden door middel van matching. Hierbij wordt een soortgelijk ‘geval’ gezocht waarbij alleen de interventie ontbreekt of verschilt.

Als de onderzoeker het effect van een interventie wil onderzoeken, maar geen gebruik kan maken van een controle groep zijn er een aantal gevaren:

• Het gevaar dat er sprake is van een niet-gepland tussentijds voorval (history)

• Er is geen zicht op de mogelijke invloeden van groei-effecten. Omdat de onderzoekseenheden zicht ontwikkelen kunnen er ook veranderingen optreden door groei-effecten, die niets met de inventarisatie te maken hebben.

• Statistische regressie naar het midden. Dat betekent dat extreme cijfers (extreem hoog of extreem laag) ernaar neigen om respectievelijk omhoog of omlaag te gaan. Dit komt omdat bij lage scores er sprake is van een bodemeffect: die cijfers kunnen niet nog verder omlaag. Hetzelfde effect, maar andersom, geldt voor hoge scores: die kunnen niet verder omhoog dus is er sprake van een plafond-effect.

Om zicht te krijgen op onverwachte gebeurtenissen is het goed om het model van een tijdreeksanalyse te gebruiken. Er worden meerdere metingen op verschillende momenten voor en na de interventie verricht. De kans dat hierbij sprake is van een groei- of history effect is kleiner.

Maar bij alle onderzoeken speelt het verwachtingseffect (demand characteristics) een rol, daarom worden er bij medicijntesten altijd placebo’s gebruikt. Op die manier kunnen patiënten niet beïnvloed worden door het gegeven dat ze geloven in de werking van de medicijnen of behandeling.

Maar dit kan ook voorkomen bij niet-medische onderzoeken. Er kan een verschil ontstaan doordat mensen weten dat ze aan een experiment meedoen en zich daardoor anders gedragen. Dit wordt het Hawthorne-effect genoemd, naar de fabriek waar dit effect voor het eerst expliciet werd vastgesteld.

Als experimenteel onderzoek goed is opgezet is het heel geschikt voor product-evaluatie. Dit houdt in dat je nagaat of je door een interventie het beoogde resultaat behaalt. Kwalitatief onderzoek is geschikt voor proces-evaluatie. Op die manier kan door open vragen worden ontdekt waardoor een proces wel of niet het gewenste effect heeft gehad.
Er is één vorm van kwalitatief onderzoek die onder het kopje experiment gezet kan worden, namelijk actieonderzoek. Het gaat hierbij om participerend onderzoek waarbij de onderzoeker samen met de betrokkenen het veld in gaat om het probleem te analyseren. Vervolgens wordt geprobeerd om samen een oplossing te vinden. Die oplossingen worden uitgeprobeerd en geëvalueerd. Dit is dus veranderingsgericht onderzoek, waarbij de respondenten tegelijk onderzoekers zijn.

2.3.1 Een aselecte kwantitatieve steekproef

Wanneer een onderzoeker iets over een populatie wil zeggen kan hij niet de hele populatie onderzoeken, hij moet een steekproef doen. Het is hierbij vooral belangrijk dat de steekproef representatief is. Het kenmerk van een goede steekproef is dat het een representatie van de populatie is. Daarom moet eerst de populatie onderzocht worden. Wanneer vastgesteld is wie of wat de eenheden zijn, kan je kijken of er al een bestand of lijst bestaat waarin die eenheden zijn opgenomen. Dat wordt het eenhedensteekproefkader genoemd (bijvoorbeeld een telefoonboek).

Bij kwantitatief onderzoek is het belangrijk dat je een aselecte steekproef trekt. Dat wil zeggen dat alle eenheden uit de populatie evenveel kans hebben om met de steekproef meegenomen te worden. Dit is de beste garantie om een steekproef representatief te krijgen. Het beste is om hiervoor een random number generator te gebruiken, die op internet te vinden is.

Wanneer je eenheden uit het telefoonboek opbelt kan je vragen of je de persoon mag spreken die het eerste jarig is. Dit wordt de birthday rule genoemd. Dit wordt een getrapte steekproef genoemd. Je trekt eerst de huishoudens middels een random number generator (aselecte eenvoudige steekproef) en vervolgens trek je een persoon.

Wanneer een onderzoeker onderzoek wil doen onder meer uitzonderlijke groepen (zoals voetballende meisjes) kan hij het beste gebruik maken van een gestratificeerde steekproef. De populatie wordt dat eerst ingedeeld in strata (jongens en meisjes). Vervolgens wordt uit elke strata een aselecte steekproef getrokken.

Een ander gevaar voor representativiteit van een steekproef is de non-respons. Meestal is de groep die niet te bereiken is een selecte groep. Dis de groep die wel bereikt wordt is daardoor ook een selecte groep, terwijl je dat juist wil voorkomen.

2.3.2 Een selecte kwalitatieve steekproef

Bij kwantitatief onderzoek zijn selecte steekproeven meestal verlegenheidssteekproeven omdat de onderzoeker niet anders kan. Meestal wordt gebruik gemaakt van een gemakssteekproef. Maar het gevaar van selectiviteit is hierbij groot. Een variant hierop is de quota-steekproef. Hierbij worden eveneens willekeurige mensen benaderd, maar er is wel een quotum. Je gaat net zo lang door met het verzamelen van eenheden tot je dat quotum hebt bereikt.

Wanneer het om hele specifieke respondenten gaat, werkt een eenhedensteekproefkader niet. Het is dat beter gebruik te maken van de sneeuwbalsteekproef. Dit betekent dat je via via op zoek gaat naar respondenten.

Soms wordt ook met doelgerichte steekproeven gewerkt. Dit zijn steekproeven die de onderzoeker bewust samenstelt in plaats van random selecteert. Dit is bijvoorbeeld het geval bij een onderzoek met webpanels. De meest gerenommeerde onderzoeksbureaus gebruiken de Gouden standaard. Daarin staat heel precies aangegeven wat de verhouding in de steekproef moet zijn, qua geslacht, leeftijd en opleiding. Maar desondanks is er veel kritiek op webpanels.

2.3.3 Steekproefomvang kwantitatief

De representativiteit is bij een steekproef belangrijker dan de omvang van de steekproef, maar het is wel belangrijk om over dit laatste na te denken. De mate van zekerheid en nauwkeurigheid waarmee een onderzoeker uitspraken over een steekproef kan doen hangt af van de omvang. Bij steekproeven ben je immers altijd afhankelijk van het toeval. Deze onbetrouwbaarheidsmarge van de voorspelling is onder andere afhankelijk van de grootte van de steekproef en de mate waarin de onderzoeker zeker wil zijn van de voorspelling. Om de gewenste grootte van een enkelvoudige steekproef te berekenen wordt vaak de volgende formule gebruikt: bij een zekerheid van 90 %:
 

Bij een zekerheid van 95 % =

Een nadere uitleg van deze formules staat op pagina 61 en 62.
 

2.3.4 Kwalitatieve steekproef

In een kwalitatieve steekproeftrekking speelt vooral het begrip verzadiging of saturatie een belangrijke rol. De onderzoeker gaat net zo lang door met het zoeken naar nieuwe eenheden tot zich geen nieuwe feiten meer voordoen en er dus een punt van verzadiging is bereikt. In de praktijk is dat meestal bij een aantal van 20 eenheden. Wanneer er geen verzadiging optreedt is de groep meestal te heterogeen.

Wanneer het om een specifieke vraag gaat is het beter om met een vorm van een quota steekproef te werken. Wanneer een onderzoeker vooral in emoties is geïnteresseerd kan hij een steekproef met extremen kiezen. Er worden dan gesprekken gevoerd met respondenten die ergens heel erg voor zijn, en met respondenten die ergens heel erg tegen zijn. Wanneer een onderzoek focust op betekenis verlening, is het geschikter om een case studie te kiezen. De onderzoeker kiest is dat geval voor een of meer kenmerkende voorbeelden die uitvoerig onderzocht en beschreven worden.

3. Verzamelt de onderzoeker op de juiste manier zijn gegevens?

3.1. De vertaling van kenmerken in meetbare termen

3.1.1. De definitie van kenmerken, subdimensies en indicatoren

De volgende stap is te bepalen op welke manier de benodigde gegevens verzameld gaan worden. De kwaliteit van de gegevens die je verzamelt is immers afhankelijk van de manier waarop je de gegevens verzamelt. Hierbij is het allereerst belangrijk om een goede definitie te hebben van het begrip dat gemeten gaat worden. Ten tweede is het vooral bij abstracte begrippen belangrijk om naar concrete karakteristieken te zoeken, opdat iedereen weet wat er bedoeld wordt. Het proces van het vertalen van abstracte begrippen naar concrete meetbare termen wordt operationaliseren genoemd. Bij operationaliseren wordt een begrip zoals bedoeld (een kenmerk zoals intelligentie) vertaald in een begrip zoals bepaald (zoals IQ op een intelligentietest). Een variabele is wanneer een kenmerk vertaald is naar een meetbaar begrip (het begrip is de variabele). Operationaliseren kan lastig zijn, zeker wanneer het om ingewikkelde kenmerken gaat. Het is daarom belangrijk om vakliteratuur te gebruiken voor het definiëren van begrippen. Boeken zoals de Van Dale kunnen in dit geval beter vermeden worden omdat die vaak een te algemene definitie geven.

Sommige kenmerken zijn te verdelen in dimensies. Een voorbeeld is dat mensen op verschillende manieren gekwetst kunnen worden: verbaal en fysiek. Soms kunnen er zelfs ook nog subdimensies worden onderscheiden. Maar dimensies (zoals verbale agressie) zijn nog steeds abstract. Per dimensie moeten indicatoren zijn die het begrip kunnen meten. Bij fysieke agressie kan bijvoorbeeld gekeken worden hoe vaak kinderen geschopt, geslagen, geknepen en aan hun haren getrokken worden. Het is goed om een schema te gebruiken (zoals op p.71) wanneer je een abstract begrip moet operationaliseren.

3.1.2 De meest geschikte dataverzameling

Wanneer je op zoek bent naar bepaalde informatie kan je dat in plaats van rechtstreeks ook via een informant achterhalen. Dit gebeurt ook vaak met onderzoek door middel van onderzoeksbureaus. Vragenlijsten zijn niet altijd een goede manier van onderzoek doen. Wanneer je op zoek bent naar informatie over wat mensen denken, voelen, weten en vinden is het beter om het mensen zelf te vragen. Wanneer het om gedrag gaat kan je mensen beter observeren.

Het is als onderzoeker ook belangrijk om je te beseffen dat sociale wenselijkheid ook van invloed is op onderzoeksresultaten. Mensen geven dan de antwoorden die van hen verwacht worden. Maar vertekende resultaten kunnen ook ontstaan doordat mensen zichzelf slecht kennen en niet altijd weten wat ze doen. Wanneer het dus om gedrag gaat, kan je dit als onderzoeker het beste observeren, tenzij het om heel intiem of zeer ongewenst gedrag gaat.

Soms kunnen dingen niet gevraagd worden omdat zij zich in het verleden afspeelden. In dat geval is de onderzoeker gedwongen om gebruik te maken van bestaand materiaal, zoals archieven, databestanden of foto’s. Op deze manier kan je deskresearch doen: onderzoek dat achter een computer kan gebeuren en waar de onderzoeker niet het veld voor inhoeft.

Datatriangulatie is een werkwijze waarbij een combinatie van dataverzamelingstechnieken wordt gebruikt. De verschillende methoden vullen elkaar aan. Datatriangulatie wordt in kwalitatief onderzoek vaak gebruikt.

3.1.3. Een betrouwbare en valide dataverzameling
De kwaliteit van een onderzoek hangt voor een groot deel af van de dataverzameling. Dit is vooral het geval bij een onderzoek met complexe of abstracte begrippen (zoals discriminatie). Als een onderzoeker niet meet wat hij denkt te meten, wordt dit slechte instrumentele validiteit genoemd. De respondenten geven dan bijvoorbeeld antwoorden over iets anders dan de onderzoeker zou willen onderzoeken. Het vaststellen van de validiteit van een meting is moeilijk.

In kwalitatief onderzoek wordt meestal niet gesproken over de validiteit van een meting, maar over de geldigheid van een onderzoek. De kwalitatieve onderzoeker blijft vaak dichter bij de werkelijkheid dan de kwantitatieve onderzoeker. Bij kwantitatief onderzoek worden vaak situaties gecreëerd of experimenten opgezet. Omdat de kwalitatieve onderzoeker vaak dichter bij de werkelijkheid blijft dan de kwantitatieve onderzoeker, is de ecologische validiteit van onderzoek vaak groter. De resultaten liggen dichter bij de dagelijkse praktijk en zijn minder ‘gekunsteld’.

Het eerder genoemde begrip triangulatie komt uit de landmeetkunde. Het betekent letterlijk ‘een punt van verschillende perspectieven bekijken’. Bij onderzoek houdt dit in dat een onderzoeker bijvoorbeeld niet alleen observeert, maar ook gesprekken voert. Op die manier probeert de onderzoeker de geldigheid van de onderzoeksresultaten te versterken.

Betrouwbaarheid is de mate waarin een meting onafhankelijk is van toeval. Wanneer een meting weinig afhankelijk van toeval is, wordt in vaktermen gesproken van een goede stabiliteit van de meting. Toeval kan door verschillende bronnen veroorzaakt worden:

• Het gebruikte instrument (bijvoorbeeld de test, vragen- of observatielijst): Het kan zijn dat er onduidelijke vragen of elementen in een onderzoek zijn, waar respondenten elke keer een ander antwoord op kunnen geven omdat de vragen of elementen verschillend opgevat kunnen worden. Een ander probleem dat zich bij een onderzoek kan voordoen is wanneer een begrip geoperationaliseerd is in verschillende vragen of elementen. Op die manier zijn de vragen niet allemaal hetzelfde te meten en is de test niet homogeen.

• De onderzochte persoon: Een persoon kan zich de ene keer anders voelen dan de andere keer. Daardoor kunnen testen of vragenlijsten anders ingevuld worden, afhankelijk van het moment of de omstandigheden

• De omstandigheden: Omstandigheden kunnen van invloed zijn op wat mensen invullen bij een enquête of vragenlijst.

• De onderzoeker / interviewer / observator: De persoon van de interviewer of observator kan een belangrijke rol spelen, vooral bij open interviews of open observaties. De respondenten kunnen wisselend op de persoon van de interviewer of observator reageren (bijvoorbeeld of de persoon van interviewer / observator een man of vrouw is, of jong of oud).

De betrouwbaarheid van een onderzoek is een voorwaarde voor de validiteit. Wanneer een meting immers niet betrouwbaar is, gaat het om een toevalsscore. Maar als een meting betrouwbaar is, betekent dat niet automatisch dat die meting ook valide is. Het kan nog steeds het geval zijn dat de onderzoeker in werkelijkheid iets anders onderzoekt dan wat hij werkelijk wil weten.

3.2 Een juiste opzet voor een interview of enquête

3.2.1 De meest geschikte vorm van interview of enquête

Een onderzoeker kan mensen op verschillende manieren vragen stellen. In het dagelijks leven zijn verschillende vormen bijvoorbeeld: bellen, e-mailen, sms’en of een brief sturen. Elke manier heeft specifieke voor- en nadelen. In onderzoek bestaan er ook verschillende manieren om met vragen informatie te krijgen. Je moet keuzes maken wat betreft de vorm: schriftelijk of mondeling.
Bij mondeling gaat het vaak om een interview dat meer of minder gestructureerd kan zijn. Een heel gestructureerd mondeling interview is een enquête onderzoek, met vaste antwoord categorieën. Bij een open interview is er een vaste open startvraag, waarbij de vervolgvragen vooral afhangen van wat de respondenten zeggen. Soms heeft een onderzoeker wel een vast aantal vervolgvragen die hij wil afwerken, of heeft hij een topiclijst die hij langsloopt.

Mondelinge interviews hebben voor- en nadelen:

Het grootste deel van schriftelijke onderzoek bestaat uit vragenlijsten, die op allerlei manieren verstuurd kunnen worden (e-mail, post). Ook in kwalitatief onderzoek wordt gebruikt gemaakt van schriftelijke dataverzameling. Er kan hierbij ook gebruik worden gemaakt van associatieve en projectieve technieken, zoals een zinaanvultest. Dit soort technieken kan ook goed van pas komen bij een imago-onderzoek. 

Schriftelijke dataverzameling heeft eveneens voor- en nadelen:

De onderzoeker moet verschillende keuzes maken om informatie te verzamelen. Er moet naast de vorm van de vragen ook een keuze gemaakt worden voor een communicatie middel:

• Face to face;

• Telefonisch;

• Versturen / post;

• E-mail / internet.

Face to face onderzoek heeft ongeveer dezelfde voor- en nadelen als de voor- en nadelen van mondelinge data verzameling. Bij telefonisch onderzoek liggen de voor- en nadelen iets anders. Het voordeel van telefonisch onderzoek is dat er relatief lage kosten aan verbonden zijn (bijvoorbeeld geen reiskosten). He grote voordeel van telefonisch kwantitatief onderzoek is dat het minder tijd kost om de gegevens te verzamelen. Een ander voorbeeld van telefonisch onderzoek is dat de respondent anoniemer is en de persoon van de interviewer minder invloed heeft.

Bij telefonische interviews wordt meestal gebruik gemaakt van CATI-programma’s (= Computer Assisted Telephone Interviewing) In dit soort programma’s verschijnen de vragen op het scherm van de interviewer. De interviewer kan op die manier de antwoorden meteen invoeren door te klikken op het antwoord van de respondent. Het grote voordeel hierbij is dat de gegevens meteen digitaal beschikbaar zijn.

Dit soort programma’s zijn er ook voor face to face-interviews, ze worden dan CAPI (Computer Assisted Personal Interviewing) genoemd. De interviewer heeft dan meestal een laptop op schoot, waar de vragen en mogelijke antwoorden op het scherm staan.

Het versturen of verspreiden van schriftelijke enquêtes (postenquêtes) heeft voor- en nadelen die overeenkomen met schriftelijke dataverzameling. Een van de nadelen van schriftelijke dataverzameling is dat het vaak respondentonvriendelijk is.

Tegenwoordig is het heel gebruikelijk, zeker bij professionele onderzoeksbureaus, om vragenlijsten per mail te versturen of via het web te laten beantwoorden (e-mail enquêtes). Er zijn veel programma’s om dit soort websurveys te maken, zoals ‘Surveymonkey’. Het programma is heel gebruiksvriendelijke en de kosten kunnen laag gehouden worden. Verder is bij dit soort programma’s routing mogelijk. Het is bijvoorbeeld mogelijk om aan te geven dat wanneer iemand aangeeft geen partner te hebben, de vragen die op de partner betrekking hebben, over te slaan. Maar ook via internet is het mogelijk om gesprekken met respondenten (chatten) te voeren.

De onderzoeker moet voor de dataverzameling ook een keuze maken voor de persoon: individueel of groepsgewijs, of anders gezegd: een individuele of een groepsgewijze benadering. Wanneer een gesprek wordt gehouden met een groep respondenten wordt dit een focusgroep genoemd. Dit kost minder tijd en respondenten kunnen aan het denken gezet worden over ideeën van mederespondenten. Het grote nadeel van focusgroepen is dat er ook allerlei groepsprocessen plaats kunnen vinden, zoals dominante personen die anderen overheersen. Het is daarom heel belangrijk dat deze groepsgesprekken geleid worden door een ervaren gespreksleider.

Ook bij schriftelijke dataverzameling moet er een keuze gemaakt worden tussen een individuele benadering (de enquête wordt bijvoorbeeld opgestuurd) of een groepsgewijze benadering (de respondenten vullen de enquête tegelijkertijd in). Dit laatste wordt een groepsafname genoemd. Het grote voordeel is dat de respondenten de enquête meteen invullen en hem niet vergeten. De non-respons ligt dus veel lager.

Zelfs wanneer je gebruik maakt van internet is een groepsgewijze benadering mogelijk: bijvoorbeeld door te chatten of gebruik te maken van video conferenties. Het lastige is hierbij wel om veel mensen tegelijkertijd achter hun computer te krijgen. Het is daarom ook mogelijk een communicatieforum op te zetten. Respondenten kunnen dan op verschillende momenten op elkaar reageren.

Kortom, de onderzoeker dient de volgende keuzes te maken, wat betreft de dataverzameling voor een onderzoek:

• Is een mondeling of een schriftelijke dataverzameling het meest toepasbaar voor het betreffende onderzoek;

• Kan de dataverzameling het beste plaatsvinden (1) face to face, (2) telefonisch, (3) via een verstuurde vragenlijst, (4) via internet. Alle manieren hebben eigen voor- en nadelen.

• Het kan handig zijn om een ondersteunend computer programma te gebruiken om een vragenlijst of interview af te nemen.

• Wordt voor de data verzameling een groepsgewijze of individuele benadering toegepast.

3.2.2 Aandachtspunten voor het maken van een interview of enquête

Een interview of enquête bestaat uit de volgende onderdelen: De introductie, de opbouw, de vragen en antwoordmogelijkheden.

De introductie: Allereerst hoort de onderzoeker uit te leggen wie hij is en waarom hij graag informatie wil verzamelen. Dit geldt voor alle vormen van schriftelijke en mondelinge interviews. Het is voor respondenten belangrijk om te weten wat er met de informatie gaat gebeuren. En het is goed om te zorgen dat respondenten de contact gegevens van de onderzoeker kunnen achterhalen, voor het geval zij nog vragen hebben. Ook moet de onderzoeker meestal de vertrouwelijkheid van de gegevens kunnen waarborgen.
Maar het is tevens belangrijk dat de introductie kort en helder is, zeker bij schriftelijke introducties. De kans bestaat anders dat mensen afhaken, nog voor zij aan de vragen zijn begonnen.

De opbouw: Vaak wordt op het einde van een interview of enquête pas naar persoonsgegevens gevraagd, terwijl dit juist handiger is om aan het begin te doen. Op die manier kan de respondent aan de interviewer wennen. Verder is het goed om breed te beginnen, met wat algemenere vragen en gedurende het interview de vragen steeds meer toe te spitsen op specifieke onderwerpen. Kortom, bij de opbouw van een enquête of interview, neemt de onderzoeker de volgende beslissingen:

• Het kan handig zijn om meteen met het centrale specifieke thema te beginnen, of is het beter om juist met algemene vragen te starten;

• Gaan de vragen van breed naar smal of juist andersom;

• Is er sprake van vraagvolgorde-effecten, waardoor vragen irrelevant kunnen worden.

Vragen en antwoordmogelijkheden: Er zijn veel verschillende soorten vragen, die bij een interview of enquête gesteld kunnen worden. Het eerste onderscheid is tussen gesloten en open vragen. Bij gesloten vragen zijn er verschillende mogelijkheden:

• Of er één of meerdere antwoorden mogelijk zijn.

• De onderzoeker moet zich afvragen of hij alle antwoordmogelijkheden kent. Wanneer hij denkt dat dit niet het geval is, is het bij een meerkeuze vraag altijd goed om een optie in te bouwen als ‘Anders, namelijk….’.

• De onderzoeker moet nagaan of de vraag om een feit of een mening gaat. Bij feiten kan je vaak een aantal boxen maken waarin respondenten hun antwoord kunnen aankruisen. Bij meningen maak je eerder gebruik van een antwoordschaal (= ratingscale). Een dergelijke schaal loopt bijvoorbeeld van ‘eens’ tot ‘oneens’ met een aantal punten hiertussen in. Er moet dan dus wel een beslissing worden gemaakt over het aantal schaalpunten en of er voor een neutraal middenpunt wordt gekozen.

• De vorm van gesloten vragen kan verschillen. Er kan bijvoorbeeld gekozen worden voor een matrixvorm, wanneer het om vragen met veel antwoordschalen gaat.

Bij open vragen hoeft een onderzoeker eigenlijk geen keuzes te maken. Maar het is wel belangrijk om te controleren of een open vraag wel echt een open vraag is, en bijvoorbeeld niet suggestief (Dus niet: ‘Bent u gelukkig in uw relatie?’, maar: ‘Wat voor gevoel roept uw huidige relatie bij u op?’) Zowel open als gesloten vragen moet aan de volgende voorwaarden voldoen: ze moeten helder, concreet en neutraal zijn.

Voor je een enquête of interview gaat houden is het goed om de vragen eerst te testen middels proefafnames. Bij deze proefafnames moet de onderzoeker letten op: (1) de begrijpelijkheid en helderheid van de vragen en de lijst, (2) de afnameduur, (3) de aantrekkelijkheid, zowel wat betreft onderwerp en vormgeving, (4) mogelijke, onverwachte, reacties. Vraag hierbij ook aan de respondent of hij bijvoorbeeld iets mist in de vragen.

3.3 Een juiste opzet voor observatieonderzoek

3.3.1. Welke observatiemethode kan het beste gebruikt worden

Observatie is de beste dataverzameling-methode wanneer het gaat om gedrag. Participerende observatie is een vorm van observatie waarbij observatoren bijvoorbeeld als zogenaamde klant een warenhuis ingaan om te onderzoeken hoe zij worden geholpen (mystery shopping). Verhulde observatie is een andere mogelijkheid. Dit is bijvoorbeeld het geval wanneer een onderzoeker zich voordoet als voetbal hooligan en zich onder de supporters mengt, met het doel te onderzoeken hoe geweld bij voetbal hooligans tot stand komt. Wanneer je dit onderzoek doet aan de hand van videobeelden is er juist sprake van niet-participerende observatie.

Als een onderzoeker gaat observeren moet hij tevens kiezen tussen een open, ongestructureerde observatie, of een gestructureerde observatie. Wanneer een onderzoeker vooraf niet bekend is met het subject is het beter om een open observatie te doen. In kwalitatief onderzoek wordt meestal gebruikt gemaakt van deze open ongestructureerde observaties omdat de onderzoeker immers wil leren van de situatie. Hierbij is het belangrijk om je als onderzoeker open op te stellen, maar je ideeën en waarnemingen wel vast te leggen. Vaak nemen observatoren daarom een memorecorder of notitie blokje mee.
Wanneer er al veel over een onderwerp bekend is, kan de onderzoeker ook een gestructureerde observatie uitvoeren. Er zijn bijvoorbeeld observatielijsten om de klantvriendelijkheid van winkelpersoneel te onderzoeken en vast te leggen.

3.3.2. Wat kan geobserveerd worden

Om aan te geven wat er allemaal geobserveerd kan worden, wordt het voorbeeld van klantvriendelijkheid in warenhuizen gebruikt. Aan klantvriendelijkheid zijn allerlei aspecten te onderscheiden, bijvoorbeeld de begroeting. Wat betreft de begroeting kan er op een aantal zaken worden gelet:

• Allereerst kan gekeken worden of er überhaupt sprake is van een begroeting. Het vaststellen of iets gebeurt of niet, wordt event-sampling genoemd. Vervolgens kan ook nog onderzocht worden hoe vaak iets voorkomt: de frequentie.

• De onderzoeker kan letten op de tijd waarin het duurt voordat de klant begroet wordt.

• Er kan gekeken worden of de verkoper oogcontact met de klant maakt tijdens de begroeting. Dit kan worden opgevat als een vorm van event-sampling, maar als een gebeurtenis heel vaak voorkomt wordt vaak gekozen voor de techniek van timesampling. De onderzoeker stelt dan bijvoorbeeld elke keer dat hij een piepje hoort (bijvoorbeeld om de 5 seconden), vast of de verkoper hem op dat moment aankijkt of niet.

• De vriendelijkheid van de verkoper kan onderzocht worden. Voor dit soort beoordelingen van gedrag wordt meestal een beoordelingsschaal ( = ratingscale) gebruikt.

• Tot wie richt de verkoper zich tijdens de begroeting. Wanneer een gezin een parfumerie binnenloopt, kan het voorkomen dat de begroeting alleen op de vrouw gericht is.

Bij dit soort observaties is het natuurlijk ook belangrijk om opvallende zaken te noteren en de omstandigheden.

3.4. Een juiste opzet voor onderzoek met bestaande gegevens

3.4.1. Voor- en nadelen van het gebruik van bestaand materiaal

Er zijn verschillende manieren om gebruik te maken van bestaande gegevens. Soms heb je geen andere keus dan het gebruiken van bestaande gegevens omdat de te onderzoeken gebeurtenis zich in het verleden heeft afgespeeld. Een andere reden om bestaande gegevens te gebruiken is omdat het soms meer valide onderzoeksmateriaal is. In het volgende overzicht zijn de voor- en nadelen van het gebruik van bestaand materiaal overzichtelijk weergegeven:

3.4.2. De verschillende vormen van bestaand materiaal en de manier waarop ze gebruikt worden

Er zijn veel verschillende vormen van bestaand materiaal, die sterk van elkaar kunnen verschillen. Dat verschil kan bijvoorbeeld de mate van gestructureerdheid zijn. De twee belangrijke vormen zijn databestanden en teksten. Maar er zijn ook andere databronnen, zoals bijvoorbeeld schilderijen, foto’s, films of tekeningen.

Cijfers en/of databestanden: Soms heeft een onderzoeker de beschikking over databestanden die opnieuw geanalyseerd kunnen worden, een heranalyse. Hetzelfde onderzoek kan op die manier nogmaals worden uitgevoerd. Het is ook mogelijk met bestaande gegevens een heel nieuw onderzoek te doen. Dit wordt een secundaire analyse genoemd. Ook meta-analyse is een vorm van analyse van onderzoeksgegevens die door anderen verzameld zijn. Gegevens worden hierbij niet alleen beschreven of weergegeven (zoals bij een literatuuroverzicht / review), maar ook statistisch geanalyseerd.

Teksten: Een onderzoek naar de inhoud van voorpagina’s van kranten wordt een inhoudsanalyse genoemd. Het gebruik van scanprogramma’s die teksten kunnen lezen en omzetten naar bijvoorbeeld een Worldfile bespaart een onderzoeker veel overtypwerk. Sommige van die programma’s hebben ook mogelijkheden om op specifieke woorden of combinaties van woorden te zoeken.
Ook in kwalitatief onderzoek wordt gebruikt gemaakt van schriftelijke onderzoeksmateriaal (romans, autobiografieën, brieven, dagboeken, agenda’s, verslagen). Het gronding analyseren van gesprekken of verslagen van gesprekken wordt discourse of conversatieanalyse genoemd. Daarbij kan ook nieuw materiaal gebruikt worden.

4. Analyseert de onderzoeker op een goede manier zijn gegevens en rapporteert hij hier op de juiste wijze over?

4.1 Analyse van kwantitatieve gegevens

4.1.1. De voorbereiding voor een kwantitatieve analyse

Na een dataverzameling heeft een onderzoeker meestal een berg aan gegevens. Bij kwantitatief onderzoek worden deze gegevens over het algemeen met de computer verwerkt en geanalyseerd. Hier zijn verschillende programma’s voor, zoals het veelgebruikte statistische programma SPSS. Dit programma heeft als voordelen dat het gebruiksvriendelijk is en veel mogelijkheden biedt voor statistische analyse.
Excel is een goedkoop en goed alternatief voor SPSS. Het voordeel is dat veel mensen Excel al op hun computer hebben staan en ook hiermee zijn veel statistische bewerkingen en analyses uit te voeren.
Voor beide programma’s geldt dat de ruwe gegevens eerst omgezet moeten worden naar een datamatrix om de gegevens ordelijk weer te geven en in te voeren. Het is hierbij gebruikelijk om de variabelen in de kolommen te zetten, en de eenheden in de rijen. Bij het maken van een datamatrix is het goed om te checken of er extreme waarden (‘uitbijters’) in de matrix voorkomen. Deze uitbijters kunnen de resultaten van een analyse erg vertekenen. Zeker wanneer het om een kleine steekproef gaat.

Wanneer de gegevens in de datamatrix zijn ingevuld moet je eerst nog een aantal zaken invullen voor je met de analyse kan beginnen. Het gaat hierbij om de volgende vragen:

• Wat is de onderzoeksvraag?

• Gaat het onderzoek om frequenties (mate waarin een gebeurtenis voorkomt), verschillen of samenhangen tussen verschijnselen?

• Wat is het meetniveau van de variabelen?

• Gaat het onderzoek om een populatie of een steekproef uit die populatie? (In dat laatste geval: hoe groot is de steekproef?)

De onderzoeksvraag: Het resultaat van de analyse moet een antwoord geven op de onderzoeksvraag. Daarom is het goed om voor je begint met de analyse, de onderzoeksvraag (of meerdere vragen) nog eens door te nemen.

Frequenties, verschillen of samenhangen: Een voorbeeld van een onderzoek waarin het gaat om frequenties, is een onderzoek naar de toetscijfers van studenten. Wanneer het gaat om de verschillen is een onderzoek naar de statistiekcijfers van mannelijke en vrouwelijke studenten een voorbeeld. Hierbij worden vaak gemiddeldes vergeleken. Wanneer je als onderzoeker benieuwd bent naar het verband of de samenhang tussen verschijnselen kan dat leiden tot een onderzoek naar het aantal uren dat een student heeft gestudeerd voor een tentamen, en het cijfer voor het betreffende tentamen.

Meetniveau van de variabelen: Variabelen kennen een meetniveau. Bijvoorbeeld bij een onderzoek naar de verhouding tussen mannen en vrouwen zijn er maar twee meetniveaus, terwijl een onderzoek naar leeftijden veel meer variabelen heeft. Het nominaal meetniveau is dat er alleen maar gezegd kan worden of iets is gebeurd of niet (bijvoorbeeld of mannen / vrouwen geslaagd zijn, of niet). Bij gegevens die worden gemeten op respectievelijk ordinaal niveau is er wel sprake van meer of minder. Maar het verschil tussen de categorieën kan niet zo makkelijk in cijfers worden uitgedrukt. Een voorbeeld hiervan is opleidingsniveau. De Havo is hoger dan het VMBO, maar het kan hier gezegd worden ‘hoeveel’ hoger.

Bij interval- of ratiomeetniveau is dat verschil tussen categorieën wel in termen van meer of minder in getal uit te drukken (bijvoorbeeld bij intelligentie met een IQ test).

Maar voor de meeste statistische berekeningen doet het er niet toe of het een interval- of ratiomeetniveau is. Er wordt meestal een onderscheid gemaakt tussen continue en discrete variabelen. Bij continue variabelen kan je je een lijn voorstellen, waarop waarden een aaneengesloten rij punten vormen: een continuüm. Variabelen die alleen hele waarden kunnen aannemen worden discrete variabelen genoemd (kinderen, huizen etc.).
Ook wordt gesproken over kwalitatieve (nominaal) en kwantitatieve / numerieke gegevens (ordinaal / interval / ratio).

Voordat je met het analyseren van de gegevens begint is het als onderzoeker handig om een overzicht te maken van de variabelen en in een overzicht aan te geven welke waarden die variabele kan aannemen en wat het meetniveau van de betreffende variabele is.

Populatie of steekproef: Beschrijvende statistiek is wanneer de onderzoeker alleen uitspraken wil doen over bijvoorbeeld de het gemiddelde aantal goed beantwoorde vragen van een statistiektentamen. Wanneer de veertien studenten die je hiervoor onderzocht hebt, een aselecte steekproef vormen uit een veel grotere populatie en je wilt op basis van de betreffende steekproef uitspraken doen over het gemiddelde aantal goed beantwoorden vragen in de hele populatie, moet je interferentiele statistische technieken gebruiken. Bij het schatten van de grote van een populatie worden veel fouten gemaakt, omdat toeval een grote rol speelt.

Grote van de steekproef: Als een onderzoeker een kleine steekproef heeft (kleiner dan 25) kan hij het beste van non-parametrische toetsingstechnieken gebruik maken. Hierbij wordt gebruik gemaakt van rangordes, in plaats van absolute waarden. Excel biedt deze mogelijkheid niet, maar SPSS wel. (op pagina 112 staat dit uitgelegd).

4.1.2. De beschrijving van kwantitatieve gegevens

Er zijn drie manieren om kwantitatieve gegevens te presenteren of weer te geven: (1) in een tabel, (2) een grafiek, (3) met samenvattende statistische maten.

1. Tabellen: Een tabel is de meest voorkomende vorm van databeschrijving omdat je op die manier alle gegevens overzichtelijk samen kan brengen en weer kan geven. Bij een toets kan het interessant zijn om te weten hoeveel studenten zeven vragen of meer goed hebben beantwoord. In dat geval is het handig om een cumulatief percentage aan de tabel toe te voegen. Het wordt wat ingewikkelder wanneer je verschillende waarden hebt: bijvoorbeeld de leeftijd van studenten die varieert van 18 tot 39 jaar. In dat geval kan beter van een klassenindeling gebruikt gemaakt worden om de tabel overzichtelijk te houden. Over het algemeen is het verstandig om een tabel niet meer dan tien klassen te laten hebben.
Het is tevens mogelijk om een kruistabel te maken. Dit is een tabel waarin een gecombineerd overzicht wordt gemaakt van de frequenties van de twee variabelen. De regel is dat de variabele in de kolommen de onafhankelijke variabele is, zoals bijvoorbeeld het geslacht.

Grafieken: Veel mensen zijn visueel ingesteld en daarom is het handig om de resultaten (naast een tabel, ook) in een grafiekvorm weer te geven. Afhankelijk van het meetniveau van de variabelen kan je een grafiekvorm kiezen die het beste bij de gegevens past.
Voor nominale variabelen als geslacht kan goed een staafdiagram of cirkeldiagram gebruikt worden. Wanneer je interval- en ratiogegevens (zoals leeftijd en inkomen) wilt weergeven, kan je een histogram gebruiken. De staven zitten hierbij aan elkaar vast, zodat de verdeling van de gegevens extra duidelijk is.
Andere vormen van grafieken zijn een normaalverdeling en een scheve verdeling. Een normaalverdeling is een symmetrische klokvormige verdeling (zie blz. 116). De normaalverdeling speelt een belangrijke rol in de statistiek.
Wanneer je een histogram maakt van de salarissen van medewerkers bij een bank, dan ontstaat een hele andere verdeling, omdat deze salarissen erg van elkaar kunnen verschillen. Dit wordt dan een scheve verdeling genoemd.

Als je de relatie tussen twee interval- of ratiovariabelen in beeld wilt brengen, kan je een spreidingsdiagram (of scatterplot) gebruiken. Hierin kan de samenhang tussen verschijnselen goed worden gepresenteerd. Op de y-as staan de waarden van de afhankelijke variabele en op de x-as de waarden van de onafhankelijke variabele. Samenhang kan worden uitgedrukt in een maat: correlatie. De absolute waarden van de correlatie kan variëren van 0 (geen correlatie) tot 1 (perfect verband). Er kan ook sprake zijn van een negatief verband: wanneer de waarde van de ene variabele groter wordt, wordt de waarde van de andere variabele kleiner. Er is sprake van een positief verband wanneer beide variabelen elkaar beïnvloeden door te groeien in waarde, wanneer de andere variabele ook groeit.

Samenvattende statistische maten: Een bekende samenvattende statistische maat is het gemiddelde. Het gemiddelde is het totaal van alle scores gedeeld door het aantal scores. Dit wordt een centrummaat genoemd. Andere centrummaten zijn de mediaan en de modus. De mediaan is de middelste waarde en de modus is de meest voorkomende waarde. Maar het is niet alleen belangrijk om informatie te hebben over het centrum van de verdeling, maar ook over de spreiding. Er zijn hiervoor verschillende spreidingsmaten. De range (bereik) is het verschil tussen de hoogste en de laagste waarde. Meer geavanceerde en veelgebruikte spreidingsmaten zijn de variantie en de standaarddeviatie of standaardafwijking. De standaarddeviatie / standaardafwijking is de wortel uit de variantie. En de variantie geeft feitelijk aan hoever de scores van het gemiddelde verwijderd liggen.
As je een steekproef neemt wordt de variantie anders berekend dan bij een populatie. Bij een steekproef wordt de som van de gekwadrateerde delen niet gedeeld door het totaal aantal respondenten of waarnemingen, maar door het totaal aantal, minus 1.

Er zijn nog een aantal andere maten:

• De standaardfout: dit is een belangrijke maat voor het bepalen van betrouwbaarheidsintervallen wanneer je schattingen wilt maken over kenmerken van de populatie op basis van de steekproef.

• De kurtosis en de scheefheid: Deze maten zeggen iets over de steilheid en de scheefheid van de gegevensverdeling.

• Het minimum, maximum en de som: Het minimum is de laagste voorkomende waarde en het maximum de hoogst voorkomende waarde. De som is het totaal van alle waarden bij elkaar.

4.1.3. Analyse van kwantitatieve steekproefgegevens

Bij het analyseren van kwantitatieve steekproefgegevens gaat het om de volgende aspecten:

• Het beschrijven van een populatie op basis van een steekproef;

• Het vaststellen van verschillen in deelpopulaties op basis van een steekproef;

• Het vaststellen van verschil in proporties tussen deelpopulaties op basis van steekproeven.

• Het vaststellen van samenhang tussen variabelen in de populatie op basis van een steekproef.

Het beschrijven van een populatie op basis van een steekproef: Bij een steekproef ben je als onderzoeker nooit helemaal zeker over de precieze uitslag omdat je nu eenmaal niet iedereen hebt gesproken (wat vaak ook niet kan). Steekproefresultaten worden altijd beïnvloed door het toeval. De betrouwbaarheid van je uitspraken over de populatie is afhankelijk van de grote van dit toeval. Dit wordt de standaardfout genoemd. Deze standaardfout wordt groter naarmate de steekproef kleiner is. De standaardfout van de verdeling van steekproefgemiddelden wordt aangeduid met

En de formule is als volgt:

De formule voor de standaardfout voor steekproefpropporties is als volgt:

Op pagina 121 staat nader uitgelegd op welke manier deze formules gebruikt kunnen worden.

Het vaststellen van verschillen in deelpopulaties op basis van een steekproef: Stel dat de onderzoeker wil weten of er verschil is in angst voor statistiek tussen mannen en vrouwen. De onderzoeker heeft een aselecte steekproef uitgevoerd onder 100 studenten, waarvan 75 vrouw en 25 man. Zij hebben de vraag voorgelegd gekregen in hoeverre ze bang zijn voor statistiek. Ze konden antwoorden op een schaal van 1 (helemaal niet bang) tot 7 (heel bang). Je vermoedt dat vrouwen banger zijn voor statistiek dan mannen, en daarom wil je twee steekproefgemiddeldes. De gemiddelde angstscore voor mannen blijkt inderdaad lager dan die van vrouwen. Om te toetsen of het gevonden verschil in gemiddelden op toeval berust, kan het worden omgezet in een tl-waarde. Dat gebeurt in Excel met de functie T-toets: twee steekproeven met ongelijke varianties en in SPSS met de functie ‘independen-Samples T Test. (Zie voor een verdere uitwerking blz. 122/123).

Het vaststellen van verschil in proporties tussen deelpopulaties op basis van steekproeven: Wanneer het om proporties gaat, wordt er anders getoetst. Het verschil in gevonden / geobserveerde frequenties en de verwachte frequenties bij geen verschil, wordt uitgedrukt in een Chi-kwadraat. Deze kan je in Excel zelf berekenen, of je maakt een kruistabel in Excel met de Chi-square calculator. Hiervan staan er veel op internet.
Het vaststellen van samenhang tussen variabelen in een populatie op basis van een steekproef: Samenhang tussen verschijnselen druk je uit in de correlatie. Hoe groter de correlatie en hoe groter de steekproef, des te kleiner is de kans dat de gevonden correlatie op toeval berust. Er zijn tabellen waarin je die kans op toeval kan opzoeken, maar het is handiger om dit op internet met een ‘r to p calculator’ te berekenen (zie pagina 125).

4.2 Analyse van kwalitatieve gegevens

4.2.1. De gefundeerde theoriebenadering

Kwalitatieve analyse is een soort ontdekkingstocht, waarbij je van tevoren niet precies weet waar je uitkomt. Het doel van kwalitatieve analyse is vooral het ontdekken en het leren van de ontdekkingstocht en het materiaal dat je gaandeweg verzamelt. De onderzoeker staat open voor nieuwe ervaringen en indrukken.

Kwalitatieve gegevens zijn meestal weinig gestructureerd en bestaan vaak uit een verzameling van opgeslagen gespreksfragmenten, observatieverslagen of geregistreerde documenten. Het is allereerst belangrijk om deze gegevens te ordenen. Er zijn veel verschillende ideeën over hoe het beste ordening aangebracht kan worden in de hoeveelheid informatie. Een door veel onderzoekers gebruikte benadering is de: gefundeerde theoriebenadering (grounded theory).

De eerste ordening is de ordening in informatie-eenheden (dataordening). Hierbij wordt gekeken welke stukken bij elkaar horen. Er zijn tevens allerlei programma’s om kwalitatief materiaal te ordenen en te analyseren.

De tweede stap is om alle fragmenten te beoordelen op hun relevantie voor het onderzoek. De onderzoeksvraag moet hierbij altijd centraal staan, omdat er immers een antwoord op die vraag geformuleerd moet worden. Het is verstandig om informatie die op het eerste gezicht niet relevant lijkt, apart te leggen. Gooi het nooit weg, want juist bij een kwalitatief onderzoek kan het later toch van pas blijken te komen. Het is een proces van constant passen en meten. Dit wordt een iteratief proces genoemd. Daarom is het goed om tijdens het hele proces een logboek bij te houden, waarin je ook bijhoudt welke informatie je schrapt.

De volgende stap is datareductie: dit gebeurt door alle fragmenten van een label te voorzien. Probeer tijdens de eerste fase van het labeling proces zo dicht mogelijk bij de originele tekst te blijven. Deze fase wordt meestal aangeduid als open coderen. Vaak kan een fragment ook meerdere lables krijgen. Het resultaat van een open coderingsgesprek is een verzameling van labels, waardoor het geheel veel overzichtelijker wordt.

De volgende reductie is het samenvoegen van gelijke labels (zoals bijvoorbeeld ‘grappig’ en ‘grapjes’). Het gaat bij een kwalitatieve analyse niet om de cijfers, maar het is wel goed om aan te geven hoe prominent een bepaald label voorkomt. Maar pas wel op met het teveel waarde toekennen aan aantallen. De prominentie kan ook liggen in relevantie en originaliteit.

Wanneer er vervolgens nog maar een aantal labels over zijn (bijvoorbeeld 30), is het handig om deze op kaartjes te zetten en met behulp van de kaartjes uit te zoeken of de labels in categorieën onder te brengen zijn. Dit proces wordt axiaal coderen genoemd.

De volgende stap is om vanuit de samenvattende beschrijving (axiaal coderen) te komen tot een hoger abstractieniveau. Dit kan lastig zijn en dit proces wordt selectief coderen genoemd. Het resultaat van selectief coderen is het vaststellen van een aantal centrale begrippen. Ook hierbij is het van belang terug te kijken op de onderzoeksvraag en het uiteindelijke doel van het onderzoek. Op die manier kan de onderzoeker tot een uiteindelijke ordening komen

4.2.2 Alternatieve manieren van kwalitatieve data-analyse

De etnografische benadering is een benadering die vooral in de culturele antropologie veel wordt gebruikt. Hierbij worden stammen en volken beschreven, waarbij gebruik werd gemaakt van ongestructureerde observaties en gesprekken. Deze observaties en gesprekken werden niet altijd even nauwkeurig geregistreerd en zijn daardoor moeilijk te analyseren. Soms wordt etnografisch onderzoek gezien als een achterhaalde vorm van onderzoek en er is daarom nogal eens kritiek op. Maar toch is het nog steeds veel gebruikt, bijvoorbeeld om bedrijfsculturen te onderzoeken of de manier waarop bewoners met elkaar omgaan in achterstandswijken. Het gaat bij etnografisch onderzoek bijna altijd om participerend onderzoek. De onderzoeker gaat bijvoorbeeld zelf een tijdje in het bewuste bedrijf meelopen of leeft een tijd in de achterstandwijk. Bij dit soort onderzoeken is altijd het gevaar van subjectiviteit aanwezig, maar er zijn wel allerlei methoden om de geldigheid van de uitkomsten van zo’n onderzoek te vergroten.

Het is ook mogelijk om een onderzoek te doen aan de hand van een casestudie. Het verzamelde materiaal wordt dan niet in fragmenten opgesplitst, maar globaler bekeken. Een voorbeeld van een dergelijk onderzoek is een onderzoek naar de gevolgen van mishandeling, met het boek Indische Duinen als casestudy. De onderzoeker kan dan bepaalde delen van het boek samenvatten middels steekwoorden in de kantlijn. Deze steekwoorden kunnen dan weer in een overzicht geplaatst worden, waar een analyse op toegepast kan worden. Deze globale manier van analyse wordt editing genoemd.

De grondigheid is een kenmerk van de gefundeerde theorie-benadering, maar ook de mate van openheid waarmee een onderzoeker zijn onderzoeksmateriaal benadert. Niet alle onderzoekers vinden dat een onderzoeker zijn onderzoeksmateriaal zo open mogelijk moet benaderen. Er zijn een paar benaderingen die daar niet vanuit gaan:Sensitizing concepts is een manier om met begrippen als angst en onzekerheid, te kijken of het verhaal binnen die begrippen past. Dit is een minder open benadering. Een benadering die nog minder open is, is de template benadering. De onderzoeker heeft dan al een theorie, en gaat na of de gevonden resultaten bij die theorie passen.

4.2.3 De manier waarop de geldigheid van de resultaten van kwalitatieve analyses wordt vastgesteld:

Op verschillende belangrijke etnografische studies is de kritiek gekomen dat de studies gekleurd en subjectief zouden zijn. Een veelgehoord verwijt over kwalitatieve studies is dat het onderzoek te subjectief is en moeilijk controleerbaar. Kwalitatieve onderzoekers spreken zelf echter liever over plausibiliteit en transparantie, dan over controleerbaarheid. Plausibiliteit is de mate waarin de lezer kan achterhalen hoe de onderzoeker aan zijn conclusies is gekomen. Er zijn vijf technieken die gezien worden als een manier om de geldigheid van kwalitatieve onderzoeksresultaten te bevorderen:

1.Triangulatie: Het is van belang om van zoveel mogelijk verschillende databronnen, invalshoeken en onderzoekers gebruik te maken. Maar ook binnen één databron kan sprake zijn van triangulatie: de onderzoeker kan gesprekken voeren met de leiding, maar ook met de medewerkers en het ondersteunend personeel. Het is ook een mogelijkheid om een andere onderzoeker een tijdje te laten participeren.

2. Audit trail (het bijhouden van een logboek): Het is belangrijk om een goed logboek bij te houden tijdens het onderzoek, waarin je opschrijft met wie je allemaal gesproken hebt, waar het gesprek over ging, en bijvoorbeeld de bijzondere omstandigheden. Het belangrijkste is dat te achterhalen is waar bepaalde informatie vandaan komt.

3. Peer debriefing (Collegiale controle): Het grote probleem bij kwalitatief onderzoek is dat de onderzoeker zelf het belangrijkste instrument in het onderzoek is, maar dat hij als onderzoeker zelf natuurlijk ook bepaalde waarden en verwachtingen heeft. Het gevaar bestaat daardoor dat hij zich teveel door die verwachtingen laat leiden, en met een gekleurde bril op het onderzoek uitvoert. Daarom is het goed om je werk regelmatig door collega’s te laten lezen die iets verder van het onderzoek af staan. Dit is overigens verstandig bij alle vormen van onderzoek.

4. Member checking (controle door betrokkenen): Het is eveneens aan te raden om de (tussentijdse) resultaten van het onderzoek door de betrokkenen zelf te laten lezen. Op die manier kunnen de betrokkenen bijvoorbeeld aangeven of zij zich in het voorlopige beeld herkennen.

5. Negatieve caseanalyse: Onderzoekers zijn mensen, en mensen willen over het algemeen graag gelijk hebben. Voor een onderzoeker is het echter belangrijk om zichzelf af en toe tijdens het onderzoek af te vragen of hij misschien ongelijk heeft. Hij moet eigenlijk zoeken naar argumenten die zijn voorlopige aannames niet onderbouwen.

Het inbouwen van deze vijf controle mechanismen in het onderzoek, komt de geloofwaardigheid van de onderzoek ten goede.

4.3 De rapportage van onderzoeksgegevens

Een onderzoek wordt pas relevant als anderen het lezen of er aandacht aan schenken. Daarom is het belangrijk om goed na te denken over de presentatie van de onderzoeksgegevens. Er zijn verschillende manieren om dit te doen, zoals een powerpointpresentatie, of een rapport of artikel. Dit hoofdstuk is met name gericht op deze laatste twee manieren om een onderzoek te presenteren.

Artikelen en rapporten die gebaseerd zijn op een onderzoek hebben in het algemeen een vaste structuur:

1. Titel(blad)

2. Introductie

3. Methoden / onderzoeksopzet

4. Beschrijving van de gegevens

5. Conclusie en discussie

Soms heeft een artikel of rapport ook nog een samenvatting, bijlagen of een literatuurlijst.

1. Het titelblad vormt een soort visitekaartje voor het onderzoek. Het moet daarom (1) functioneel, (2) verzorgd en (3) uitnodigend zijn. Het titelblad moet de volgende elementen bevatten:

• Een heldere (onder)titel: De titel wordt steeds belangrijker, omdat vaak via internet naar informatie wordt gezocht, waarbij de titel een belangrijke bron van informatie vormt. Daarom is het heel belangrijk dat de titel of de ondertitel goed aangeven waar het onderzoek over gaat. Over het algemeen is de titel de kortst mogelijke samenvatting van het onderzoek, en de ondertitel geeft specifiek aan waar het onderzoek over gaat.

• De auteurs en het kader: Wanneer het onderzoek gedaan of geschreven is door meerdere auteurs is het belangrijk om de namen op alfabetische volgorde te zetten. Wanneer dit niet gebeurt, betekent het dat de onderzoeker wiens naam voorop staat, een groter aandeel in het onderzoek heeft gehad. In het algemeen worden voornamen en titel niet op het titelblad vermeld (wel de voorletters). Ook is het mogelijk om het kader aan te geven, van waaruit het onderzoek is opgezet, bijvoorbeeld de achterliggende organisaties. Daarmee geeft een onderzoeker aan dat hij bijvoorbeeld niet een onafhankelijke onderzoeker is, maar ook een belanghebbende. Wanneer een onderzoek wordt gedaan onder begeleiding van een begeleider is het gebruikelijk de naam van de begeleider te vermelden op het titelblad.

• De publicatiedatum van het onderzoek en contact gegevens van de onderzoeker zijn ook handig om te vermelden.

• Een aantrekkelijke vormgeving is heel belangrijk omdat het titelblad voor veel mensen de eerste confrontatie met het onderzoeksrapport vormt. Ook voor de rest van het verslag is het belangrijk dat het er verzorgd en professioneel uitziet.

2. De introductie begint over het algemeen vrij breed en algemeen. De introductie kan beginnen met een schets van het probleem en kan zich vervolgens een toespitsen op een meer specifieke onderzoeksvraag en hypothesen. Het van breed naar smal gaan is een belangrijk kenmerk van de introductie.

• Allereerst wordt in algemene termen het probleem geschetst, waarbij een voorbeeld het probleem extra helder kan maken.

• Vervolgens geef je aan wat al bekend is van het onderwerp dat onderzocht wordt. Hierbij wordt meestal literatuur genoemd die verwant is aan het onderzoek dat je zelf gaat doen. Het is belangrijk dat de genoemde literatuur jouw onderzoek ondersteunt.

• De introductie eindigt met een onderzoeksvraag. Wanneer het een toetsend onderzoek betreft, worden ook de theorie en de hypothesen vermeld. De onderzoeksvraag en de theorie en hypothesen moeten logisch uit het voorgaande voortvloeien.

3. Methoden / onderzoeksopzet hoofdstuk: In het methodische deel geeft de onderzoeker aan op wat voor manier het onderzoek heeft plaatsgevonden en vooral hoe de externe, interne en de instrumentele validiteit van het onderzoek worden gewaarborgd. De onderzoeker geeft in dit deel dus het volgende aan:

• Op welke manier de steekproef getrokken wordt (wanneer hier sprake van is) en waardoor de populatie gevormd wordt. De waarborging van deze factoren wordt de externe validiteit genoemd.

• De onderzoeker dient tevens aan te geven op welke manier het ontwerp van het onderzoek antwoord gaat geven op de onderzoeksvraag. Dit is vooral belangrijk wanneer het om een causale vraag gaat. Dit wordt de interne validiteit genoemd.

• Ten slotte vermeldt de onderzoeker in het methodische deel met welke instrumenten de te onderzoeken begrippen gemeten gaan worden (instrumentele validiteit).

4. Resultaten: beschrijving van de gegevens: Het is goed om voor de resultaten van het onderzoek beschreven worden, eerst de hoofdvraag te herhalen. Verder is het een gouden regel om in het resultatendeel alleen resultaten te vermelden en geen interpretaties. Dit laatste komt namelijk bij de conclusie of discussie aan bod. Een ander belangrijk element om in de gaten te houden, is dat de tekst los van de tabellen en figuren gelezen moet kunnen worden, en andersom. De tabellen en figuren zijn voor de ondersteuning van de tekst en de overzichtelijkheid. Wanneer ze heel groot zijn kunnen ze het beste in de bijlage worden opgenomen. De hoeveelheid tekst en figuren / tabellen moet wel ongeveer gelijk blijven. Bij tabellen en figuren dient tevens altijd een titel vermeld te worden. Bij tabellen staat de titel erboven en bij grafieken en figuren eronder.

5. De conclusie en discussie: De conclusie hoort altijd te beginnen met een antwoord op de onderzoeksvraag. Wanneer je duidelijk hebt gemaakt wat het antwoord op de onderzoeksvraag is, moet ingegaan worden op de betekenis van de resultaten. Bij deze analyse moet een onderscheid worden gemaakt tussen aan de ene kant de maatschappelijke en praktische betekenis, en aan de andere kant de theoretische en onderzoekstechnische betekenis. Het is ook gebruikelijk om aan te geven wat de onderzoeksresultaten betekenen voor het betreffende onderzoeksterrein. De discussie en conclusie moeten van smal naar breed gaan: eerst de beantwoording van de onderzoeksvraag en vervolgens de bredere bespreking van de resultaten en uitkomsten van het onderzoek.

6. Samenvatting: Een artikel of rapport heeft meestal een samenvatting van maximaal een halve pagina, meestal aan het begin van het rapport. De samenvatting moet een goed beeld geven van het onderzoek. Alle aspecten moeten hierbij aan bod komen: de onderzoeksvraag, de opzet, de belangrijkste resultaten en de conclusie. Vaak wordt op basis van de samenvatting besloten of mensen het artikel of rapport echt willen inzien. Het kan ook zijn dat er een specifieke samenvatting is gemaakt voor een bepaalde groep lezers. Er kan bijvoorbeeld een managementsamenvatting worden gemaakt voor mensen met een management achtergrond die alleen benieuwd zijn naar bepaalde resultaten.

7. Bijlagen: In de bijlagen staat de informatie die te groot was om in het rapport zelf op te menen, maar die wel van toegevoegde waarde is voor het onderzoek. De bijlagen bevatten vaak ook aanvullende tabellen of grafieken. Maar de tekst van het verslag moet wel los van de bijlagen te volgen en te begrijpen zijn.

8. Literatuurlijst: Alle literatuur die in de tekst genoemd wordt, moet opgenomen worden in de literatuurlijst achterin. Dit moet gebeuren volgens het gangbare formaat van het betreffende vakgebied. Het is belangrijk om hierbij ook websites goed te vermelden en literatuur die wel gebruikt is maar niet direct, te vermelden onder het kopje ‘Overige geraadpleegde bronnen’.