Hoorcollege week 1

Het cijfer van dit vak zal voor 50% bestaan uit het tentamen en 50% uit een groepsopdracht.

Er zijn twee rollen te onderscheiden van onderzoeksmethoden voor bedrijfskundigen, namelijk wetenschappelijke literatuur gebruiken om situaties te analyseren en problemen op te lossen en zelf onderzoek uitvoeren om situaties te analyseren en om problemen te achterhalen.

Onderzoeksproces

Het onderzoeksproces: een vraag of probleem leidt tot een onderzoek.

Surveys zijn nuttig om patronen in gedrag, attitudes, etc. bloot te leggen om zo de oorzaak van een probleem te vinden. Surveys kunnen persoonlijk, telefoon, self-administered (online) worden uitgevoerd.

Surveys – kanttekeningen

• Zijn niet het antwoord op alles, omdat niet iedereen de mogelijkheid heeft om een survey in te vullen (fysieke barrieres) en soms hebben mensen er bijvoorbeeld geen zin in (motivationele barriers).

• Total design method, is een methode waarin heel stapsgewijs wordt voorgesteld hoe je zoveel mogelijk mensen kan werven voor je onderzoek. Wat je kunt doen is beloningen voor het invullen van de vragenlijst te geven. Je kan ook herinneringen sturen. Anonimiteit garanderen, deadlines stellen en de lengte van de vragenlijst aanpassen zijn geen garantie voor het invullen van vragenlijsten, omdat ze niet als aantrekkelijk worden gezien.

• We kunnen niet alles meten. Wat wel gemeten kan worden zijn: feiten, kennis, intenties en attitudes/meningen.

Waar begint een onderzoek?

1. Probleem

2. Vraag

3. Literatuurstudie

4. Conceptueel model (waarschijnlijke oorzaak, die wordt uitgebreid met proposities/hypothesen)

5. Proposities/hypothesen

Schematisch overzicht: conceptueel model zie slides.

Er is sprake van mediatie wanneer de ene variabele invloed heeft op de mediator en die vervolgens invloed heeft op de eindvariabele. Vaak met tijd.

Er is sprake van moderatie wanneer de relatie tussen x en y wordt beïnvloed door de waarde van de moderatie (een samenwerking), wordt daarom ook interactie genoemd.

Antwoorden op de slides met test-vragen:

Vraag 1 = mediatie

Vraag 2 = moderatie

Om concepten te onderzoeken moet je wel weten wat het precies betekent en wat de literatuur hierover zegt. De conceptuele definitie is op basis van literatuur. De operationele definitie is de definitie die je in de praktijk gebruikt, toegepast op de te onderzoeken situatie. Je begint met een conceptuele definitie en daarna volgt de operationele definitie.

Van definities naar indicatoren. Indicatoren zijn een tussenstap, ofwel kleine sub-aspecten van de operationele definitie. De som van de indicatoren vormt het gehele concept, zodat je uiteindelijk elk aspect van de definitie hebt getoetst. Indicatoren leiden weer tot surveyvragen.

Praktijk en theorie hebben een wisselwerking, ze vullen elkaar aan.

De surveyvragen leiden tot een somvariabele. Vervolgens voer je een regressie uit tussen de somvariabele van concept 1 en somvariabele van concept 2. Daar zijn verschillende toetsen voor: t-toets, chi-toets, kwadraattoets, MWU-test. Afhankelijk van het toetsresultaat wordt je theorie bevestigd of ontkracht.

Conclusie

• Je begint met een probleem en je eindigt met een oplossing (of je bent in staat om een oorzaak uit te sluiten)

• Hiervoor zijn goede onderzoek vaardigheden nodig (methoden en SPSS)

• Binnen deze cursus zal je een eerste oefenronde meemaken.

Extra hoorcollege week 1

Weet vooraf dat je fouten kan en mag maken. Door goed te anticiperen kan je slecht onderzoek voorkomen.

Meetfouten I – potentiele foutbronnen

• Onderzoeker

Bijvoorbeeld wanneer een onderzoeker aanwezig is tijdens het invullen van een vragenlijst, dan kan dat invloed hebben op het resultaat.

• Deelnemer/respondent

De deelnemer kan ook fouten veroorzaken bijvoorbeeld doordat hij of zij geïntimideerd of angstig is tijdens het onderzoek.

• Instrument

De kwaliteit van een vragenlijst zelf kan ook tekortschieten, bijvoorbeeld doordat de vragen niet aansluiten bij het concept.

Meetfouten II

• Geobserveerde waarde = echte waarde + meetfout

Het is belangrijk om te weten wat voor soort meetfout dat is.

• Meetfout = systematische + “random” fout

Systematisch: altijd dezelfde afwijking (richting) (bijv. een weegschaal die altijd het verkeerde gewicht aangeeft) Random: kan beide kanten op, heft elkaar op.

Het probleem van concept naar de definities is de validiteit. De definitie leidt niet naar het concept. Dus meet je niet wat je eigenlijk wilt meten.

Validiteit

• Face validity: “op het eerste gezicht” een goede vertaling van construct. Zwak bewijs. Beter: een bewust gekozen groep experts vragen.

• Content validiteit (Inhoudsvaliditeit)

• • In plaats van het vragen aan experts, duik je de literatuur in.

  • Relatie tot ander relevant domein

  • Nadeel: precies moeten weten wat construct domein is

Validiteit: criterion-related

Predictive (= voorspellende) validity

• Theorie: construct A (nu) veroorzaakt construct B (toekomst)

• Indicator van A hangt samen met de indicator van B (= criterion)

• In theorie mogelijk om toekomst te voorspellen (voordat B gemeten wordt)

Concurrent (= gelijktijdig) validity

• Theorie: construct A (nu) veroorzaakt construct B (nu)

• Indicator van A hangt samen met de indicator of van B (= criterion)

• In theorie mogelijk om toekomst te voorspellen (A en B tegelijkertijd gemeten)

Geen echte kwantitatieve maat om te bepalen in hoeverre voldaan wordt aan face/content/predictive/concurrent validity

• Andere type validiteit kunnen “gemeten” worden

Construct validiteit

De mate waarin een indicator samenhangt met andere indicatoren. consistent met de theorie met betrekking tot de concepten die gemeten worden.

Convergente validiteit vraagt of er een relatie is tussen het concept en de bevonden resultaten

Discriminante validiteit vraagt of de resultaten misschien afhangen van nog een andere variabele.

Correlaties geven de relatie aan tussen twee concepten. Vervolgens vind je een verband of juist geen causaal verband (zoals de kip en het ei).

Multitrait Multimethod matrix (zie tabel in slide 17 voor het voorbeeld)

Er zijn drie “Traits”: Emotioneel, Informatief, en Instrumentele steun op werk. En twee Methoden: algemene vraag (hoe vaak) vs. specifieke vragen (schalen).

Convergente validiteit hebben hoge correlaties zelfde construct, andere methode moet hoger zijn dan de discriminante validiteit met een lage correlaties ander construct(en): zowel voor zelfde als andere methode.

Van Convergente validiteit naar Betrouwbaarheid

Convergente validiteit: vergelijken verschillende vragenlijsten (multimethod) die zelfde concept meten(bijv. IQ testen) om te kijken hoe zit het met de verschillende correlaties.

Betrouwbaarheid: items binnen een vragenlijst die theoretisch hetzelfde concept zouden moeten meten. Gaat over je eigen meetinstrument. Meet je wat je wilt meten?

Betrouwbaarheid: als ik de test nog eens zou afnemen, zou ik dezelfde resultaten krijgen?

Componenten van betrouwbaarheid:

• Stabiliteit: Fluctaties in resultaten vanwege persoonlijke en situationele aspecten, bijvoorbeeld door een test nog eens over te doen op een ander moment (test-retest) met dezelfde respondent.

• Equivalentie: Fluctaties in resultaten vanwege verschillen tussen onderzoekers (bijv. inter-rater betrouwbaarheid)

• Interne consistentie: Mate waarin verschillende items hetzelfde construct meten

Interne consistentie

Je kunt de interne consistentie vaststellen door middel van de:

• Split-half techniek: selecteer willekeurig de helft van de items en vergelijk deze met de andere helft (zouden zelfde resultaten een hoge correlatie moeten opleveren)

• Statistiek: cronbach’s alpha: gemiddelde van alle split-half; tussen 0 (waardeloos) en 1 (hangt goed samen). Een getal dat SPSS kan uitrekenen. Is het gemiddelde van de split-halfs en geeft aan hoe goed de items met elkaar samenhangen.

Voordeel van multi-item schaal is: minder invloed van meetfout binnen een concept. Als je een breed en vaag concept is bijv. stress is het beter om meerdere vragen (items) te stellen.

Betrouwbaarheid vs. Validiteit:

• Geobserveerde waarde = echte waarde is valide meting. Je moet zo dicht mogelijk bij de echte waarde zitten.

• Random fout = 0 (nul) is betrouwbare meting

Wanneer je een hoge reliability en een hoge validity hebt is het goed onderzoek. Vragenlijst moet linken met hoe je het in het begin hebt gedefinieerd.

Meetniveaus

Het doel van meetniveaus (data types) is het zo goed mogelijk beantwoorden van je onderzoeksvraag. Een manier is door te zorgen voor bruikbare data.

Meetniveaus bepalen de analysetechniek

Voorbeeld: je wilt de invloed van X op Y bestuderen (zie tabel 1 in de bijlage)

Bron: PowerPoint Kwantitatieve Onderzoeksmethoden week 2

Meetniveaus

Er zijn vier meetniveaus en “each datatype has its own set of underlying assumptions about how the numerical symbols correspond to real-world observations” Blumberg et al.

Het idee is dat het datatype aangeeft wat de waarde is van het getalletje in het data bestand. Hoe je de getallen interpreteert.

1. Nominaal: getallen geven categorieën aan; rangorde is niet belangrijk

Voorbeelden: Religie: katholiek, protestants, moslim, atheïst, etc.

Speciaal type: dichotoom (slechts 2 antwoordmogelijkheden), bijvoorbeeld: ja/nee, man/vrouw

2. Ordinaal: getallen, rangorde van belang, maar “2” is niet twee maal “1”

Voorbeelden: Lengte: we kunnen niet rekenen met de getallen, maar de orde is wel logisch.

3. Interval: getallen, rangorde belangrijk, “2” is twee maal “1”; geen vast nulpunt

Voorbeeld: Temperatuur: Fahrenheit vs. Celsius (0^oF ≠ 0⁰C)  ook al kun je ermee rekenen, want er zitten getallen in, nul is niet altijd nul.

4. Ratio: getallen, rangorde belangrijk, “2” is twee maal “1”; vast nulpunt

Voorbeeld: inkomen, lengte (meters): 0.5m 2.0m  nul is ook echt niks, je kunt hiermee dus rekenen.

Dus het antwoordmethode bepaalt het meetniveau en niet het concept zelf!

Als interval/rationiveau: zonder problemen technieken gebruiken voor “lagere” niveaus. Als je op een hoog niveau gemeten hebt, kan je altijd terug naar een laag niveau. Maar: je verliest informatie. Als laag niveau: “hogere” technieken mogen niet gebruikt worden. Je kan niet meer terug naar een hoger niveau. Dus: probeer zo “hoog” mogelijk te meten.

Meetniveaus in Blumberg et al

• Likert Scale; Summated rating Interval

Absoluut Mee eens Niet eens/ Niet mee Absoluut

mee eens niet oneens eens niet mee eens

(5) (4) (3) (2) (1)

• Semantic Differential Scale Interval

Snel : _ : _ : _ : _ : _ : _ : _ : Langzaam

Hoge kwaliteit: _ : _ : _ : _ : _ : _ : _ : Lage kwaliteit

• Numerical Scale Ordinal/Interval

Absolute voorkeur 5 4 3 2 1 Absoluut geen voorkeur

Wees consistent. Maak je eigen keuze en houd je daar ook aan! Niet iets ordinaal noemen, maar toch mee gaan rekenen (bijv. sommeren). Ook niet dezelfde antwoordschaal eerst ordinaal noemen en later interval.

Hoorcollege week 2

Inhoud vragen

Op het moment dat je de vragen af hebt kan je ze controleren aan de hand van de volgende onderdelen:

• Moet deze vraag gesteld worden?

• Is het een duidelijke vraag?

• Is de respondent in staat deze vraag te beantwoorden?

• Is de respondent bereid om deze vraag te beantwoorden?

Om te zorgen dat je data zo valide mogelijk is, is een goede vragenlijst van belang. Formuleer vragen duidelijk. Stel niet meer vragen binnen één vraag. Stuur de respondent niet al binnen de vraag richting een bepaald antwoord. Vragen moeten niet te formeel gesteld worden, gebruik dus informeel taalgebruik. Maak de vragen niet te lang. Vraag iemand niet om een inkomen, dit is te breed en specifiek. Vraag bijvoorbeeld: wat is uw netto inkomen per maand?

Vraag niet naar feiten, want dan zal je bij elke respondent hetzelfde antwoord krijgen en vaak weet men de precieze cijfers niet. Wees er dus zeker van dat respondenten de vraag kunnen beantwoorden. Maak geen gebruik van dubbele ontkenning binnen een vraag, ofwel maak gebruik van positieve vragen.

Er zijn twee manieren om gevoelige vragen te stellen, namelijk:

• “Wat denkt u dat de algemene opinie is van de Nederlandse bevolking over het huidige vluchtelingenprobleem?”

• “Wat vinden uw vrienden van het huidige vluchtelingenprobleem?”

Positive test strategy: mensen hebben eerder de neiging om te zeggen dat ze het ergens mee eens zijn, omdat ze daar een positiever gevoel bij hebben.

Volgorde van vragen

Maak gebruik van de Funneled (trechter) approach: van algemene vragen naar specifieke vragen.

Groepeer vragen en introduceer elke set vragen, zodat de respondent weet in welke hoek hij of zij moet denken en waar de vragen over gaan. Bijvoorbeeld: “De volgende vragen gaan over het assortiment van Albert Heijn”.

Het uitvoeren van een pilot-test van vragen wordt aanbevolen.

De consequenties van een slechte vragenlijst zijn een slechte meting: onmogelijk om de data te gebruiken en niet valide en dus onbruikbare metingen.

Antwoordmogelijkheden

Hoe kunnen respondenten hun antwoord geven? Grote invloed op (vanwege meetniveaus):

• Data zelf

• Analyse, want het meetniveau bepaalt wat voor analyse technieken je kan gebruiken (en dus de conclusies).

Gesloten vragen lijken soms “open”, maar zijn toch echt gesloten vragen, bijvoorbeeld: ik ben … jaar oud.

Gesloten vragen:

Simple category scale (ja/nee schaal, nominale data, dus dit is een laag niveau)

Multiple choice multiple response scale: waar heb je je laatste boek gekocht?

• In een boekwinkel

• In een antiekzaak

• Via een webwinkel

• Op een markt

• Anders

De gesloten multiple choice multiple response scale is:

• Wederzijds uitsluitbaar (mutually exclusive) als je één optie kiest, moet je niet ook een ander kunnen kiezen.

• Volledig uitputtend (collectively exhaustive)

Likert schaal; een hoger meetniveau dan de vorige. Aan een antwoord geef je een nummer.

1 2 3 4 5

zeer mee eens mee eens onbeslist mee oneens zeer mee oneens

Numerieke schaal, je maakt een liniaal met twee uitersten: dit boek is:

makkelijk 1 2 3 4 5 moeilijk

Semantic differential schaal, een schaal met alleen woorden en geen getalen, zodat je het antwoord kan aankruisen.

Rankings:

Gepaarde vergelijkingen paired comparisons: welke zou u kiezen?; bijvoorbeeld Heineken of Grolsch.

Ranking scales (geforceerde ranking):

• Rank order: order deze merken van 1 (minst aantrekkelijk) tot 5 (meest aantrekkelijke)

• Constant sum: je kunt 100 punten verdelen tussen onderstaande merken. Hoe meer punten je toebedeeld aan een merk, hoe aantrekkelijker je dit merk vind.

De “weet ik niet”-optie:

• Gebruik deze optie als je vraagt naar feiten

• Gebruik het niet als je vraagt naar een mening (iedereen heeft wel een mening)

Welke moet je nou kiezen? Kijk in het boek en kies de methode die jij het fijnste vindt en probeer zo min mogelijk te kiezen. Als je telkens wisselt van antwoordschaal, dan ziet het er rommelig uit. Het hangt af van de analyses die je wilt doen en de meetniveaus. Controleer altijd of de vraag en het antwoord past bij je centrale concept.

Steekproef

Steekproef vs. Census

De reden dat je beter een steekproef kan trekken dan de hele populatie (=census) te onderzoeken:

• Lagere kosten

• Betere nauwkeurigheid

• Sneller

• Verwoesting → je wilt niet je hele populatie benadelen, om erachter te komen dat het werkt uiteindelijk helemaal niet werkt

Stappen om te komen tot een steekproef:

1. Populatie: waar je iets over wilt zeggen.

2. Sampling frame: waar je iets over kunt zeggen. Iets kleiner dan de populatie.

3. Vanuit de sampling frame selecteer je een steekproef.

Systematische variantie: is een geobserveerd effect een ‘echt’ effect of het resultaat van systematische variantie of van de steekproeffout?

Een goede steekproef is accuraat: geen systematische afwijking (bias) en precies: waardes in de steekproef komen overeen met waardes in een populatie

Probability sampling vs. Non-probability sampling

Probability sampling:

• Gebaseerd op random selection (willekeurige selectie): voor elk element is de kans bekend om gekozen te worden

• Simple random, complex random (systematisch, cluster, gestratificeerd, en dubbel)

Bij simple random sampling heeft elk element dezelfde kans om gekozen te worden. De kans om gekozen te worden > 0. Zoals bijvoorbeeld knikkers uit een vaas halen. Tabel met willekeurige getallen, random number generator.

Maar een simple random sampling is niet makkelijk. Heeft een goede sampling frame nodig die zo dicht mogelijk bij de populatie ligt en is vaak onpraktisch.

Bij een systematic sampling wordt elk zoveelste element in de populatie gekozen en het startpunt willekeurig gekozen.

Complex random sampling: gestratificeerde sampling

• Opdelen van de populatie in subgroepen (= strata)

• Statistisch voordeel als de strata groot genoeg zijn: verschillen tussen strata toetsen

• Idealiter: verschillen tussen strata groot, verschil binnen strata klein

Complex random sampling: Cluster steekproef

• Niet individuele elementen in de populatie, maar een cluster van elementen

• Alleen elementen binnen deze clusters worden onderzocht, niet erbuiten

Gestratificeerde steekproef:

• Populatie bestaat uit groepen met verschillende grootte/variantie

• Daarbinnen- als nodig –willekeurige selectie elementen

• Elke groep gerepresenteerd EN dezelfde grootte: disproportioneel

• Elke groep gerepresenteerd naar proportie in populatie: proportioneel

Cluster steekproef:

• Populatie bestaat uit primaire units (bijv., klassen, teams, locaties, steden)

• Willekeurige selectie clusters

• Daarbinnen - als nodig - willekeurige selectie elementen

• Proportioneel/disproportioneel

Non-probability steekproeven:

Non-probability steekproeven worden niet gebaseerd op willekeurige selectie: niet elk element heeft dezelfde kans om gekozen te worden. Het is subjectiever dan probility sampling. De kans om geselecteerd te worden is onbekend. De verschillende vormen zijn Convenience, Judgment, Quota en Snowball.

Convenience steekproef: respondenten kiezen op basis van wie mee wil doen of wie voor handen is. Het kan echter waardevol zijn om “even snel” een idee te toetsen.

Snowball steekproef: Respondenten verwijzen onderzoeker door naar andere potentiële respondenten. De voordelen hiervan zijn: niche-situaties en focus groepen.

Steekproefgrootte

Grootte is afhankelijk van:

• variatie in populatie (divers? → dan heb je meer respondenten nodig)

• uitspraken over subgroepen: meer respondenten nodig

• gewenste nauwkeurigheid: hoe meer nauwkeurigheid een onderzoeker wenst, hoe groter de steekproef

• neem grotere steekproef dan gewenst vanwege non-response

Non-response kan ook een error, ofwel fout opleveren. Er kunnen verschillen zijn tussen mensen die reageren enRead more