Onderzoeksmethoden: theorie en ethiek hoorcolleges

Hoorcollege 1

De wetenschappelijke methode: regels, assumpties, procedures, dataverzameling, data analyseren, data delen, conclusies trekken. 

Selectieve aandacht: perceptie en verwachtingen. Het is als wetenschapper daarom belangrijk om onszelf te helpen om niet biased onderzoek te doen. 

Confirmation bias= zien wat we willen zien, wat aansluit bij ons kader. Selectief herinneren. 

David Hume(1711-1776): ‘Een wetenschap is beschrijvend en vanuit de beschrijving kun je niet tot morele of normatieve uitspraken komen.’

Stanford-prison experiment van Zimbardo maakte de conclusie dat onze omgeving bepaald of we een goed of slecht mens zijn. Het slechte zit in eenieder. Dit is het lucifer effect.

De wetenschappelijke discussie: replicatie(herhalen, toevoegen, aanpassen) en accumulatie van kennis. 

Hoe komen we tot onderzoeksideeën? Die komen voort uit onze eigen interesses. Inductie is door observaties in de wereld van specifiek naar algemeen wilt gaan. Je doet een voorspelling naar aanleiding van observaties in het verleden. 

Deductie is hetgeen waarbij een gevolgtrekking wordt gemaakt uit het algemene naar het bijzondere - van de algemene regel naar de bijzondere regel.

Fundamenteel onderzoek zijn vragen over hoe ons gedrag tot stand komt. Het heeft geen toepassing maar is interessant om te weten. Toegepast onderzoek heeft een duidelijk doel. 

De empirische cyclus is onderzoek doen:

Wetenschappelijke theorieën zijn algemene uitspraken over de relatie tussen variabelen. Het moet toetsbaar zijn, daarom is het specifiek. Ze zijn toetsbaar en simpel(de wet van spaarzaamheid). Operationele definitie(construct).

De Easterlin paradox observeerde dat mensen in rijke landen gelukkiger waren, maar naarmate de rijkdom steeg werden ze niet gelukkiger.  Dat is de theorie van afnemende meeropbrengst welvaart-geluk. Maar recente studies laten zien dat dat misschien niet helemaal klopt. 

Een hypothese kan correlatie of causaliteit laten zien. 

Methoden om data te verzamelen, analyseren en interpreteren: beschrijvend onderzoek(een momentopname van hoe dingen nu gaan), correlationeel onderzoek en experimenteel onderzoek. 

Hoorcollege 2

Een fetish is een geconditioneerde stimulus.

Basiskenmerken experimenten:

• systematisch variëren onafhankelijke variabele, je kan iets zeggen over causaliteit

• random toewijzen aan condities

• hoge interne validiteit (theorieën toetsen)

Confounding variabele is een variabele die systematisch varieert met onafhankelijke variabele en dezelfde invloed uitoefent op afhankelijke variabele. Er zijn procedural confounds(hoe?) en operational confounds. Voorkomen confounds door laboratoriumonderzoek, random assignment en hou in de gaten dat ze bestaan.

Mundane realism is experimenteren in fysieke omgeving die vergelijkbaar is met de werkelijkheid. Denk aan het gevangenis experiment van Zimbardo en het experiment van Hofling. Looks real.

Experimental realism is dat mensen zich realistisch gedragen, omdat het zo goed mogelijk inricht. Deelnemer komt in de psychologische toestand die de onderzoeker wil bestuderen, ook al is de omgeving kunstmatig. Feels real.

Externe validiteit is de mate waarin je een uitkomst kunt generaliseren. 

Interne validiteit zegt iets over causaliteit. Invloeden op de interne validiteit zijn: history, rijping(biologisch, psychologisch en emotioneel), opnieuw testen uitvoeren, de instrumenten die gebruikt worden, statistische regressie, experimental mortality(uitval). Uitbijters(outliers) mogen worden weggehaald als er daadwerkelijk een goede reden voor is. Bijvoorbeeld als de apparatuur een fout maakt. 

Construct validiteit is de mate waarin de onafhankelijke en afhankelijke variabelen in een onderzoek de abstracte hypothetische variabelen weergeven. Deze kan je verhogen door een manipulatiecheck. 

Schrijftips: rapporteer theoretische en praktische relevantie, maak duidelijk waar je speculeert, volg APA normen en schrijf sekse neutraal. 

Bij presenteren: houd in gedachten wat je wil vertellen, less is more, letten op kleur en achtergrond, leesbaarheid, zijn F-waarden interessant?

Hoorcollege 3

Case study is een zorgvuldige analyse van persoon of groep. Het doel is om ongewone gebeurtenissen te verklaren m.b.v bestaande wetenschappelijke principes. Het is wel wetenschappelijk, want het voegt informatie toe aan een theorie, je moet wel kritisch kijken. Nadelen van een case studie zijn de slechte generaliseerbaarheid, geen statistische analyse mogelijk, causaliteit en interpretatie lastig te zien. 

Stockholm syndroom= de ontwikkeling van empathie en compassie voor degene die je kidnapt/ontvoert. Dit als gevolg van een trauma, zoals verkrachting of mishandeling maar het toch krijgen van eten of het in leven mogen blijven van degene die ze gevangen houdt. Het is een copingmechanisme, om te overleven kan je maar beter een band opbouwen met de gijzelnemer.

Single variable research gaat over één variabele, niet  over één mens. Het doel is om een eigenschap van een specifieke groep mensen te beschrijven. 

Conjunction fallacy= specifieke conditie is waarschijnlijker dan de algemene conditie.

Voorbeelden correlationeel onderzoek:

• archiefonderzoek= maakt gebruik van administratieve gegevens en documenten als voornaamste bron. Het heeft een hoge externe validiteit maar andere mensen hebben de data verzameld, er is weinig controle en een lage interne validiteit. 

• observatieonderzoek

• vragenlijst en interview onderzoek

Anker effect= het fenomeen waarbij een schatting wordt gebaseerd op de als eerst gegeven informatie, en dus een mate van objectiviteit verloren gaat.

Framing effect= “where people decide on options based on whether the options are presented with positive or negative connotations.”

Analyse van gegevens:

1. bekijk verdeling van scores per variabele.

2. plot gevonden scores/frequenties.

3. analyse van data. 

In een resultatensectie zet je geen assumptie toetsen. Je geef statistische resultaten(geïllustreerd waar nodig). 

Hoorcollege 4: ethiek en de beroepscode

Ethiek is een gesystematiseerde moraal. 

Socrates zei dat ethiek ging over de vraag: Hoe te leven? Dit is een klassiek filosofische vraag, die je ziet terugkomen tot de westerse middeleeuwen. Deze is toen verschoven naar de vraag: Hoe moet ik handelen? Dat is een meer beperkte vraag. 

Meteorologisch en ethisch ligt heel dicht bij elkaar. 

De macht van de psycholoog:

• psychologisch rapport, je hebt een machtspositie ten opzichte van de persoon over wie je het schrijft. Deze heeft consequenties voor de persoon in kwestie. 

• therapie, jij bent degene die de cliënt moet begeleiden naar genezing. Ze zijn vaak in een staat van afhankelijkheid van jou. 

• onderzoek

• psychologie en beleid

Dus denk na over wat je doet, zodat je verantwoording kunt afleggen(verantwoordelijkheid).

Drie scholen in de filosofische ethiek:

• Plichtenethiek→ Immanuel Kant

Moraal is een kwestie van plichten(ofwel imperatieven). Dit gaat over regels als je moet aardig zijn tegen mensen. Hij stelde een regel voor die categorische imperatief heette, hiermee toets je de plichten: je moet handelen volgens de regel die je ook als universele regel zou kunnen willen & behandel mensen altijd als doel in zichzelf en nooit alleen als middel. Je mag nooit liegen dus er waren geen uitzonderingen op de regel. 

Benjamin Constant reageerde hierop met: Niet iedereen heeft recht op de waarheid. Hij ging in op de regel van Kant dat je nooit mag liegen. Denk aan het voorbeeld van de kennis die wil schuilen en de moordenaar. Kant reageerde met de leugen schaadt de menselijkheid in het algemeen. 

• Gevolgenethiek→ Jeremy Bentham

Consequentialisme. Het gaat bij de moraal zuiver om de gevolgen van handelingen. Je gaat bij je handelingen voor het grootste geluk voor het grootste aantal mensen bewerkstelligt. Er komt veel rekenen aan te pas. 

Gedachtenexperiment met het trolley-problem(door voorstanders van de plichtenethiek):

The fat-man variant:

De kritiek op dit gedachte experiment is dat in het echte leven je in paniek raakt en niet rationeel nadenkt. Je kan hierin alleen rationele beslissingen nemen als je ertoe bent opgeleid. Dan zegt het niet zoveel over ethiek. Je leert hiervan alleen maar dat we dilemma’s kunnen bedenken die verschrikkelijk zijn. De belangrijkste vraag bij deze situatie is: Hoe zijn we nou eigenlijk in deze situatie terechtgekomen? Wat doe ik bij de wissel, waarom heeft de trein geen rem meer en hoe zijn deze personen op de rails terecht gekomen. 

• Deugdenethiek→ Arestoteles

Moraal is een kwestie van individuele eigenschappen. De persoon wordt beoordeeld en niet de handeling. Dit zit dicht bij de vraag van Socrates: Hoe te leven? 

Iemand met de juiste deugden zal in een situatie de juiste keuze maken. Ze houden altijd het midden tussen twee uitersten, ondeugden en deugden. 

Het gaat niet om geluk maar om groots en meeslepend leven(Nietzsche). Het ging er volgens hem om: Hoe kan je leven? 

De NIP-code is gebaseerd op machtsongelijkheid, een relatie is een proces(verschillende regels in verschillende stadia), diverse rollen. De code is geen handleiding maar er staan dilemma’s in met afwegingen. 

Vier basisprincipes uitgewerkt in richtlijnen:

• verantwoordelijkheid(kwaliteit, continuïteit, voorkomen van schade, voorkomen van misbruik, voor werkomgeving(o.a collegiaal appèl), verantwoording)

• integriteit(betrouwbaarheid, eerlijkheid, rolintegriteit) 

• respect(niet discrimineren, respect voor autonomie en zelfbeschikkingsrecht, vertrouwelijkheid, gegevensverstrekking, rapportage)

• deskundigheid(ethische reflectie, vakbekwaamheid(methoden die doelmatig en doeltreffend zijn), alleen handelen binnen grenzen van deskundigheid)

Hoorcollege 5: Misleiding en manipulatie

Het psychologisch experiment. De lichtste vorm van misleiding is dat er niet wordt verteld aan de deelnemers waar het experiment over gaat. Rosenzweig: “The experimental situation as a psychological problem”. Een experiment bestaat altijd uit drie elementen: proefleider, materiaal en instrumenten. De drie elementen zijn zo veel mogelijk gescheiden, ze zijn verschillend. De proefpersoon is ook een beetje onderzoeker en de onderzoeker een beetje stimulus, dit wil je niet Het probleem wat hier achter ligt is dat iedereen een beetje psycholoog is.

De naïeve proefpersoon: Hoe naïever de proefpersonen zijn, des te natuurlijker gedrag ze zich. Het mooiste is als ‘the subject does not even know that an experiment is being performed on him’. 

Hier zit een bepaalde paradox achter, namelijk dat de proefpersoon spontaan en echt gedrag vertoont en zich dus niet als proefpersoon gedraagt. Maar je gedrag is niet meer natuurlijk, want je weet dat je proefpersoon bent. Misleiding is het belangrijkste middel om die spontaniteit te bereiken. 

Ethiek onderzoek veelbesproken in de jaren 60, want:

• opkomst burgerrechtenbeweging

• meer experimenteel onderzoek, de psychologie was heel erg gegroeid na de WOII.

• Milgram, was dit aanvaardbaar? 

• veel misleiding 

Kelman vond dat het met de misleiding in het onderzoek de spuigaten uitliep. Het werd een standaard en een soort spelletje.Daar zitten problemen aan: schade, hoe lang blijft de proefpersoon nog naïef? En van misleiding krijgen mensen achterdocht en ontstaat er minder controle. De oplossing was volgens hem beperk de schade door debriefing en stel alternatieven op(zoals rollenspellen). 

De APA code besloot in 1971 to herziening van de beroepscode. Ze namen hierin een hoofdstuk op over onderzoek. Er ontstond een debat over misleiding en er kwam een compromis uit: nee tenzij het niet anders kan, het onderzoek waardevol is of het achteraf goed te maken is. 

Manipulatie. 

Kelman: we maken onze proefpersonen te vaak tot manipuleerbare objecten.

Kant: behandel anderen altijd als autonome wezens met zelfbeschikkingsrecht. 

Nudging(een zetje geven) is heel populair geworden door Thaler en Sunstein. Het idee achter nudging is dat je de keuzes van mensen beïnvloedt door de keuze architectuur te veranderen. 

Wilkinson: is nudging manipulatie? Op het eerste gezicht maakt je gebruik van menselijke zwakheden, het zijn afwijkingen van economische rationaliteit. Nudges zijn alleen ethisch als, je ze in het openbaar zou willen verdedigen(publiciteit principe) en de nudge zichtbaar is(principe van transparantie). Manipulatie is een bewuste, succesvolle beïnvloeding die je autonomie aantast. Het is moeilijk vast te stellen wanneer je autonomie wordt aangetast(per geval bepalen). Een goede nudge moet een alternatief bieden(een ontsnappingsclausule). Als het doelwit instemt met de nudge, is het geen manipulatie. 

Hoorcollege 6: Wetenschappelijke integriteit

De middelen voor universiteiten worden steeds geringer. Dat intensiveert de concurrentie. Ook wordt deze steeds meer beheerst door kwantitatieve maten. Voor veel onderzoekers is de eerste prioriteit hoe ze in een tijdschrift komen en niet of het eigenlijk wel waar is wat ze schrijven. 

De kredietcyclus:

reputatie→ onderzoek→ data→ artikelen→ citaties→ reputatie

Geld en banen komen van de overheid voor de onderzoekers. Ze geven niet aan alle wetenschappers geld dus ze moeten keuzes maken. Je reputatie is dan van invloed op of je het geld kan krijgen.

Problemen met de onderzoeksfinanciering: strategisch gedrag onderzoekers(een onderwerp kiezen omdat er geld voor is en financiering vragen voor onderzoek dat je al aan het doen bent) en het Matteüs-effect(als je al reputatie hebt, wordt het makkelijker om geld te krijgen. Als je niks hebt, raak je eerder dingen kwijt). Dit probleem wordt steeds groter naarmate het aantal onderzoekers groeit. 

Hoorcollege 7: Auteurschap, plagiaat en zelfplagiaat

Publiceren: auteurs, co-auteurs, tijdschrift, editor, peer reviewers, revisions, uitgever. Je koopt je artikelen weer terug van de uitgever. Vergelijking:

Met je meel naar de bakker gaan, zelf je brood gaan bakken en als het dan klaar is koop je het van de bakker. 

Kennis delen moet maar peer reviewers en collega’s die ideeën stelen of concurrenten blokkeren en saboteren. 

De eisen van toptijdschriften: p < 0,05, nieuw en vernieuwen en perfectie. 

Verzinnen en vervalsen.

Diederik Stapel was van de data’s verzinnen, van onderzoek dat nooit was uitgevoerd. 55 frauduleuze publicaties. Het heeft zo lang kunnen duren voordat het ontdekt werd, omdat er iets niet goed bleek in zijn publicatie veld. Wolfgang Stroebe. De wetenschap is niet zelfcorrigerend. Uiteindelijk hebben drie onderzoekers onder Stapel het ontdekt, het wordt zelden of nooit ontdekt door peer reviewers(denken niet aan de mogelijkheid of er gefraudeerd is + ze vragen niet naar een dataset) of replicatieonderzoek. 

De oplossing is meer transparantie(beschikbaar voor collega’s) en het onderken de mogelijkheid van fraude. 

Dubieuze praktijken: Brian Nosek schreef een artikel over dat de druk om te publiceren leidt tot dubieuze praktijken. 

• outliers verwijderen uit je dataset

• proefpersonen toevoegen tot je een significantie bereikt

• weglaten condities, groepen, variabelen indien deze niet significant zijn

• hypothese achteraf aanpassen(HARKING)

Er is ook een publicatiebias, want alleen wat lukt wordt uitgegeven en gepubliceerd. 

Daniele Fanelli’s meta-analyse berekende een soort gemiddelde effectgrootte, deze kwam erachter dat fraude zeldzaam is. 

Gelman vond dat transparantie niet genoeg was. Je kunt een op transparantie manier slechte wetenschap bedrijven en transparantie is er niet voor toezicht(fouten maken is normaal). 

Uiteindelijk is reputatie het doel. Wetenschappers werken over het algemeen niet om geld te verdienen maar voor de reputatie. De h-index= hoe goed iemand is in de wetenschap. Publicaties en aantal keer geciteerd. h artikelen minstens h keer geciteerd.  In de psychologie is waarschijnlijk een h-index van 20 redelijk goed, 60 is heel erg goed. Problemen h-index:

• Het citeer gedrag van verschillende disciplines kan heel erg uiteenlopen. 

• Citatie betekent niet altijd is goeds.

Citeren is cruciaal in de kredietcyclus. Problemen: citeren op verzoek van reviewer of tijdschrift, foutief citeren(het staat er niet) of niet citeren(plagiaat). 

Co-auteurschap. Een auteur is niet altijd een schrijver. Het kan ook iemand zijn die de theorie heeft ontwikkelt of die de statistische analyses heeft gedraaid. De volgorde waarin auteurs worden genoemd is van belang. In de psychologie is de laatstgenoemde auteur degene die het geld binnen heeft gehaald voor het onderzoek. 

Hoorcollege 8: Open Science

Open science is een beweging die als doel heeft wetenschappelijk onderzoek, onderzoeksgegevens en de verspreiding ervan transparanter en toegankelijker te maken. Het is een brede term waar veel dingen onder vallen, zoals Open Access, Open Data etc.

Voorstanders van open science zijn van alle leeftijden(bv. 54 jarige John PA ioannidis). De leeftijd bepaalt wel in welke mate iemand ‘open’ is. Een open science community is een bottom-up initiatief, dus door en voor studenten en staf. Open science is een middel om een doel te bereiken, geen doel op zich. 

Beleid van de RUG: Open tenzij…, dat wil zeggen zo open mogelijk, zo gesloten als nodig. Open science wordt nu vaak (nog) niet beloond. 

Waarom is Open Science belangrijk?

1. Het kunnen verifiëren en controleren van uitkomsten, wat centraal staat of zou moeten staan) in de wetenschap. 

2. Resultaten toegankelijk maken voor belanghebbenden binnen en buiten de academische wereld.

3. Verbetering van de kwaliteit van wetenschappelijk onderzoek(mogelijk ten koste van kwantiteit).

4. Open Science is in lijn met de fundamentele wetenschappelijke normen(maar in de huidige beloningsstructuren zijn sommige van deze noren moeilijk te volgen).

Deze sluiten aan bij wetenschappelijke normen en waarden(komen overeen met de basisprincipes van de NIP-code).  

Wetenschappers worden op dit moment vooral beloond voor:

• veel artikelen te publiceren

• publiceren in ‘high impact journals’

• ongelofelijke (significante) bevinden, die achteraf soms ook echt te mooi lijken om waar te zijn.

Openheid maakt het onderzoek beter controleerbaar.

Stappen die onderzoek kent: search, analysis, writing, publication, outreach, assessment. 

Stappen voorbeeld van open science: pre registratie, open access tijdschrift kiezen, volledig reproduceerbaar manuscript schrijven, preprint uploaden en code archiveren. 

Rmarkdown bestaat uit drie kerncomponenten: YAML-koptekst, tekst in de syntaxis van Markdown, codeer brokken met R-opdrachten(analyses). Een vorm van actionable formats. Voordelen Rmarkdown:

• Transparantie geeft inzicht in wat anderen deden en herinnert de toekomstige zelf(wat deed ik x jaar/maanden geleden?

• Afronden numerieke typefouten zijn minder foutgevoelig

• Fouten kunnen gemakkelijk worden gecorrigeerd

• Het dwingt je om minder slordig te zijn, anderen moeten het ook kunnen begrijpen

Tijdens je onderzoek zorg je voor goede meta-data, gebruik je informatievere grafieken, rapporteer je alles wat je doet en waarom en bewaar je geannoteerde syntax.