Begrippenlijst met oefenvragen bij Integer onderzoek doen

Wat is eerlijkheid in onderzoek?

• Eerlijkheid in onderzoek betekent dat resultaten op een zuivere en integere manier tot stand komen.
• Concreet betekent dit dat er geen sprake mag zijn van fabricatie, vervalsing of plagiaat; opzettelijke schendingen van deze regels vallen direct onder het principe van oneerlijk onderzoek.

Oefenvraag:

• Mark voert een onderzoek uit en vindt hierbij een opvallende uitschieter. Hij denkt dat de meting bij dit specifieke geval verkeerd is gegaan en besluit de uitschieter te verwijderen. Hij benoemt dit echter niet in zijn onderzoek. Welk principe komt hierbij in het geding?

1. Eerlijkheid
2. Zorgvuldigheid
3. Transparantie
4. Onafhankelijkheid

Wat is zorgvuldigheid in onderzoek?

• Zorgvuldigheid in onderzoek betekent dat gegevens nauwkeurig en met precisie worden verzameld en verwerkt.
• Dit houdt in dat onopzettelijke fouten moeten worden voorkomen; wanneer een onderzoeker bijvoorbeeld slordig meet of noteert, valt dat onder een schending van het principe zorgvuldigheid.

Oefenvraag:

• In het theoretische deel van Kirsten gebruikt ze verschillende bronnen van Wikipedia. Omdat het Wikipedia is, komt ze niet achter de precieze auteur. Ze besluit daarom een verwijzing te maken naar de algemene site van Wikipedia en schrijft dat op in haar bronnenlijst. Welk principe komt hierbij in het geding?

1. Eerlijkheid
2. Zorgvuldigheid
3. Transparantie
4. Onafhankelijkheid

Wat is transparantie in onderzoek?

• Transparantie in onderzoek betekent dat je open en duidelijk bent over de manier waarop het onderzoek is uitgevoerd.
• Gebruikelijk is dat je steeds uitlegt wat je hebt gedaan en waarom, zodat anderen het onderzoek kunnen begrijpen en eventueel reproduceren.

Oefenvraag:

• Mohammed doet onderzoek naar waterkwaliteit in de buurt van fabrieken. Zijn vader die in dienst is bij een van die fabrieken is erg geïnteresseerd in het onderzoek van zijn zoon. Hij besluit zijn zoon een bijdrage te geven voor het onderzoek op voorwaarde dat de fabriek waar hij werkt het onderzoek mag inzien voor publicatie. Welk principe komt hierbij in het geding?

1. Eerlijkheid
2. Zorgvuldigheid
3. Transparantie
4. Onafhankelijkheid

Wat is onafhankelijkheid in onderzoek?

• Onafhankelijkheid in onderzoek betekent dat je als onderzoeker zonder belangenverstrengeling werkt en je conclusies niet laat sturen door externe partijen, zoals bedrijven of opdrachtgevers.
• In onderzoek wordt verwacht dat je, wanneer je bijvoorbeeld onderzoek in opdracht van een bedrijf doet, dit duidelijk vermeldt; anders wordt niet alleen je onafhankelijkheid aangetast, maar ook het principe van transparantie.

Oefenvraag:

• Kees doet onderzoek naar mentale klachten. Hij neemt interviews af met mensen met mentale klachten en laat hen een verhaal vertellen dat slechte herinneringen naar boven brengt. Hij heeft de deelnemers van tevoren gewaarschuwd dat het een heftig onderzoek kan zijn. Welk principe komt hierbij in het geding?

1. Zorgvuldigheid
2. Transparantie
3. Onafhankelijkheid
4. Verantwoordelijkheid

Wat betekent verantwoordelijkheid in onderzoek?

• Verantwoordelijkheid in onderzoek betekent dat je je onderzoek op een verantwoorde en ethische manier uitvoert.
• Praktisch gezien betekent dit dat je alleen onderzoek doet dat relevant is en dat je daarbij voorkomt dat mensen, dieren of de omgeving schade ondervinden.

Oefenvraag:

• Suus voert een onderzoek uit en vindt een uitschieter. Omdat deze uitschieter totaal niet bij haar verwachtingen past, focust ze zich eerst op de andere resultaten. Uiteindelijk is ze de uitschieter vergeten mee te nemen in haar onderzoek. Welk principe komt hier in het geding?

1. Zorgvuldigheid
2. Transparantie
3. Onafhankelijkheid
4. Verantwoordelijkheid

Wat is publication bias?

• Publication bias betekent dat onderzoekers hun niet-significante resultaten bewust niet rapporteren, om zo de kans op publicatie te vergroten.
• Typisch gebruik is dat wetenschappelijke tijdschriften de voorkeur geven aan nieuwe, significante bevindingen, waardoor niet-significante resultaten onderbelicht blijven en het wetenschappelijk beeld vertekend kan raken.

Oefenvraag:

• Daan voert een onderzoek uit. Hij komt uit op een p-waarde van 0,051. Hij heeft echter een uitschieter die hij niet kan verklaren en hij besluit dat deze meting waarschijnlijk fout is gegaan. Zonder dit aan te geven in zijn onderzoek verwijdert hij de uitschieter, waardoor hij nu op een p-waarde onder de 0,05 komt. Welk begrip is hierop van toepassing?

1. Publication bias
2. File-drawer problem
3. p-hacking
4. HARKing

Wat is confirmation bias?

• Confirmation bias betekent dat onderzoekers vooral aandacht geven aan resultaten die hun verwachtingen bevestigen en tegenstrijdige uitkomsten negeren.
• Dit kan zowel bewust als onbewust gebeuren, wat leidt tot een vertekend beeld en onbetrouwbare onderzoeksresultaten.

Oefenvraag:

• Kasper voert een onderzoek uit. De resultaten zijn echter niet zoals hij het had verwacht. Toch is het wel een significantie p-waarde die uit het onderzoek komt. Hij besluit de hypothesen aan te passen om het zo tot een mooier geheel te maken. Welk begrip is hierop van toepassing?

1. Confirmation bias
2. File-drawer problem
3. p-hacking
4. HARKing

Wat is het file-drawer problem?

• Het file-drawer problem betekent dat niet-significante onderzoeksresultaten vaak ongepubliceerd blijven en letterlijk ‘in de la’ verdwijnen.
• In de praktijk vertekent dit het wetenschappelijke beeld, omdat alleen significante bevindingen zichtbaar worden; dit kan bijvoorbeeld voortkomen uit publication bias of confirmation bias.

Oefenvraag:

• Sanne moet een onderzoekje uitvoeren voor school. Ze weet de uitkomst eigenlijk al, omdat volgens haar het erg voor de hand ligt. Ze wil het onderzoek snel afronden en focust zich vooral op hoe ze op haar verwachte conclusie uitkomt. Welk begrip is hierop van toepassing?

1. Confirmation bias
2. File-drawer problem
3. p-hacking
4. HARKing

Wat is p-hacking?

• p-hacking betekent dat een onderzoeker data of analysemethoden bewust manipuleert om de p-waarde significant te maken.
• Concreet betekent dit een vorm van falsifying: door de p-waarde kunstmatig te verlagen lijkt een resultaat significant, terwijl dat in werkelijkheid niet zo hoeft te zijn.

Oefenvraag:

• Peter is begonnen met een onderzoek, maar merkt eigenlijk al gelijk aan de resultaten dat dit niet zal leiden tot een significante uitkomst. Hij besluit het onderzoek te stoppen. Welk begrip is hierop van toepassing?

1. Publication bias
2. File-drawer problem
3. p-hacking
4. HARKing

Wat is Hypothesizing After Results are Known (HARKing)?

• HARKing staat voor Hypothesizing After Results are Known en betekent dat onderzoekers hun hypothesen pas achteraf, na het zien van de resultaten, formuleren en presenteren alsof deze vooraf waren opgesteld.
• Dit wordt gezien als een vorm van falsifying, omdat het de transparantie en betrouwbaarheid van onderzoek ondermijnt.

Oefenvraag:

• Saskia heeft al meerdere onderzoeken afgerond. Een paar hebben significante uitkomsten, maar het merendeel is niet significant en heeft ze besloten om niet te publiceren. Welk begrip is hierop van toepassing?

1. Publication bias
2. File-drawer problem
3. p-hacking
4. HARKing

Wat is Post Publication Peer Review (PPPR)?

• PPPR staat voor Post Publication Peer Review en is een online discussieplatform waar auteurs, redacteuren en peers in gesprek gaan over een gepubliceerd artikel.
• In de toepassing verschuift de verantwoordelijkheid van alleen de auteur naar het hele wetenschappelijke veld, wat de transparantie en gezamenlijke verantwoordelijkheid voor de kwaliteit van onderzoek vergroot.

Oefenvraag:

• Na publicatie besluit Daniël op een online forum om feedback te vragen. Veel onderzoekers op dat forum adviseren hem om het onderzoek per direct terug te trekken, omdat het veel onwaarheden bevat. Wat had Daniël beter kunnen doen?

1. Hij had beter tijdens het onderzoek al feedback kunnen vragen en zijn onderzoek dan aan kunnen passen.
2. Niets, zolang hij het onderzoek direct terugtrekt is er niks aan de hand.
3. Hij had beter geen feedback kunnen vragen en had zelf zijn onderzoek voor publicatie vaker moeten controleren.

Wat is pre-registratie?

• Pre-registratie betekent dat onderzoekers vooraf een onderzoeksprotocol indienen met daarin onder meer de hypothesen, methodologie en verwachtingen; dit vormt als het ware een “half artikel”. Publicatie wordt hierbij losgekoppeld van de uiteindelijke resultaten.
• Praktisch gezien wordt dit protocol bij een tijdschrift ingediend, zodat al vóórdat de resultaten bekend zijn wordt besloten of het onderzoek gepubliceerd wordt. Dit voorkomt dat alleen significante uitkomsten gepubliceerd raken en bevordert transparantie.

Oefenvraag:

• Wat zijn de voordelen van pre-registratie?

1. De auteur heeft zekerheid van publicatie.
2. Het geeft een realistischer beeld van de wetenschap, omdat er ook niet-significante uitkomsten vertoond worden.
3. Voorkomt het file-drawer probleem
4. Alle hierboven genoemde antwoorden zijn juist

Wat is retractie?

• Retractie is een vorm van zelfcorrectie waarbij een onderzoeker (of een tijdschrift) een gepubliceerd onderzoek officieel terugtrekt.
• In de praktijk kan dit grote nadelen hebben: het zorgt vaak voor reputatieschade bij de onderzoeker en de wetenschap in het algemeen, en omdat er meestal veel tijd zit tussen publicatie en retractie, kan het onderzoek in de tussentijd al veelvuldig geciteerd zijn.

Oefenvraag:

• Wat is het gevolg van retractie na een lange tijd?

1. Wanneer de onderzoeker duidelijk naar buiten brengt dat dit onderzoek niet kloppend is, dan is er in principe niet heel veel aan de hand.
2. Het is al verspreid over het internet, waardoor het lastiger te verwijderen is
3. Veel onderzoekers hebben dit onderzoek gebruikt voor eigen onderzoek.
4. C en D zijn beiden juist

Wat zijn Questionable Research Practices (QRP)?

• Questionable Research Practices (QRP’s) zijn handelingen van onderzoekers die de kans op significante resultaten vergroten, maar die de betrouwbaarheid van het onderzoek kunnen ondermijnen.
• Concreet betekent dit dat een onderzoeker bijvoorbeeld een uitschieter mag verwijderen, maar alleen als hij dit transparant doet en goed kan onderbouwen. Zonder die verantwoording wordt het gezien als een QRP.

Oefenvraag:

• Wat kan een QRP zijn?

1. Tijdens het onderzoek een grotere steekproef nemen
2. Een uitschieter verwijderen
3. Bepaalde waarden afronden op een gunstige manier
4. Alle hierboven genoemde antwoorden.

Antwoorden bij de oefenvragen

Eerlijkheid

• Vraag: Mark verwijdert een uitschieter zonder dit te melden.

• Correct antwoord: C (Transparantie)

• Toelichting: Het probleem is niet dat hij de uitschieter verwijdert (dat kan soms legitiem zijn), maar dat hij het niet vermeldt. Daardoor ontbreekt transparantie.

• Nuance: Het raakt óók aan eerlijkheid (want je geeft een vertekend beeld), maar in onderwijscontext van onderzoek wordt meestal transparantie als hoofdprincipe aangewezen.

Zorgvuldigheid

• Vraag: Kirsten gebruikt Wikipedia zonder auteur te vermelden.

• Correct antwoord: A (Eerlijkheid)

• Toelichting: Dit wordt gezien als plagiaat of onjuist brongebruik: daarmee is de eerlijkheid in het geding.

• Nuance: Je zou ook kunnen zeggen dat het slordigheid (zorgvuldigheid) is, maar plagiaat valt strikter onder eerlijkheid.

Transparantie

• Vraag: Mohammeds vader wil inzage in onderzoek vóór publicatie.

• Correct antwoord: D (Onafhankelijkheid)

• Toelichting: Er is hier sprake van belangenverstrengeling. Transparantie kan helpen dit te melden, maar het kernprobleem is dat de onafhankelijkheid in gevaar komt.

Onafhankelijkheid

• Vraag: Kees confronteert deelnemers met heftige interviews, wel na waarschuwing.

• Correct antwoord: D (Verantwoordelijkheid)

• Toelichting: Het gaat hier om ethische verantwoordelijkheid voor het welzijn van deelnemers. Onafhankelijkheid of zorgvuldigheid zijn niet het centrale probleem.

Verantwoordelijkheid

• Vraag: Suus vergeet een uitschieter mee te nemen.

• Correct antwoord: A (Zorgvuldigheid)

• Toelichting: Het gaat hier om een slordige fout: de uitschieter wordt vergeten, niet bewust weggelaten. Dat maakt dit een zorgvuldigheidskwestie.

• Nuance: Als ze hem bewust had weggelaten, zou eerlijkheid of transparantie meer van toepassing zijn.

Publication bias

• Vraag: Daan verwijdert een uitschieter zodat de p-waarde significant wordt.

• Correct antwoord: C (p-hacking)

• Toelichting: Dit is typisch p-hacking: je manipuleert data om een gewenst resultaat te krijgen. Publication bias gaat over niet publiceren van niet-significante resultaten.

Confirmation bias

• Vraag: Kasper past hypothesen aan na significante uitkomst.

• Correct antwoord: D (HARKing)

• Toelichting: Hypotheses achteraf aanpassen heet HARKing. Confirmation bias zou zijn: alleen bevestigende data serieus nemen, maar hier is sprake van herformuleren achteraf.

File-drawer problem

• Vraag: Sanne wil vooral snel naar verwachte conclusie.

• Correct antwoord: A (Confirmation bias)

• Toelichting: Ze richt zich op het bevestigen van haar verwachtingen → confirmation bias. File-drawer problem gaat over het ongepubliceerd laten van resultaten.

p-hacking

• Vraag: Peter stopt zijn onderzoek zodra hij geen significante uitkomst verwacht.

• Correct antwoord: A (Publication bias)

• Toelichting: Hier wordt het niet publiceren van niet-significante resultaten toegepast: dat hoort bij publication bias. Het is geen p-hacking, want hij manipuleert de analyse niet.

HARKing

• Vraag: Saskia publiceert alleen significante resultaten, andere laat ze liggen.

• Correct antwoord: B (File-drawer problem)

• Toelichting: Dit is het schoolvoorbeeld van het file-drawer problem: niet-significante resultaten verdwijnen. Het is geen HARKing, want ze verzint geen hypothesen achteraf.

PPPR

• Vraag: Daniël krijgt achteraf stevige kritiek via online forum.

• Correct antwoord: C

• Toelichting: Hij had beter vooraf om feedback gevraagd. Daarmee wordt de rol van PPPR duidelijk: verantwoordelijkheid ligt bij het bredere veld, maar voorbereiding vooraf blijft essentieel.

Pre-registratie

• Vraag: Wat zijn de voordelen?

• Correct antwoord: D (Alle antwoorden zijn juist)

• Toelichting: Pre-registratie geeft zekerheid van publicatie, voorkomt file-drawer problem en maakt wetenschap realistischer.

Retractie

• Vraag: Wat is het gevolg van late retractie?

• Correct antwoord: D (C en D zijn juist)

• Toelichting: Het onderzoek is al verspreid én geciteerd → beide gevolgen spelen.

QRP’s

• Vraag: Wat kan een QRP zijn?

• Correct antwoord: D (Alle antwoorden)

• Toelichting: Elk van de genoemde keuzes kan een questionable research practice zijn, mits onvoldoende verantwoord of transparant.

Bron en meer studiehulp

Deze begrippenlijst is gebaseerd op:

• Vak: Kennismaking met Onderzoeksmethoden en Statistiek en Toepassing van Onderzoeksmethoden en statistiek
• Onderdeel: Integer onderzoek doen
• Instelling: Universiteit Utrecht
• Literatuur: Introduction to and application of research methods and statistics van Morling & Carr, 1e druk + Grasple lessen
• Studiehulp:
  • Voor alle beschikbare samenvattingen, bulletsamenvattingen, oefenvragen, begrippenlijsten en tentamtentips bij het boek, zie: Studiegids voor samenvattingen bij Introduction to and application of research methods and statistics (UU) van Morling en Carr
  • Voor alle beschikbare oefententamens, begrippenlijsten en tentamentips bij het vak, zie: Studiegids voor tentamens halen van Kennismaking met Onderzoeksmethoden en Statistiek (KOM) aan de Universiteit Utrecht