“Simmons, Nelson, & Simonsohn (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant.” - Article summary

A false positive refers to an incorrect rejection of the null hypothesis. The decisions a researcher can make during the research process is called the researcher degrees of freedom. Four common degrees of freedom are choosing sample size (1), using covariates (2), choosing among dependent variables (3) and reporting subsets of experimental conditions (4). The researcher degrees of freedom can significantly increase the false positive rate. There are six guidelines for authors to prevent the increased rate of false positives:Authors must decide the rule for terminating data collection before data collection begins and report this rule in the article. Authors must collect at least 20 observations per cell or else provide a compelling cost-of-data collection justification.Authors must list all variables collected in a study.Authors must report all experimental conditions, including failed manipulationsIf observations are eliminated, authors must also note what the statistical results are if those observations are included.If an analysis includes a covariate, authors must report the statistical results of analysis without the covariate. There are four guidelines for reviewers to prevent the increased rate of false positives:Reviewers should ensure that authors follow the requirements.Reviewers should be more tolerant of imperfection in results.Reviewers should require authors to demonstrate that their results do not hinge on arbitrary analytic decisions. If justifications of data collection or analysis are not compelling, reviewers should require the authors to conduct an exact replication. ...


Access options

The full content is only visible for JoHo WorldSupporter members.

  • For information about international JoHo WorldSupporter memberships, read more here.
  • Are you already a member?
    • During the account creation you can select 'I am a JoHo WorldSupporter Member'.
    • Became a member after you've created the account, then you can change the settings of your account on your WorldSupporter user page
  • or fill out the contact form

 

For Dutch visitors

Toegang tot pagina of document:

Word JoHo donateur voor online toegang

Je bent al donateur, maar je hebt geen toegang?

  • Log in, of maak een account aan als je dat nog niet eerder hebt gedaan op worldsupporter.org.
  • Bij het aanmaken van je account kan je direct aangeven dat je JoHo WorldSupporter donateur bent, of je past dit later aan op de user page van je account
  • Kom je er niet uit, neem dan even contact op! Of check de veel gestelde vragen

Kom je er niet helemaal uit of heb je problemen met inloggen?

  • Lees de antwoorden op de meest gestelde vragen.
  • Of laat je helpen door één van de JoHo medewerkers door het online contactformulier in te vullen

-----------------------------------------------


JoHo WorldSupporter donateur worden

JoHo membership zonder extra services (donateurschap) = €5 per kalenderjaar

  • Voor steun aan de JoHo WorldSupporter en Smokey projecten en een bijdrage aan alle activiteiten op het gebied van internationale samenwerking en talentontwikkeling
  • Voor gebruik van de basisfuncties van JoHo WorldSupporter.org
  • Voor het gebruik van de kortingen en voordelen bij partners
  • Voor gebruik van de voordelen bij verzekeringen en reisverzekeringen zonder assurantiebelasting

JoHo membership met extra services (abonnee services) = €10 per kalenderjaar

€10 per kalenderjaar : Online toegang Only

  • Voor online toegang en gebruik van alle online boeksamenvattingen en studietools op WorldSupporter.org en JoHo.org
  • voor online toegang tot de tools en services voor werk in het buitenland, lange reizen, vrijwilligerswerk, stages en studie in het buitenland
  • voor online toegang tot de tools en services voor emigratie of lang verblijf in het buitenland
  • voor online toegang tot de tools en services voor competentieverbetering en kwaliteitenonderzoek
  • Voor extra steun aan JoHo, WorldSupporter en Smokey projecten

Steun JoHo en steun jezelf door JoHo WorldSupporter donateur te worden

Direct Donateur Worden

Connect & Continue
WorldSupporter Resources

Scientific & Statistical Reasoning – Article summary (UNIVERSITY OF AMSTERDAM)

Image

This bundle contains all the summaries for the course "Scientific & Statistical Reasoning" given at the University of Amsterdam. It contains the following articles:

  • “Borsboom & Cramer (2013). Network analysis: An integrative
...

Scientific & Statistical Reasoning – Summary interim exam 2 (UNIVERSITY OF AMSTERDAM)

Image

This bundle contains everything you need to know for the fifth interim exam for the course "Scientific & Statistical Reasoning" given at the University of Amsterdam. It contains both articles, book chapters and lectures. It consists of the following materials:

...
Contributions, Comments & Kudos

Add new contribution

CAPTCHA
This question is for testing whether or not you are a human visitor and to prevent automated spam submissions.
Image CAPTCHA
Enter the characters shown in the image.
Summaries & Study Note of JesperN
Join World Supporter
Join World Supporter
Log in or create your free account

Why create an account?

  • Your WorldSupporter account gives you access to all functionalities of the platform
  • Once you are logged in, you can:
    • Save pages to your favorites
    • Give feedback or share contributions
    • participate in discussions
    • share your own contributions through the 11 WorldSupporter tools
Content
Access level of this page
  • Public
  • WorldSupporters only
  • JoHo members
  • Private
Image
Image
Statistics
35
Promotions
vacatures

JoHo kan jouw hulp goed gebruiken! Check hier de diverse bijbanen die aansluiten bij je studie, je competenties verbeteren, je cv versterken en je een bijdrage laten leveren aan een mooiere wereld