Sliced And Diced: The Inside Story Of How Ivy League Food Scientist Shoddy Data In Viral Studies heeft omgezet - Lee - 2018 - Artikel

Een manier om resultaten te publiceren die eigenlijk niet waar zijn, is door middel van "p-hacking". Dit betekent dat een gegevensset in plakjes wordt gesneden en in blokjes wordt gesneden, zodat er een indrukwekkend uitziend patroon kan worden ontdekt. Het kan ook zijn dat variabelen worden aangepast om een ​​specifiek resultaat te tonen of doen alsof een bevinding een originele hypothese bewijst, die er in de eerste plaats niet was. In de psychologie wordt een bevinding meestal als significant beschouwd wanneer de p-waarde kleiner is dan of gelijk is aan 0,05. Maar door excessieve databewerkingen kan dit alleen worden bereikt door een willekeurige kans en daarom lijkt een hypothese soms geldig wanneer er in werkelijkheid geen significant effect is.

Brian Wansink

Brian Wansink is het hoofd van de onderzoekseenheid voor voedselpsychologie aan de Cornell University, het Food and Brand Lab. Hij werd beschouwd als een sociaalwetenschappelijke ster omdat hij veel artikelen heeft geschreven over het hoe en waarom van eten. Deze artikelen kregen veel media-aandacht van prestigieuze kranten en tijdschriften. De kern van zijn artikelen was dat gewichtsverlies voor iedereen mogelijk is door slechts een paar kleine veranderingen in hun omgeving aan te brengen zonder streng dieet of intensieve training. Dus, het waren claims die de massa graag zou willen geloven.

Maar sommige eigenaardigheden kwamen aan het licht toen Özge Sigirci, een jonge wetenschapper uit Turkije, de Cornell University kwam bezoeken. Ze kreeg meteen een opdracht van Wansink. Hij gaf haar een dataset van een experiment in een Italiaans restaurant en vroeg haar om deze dataset te analyseren en met mooie resultaten te komen. Uiteindelijk is dit wat ze deed, ze heeft de gegevens steeds opnieuw geanalyseerd om tot mooie resultaten te komen. Wansink meldde dit in zijn blog en prees Sigirci publiekelijk.

Het Wansink-dossier

Maar statistici en andere onderzoekers hebben betoogd dat dit niet is hoe wetenschap moet worden gedaan. Ze zeggen dat onderzoekers eerst met specifieke hypothesen moeten komen voordat ze een onderzoek uitvoeren. Dit is anders dan wat Wansink heeft gedaan: hij heeft met terugwerkende kracht hypothesen opgesteld die passen bij de gegevens nadat hij een experiment had uitgevoerd. Dus kreeg hij veel kritiek op zijn artikel.

In de afgelopen veertien maanden hebben critici 'het Wansink-dossier' opgesteld, wat bestaat uit een lijst met fouten en inconsistenties die suggereren dat hij zijn gegevens heeft gemanipuleerd. Cornell opende een onderzoek en sindsdien werden vijf van zijn papieren teruggetrokken en werden er veertien gecorrigeerd.

Het lijkt erop dat Wansink en zijn team manipulators van gegevens waren. Ze maakten zelfs grapjes over het manipuleren van data voor indrukwekkend ogende resultaten. Ze pasten ook hun bevindingen aan in de hoop dat de media het zouden gebruiken zodat ze viraal zouden gaan.

Veel onderzoekers, waaronder Brian Nosek, zijn ontzet over de omvang van gegevensmanipulatie door Wansink. De replicatiecrisis heeft al enkele van de beroemdste bevindingen in de sociale wetenschappen doorboord. Nosek en zijn team probeerden 100 psychologie-experimenten te herhalen en zij konden slechts de helft van deze originele bevindingen reproduceren.

P-hacking

Een manier om resultaten te publiceren die eigenlijk niet waar zijn, is door middel van "p-hacking". Dit betekent dat een gegevensset in plakjes wordt gesneden en in blokjes wordt gesneden, zodat er een indrukwekkend uitziend patroon kan worden ontdekt. Het kan ook zijn dat variabelen worden aangepast om een ​​specifiek resultaat te tonen of doen alsof een bevinding een originele hypothese bewijst, die er in de eerste plaats niet was. In de psychologie wordt een bevinding meestal als significant beschouwd wanneer de p-waarde kleiner is dan of gelijk is aan 0,05. Maar door excessieve databewerkingen kan dit alleen worden bereikt door een willekeurige kans en daarom lijkt een hypothese soms geldig wanneer er in werkelijkheid geen significant effect is.

Wansink beweert dat zijn gegevens grondig worden onderzocht en dat dit is waar explorerend onderzoek over gaat. Maar, in zijn mail-inbox staan ​​veel voorbeelden van wat statistici p-hacking noemen.

Er was bijvoorbeeld een e-mail waarin een van zijn collega's schreef dat hij 400 strategische bemiddelingsanalyses had gedaan, maar niets kon vinden en vroeg of het een goed idee was om met andere variabelen te rotzooien. Een paar dagen later zei deze collega dat hij een aantal interessante resultaten had gevonden. Kristin Sainani zei dat dit p-hacking op steroïden is: ze voeren elke mogelijke combinatie van variabelen uit met het doel om iets interessants te vinden. En hoe meer tests je doet, hoe groter de kans is om zoiets te kunnen vinden.

Een ander voorbeeld is dat van stickers van Elmo uit Sesamstraat op appels. Wansink voerde een onderzoek uit om te zien of kinderen tijdens de lunch een appel met een van deze stickers boven een koekje zouden verkiezen. Zijn resultaten kwamen uit met een p-waarde van 0,06. Hij e-mailde vervolgens een collega en vroeg hem of hij deze p-waarde lager kon krijgen. Deze resultaten werden vervolgens drie verschillende keren gepubliceerd: één keer met de oorspronkelijke p-waarde, vervolgens met een p-waarde van 0,02 en later werd het onderzoek volledig ingetrokken. Wansink beweerde dat dit kwam omdat het experiment werd gedaan met kleuters en niet met 8- tot 11-jarigen.

Wei van de Universiteit van Minnesota zegt dat wetenschappers onder grote druk staan ​​om de 0,05 p-waarde te bereiken. Wansink beweerde dat hij nog nooit van de term "p-hacking" had gehoord.

Wansink heeft meer dan 250 papieren geproduceerd. Het lijkt erop dat hij ernaar streeft om meer artikelen te publiceren, zodat hij wordt beloond met promoties, financiering en roem.

Het lijkt erop dat de peer reviewers de fouten in zijn studies niet hebben gezien. Toen hun werk werd afgewezen, richtten de leden van het Food and Brand Lab zich vaak op tijdschriften van lagere kwaliteit totdat ze slaagden. Deze manier van handelen is een van de redenen voor de replicatiecrisis.

BulletPoints

• Brian Wansink is het hoofd van de onderzoekseenheid voor voedselpsychologie aan de Cornell University, het Food and Brand Lab. Hij werd beschouwd als een sociaalwetenschappelijke ster omdat hij veel artikelen heeft geschreven over het hoe en waarom van eten. Deze artikelen kregen veel media-aandacht van prestigieuze kranten en tijdschriften. De kern van zijn artikelen was dat gewichtsverlies voor iedereen mogelijk is door slechts een paar kleine veranderingen in hun omgeving aan te brengen zonder streng dieet of intensieve training. Dus, het waren claims die de massa graag zou willen geloven.
• Maar sommige eigenaardigheden kwamen aan het licht toen Özge Sigirci, een jonge wetenschapper uit Turkije, de Cornell University kwam bezoeken. Ze kreeg meteen een opdracht van Wansink. Hij gaf haar een dataset van een experiment in een Italiaans restaurant en vroeg haar om deze dataset te analyseren en met mooie resultaten te komen. Uiteindelijk is dit wat ze deed, ze heeft de gegevens steeds opnieuw geanalyseerd om tot mooie resultaten te komen. Wansink meldde dit in zijn blog en prees Sigirci publiekelijk.
• Een manier om resultaten te publiceren die eigenlijk niet waar zijn, is door middel van "p-hacking". Dit betekent dat een gegevensset in plakjes wordt gesneden en in blokjes wordt gesneden, zodat er een indrukwekkend uitziend patroon kan worden ontdekt. Het kan ook zijn dat variabelen worden aangepast om een ​​specifiek resultaat te tonen of doen alsof een bevinding een originele hypothese bewijst, die er in de eerste plaats niet was. In de psychologie wordt een bevinding meestal als significant beschouwd wanneer de p-waarde kleiner is dan of gelijk is aan 0,05. Maar door excessieve databewerkingen kan dit alleen worden bereikt door een willekeurige kans en daarom lijkt een hypothese soms geldig wanneer er in werkelijkheid geen significant effect is.