A Tutorial on Testing Hypotheses Using the Bayes Factor - Hoijtink et al. - 2018 - Artikel

Wat is de Bayes Factor?

Null-hypothesetoetsen testen (NHST) is het dominante statistische middel in psychologisch onderzoek. Het wordt gebruikt om te testen of de nulhypothese van ‘geen effect’ kan worden afgewezen op basis van de waargenomen gegevens. Dit wordt gedaan door de p-waarde te vergelijken met een vooraf gespecificeerd significantieniveau. De populariteit van NHST is verrassend, omdat het in de laatste decennia zwaar is bekritieerd.

Wat is de Bayes Factor?

Null-hypothesetoetsen testen (NHST) is het dominante statistische middel in psychologisch onderzoek. Het wordt gebruikt om te testen of de nulhypothese van ‘geen effect’ kan worden afgewezen op basis van de waargenomen gegevens. Dit wordt gedaan door de p-waarde te vergelijken met een vooraf gespecificeerd significantieniveau. De populariteit van NHST is verrassend, omdat het in de laatste decennia zwaar is bekritieerd.

Wat is de publication bias?

Publication bias is het fenomeen dat onderzoek met een ‘Type 1 fout’ worden gepubliceerd (p .05 en een niet afgewezen H0 meestal niet worden gepubliceerd. Dit wordt ook wel de file-drawer problem genoemd: een vals resultaat wordt gepubliceerd terwijl alle onderzoek waaruit blijkt dat het resultaat vals is in de bestandslade (file-drawer) blijft staan. Dit veroorzaakt het fenomeen van twijfelachtige onderzoekspraktijken, waarbij onderzoekers ongeschikte methoden gebruiken om hun data te analyseren met als doel om een p

Wat is preregistratie?

Om publication bias en twijfelachtige onderzoekspraktijken te voorkomen, zou er gebruik gemaakt kunnen worden van preregistratie van het onderzoek. Idealiter zou preregistratie inhouden dat onderzoekers hun paper schrijven voordat ze de gegevens verzamelen, dat wil zeggen, zonder gegevensbeschrijving, data-analyse (maar het analyseplan wel) en conclusie. Op basis van deze preregistratie beslist het tijdschrift of het onderzoek interessant genoeg is om publicatie te garanderen. Als de paper wordt geaccepteerd, verzamelen de onderzoekers de gegevens, voeren ze de analyses uit, schrijven ze een conclusie en is hun paper gereed voor publicatie.

Wat is de Bayes factor?

In deze paper zal de focus op een ander alternatief van NHST liggen, namelijk op het testen van hypothese door middel van de Bayes factor.

Leren over hypothese-evaluatie met behulp van de Bayes factor zou psychologisch onderzoek kunnen verbeteren. Het heeft namelijk een aantal voordelen ten opzichte van de nul-hypothese-significantie testen:

1. Het geeft bewijs ten gunste van elk van de hypothesen die worden overwogen (het kan worden gebruikt om de ondersteuning voor de nulhypothese te kwantificeren) in plaats van een dichotome beslissing.

2. Het kan eenvoudig worden gebruikt voor de evaluatie van meerdere hypothesen zonder zich zorgen te hoeven maken over de juiste manier om rekening te houden met meerdere tests.

3. Het maakt een continue herevaluatie van hypothesen mogelijk nadat aanvullende gegevens zijn verzameld.

4. Wat wordt gecontroleerd, zijn de Bayesiaanse foutkansen, dat wil zeggen, wat zijn de kansen om verkeerde beslissingen te nemen op basis van de informatie in de waargenomen data (Bayesiaanse foutkansen houden geen rekening met wat er gebeurt als gegevens herhaaldelijk worden bemonsterd uit de nul- en alternatieve populaties).

De Bayes factor controleert echter niet op Type I en Type II fouten, maar dit impliceert niet dat deze fouten onder controle gehouden kunnen worden.

Om de Bayes factor te kunnen berekenen is er een gespecificeerde prior distribution nodig.

De keuze voor de variantie van deze spreiding is subjectief. Onderzoekers die de voorkeur geven aan objectieve inferenties kunnen om deze reden bezwaar maken tegen het gebruik van de Bayes factor. Voor hypothesen die zijn gespecificeerd met behulp van gelijkheidsbeperkingen (zoals de nulhypothese) kan echter een zogenaamde gevoeligheidsanalyse worden gebruikt om de invloed van de eerdere variantie op de resulterende Bayes factoren te bepalen; en, voor informatieve hypothesen die zijn gespecificeerd met behulp van alleen ongelijkheidsbeperkingen, beïnvloedt de eerdere variantie de resulterende Bayes factoren niet.

Er zijn een aantal Bayes factoren die kunnen worden gebruikt om het bewijsmateriaal in de gegevens te kwantificeren voor een nul- en een alternatieve hypothese. Deze paper zal beperkt zijn tot de drie die in software zijn geïmplementeerd en dus gebruikt kunnen worden voor psychologisch onderzoek.

De nul-hypothese komt meestal in de volgende vorm:

H0 : het effect is nul.

En de alternatieve hypothese komt meestal in de volgende vorm:

Ha : is not H0.

De Bayes Factor BF0u kwantificeert hoeveel waarschijnlijker het is dat de data geobserveerd zal worden onder H0 dan onder Hu. BF0u kan daarom geïnterpreteerd worden als het relatieve bewijs in de geobserveerde data voor H0 versus Hu. Als BF0u 1 is, dan is er geen voorkeur voor H0 of Hu. Als BF0u groter is dan 1, dan heeft H0 de voorkeur. Als BF0u tussen de 0 en 1 in ligt dan heeft Hu de voorkeur.

De ondersteuning uitgedrukt door de Bayes factor wordt bepaald door het balanceren van de relatieve fit en de relatieve complexiteit van H0 versus Hu. Een goede hypothese heeft een goede fit als het een adequate beschrijving heeft van de gegevens die voorhanden zijn. Omdat betere voorspellingen kunnen worden afgeleid van meer specifieke hypotheses, is een goede hypothese niet onnodig complex, het is specifiek en spaarzaam.

Wat is de posterior distribution?

De posterior distribution vat de informatie uit de data en de prior distribution samen in relatie tot het populatie gemiddelde van elke groep in de ANOVA,

De implementatie in bain renders is µg ∼N(xg,ˆ σ2/Ng)

Voor elke g = 1,...,G groepen, xg staat voor het steekproefgemiddelde, ˆ σ2 staat voor the sample estimate of the pooled within variance, en Ng staat voor de steekproefgrootte in Groep g.

Bij het gebruik van de Bayes factor, wordt de verdeling van het populatiegemiddelde van elk van de groepen in de ANOVA zo gekozen dat het een adequate kwantificering van de complexiteit van een hypothese oplevert. De implementatie in bain is μg ~ N (μB, 1 / bg × σ2 / Ng) voor elk van g = 1, …., G groepen. Deze eerdere verdeling heeft drie belangrijke kenmerken:

1. Het eerdere gemiddelde μB is zodanig gekozen dat het zich bevindt op de grens van de hypotheses die worden overwogen.

2. Het heeft dezelfde vorm (een normale verdeling) als de posterior distribution.

3. Het is minder informatief dan de posterior distribution als gevolg van een grotere variantie die wordt verkregen door de posterieure variant te vermenigvuldigen met de breuk 1 / bg.

Wat is de complexiteit van een hypothese?

De complexiteit van een hypothese is het deel van de eerdere verdeling dat wordt ondersteund door de hypothese die voorhanden is. De complexiteit heeft een waarde tussen 0 en 1, waarbij kleinere waarden duiden op een minder complexe, dat wil zeggen meer spaarzame, hypothese.

Wat is de fit van een hypothese?

De fit van een hypothese is het deel van de posterior distribution dat wordt ondersteund door de hypothese die voorhanden is. De fit heeft een waarde tussen de 0 en 1, waarbij grotere waarden duiden op een betere fit.

In het Bayesiaanse kader wordt de onzekerheid over hypotheses gekwantificeerd met behulp van Bayesiaanse waarschijnlijkheden. Aan de ene kant zijn er de prior kansen P (H0) en P (Hu), dat wil zeggen, de waarschijnlijkheden van H0 en Hu vóór het waarnemen van de gegevens. Aan de andere kant zijn er de posterior kansen P (H0 | data) en P (Hu | data), dat wil zeggen, de waarschijnlijkheden van H0 en Hu na observatie van de gegevens.

De Bayesiaanse waarschijnlijkheden P (H0 | data) en P (Hu | data) (ook posterior-waarschijnlijkheden genoemd) kwantificeren de ondersteuning voor respectievelijk H0 en Hu, na het waarnemen van de gegevens. P (H0 | data) kan dus worden gezien als de Bayesiaanse foutkans wanneer Hu wordt geselecteerd als de geprefereerde hypothese, en P (Hu | data) de Bayesiaanse foutkans is wanneer H0 als de geprefereerde hypothese wordt geselecteerd. De verhouding van deze kansen kan worden berekend met behulp van de BF en de eerdere kansen via:

(H0|data) / (Hu|data) = BF0u x (P(H0) / P (Hu))

waarbij P (H0) en P (Hu) de prior kansen aangeven, dat wil zeggen een evaluatie van de ondersteuning voor de hypothesen voordat de gegevens worden waargenomen.

De Bayes factor levert geen dichotoom (afwijzend of niet afwijzen H0) op, het is namelijk een kwantificering van de steun in de gegevens voor de hypotheses die worden overwogen. Als BF0u ongeveer 1 is, is er geen voorkeur voor de nul- of alternatieve hypothese, dat wil zeggen, de Bayes-factor kan niet beslissend zijn en aanvullende gegevens zijn nodig om meer bewijs te verkrijgen over welke hypothese waarschijnlijk waar is.

Het doel van Bayesiaanse hypothese testen, is niet om te beslissen welke hypothesen afgewezen of geaccepteerd moeten worden na het observeren van de gegevens. Het doel is om de onzekerheid over de hypothesen met behulp van de waargenomen gegevens te kwantificeren.

Wanneer H0 en Hu worden geëvalueerd met behulp van de Bayes-factor, hebben beide hypothesen een gelijke status, dat wil zeggen dat ze niet de rol van de traditionele nul- of alternatieve hypotheses hebben, het zijn eenvoudigweg twee hypotheses. De waarschijnlijkheid van het waarnemen van de gegevens wordt berekend op basis van elke hypothese en vertaald in de Bayes-factor. Dit impliceert dat de Bayes-factor kan resulteren in een voorkeur van H0 ten opzichte van Hu (als de kans dat de gegeven H0 de grootste is) evenals een voorkeur voor Hu boven H0 (als de kans dat de gegeven gegevens Hu het grootst is).

De Bayes factor selecteert de beste hypothese onder voorbehoud. Het kan zijn dat beide hypotheses een ontoereikende beschrijving geven van de populatie waaruit de gegevens zijn gehaald. De hypotheses kunnen niet worden gebruikt om de waarheid te ontdekken met betrekking tot de populatie, omdat er hypotheses kunnen zijn die superieur zijn aan de hypothesen die in overweging worden genomen. Wat wordt verkregen is niet de waarheid, maar de beste hypothese van de reeks hypothesen die wordt overwogen en die alleen zal blijven bestaan totdat een betere hypothese is bedacht en geëvalueerd.

Hoe groter het aantal hypothesen dat wordt overwogen, hoe groter de kans is om de verkeerde hypothese te kiezen. Daarom zou men alleen hypothesen moeten meenemen die aannemelijk zijn en de belangrijkste (concurrerende) verwachtingen vertegenwoordigen met betrekking tot de onderzoeksvraag.

Bayesiaanse updating is gericht op het bereiken van doorslaggevend bewijs voor één van de hypothesen en dat concurrerende hypothesen kunnen worden uitgesloten met kleinschalige Bayesiaanse foutkansen, dat wil zeggen, met kleinschalige waarschijnlijkheden om een ​​foutieve beslissing te nemen gezien de gegevens die momenteel beschikbaar zijn. Dit houdt in dat na het verzamelen van aanvullende gegevens zowel de Bayes factor als de posterieure kansen opnieuw kunnen worden berekend en geëvalueerd.

Wat is de invloed van outliers en modelassumpties?

Een outlier is een persoon wiens score op de afhankelijke variabele nogal verschilt van de scores van de andere personen in de groep. Belangrijke ANOVA-assumpties zijn:

• De score van elke persoon moet onafhankelijk zijn van de score van de andere
  personen.

• Binnen elke groep moeten de scores normaal verdeeld zijn.

• Elke groep zou dezelfde restvariantie moeten hebben.

Deze assumpties kunnen worden gebruikt wanneer zowel NHST- als Bayes-factoren worden gebruikt voor de evaluatie van hypotheses. Wanneer Bayes-factoren worden gebruikt voor de evaluatie van hypothesen, is de aanwezigheid van een outlier even schadelijk als wanneer NHST wordt gebruikt.
Het lijkt erop dat de Bayes-factor, net als NHST, robuust is als de schendingen van de assumpties niet te extreem zijn.

Omdat, vergelijkbaar met NHST, de Bayes-factor afhankelijk is van het gebruikte statistische model, is het waarschijnlijk dat de Bayes-factor ook gevoelig is voor modelassumpties. Daarom wordt aangeraden de volgende actie te overwegen:

• Bepaal wat als outliers worden beschouwd in een preregistratie van het onderzoek.

Er zijn twee acties mogelijk wanneer blijkt dat de data outliers bevatten:

• De outliers kunnen uit de gegevens worden verwijderd voordat de gewenste analyses worden uitgevoerd.

• Een zogenaamde robuste inferentie kan worden gebruikt, dat wil zeggen, gebruik statistische benaderingen die niet gevoelig zijn voor de aanwezigheid van outliers.

Wat zijn informatie hypotheses?

Informatieve hypotheses specificeren de verwachte relaties tussen (combinaties van) parameters en kunnen effect sizes omvatten. In een ANOVA-context, de vergelijking van twee of meer onafhankelijke gemiddelden, zijn de belangrijkste bouwstenen:

• Bouwsteen 1: gelijkheid en ordebepaling tussen de parameters. Dit resulteert in beperkingen van de vorm μ1 μ2, dat wil zeggen dat groep 1 kleiner is dan, gelijk is aan en groter is dan het gemiddelde van groep 2.

• Bouwsteen 2: gelijkheid en ordebeperkingen tussen combinaties van parameters. Dit resulteert in beperkingen van bijvoorbeeld de vorm μ1-μ2> μ3-μ4 of μ1 + μ2> μ3 + μ4.

• Bouwsteen 3: effectmaten. Bijvoorbeeld μ1> μ2 + .2 σ, het gemiddelde van Groep 1 is ten minste 0,2 standaardafwijkingen groter dan het gemiddelde van Groep 2.

• Bouwsteen 4: bereikbeperkingen. Deze kunnen bijvoorbeeld de traditionele nul en alternatieve hypothese vervangen, bijvoorbeeld H0: | μ1-μ2 | <.2 versus="" hu:=""> .2 σ, waarbij H0 aangeeft dat het verschil tussen beide gemiddelden kleiner is dan .2 standaarddeviaties en Hu stelt dat het verschil groter is dan .2 standaarddeviaties.

Met deze bouwstenen kunnen hypotheses worden opgesteld.

Met welke zaken moet rekening worden gehouden bij het evalueren van informatieve hypotheses?

Er zijn een aantal zaken waar rekening mee moet worden gehouden bij het evalueren van informatieve hypotheses:

1. Alles wat is gezegd over de Bayes-factor, posterior kansen en Bayesiaanse foutkansen in de context van de evaluatie van de nul- en alternatieve hypotheses, geldt ook voor de evaluatie van informatief hypothesen.

2. Het kan zijn dat geen van de informatieve hypotheses een adequate beschrijving geeft van de populatie van interesse. Als dat gebeurt, geeft de Bayes-factor de voorkeur aan het beste van deze hypotheses. Het hebben van niet toereikende hypotheses kan op twee manieren worden voorkomen:

• Als alle informatieve hypothesen ontoereikend zijn, zal de Bayes-factor de voorkeur geven aan Hu.

• Als een informatieve hypothese Ha wordt geconstrueerd met behulp van alleen ongelijkheidsbeperkingen, heeft het complement Hc de voorkeur als de beperkingen, gebruikt om Hi te formuleren, niet door de gegevens worden ondersteund.

• Houd de verzameling van concurrerende informatieve hypotheses zo klein mogelijk.

• De overwogen informatieve hypothesen moeten compatibel zijn. Hypothesen moeten compatibel zijn, omdat de oplossing voor de vergelijkingen het gemiddelde van de eerdere verdeling onder Hu is.

Bij het evalueren van hypothesen die zijn opgegeven met alleen ongelijkheidsbeperkingen, zijn de Bayes factor en posterior kansen niet gevoelig voor de fractie van informatie in de data van elke groep die is gebruikt om een ​​prior variantie te specificeren. Dit wil zeggen dat in het geval van hypothesen met ongelijkheidsimplicatie er geen discussie is over welke fractie gebruikt moet worden (welke waarde dan ook) en dat een gevoeligheidsanalyse nooit nodig is.

Hoe moeten replicatieo-nderzoeken geëvalueerd worden aan de hand van informatieve hypotheses?

In de context van replicatie-onderzoeken is het vrijwel zeker dat de nulhypothese niet de resultaten vertegenwoordigt die door de auteurs van het oorspronkelijke onderzoek zijn verkregen. Informatieve hypotheses kunnen worden gebruikt om de resultaten van een originele studie weer te geven, die vervolgens opnieuw kunnen worden geëvalueerd met behulp van de resultaten van een replicatiestudie. De volgende procedure hoort hierbij:

Stap 1. Vertaal de belangrijkste resultaten van het oorspronkelijke onderzoek naar een
informatieve hypothese Horiginal. In de context van ANOVA-modellen kunnen drie
bouwstenen worden gebruikt:

• Bouwsteen 1. Als de oorspronkelijke studie concludeerde dat twee gemiddelden gelijk zijn, gebruik dan gelijkheidsbeperkingen.

• Bouwsteen 2. Als de oorspronkelijke studie concludeerde dat een gemiddelde groter of kleiner is dan een ander gemiddelde, gebruik dan ongelijkheidsbeperkingen.

• Bouwsteen 3. Als de originele studie geconcludeerd heeft dat het gemiddelde (tenminste) .2 standaardafwijkingen groter is dan een ander gemiddelde, gebruik dan componenten zoals μ1 = μ2 + .2 σ of μ1> μ2 + .2 σ.

Stap 2. Kies als concurrende hypotheses H0: alle middelen zijn gelijk en Hc: niet Hooriginal,
dat wil zeggen, het complement van Horiginal.

Wat is de bain package?

bain kan worden gebruikt voor de evaluatie van nul, alternatieve en informatieve hypothesen met behulp van de Bayes factor in de context van een breed scala aan statistisch modellen.

Voor toepassingen voorbij ANOVA bevat de bain veel voorbeelden met een beschrijving van het model, instructieve voorbeelden van hypotheses en geannoteerde R-code die laten zien hoe de analyses moeten worden uitgevoerd.

Hoe moeten de resultaten van de analyses met de bain Package worden gerapporteerd?

De volgende informatie moet worden verstrekt bij het rapporteren van de resultaten van Bayesiaanse evaluatie van nul, alternatieve en informatieve hypotheses:

1. Presenteer de variabelen van interesse.

2. Presenteer het gebruikte statistische model.

3. Leg uit welke modelparameters in de hypothese worden getest.

4. Presenteer de schatting van de modelparameters, hun covariancematrix (per groep) en de steekproefomvang (per groep). Deze informatie is te vinden in de bain-uitvoer voordat de Bayes-factoren en posterior waarschijnlijkheden worden getoond.

5. Presenteer de hypothesen van interesse.

6. Presenteer en interpreteer de Bayes-factoren en de latere waarschijnlijkheden, dus rapporteer over de Bayesiaanse foutkansen.

Wat zijn toekomstige ontwikkelingen van de bain Package?

In de toekomst zullen nieuwe applicaties aan de bain Package worden toegevoegd. Momenteel worden twee onderzoeksprojecten uitgevoerd. Het eerste project gaat over robuste Bayes factoren, robuust met betrekking tot de aanwezigheid van outliers en verdelingsassumpites.

Het tweede project betreft steekproefgrootteberekeningen voor het testen van de Bayesiaanse hypothese. Naar verwachting zal in de zomer van 2019 een voorbeeld met betrekking tot steekproefberekeningen tijdens de uitvoering van de Bayes-t-toets worden toegevoegd aan de bain-website.