Aantekeningen college Factoranalyse - Universiteit Utrecht (2022-2023)

Hoorcollege 9

Voor een schaalscore wil je eendimensionaliteit.

Factoranalyse gaat alleen over relaties binnen een test.

  • Meerdimensionaliteit: clusters van items die samenhangen.
  • Eendimensionaliteit: alle items hangen samen.

Factoranalyse helpt ons iets daarover te zeggen. Een of meer achterliggende verklaring voor de verzameling van items. Dan kan je uiteindelijk 1 schaalscore gebruiken voor een onderwerp.

Doelen factoranalyse:

  1. Beoordelen dimensionaliteit van test
  2. Realiseren van datareductie

Aantal variabelen is hier items. Kan ook testscores zijn. Die tests bevatten weer meerdere items. 

  • Boven is een verwachting proberen te bevestigen: het klopt.
  • Onder is zonder verwachtingen en kijken hoe het zit.
  • Test is tweede factoranalyse
  • Items is eerste factoranalyse.

De tien opgaven kunnen vervangen worden door twee scores. --> datareductie. De eerste 5 voor F1 (factorscore) en de laatste 5 voor F2. Dit is dus van 10 naar 2 variabelen, dus dat is datareductie.

Stappen in factoranalyse:

Stap 0 is: zijn mijn data überhaupt wel geschikt om een factoranalyse uit te voeren.

Stap 1: Keuze factormodel

  • We doen een confirmerende factoranalyse.
  • We onderzoeken of die tweedimensionaliteit van intelligentie klopt. Of we inderdaad twee factoren hebben.
  • Zijn deze twee achterliggende factoren te vinden in deze verzameling van variabelen?
  • Keuze factormodel nu. We veronderstellen twee clusters van testscores.
  • Je werkt met z-scores, want het is gestandaardiseerd, waardoor je ze kan vergelijken.
  • We veronderstellen twee achterliggende factoren.

F1 en F2 hebben op alle items een invloed. De sterkte van de invloed wordt aangegeven met een a. Dat wordt een resultaat van de analyse.

Testscores zijn de variabele X

z-score heeft een standaardafwijking van 1.

Dit is een transformatie.

  • Factorlading = samenhang tussen de factor en de afzonderlijke observatie.
  • Hoe goed zo’n factor van invloed is op  zo’n afzonderlijk item.
  • Factor is niet observeerbaar. Wat we wel kunnen zien zijn die antwoorden van de respondent (de items).

Voor ieder individu krijg je een andere F omdat er voor ieder individu een andere combinatie van z-scores is gerealiseerd. Niet iedereen heeft dezelfde scores op de test en dus ook niet dezelfde z-scores, en dus ook niet dezelfde Factorscore. De a’tjes zijn wel allemaal hetzelfde. Factorscores hebben een verdeling, een gemiddelde en en een standaardafwijking.

  • Gemiddelde is 0 en de standaardafwijking is 1, omdat we hier te maken hebben met z-scores.
  • Factorscore van 0, dan heeft hij een score op de 10 items gelijk aan het gemiddelde van de groep.
  • +  en - betekent boven of onder het gemiddelde. En het wordt uitgedrukt in standaardafwijkingen.
  • We hebben van tevoren een idee over het aantal achterliggende factoren.

Stap 2: Bepalen aantal factoren

  • Eigenwaarde criterium
  • Knikcriterium
  • Hoe goed is de factor in staat spreiding in items te verklaren en te representeren.
  • Als je geen idee hebt, dan ga je kijken hoeveel het er zijn.
  • Conformerend is wat je verwacht of dat ook wordt gevonden.
  • Dit is interne structuur van de begripsvaliditeit.
  • Voor elke test een lading op factor 1 en factor 2.
  • Hoe groter in absolute zin (verder van 0, dus -1 en +1) hoe sterker de variabele samenhangt met een factor.
  • Het is zinvol als deze factor spreiding in de afzonderlijke items verklaart. Dat is de eigenwaarde van de factor.
  • Het maximaal aantal mogelijke factoren is gelijk aan het totaal aantal variabelen (k) in de analyse. We willen er twee, want we willen ook datareductie.
  • Factor k is de laatste factor die je kan onderscheiden bij 11 items is dit factor 11.
  • Met minder factoren dan 11, minder dan k factoren. Dan wordt er ook minder variantie verklaard.
  • Je wil zo min mogelijk factoren vinden die zoveel mogelijk variantie verklaren.
  • Verklaarde variantie is de eigenwaarde en dat is een statistisch criterium.
  • Elke afzonderlijke variabele is naar z-scores omgezet. Daar is gemiddelde gelijk aan 0 en SD gelijk aan 1.
  • S kwadraat is de variantie, dus die is ook 1, omdat S (SD) gelijk is aan 1.
  • 11x is de variantie gelijk aan 1, want we hebben 11 items. Som van de varianties is dus gelijk aan k, dus 11 in dit geval.
  • Dat is alle spreiding die we hebben voor de variabelen die we gebruiken.

Eigenwaarde is de variantie die door de factor verklaard wordt.

  • De som van de gekwadrateerde ladingen is de eigenwaarde van de factor. 
  • Eigenwaarde groter dan 1? Dan is de factor statistisch gezien te onderscheiden.
  • Eerste factor is groter dan 1, dus statistisch zinvol te onderscheiden.
  • Tweede factor is niet zinvol te onderscheiden.
  • Op basis van deze analyse selecteren we 1 achterliggende factor.
  • Vaak krijg je veel meer factoren dan zinvol bij eigenwaarde manier.

Dan heb je een andere procedure. Om te komen op minder zinvolle factoren. Gebaseerd op een Scree-plot.

  • De eigenwaarde voor elke factor.
  • Zo veel factoren kun je onderscheiden als dat er variabelen zijn.
  • Je ziet een aflopende hoeveelheid van eigenwaardes.
  • Duidelijk 1 belangrijke factor en daarna loopt het af. Wat doen we dan. We trekken een lijn. En we trekken een lijn van de hoogste eigenwaarde naar de eerste van de langzaam aflopende lijn. Dan heb je een knik. En we tellen het aantal factoren met een eigenwaarde boven die knik.

 

  • Dat is er dus 1. Kijk dus naar vóór de knik.
  • Conclusie: Je moet dus 1 factor selecteren.

Stap 3: Interpretatie van de factoren

  • Orthogonale rotatie
  • Oblique rotatie
  • De manipulatie is rotatie. Dat roteren zorgt ervoor dat de factorladingen gewijzigd worden. Zodat het makkelijker te interpreteren is.
  • Na roteren hebben we weer factorladingen. Hoge lading is grote samenhang.
  • Hoogste lading is het meest representatief voor de factor die daarop van invloed is.
  • Dan kunnen we een criterium gebruiken: hij is goed vanaf .3 of vanaf .4
  • Ladingen zijn veranderd door de rotatie.
  • Hierdoor hoge lading op 1 factor en lage lading op een andere factor.
  • We kijken naar hoge lading na rotatie hoger dan .30

Orthogonale is recht

  • Na rotatie assen nog steeds loodrecht op elkaar. Twee factoren zijn onafhankelijk, niet gecorreleerd.

Oblique is scheef

  • Hier is samenhang, assen buigen naar elkaar toe. Dat ontstaat door naar elkaar toe buigen.
  • De factorladingen die uit de rechte rotatie komen, kan je beschouwen als de correlatie. Samenhang tussen de factor en de variabelen.

Die scheve rotatie moet je iets anders interpreteren.

  • De ladingen geven de sterkte van de relatie tussen de factor en de variabelen.
  • Sterke samenhang tussen de twee factoren, dan moet je misschien gaan denken om er toch maar uit te gaan van 1.
  • Wenselijk: interpretatie is het eenvoudigst als op 1 factor de ene helft sterke lading en de andere helft kleine lading. En andersom voor factor 2.
  • Zo een eenvoudig mogelijk model wil je hebben, maar het moet wel werken.
  • Factoroplossing: het interpreteren. Maar wat is de kwaliteit hiervan?

Factoroplossing = 

  • Definitieve keuze voor aantal factoren
  • Gekozen rotatie (orthogonaal of oblique)

Je hebt altijd wel beetje van beide: slachtoffer en dader. Er is dus altijd wel samenhang tussen de factoren. Kleine samenhang. Dus de twee factoren zijn losse individuele factoren.

Stap 4: Kwaliteit factoroplossing

  • Simple structure
  • Correlatie tussen factoren
  • Proportie verklaarde variantie
  • Communaliteit

We kijken naar de eenvoud van de structuur. De structuur die het gevolg is van de rotatie.

  • Zag er goed uit, maar sommige variabelen pasten toch niet onder een factor.
  • De correlatie tussen factoren was niet al te groot.
  • Verschillen tussen geschatte en geobserveerde correlaties boeit niet.

Hoe goed zijn de afzonderlijke items verklaard door de factoroplossing.

  • De items moeten gerepresenteerd worden door de factoren. Als hij geen goede verklaarde variantie heeft dan moet je misschien het item weghalen.
  • Eigenwaarde is verklaarde variantie door een factor in alle items
  • Communaliteit is de verklaarde variantie in een variabele door de factoroplossing.
  • Eigenwaarde is een factor kenmerk
  • Communaliteit is een variabele kenmerk
  • Verklaarde variantie door een factor is de eigenwaarde
  • Proportie verklaarde variantie van de factor is de eigenwaarde delen door de totale variantie.
  • Totale variantie is gelijk aan het aantal variabelen in de analyse.
  • Eigenwaarde delen door die 11 (totaal aantal items)

Hier tel je dus de verklaarde variantie van de factoren op. Dus als je twee factoren hebt is het de een + de ander.

  • De eigenwaarde van factor 1 en de eigenwaarde van factor 2 optellen en delen door de totale variantie.
  • 36,2% verklaarde variantie door de factor oplossing van alles wat we aan spreiding hebben in die 41 variabelen in onze analyse.

Hoe worden de afzonderlijke items verklaard door de twee factoren. Het kan zijn dat de factoren sommige items niet goed representeren en die komen dan in aanmerking om verwijderd te worden.

 

Je moet nu factorladingen van de horizontale kwadrateren.Voor elke variabele zijn er twee factorladingen. Die twee factorladingen kwadrateren en optellen, dan krijg je de communaliteit. Dat is de proportie verklaarde variantie in de betreffende variabele door de factoroplossing.

  • Als de communaliteit laag is, wordt de variabele slecht gepresenteerd door de factoroplossing en kan hij verwijderd worden.
  • Factorladingen die horen bij een variabele worden gekwadrateerd en opgeteld. Dit wordt gedaan met ongeroteerde factorladingen.
  • Verklaarde variantie is dan onder de 10% dus dan sluit de factoroplossing niet goed aan bij de variabele.
  • Sommige vragen kunnen dus verwijderd worden.
Check page access:
Public
Check more or recent content:

Studiehulp Psychologie als Wetenschap - UU (2022-2023) - Psychologie

Aantekeningen college Introductie Psychologie als Wetenschap - Universiteit Utrecht (2022-2023)

Aantekeningen college Introductie Psychologie als Wetenschap - Universiteit Utrecht (2022-2023)

Hoorcollege 1

We moeten ons bewust worden van bias in jezelf en in anderen. Recht doen aan onzekerheden.

Kritisch en constructief denken.

  • Niet alleen denken wat is slecht, maar ook: hoe kan ik het beter maken.
  • Bias uitbannen: we willen procedures transparant hebben.
  • Teams moeten beloond worden en niet individuen die goede wetenschap produceren.

Belangrijke begrippen

  • Transparent: het onderzoeksproces is stap voor stap helder en volledig beschreven
  • Reproduceerbaar: het onderozek (of een deel ervan) kan nog een keer uitgevoerd worden zoals dit eerder ook gebeurd is
  • Replicatie: Een studie vindt hetzelfde resultaat als een eerdere studie
  • Replicatie is hetzelfde resultaat vinden met nieuwe data.
  • Reproduceerbaar is met de data van de ander. Replicatie is dezelfde onderzoeksvraag, maar andere data.

Descriptief onderzoek:

  • observaties documenteren zonder relaties tussen variabelen te analyseren. 
  • Deze kever is zo groot, dit is deze kleur.

Exploratief:

  • relaties tussen variabelen analyseren, maar niet hypotheses toetsen.
  • Je kijkt wel naar de relaties. Hangt grootte kever samen met hoeveelheid regen. Niet met een hypothese in gedachte.

Confirmatief:

  • hypotheses toetsen.
  • Als er meer regen valt, zullen kevers groter zijn. Dat is een hypothese die je kan toetsen.

In het ene deel formuleer je hypothesen en voorspellingen en in het andere deel toets je deze op data. Je toetst niet een hele theorie maar een aantal hypothesen van een theorie.

Theoretische precisie: 

  • Veel theorieën zijn onduidelijk.
  • Wat is de definitie van tegenslag? Of van impulsiviteit.
  • Duidelijk zeggen wat het wel of niet voorspelt.
  • Dan krijg je bias: dan gaan mensen de theorie zo interpreteren dat het klopt met de voorspelling. Je moet dus helder zijn.
  • Ambiguïteit is onwenselijk. Dit kan heel erg leiden tot bias: hoe moet je het nou interpreteren.
  • Waarom is er weinig formele theorie? Die specifiek geformuleerd zijn. Woorden hebben ambiguïteit. In de psychologie bestaan theorieën veel uit woorden.

Er is wel formalisering in de psychologie, maar dan in de toetsing. Maar niet om theorieën precies uit te drukken: hoe hangen de variabelen met elkaar samen in het theoretische model dat we hebben. Transparantie maakt kwetsbaar. Hoe vager ik de theorie maak, hoe minder kritiek ik krijg. Dat is scheef.

  • Theory stretching: strekken van een theorie. De theorie is ambigu. ‘’My theory can be stretched to cover that data.’’
  • Post hoc precision: kleiner maken van een theorie, zodat deze beter bij de data past.
  • Initial claim is vaag, ambigu. Je kan de claim dan op veel manieren invullen.

Wetenschappers zijn mensen, hebben biases. De wetenschapper omarmt procedures om de biases in toom te houden. Vooral onthouden: theory stretching en post hoc precision. Twijfel is kracht, geen zwakte. Leiders moeten hun overtuigingen publiekelijk kunnen aanpassen op basis van nieuw bewijs. Om beleid te verbeteren. Het is goed dat mensen hun mening aanpassen op basis van nieuwe data.

  • Diversiteit: het erkennen, respecteren en waarderen van verschillen tussen mensen
  • Inclusie: een gemeenschap waar iedereen zich gewaardeerd en thuis voelt

Exploratief onderzoek is dan beschrijf je

.....read more
Access: 
JoHo members
Aantekeningen college Wetenschapsfilosofie - Universiteit Utrecht (2022-2023)

Aantekeningen college Wetenschapsfilosofie - Universiteit Utrecht (2022-2023)

Hoorcollege 2

Pseudo-wetenschappelijk:

  • Iemand vindt dat hij een wetenschappelijke uitspraak doet, maar hij houdt zich niet aan de spelregels van de wetenschap.
  • Als iemand beweert ‘’dit is hoe het is.’’ Dan komt hij op het gebied van de wetenschap. Dat is geloof vs wetenschap.

Mertoniaanse normen:

  • Communisme
  • Unversalisme
  • Belangeloosheid
  • Georganiseerde skepsis

Merton: wetenschap dient in de eerste plaats een sociale activiteit te zijn. Je moet je resultaten delen. De normen beschrijven wat een goede manier zou zijn om wetenschap te bedrijven in een sociale omgeving.

  • Communisme: Het is goed om als wetenschapper je data en ideeën openbaart voor iedereen. Niets voor jezelf houden.
  • Universalisme: Het zou niet uit moeten maken wie de uitspraak doet. Arm, rijk, man of vrouw.
  • Belangeloosheid: je wil dat onderzoekers geen belang hebben bij het onderzoek dat ze doen.
  • Georganiseerde skepsis: De gemeenschap moet een skeptische houding hebben ten opzichte van resultaten. Altijd kritisch zijn.

Dit is het doel van wetenschap.

Deductie:

  • je gebruikt logica. Je hebt een premisse.
  • Maar is het waar? Dan moet het overeenkomen met data.
  • Validiteit en waarheid zijn belangrijk
  • Soms is de inhoud van premissen niet waar. Dan is het instant niet waar. Maar het kan wel logisch en dus valide zijn.
  • Als de premisse niet deugt, deugt de conclusie ook niet.
  • Conclusie kan alleen waar zijn, als de premissen waar zijn. Hoe komen we daarachter? Dan moet je naar buiten gaan en zwanen observeren.

Inductie:

  • Observaties en waarnemingen. Hoe vaker je dezelfde observatie doet, hoe groter de waarheid van je uitspraak is. Dit is precies wat inductie is.
  • Meerdere keren testen onder verschillende omstandigheden. Dan krijg je meer bewijs voor de conclusie.
  • Dit noem je positivisme, de wetenschap draait om observaties.

Metafysisch realisme: Er bestaat een externe, van onze geest en waarneming onafhankelijke wereld.

Epistemologisch realisme: Wij kunnen objectieve kennis krijgen van de externe werkelijkheid. We kunnen de wereld beschrijven zoals die echt is.

Dier is uitgestorven: ik zie hem niet meer: Dat is inductie. Probleem inductie: je kunt nooit alle observaties doen die nodig zijn om te bewijzen dat een uitspraak waar is. Inductie geeft geen garantie voor de toekomst. Meeste onderzoek in de psychologie gebruikt inductie. Aantal observaties gedaan, op basis daarvan doe je een uitspraak. Op basis van een steekproef ga je uitspraken doen over de hele wereld ‘dat is zo.’ Dat is inductie. Meer observaties is beter.

Hoe herhaalbaar is psychologisch onderzoek.

  • 25% van de resultaten kan gerepliceerd worden.

Verschillende filosofen en hun opinies:

  • Het realisme, daar geloofde Kant niet in. Er is geen objectief omschrijfbare wereld.
  • Popper: Kant heeft gelijk wat betreft inductie, maar zijn conclusie klopt niet. Daar schieten we niks mee op.
  • Derde manier van wetenschap. Inductie, deductie, maar nu ook Falsificatie.
  • Demarcatie. Een waarneming die in tegenspraak is met de theorie falsificeert de theorie. Alleen een theorie die falsifieerbaar is, is wetenschappelijk. Je hebt maar 1 waarneming nodig om iets te ontkrachten.
  • Adler: Menselijke actie worden gedreven door hun
.....read more
Access: 
JoHo members
Aantekeningen college Psychologische stromingen - Universiteit Utrecht (2022-2023)

Aantekeningen college Psychologische stromingen - Universiteit Utrecht (2022-2023)

Hoorcollege 3

Slechte richtlijnen en we meten iets complex: probleem is dan dat veel studies niet goed gerepliceerd kunnen worden. Replicatiecrisis niet beperkt tot de psychologie. Het is een breed probleem. Meer dan 50% kon niet gerepliceerd worden in de psychologie. Cognitieve experimenten beter dan sociale experimenten. Vooral de sociale experimenten waarin gedrag of reacties werden gemeten, werden slecht gerepliceerd.

Studies die de aanname hebben, we hebben bewustzijn, maar er wordt veel onbewust verwerkt. Introspectief weten we niet dat er heel veel informatie binnenkomt. IJsbergplaatje. Deze studies zijn slecht repliceerbaar.

Cognitie

  • Heel veel is juist bewust.
  • Er gebeurt onbewust niet zo heel veel, je bent onbewust niet zo heel erg beïnvloedbaar. Dus de ijsberg moet andersom.
  • We zijn hele bewuste dieren.

Oorzaken replicatiecrisis

  1. Wetenschapscultuur
  2. Complexiteit van de psyche en gedrag. De psychologie staat in de kinderschoenen.

Demarcatie is het onderscheiden van pseudoscience en normale science. Als het niet ontkracht kan worden, is het niet wetenschap. Kuhn: er moet eerst een crisis zijn. Bij 1 bewijs tegen zwaartekracht publiceer je niet meteen een paper met ‘’gravitatie is nep’’. Dat paradigma wordt niet gelijk verworpen.
Als er veel bewijs is, krijg je een crisis en dan een paradigma shift.

Binnen de psychologie heb je:

  • Observaties vs introspectie
  • Fysicalisme vs mentalisme
  • Dualisme: gedrag komt voort uit een immateriële geest. Echt een geest → religie.
  • Fysicalisme: gedachte/gedrag komen voort uit fysieke brein. Iets fysiologisch.
  • Idealisme: de omgeving is een interpretatie van zintuigen
  • Fysicalisme: meet wat je ziet, want wat je denkt is een onbetrouwbare interpretatie.
  • Mentalisme: meet wat je denkt want wat je ziet is een onbetrouwbare sensorische meting

Fysicalisme

  • Empiricisme
  • Materialisme (determinisme)
  • Evolutieleer
  • Gedragsobservaties

Mentalisme

  • Rationalisme
  • Associationisme
  • Structuralisme
  • Gestaltisme

Hedendaagse spanningen

Over introspectie:

  • Klinisch en sociaal, vragenlijsten zijn populair
  • Experimentele psychologie alleen indien nodig vragenlijsten. Stress meet je met hartslag.
  • Klinisch: depressie moet je wel een vragenlijst invullen. We kunnen thuis geen observaties doen. Hoe lang iemand in bed ligt.

Wisselwerking tussen stromingen en hun voorkeur voor:

  • Fysicalisme: observatie methoden
  • Mentalisme: introspectie methoden

Evolutieleer & functionalisme

  • Eerst was de mening: de God heeft de aarde en de dieren geschapen.
  • Wallace en Darwin hadden de evolutietheorie.
  • Er werd bij evolutie vooral gekeken naar anatomie. Bewijs door fossielen en DNA vergelijken. Vorm van de schedel werd bekeken.

Comparatieve psychologie / vergelijkende psychologie.

  • Darwin vergeleek als eerste gedrag (emoties) tussen dieren. Daarna emoties vergelijken tussen Oosten en Westen.
  • Extreme nadruk op nature: genen. Meer dan op omgeving/ervaringen. Ook binnen de psychologie. Observatie onderzoek was het.
  • Start van het nature vs nurture debat.

Functionalisme

  • Wetenschappelijke stroming. Geïnspireerd door Darwin.
  • Ook emotieonderzoek.
  • Gedrag en cognitie hebben een evolutionaire functie. Wat is nou de functie van een bepaalde vaardigheid of een bepaald mentaal proces?
  • Waarom hebben we bewustzijn? Waarom kunnen we onze aandacht verplaatsen?
  • Er kwam wat meer ruimte voor introspectie, want mentale processen werden onderzocht.

Bij structuralisme was de vraag ‘’wat?’’

  • Wat zijn de elementen
.....read more
Access: 
JoHo members
Aantekeningen College Bias - Universiteit Utrecht (2022-2023)

Aantekeningen College Bias - Universiteit Utrecht (2022-2023)

Hoorcollege 4

Bias

  • systematische vertekening die een objectieve interpretatie van de realiteit in de weg staat.
  • Vooroordeel of vooringenomenheid die de perceptie kleurt.
  • Systematisch = gaat altijd een bepaalde kant op. Dezelfde kant. We kunnen inschatten waar hij heen neigt.

Soorten biases. Drie gebieden waar bias ons in de weg staat.

  1. Mens: persoonlijke biases.
  2. Methode: bias in test en methode
  3. Systeem: systemische baises. In het wetenschapssysteem waarin we onderzoeken en publiceren.

Persoonlijke biases.

  • We willen mensen kunnen indelen, risico’s inschatten, gedrag verklaren.
  • Wij zijn subjectieve wezens.
  • Halo/Horn effect: Als iemand binnenloopt en je vindt hem leuk. Dan schat je hem beter in dan anderen, dat hij het heel goed doet. Horn is andersom.
  • Overconfidence: Je hebt een aantal keer iets heel goeds gedaan. Is geen realistische inschatting meer.
  • Representativiteitsbias: Mensen die bepaalde eigenschappen hebben waar je iets mee associeert. Man met bivakmuts is gevaarlijk.
  •  
  • Attributiebias: Geen succes leg je af bij de ander en bij jezelf aan de situatie.
  • Availability bias: Als je ergens heel veel voorbeelden van hebt gehoord. Dan denk je ook dat dat aan de hand is.

Bias 1: Confirmation bias.

  • Evidence tegen zijn theorie wordt verworpen.
  • Wordt ook evidence gezien dat er niet is.

Bias 2: Hindsight bias.

  • Hoe kijk je in terugwerkende kracht naar hoe je eerst over een situatie dacht. Ik weet niet zeker of die hond gaat winnen. De hond wint. Ja zie je ik vermoedde het al. Voor de situatie was je best onzeker.
  • Bias Blind Spot: als mensen denken dat ze minder last hebben van bias. Heeft dat negatief effect op hoe ze dingen beoordelen.

Voordeel biases:

  • We maken een werkelijkheid die klopt.
  • Dat is minder belastend voor onze hersenen.
  • Biases werken ook voor snellere beslissingen.

Als onderzoekers proberen we zo systematisch mogelijk te werk te gaan.

  1. Empirische cyclus
  2. Heersende onderzoeksparadigma’s
  3. Mertoniaanse normen

Maar toch in het proces van wetenschap kunnen de uitkomsten vertekend raken.

Bij methode heb je selectiebias

Bij psychologie moet je veel operationaliseren. Je moet een psychologisch concept omzetten naar een overeengekomen definitie. Operationalisaties van deze constructen om deze ook echt te testen. In de vorm van een test of meetinstrument.

Verschillende type tests of meetmethoden die in onderzoek gebruikt kunnen worden.

  • Performance tests
  • Performance is wat kun je en wat heb je al geleerd.
  • Mogelijkheden is aptitude: intelligentie
  • Achievement test: heb je voldoende geleerd om hier een voldoende voor te halen. Wat heb je bereikt binnen de leerkaders.
  • Typical response tests: Dingen die typisch bij jou horen. Zelfbeeld, depressie, eetvoorkeuren.
  • Systematische observaties
  • Kwalitatieve interviews
  • Fysiologische maten: Je hartslag wordt gemeten.

Tests zijn gestandaardiseerd of niet-gestandaardiseerd. De meest valide zijn gestandaardiseerd. Er is een vast format over hoe je het moet afnemen.

  • Objectief of subjectief. IQ is objectief. Jouw eetvoorkeuren is subjectief.
  • Norm-referenced: plaatst jouw score in relatie met andere scores.
  • Criterion-referenced: je neemt tentamen af. Voldoen jullie aan een bepaald criterium.

Hoe meet je persoonlijkheid?

  1. Rorschach
.....read more
Access: 
JoHo members
Aantekeningen college Testgebruik - Universiteit Utrecht (2022-2023)

Aantekeningen college Testgebruik - Universiteit Utrecht (2022-2023)

Hoorcollege 5

Jij bent iemand die iets meet. Op basis van een resultaat kan je niks weten, het helpt jou om tot conclusies te komen.

Uitgangspunten bij testgebruik

  1. Psychologische constructen bestaan en kunnen gemeten worden
  2. Metingen van psychologische constructen zijn niet perfect
  3. Er zijn verschillende manieren om een construct te meten
  4. Alle meetmethoden hebben krachten en beperkingen
  5. Prestaties op tests kunnen gegeneraliseerd worden naar niet-testgebonden gedrag
  6. (Een combinatie van) Tests kunnen informatie verstrekken die psychologen helpt om betere professionele beslissingen te meten
  7. Testgebruik kan bevordelijk zijn voor individu en maatschappij

Tests:

  • Vragenlijsten
  • Interviews
  • Observaties
  • Cognitieve taken

Er zijn drie niveaus van testgebruik.

  • Beslissingen op groepsniveau
  • Minder belangrijke beslissingen op individueel niveau: Dyslexie
  • Belangrijke beslissingen op individueel niveau → taken die negatief kan uitpakken voor hun levensloop

Bij testkeuze en gebruik is het belangrijk dat:

  • Je een goede onderzoeksvraag stelt
  • Je een kwalitatief goede test kiest
  • Je de resultaten op de juiste wijze interpreteert
  • Daarbij recht doet aan de mogelijke impact van de uitkomst

De score die uit een IQ-test komt, heeft heel erg veel invloed op zijn leven. En op hoe anderen naar hem kijken.

Een IQ:

  • Ligt binnen een betrouwbaarheidsinterval
  • Is niet vrij van systematische bias en onsystematische meetfouten
  • Is aan verandering onderhevig gedurende de levensloop
  • Voorspelt schoolprestaties wel, maar er spelen ook andere factoren mee

Sollicitatiegesprekken zijn best ongestructureerde interviews en die zijn vaak zeer bepalend.

  • Zijn subjectief en gevoelig voor biases
  • Andere metingen zijn een waardevolle aanvulling

Forensische praktijk:

  • Je moet voorspellen of de cliënt een risico vormt
  • Verschillende belangen van cliënt, psycholoog en juridisch systeem
  • Dit staat objectiviteit in de weg (dissimulation)
  • Uitkomstmaten onderzoek zijn niet altijd gerelateerd aan het risico
  • Impact op de maatschappij

Richtlijnen voor ethisch testgebruik

  1. Gebruik geen tests die een slechte kwaliteit data opleveren
  2. Gebruik geen tests die je niet kunt scoren afnemen of interpreteren
  3. Baseer geen belangrijke beslissingen op de resultaten van 1 test
  4. Laat je persoonlijke voorkeuren en biases thuis
  5. Breek geen vertrouwelijkheidsafspraken m.b.t. het verstrekken van testgegevens aan derden
  6. Gebruik geen technisch jargon bij het uitleggen van de tests
  7. Negeer de speciale behoeften van de getesten niet
  8. Maak geen wijzigingen aan het testmateriaal, zonder weer te geven hoe deze wijzigingen de prestatie kunnen beïnvloeden
  9. Verbreek de vertrouwelijkheid niet
  10. Neem nooit zomaar aan dat als een expert een test heeft gemaakt, dit ook een goede test is. Verzamel altijd informatie over kwaliteit en toepassing

NIP beroepscode: 

  • Psycholoog i.o. is je bent al psycholoog, maar je bent in opleiding tot GGZ-psycholoog.

COTAN is het instituut over psychologische tests in Nederland.

  • De COTAN beoordeelt een breed scala aan (psychologische) tests, toetsen en vragenlijsten op diverse criteria die te maken hebben met materialen, afname en testkwaliteit
  • De COTAN-documentatie is ontwikkeld voor professionals die zich bezighouden met psychodiagnostiek of assessment. Veel instrumenten worden ook in onderzoek gebruikt.

COTAN beoordeelt op 7 criteria

  1. Uitganspunten testconstructie
  2. Kwaliteit testmateriaal
  3. Kwaliteit handleiding
  4. Normen
  5. Betrouwbaarheid
  6. Begripsvaliditeit
  7. Criteriumvaliditeit
.....read more
Access: 
JoHo members
Aantekeningen college WetenschapMaatschappij - Universiteit Utrecht (2022-2023)

Aantekeningen college WetenschapMaatschappij - Universiteit Utrecht (2022-2023)

Hoorcollege 6

Je hebt een verantwoordelijkheid om je vergaarde kennis terug te koppelen aan de samenleving.

Wat hebben de outsiders en insiders aan te merken op de Psychologie?

Outsiders:

  • Soft terrein
  • Beetje suffe en zachte thema's: grappige weetjes en feitjes
  • Weten we allemaal al
  • Is best wel logisch

Insiders:

  • Overdrijven bevindingen
  • Replicatieproblemen
  • Zachte benadering
  • Te veel p's en te weinig ES's en BI's
  • Wat is nou precies evidence-based?

Zachte benadering: veel vragenlijsten en praten. Geen harde data. Minder effect grootte en BI’s wat zegt hoe groot en relevant is het bewijs nou eigenlijk?

Nadelen van verkeerd imago

  • Minder erkend door als STEM discipline, Science Technology Engineering Mathematics
  • Maakt minder kans op onderzoeksfunding
  • De noodzaak van psychologische kennis bij maatschappelijke vraagstukken wordt te weinig erkend
  • Kan in de weg staan van het krijgen van een goede behandeling of interventies

Waarom we public-scepticism tegenover psychologie moeten begrijpen.

Wat doen we zelf niet goed en wat kunnen we beter doen?

  • Spokespersons van psychologische thema's zijn niet altijd psychologen
  • Biases, zoals de confirmation bias, sturen soms ook onze verhalen
  • De neiging om zaken te simplificeren
  • Niet iedereen begrijpt het verschil tussen psychologen en psychotherapeuten
  • Zelfs academisch opgeleide psychologen geven wetenschap niet de hoogste prioriteit

Psychiaters praten vaker over psychologische thema’s. Evidence-based practice. In elke beslissing die je neemt, moet je alle kennis meenemen en de meest ondersteunde bevinding gebruiken.

Lastig veld, de psychologie:

  • Therapeut heeft een uniek mens tegenover zich. Dat kan lastig zijn.
  • Wetenschappelijke evidentie is niet altijd beschikbaar
  • Effectiviteit wordt niet altijd bevestigd
  • Behandelingen werken niet voor iedereen
  • Maar... behandeling met (sterke) wetenschappelijke onderbouwing (EBT), is wel het beste wat we kunnen bieden (want het meest waarschijnlijk effectief)

Er ligt een rol voor psychologen als het gaat om communicatie en handelen.

Fabels:

  • Kinderen worden niet drukker van suiker
  • Vrouwen gaan niet op hetzelfde moment menstrueren als ze bij elkaar wonen
  • Ons handschrift vertelt veel over onze persoonlijkheidskenmerken → bullshit
  • Afgelopen jaren is er een enorme toename in autisme onder kinderen → bullshit. We zijn beter gaan begrijpen wat de classificatie van autisme is.
  • Bijna alle mensen die een misdaad bekennen zijn schuldig → bullshit. Veel geven onder druk een bekentenis.

Het communiceren van wetenschappelijke bevindingen: 4 dilemma’s.

Dilemma 1

  • Als je een bevinding net wat spannender schrijft 
  • Genereert het meer aandacht
  • Dat is goed voor de impact van jouw bevindingen
  • Jij krijgt meer aandacht
  • Dat is goed voor jouw CV en mogelijke toekomstige subsidies

Dilemma 2

  • Wetenschapper vindt iets of vindt iets uit
  • Doet een (bescheiden of relativerende) media-uiting
  • Wordt opgepikt door de media en uit proportie getrokken
  • Het weetje gaat een eigen leven leiden
  • Aan de wetenschapper worden vooral spannende uitspraken ontlokt

Dilemma 3

  • Wetenschapper vindt iets uit met mogelijke consequenties
  • Doet bescheiden uitspraken
  • Wordt van alle kanten op hetzelfde terrein ingehaald door niet-wetenschappers die onbescheiden uitspraken doen (BN'ers)
  • Wetenschapper voelt zich genoodzaakt om de evidentie sterker aan te zetten dan hij of
.....read more
Access: 
JoHo members
Aantekeningen college Uitdagingen - Universiteit Utrecht (2022-2023)

Aantekeningen college Uitdagingen - Universiteit Utrecht (2022-2023)

Hoorcollege 7

Academica die maken het probleem: zij maken de biases en de fouten. De wetenschap doet dat niet. Dat is dus anders. Papers analyseren. In de psychologie en psychiatrie wordt 90% steun gevonden voor de hypothese. Dat is een verdacht hoog percentage. Er liggen veel problemen aan dat statement ten grondslag.

Publicatie bias

  • Gedrag tijdens het publicatieproces dat papers met positieve resultaten bevoordeelt over papers met negatieve resulaten

Reviewer bias

  • Editors en reviewers bevoordelen papers met positieve resultaten

File-drawering

  • Onderzoekers proberen negatieve resultaten niet te publiceren

Dan krijg je een oververtegenwoordiging van positieve resultaten ten opzichte van hoeveel er is uitgevoerd.

Beloningsstructuur gericht op o.a. het aantal publicaties. Dit leidt tot:

Vertekenende onderzoekspraktijken

  • Gedrag tijdens het onderzoek dat leidt tot overschatting van bewijs voor hypothese
  • Niet hetzelfde als fraude, veel subtieler
  • Wijdverbreid, niet  alleen in de psychologie
  • Onderzoekers zijn/waren zich niet bewust van hoezeer deze praktijken vertekenen

Het kan ervoor zorgen dat er QRP’s gedaan worden. Want je wil positieve resultaten krijgen. Outliers weglaten en dan wel steun vinden. Deze keuze maak je niet van tevoren. Dan is het een QRP. Je fabriceert de data niet, het is geen fraude. QRP’s kunnen ook onbewust zijn. Psychologie loopt voorop in de kennis dat dit een probleem is.

Mertoniaanse normen

Universalisme

  • Kennis moet persoonsonafhankelijk zijn

Communalisme

  • Kennis moet openbaar zijn (transparantie)

Belangeloosheid

  • Streven naar waarheid, niet naar eigenbelang

Georganiseerde skepsis

  • Systeem voor beoordeling van uitspraken

Als je QRP’s doet, je wil positieve verbanden hebben. Dat is tegen belangeloosheid in. Niet open access? Dan is het een schending van communalisme.

p-hacking

  • Het exploiteren van flexibiliteit in data-analyse om statistisch significante resultaten te verkrijgen
  • Onewust of bewust (bijvoorbeeld hindsight bias)
  • De data 'vormen naar' een theorie of hypothese (zonder hierover transparant te zijn)
  • P-hacking leidt snel tot vertekenende resultaten

Wetenschapper die op zoek is naar een resultaat, doet ook de analyse. Ook verwerkt hij ruwe data naar verwerkte data. Dan stopt hij ze in de analyse. Outlier te snel weghalen. Als je de data zo aan het manipuleren bent naar de hypothese, zonder daarover transparant te zijn. Dat is p-hacking. Alles transparant? Dan heeft de lezer alle informatie om te oordelen over de evidentie. Transparantie is de essentie van de open science beweging.

Tuin van splitsende paden:

  • Je probeert erg veel manieren om tot een significant resultaat te komen
  • Uiteindelijk vind je een significant resultaat
  • Dan zeg je 'zie je wel, ik wist het wel'. Dat is hindsight bias.
  • Als je die beslissing niet van tevoren maakt, dan is het bias en slecht. Als je maar alle paden probeert en dan uiteindelijk goed uitkomt.

HARKing

  • Hypothesizing after results are known
  • Hypothesen bepalen op basis van onderzoeksuitkomsten
  • Het presenteren van theoretisch onverwachte data alsof deze wél door theorie voorspeld waren
  • Een theorie of hypothese 'vormen naar' de data (zonder hierover transparant te zijn)
  • Je keert de volgorde om.
  • Je gaat maar random
.....read more
Access: 
JoHo members
Aantekeningen college Betrouwbaarheid en Validiteit - Universiteit Utrecht (2022-2023)

Aantekeningen college Betrouwbaarheid en Validiteit - Universiteit Utrecht (2022-2023)

Hoorcollege 8

Tentamentickets:

  • Morling H5 is aanvullende literatuur.
  • Voor elk college is er een theoretische opgave waar je kan oefenen.
  • Alle formules die langskomen zijn op een formuleblad te vinden op BB onder assignments.
  • Formuleblad krijg je op het tentamen.
  • Betekenis van de symbolen moet je je zelf eigen maken.
  • Veel komt aan bod in responsiecolleges.
  • 2 onderwerpen worden besproken bij responsiecolleges.
  • Na practicum maak je de eindopdracht. Dit staat in de practicumopdracht beschreven. De antwoorden van de eindopdracht moet je invoeren in remindo.

Beroepscode van het NIP:

  • Integer
  • Respectvol
  • Verantwoordelijk
  • Deskundig

Hier moet je aan voldoen als psycholoog. Persoonskenmerken waarover je moet gaan beschikken. Deze kenmerken kan je meten, maar het zijn abstracte concepten.

Die schatting beschouw je als een puntschatting. Deze metingen zijn feilbaar, niet perfect. Je moet een grens interval geven waartussen het sowieso ligt. Dit is een intervalschatting. Puntschatting is een te ambitieuze uiting van waar je denkt dat het zit. Intervalschatting is een interval. Je moet iets weten van de betrouwbaarheid (precisie) voor je een intervalschatting kan maken.

Operationalisatie

  • Theoretisch concept
  • De beschrijving van handelingen (operaties) die nodig zijn om de bedoelde eigenschap te meten
  • Operationaliseren is lastig.

Valide: dat het integriteit betreft.

Betrouwbaarheid: dat het iets meet dat het ook bij de mensen aanwezig is.

Een puntschatting is een beslissing in onzekerheid. Het is waarschijnlijk geen perfecte meting. Dus je moet weten hoe precies die score 11 is en of dit een goede weergave is. Je moet de onzekerheid dus quantificeren.

Model klassieke testtheorie

Testscore X (testscore) wordt bepaald door:

  • Latente of ware score T
  • Toevallige meetfout E (error)

Twee invloeden op de testscore.

  • De T is de ware score, de echte mate van integriteit die Vera heeft.
  • E is de toevallige meetfout (error).

Invloeden:

  • De toevallige meetfout. Persoon, Omgeving, Test en Testleider kunnen dit beïnvloeden.
  • Je krijgt dus geen indicatie van de precieze ware score.
  • Gestandaardiseerde test maken: dan blijft de toevallige meetfout E zo klein mogelijk.

De E kan een + of een - zijn.

Testscores (meetwaarden X)

  1. Systematische invloeden
    1. Wat test beoogt te meten
    2. Systematische meetfout
  2. Toevallige invloeden

Ware score T, draagt systematisch bij aan de uitslag van de score. Als je heel integer bent, heb je een hogere score en als je corrupt bent, heb je een lagere score. Maar je hebt ook toevallige invloeden of een systematische meetfout. Over een week ben ik niet minder integer. Dus dan verandert alleen de toevallige meetfout. Dat is dus de betrouwbaarheid. Vaak heb je maar 1 afname.

Validiteit gaat over of de score wel een representatie is van wat je wil meten.

  • Valide meting is altijd betrouwbaar, maar daar komt ook bij dat er geen systematische meetfout bij zit.
  • Onbetrouwbare meting kan nooit valide zijn.
  • Valide meting is per definitie betrouwbaar.
  • Gemiddelde (t) is de ware score.
  • Maar er is een mate van spreiding. Standaardafwijking zegt iets over
.....read more
Access: 
JoHo members
Aantekeningen college Factoranalyse - Universiteit Utrecht (2022-2023)

Aantekeningen college Factoranalyse - Universiteit Utrecht (2022-2023)

Hoorcollege 9

Voor een schaalscore wil je eendimensionaliteit.

Factoranalyse gaat alleen over relaties binnen een test.

  • Meerdimensionaliteit: clusters van items die samenhangen.
  • Eendimensionaliteit: alle items hangen samen.

Factoranalyse helpt ons iets daarover te zeggen. Een of meer achterliggende verklaring voor de verzameling van items. Dan kan je uiteindelijk 1 schaalscore gebruiken voor een onderwerp.

Doelen factoranalyse:

  1. Beoordelen dimensionaliteit van test
  2. Realiseren van datareductie

Aantal variabelen is hier items. Kan ook testscores zijn. Die tests bevatten weer meerdere items. 

  • Boven is een verwachting proberen te bevestigen: het klopt.
  • Onder is zonder verwachtingen en kijken hoe het zit.
  • Test is tweede factoranalyse
  • Items is eerste factoranalyse.

De tien opgaven kunnen vervangen worden door twee scores. --> datareductie. De eerste 5 voor F1 (factorscore) en de laatste 5 voor F2. Dit is dus van 10 naar 2 variabelen, dus dat is datareductie.

Stappen in factoranalyse:

Stap 0 is: zijn mijn data überhaupt wel geschikt om een factoranalyse uit te voeren.

Stap 1: Keuze factormodel

  • We doen een confirmerende factoranalyse.
  • We onderzoeken of die tweedimensionaliteit van intelligentie klopt. Of we inderdaad twee factoren hebben.
  • Zijn deze twee achterliggende factoren te vinden in deze verzameling van variabelen?
  • Keuze factormodel nu. We veronderstellen twee clusters van testscores.
  • Je werkt met z-scores, want het is gestandaardiseerd, waardoor je ze kan vergelijken.
  • We veronderstellen twee achterliggende factoren.

F1 en F2 hebben op alle items een invloed. De sterkte van de invloed wordt aangegeven met een a. Dat wordt een resultaat van de analyse.

Testscores zijn de variabele X

z-score heeft een standaardafwijking van 1.

Dit is een transformatie.

  • Factorlading = samenhang tussen de factor en de afzonderlijke observatie.
  • Hoe goed zo’n factor van invloed is op  zo’n afzonderlijk item.
  • Factor is niet observeerbaar. Wat we wel kunnen zien zijn die antwoorden van de respondent (de items).

Voor ieder individu krijg je een andere F omdat er voor ieder individu een andere combinatie van z-scores is gerealiseerd. Niet iedereen heeft dezelfde scores op de test en dus ook niet dezelfde z-scores, en dus ook niet dezelfde Factorscore. De a’tjes zijn wel allemaal hetzelfde. Factorscores hebben een verdeling, een gemiddelde en en een standaardafwijking.

  • Gemiddelde is 0 en de standaardafwijking is 1, omdat we hier te maken hebben met z-scores.
  • Factorscore van 0, dan heeft hij een score op de 10 items gelijk aan het gemiddelde van de groep.
  • +  en - betekent boven of onder het gemiddelde. En het wordt uitgedrukt in standaardafwijkingen.
  • We hebben van tevoren een idee over het aantal achterliggende factoren.

Stap 2: Bepalen aantal factoren

  • Eigenwaarde criterium
  • Knikcriterium
  • Hoe goed is de factor in staat spreiding in items te verklaren en te representeren.
  • Als je geen idee hebt, dan ga je kijken hoeveel het er zijn.
  • Conformerend is wat je verwacht of dat ook wordt gevonden.
  • Dit is interne structuur van de begripsvaliditeit.
  • Voor elke test een lading op factor 1 en factor 2.
  • Hoe groter
.....read more
Access: 
Public
Aantekeningen college Itemanalyse en Transformaties - Universiteit Utrecht 22/23

Aantekeningen college Itemanalyse en Transformaties - Universiteit Utrecht 22/23

Hoorcollege 10

We zetten ruwe scores om in gestandaardiseerde waarden.

  • Theoretisch concept: lichaamslengte
  • Operationalisatie 1: Geregisseerde meting van lengte in cm.
  • ‘’Ik stoot mijn hoofd nogal vaak.’’ ‘’Mijn zadel staat vaak erg laag.’’
  • Dit is het hele idee van praktische concepten. Dat is lastiger te meten, dus moet je dat met vragenlijsten doen bijvoorbeeld.

Itemanalyse: Verkrijgen van een optiamel test of schaal, met zo weinig als mogelijkj items een zo hoog als mogelijke betrouwbaarheid realiseren voor de testscore. Dit zondere verlies van inhoudsvaliditeit

Procedure:

  • Factoranalyse ter beoordeling van eendimensionaliteit
  • Selecteer items voor schaal
  • Codeer items in zelfde richting
  • Betrouwbaarheidsanalyse met Cronbach's alfa voor schatting betrouwbaarheid

Scores die je toekent moeten geordend kunnen worden.

Optimale test:

  • Zo weinig mogelijk vragen, met een zo betrouwbaar mogelijk resultaat.
  • Weglaten van items kan zorgen voor beperken van inhoudsvaliditeit.

Factoranalyse

  • Selectie van items die een factor representeren.
  • Factoranalyse levert een of meer factorscores op, dat is de score die we gebruiken voor de factor die een bepaalde interpretatie heeft gekregen.
  • 1 factor: Lichaamslengte.
  • Schaalscore maakt gebruik van die verzameling van items die hoog laden op de factor.
  • Factorscore gebruikt alle items
  • Schaalscore gebruikt een beperkt aantal items.
  • Factorscore gebruikt een gewogen som van de items
  • Schaalscore weegt elk item evenveel mee, het gaat om het gemiddelde van een selectie van items die horen bij een construct.

Items geselecteerd voor een schaalscore.

  • Alle items moeten in dezelfde richting zijn gecodeerd, je moet dus ompolen.
  • Hoge score is altijd veel van het kenmerk.
  • Eerst doe je een betrouwbaarheidsanalyse. Niet alleen hoe betrouwbaar die selectie van items is, maar ook de afzonderlijke bijdrage van de items.
  • Dat noem je de itemanalyse voor selecteren items voor schaalscore.
  • We willen alleen die items gebruiken die bijdragen aan de betrouwbaarheid en aan de mogelijkheid de mensen te onderscheiden.
  • Itemanalyse zit in de betrouwbaarheidsanalyse.

Factoranalyse gaf al een selectie, betrouwbaarheidsanalyse geeft nog meer een indruk over welke items we gaan gebruiken voor de definitieve schaal die we gebruiken voor het meten van het concept waarin we geïnteresseerd zijn.

Doel prestatieniveautest:

  • We willen personen betrouwbaar onderscheiden.
  • Schaalscore maar 2 categorieën? Dan kan je mensen maar in twee groepen opdelen. Je wil dus wel een bepaalde precisie.
  • We geven cijfers in 1 tot 10 met decimalen. Dat is al best precies. Je wil een differentiatie.
  • Scores moeten differentiëren.
  • Onderscheiden: scores moeten differentiëren en stellen in staat om te ordenen.
  • Betrouwbaarheid: hoe precies is de schatting.

Hoe doe je dat:
 

Realiseer een test met de grootste spreiding testscores.

  • Kies voor items die ‘goed’ differentiëren en
  • Kies voor items die onderling ‘sterk’ samenhangen.

Op een item wordt gevarieerd gescoord. Hoe meer spreiding per item, hoe meer spreiding per testscore, hoe beter mijn test of schaalscore in staat is om te differentiëren. Dat is de eerste.

Samenhang is correlatie, samenhang tussen items, dan kijken we naar de inter-item correlatie. Elk item heeft een correlatie met een ander item. Hoe hoger

.....read more
Access: 
JoHo members
Aantekeningen college Signaal Detectie Theorie - Universiteit Utrecht 22/23

Aantekeningen college Signaal Detectie Theorie - Universiteit Utrecht 22/23

Hoorcollege 11

Redeneerfout: Base rate fallacy of base rate neglect.

  • Positieve testuitslag moet altijd in het licht gezet worden van hoe groot is de kans dat iemand met zo’n positieve testuitslag niet positief is.
  • Leidt tot verkeerde conclusies: bij positieve uitslag ga je ervan uit dat er ook echt een stoornis is.
  • Naarmate de diagnose meer ingrijpend is, hoe belangrijker is dat je zeker bent van een positieve diagnose.
  • Wel of geen behandeling. Voor toetsvragen hetzelfde: we kunnen denken je beschikt niet over genoeg kennis, maar dat heb je eigenlijk wel.
  • Alle beslissingen zijn beslissingen in onzekerheid.

Signaal detectie theorie

  • Denkkader en verzameling analysemethoden rondom het nemen van beslissingen
  • Theorie over kans op goede en foute beslissingen, met aannamen over verdelingen van testuitkomsten onder verschillende omstandigheden.

We onderscheiden ware en valse beslissingen bij een testscore.

  • Die scores overlappen deels.
  • Op basis van de grenswaarde beslis ik of de stoornis wel of niet aanwezig is.

Dit is de basis van de signaal detectie theorie.

  • De gouden standaard is de absolute kennis. Die klopt sowieso. Die is noodzakelijk als we een indeling willen maken. Dat is de C in bovenstaande tabel.
  • False negatives zijn misses. Die mis je om een diagnose te stellen.
  • Ware negatieven zijn ook wel correct rejections.

Sensitiviteit = hoe groot is de kans op een positieve diagnose gegeven dat iemand de stoornis heeft.

  • P is de kans.
  • Kans op D+, gegeven C+.
  • Kans op diagnose gegeven het feit dat hij volgens de gouden standaard ook die stoornis heeft.
  • Je wil een hoge waarde, je wil dat iedereen die waarvan bekend dat hij een positieve diagnose heeft, ook een positieve diagnose krijgt.
  • Dit is een voorwaardelijke of conditionele kans. Dus de kans op D+ op voorwaarde dat je in die C+ zit. Daarom is het een voorwaardelijke kans.
  • Je moet dus een steekproef hebben van mensen waarvan bekend is dat ze de stoornis hebben. Dus je hebt alleen de C+ nodig om de sensitiviteit te berekenen.

Specificiteit = de kans op een negatieve diagnose, gegeven dat iemand de stoornis niet heeft.

  • Weer een conditionele of voorwaardelijke kans.
  • Nu kijk je naar de C- groep.
  • Je wil weer zo hoog mogelijke waarde.
  • Kans om negatief geval negatief te testen.
  • Sensitiviteit is positief geval ook daadwerkelijk positief testen.

Predictieve accuratesse is nodig om een correcte positieve diagnose te stellen.

  • Niet alleen de sensitiviteit nodig, maar ook hoe zit het met de verkeerde testuitslagen.

De predictieve waarde gaan we het nu over hebben. Positieve predictieve waarde (PPV) = proportie/kans op ware positieven gegeven een positieve diagnose.

Wat is C+, gegeven diagnose.

  • PPV zal niet helemaal kloppen, want de stoornis komt niet veel voor in de populatie. Je moet dus een correctie uitvoeren.
  • We hebben informatie nodig over de prevalentie. Of de base rate. De proportie voor de mensen waarvoor geldt dat hij voorkomt bij de mensen. Ook wel de prevalentie.
  • 0,16
.....read more
Access: 
JoHo members
Aantekeningen college Item-responstheorie - Universiteit Utrecht 22/23

Aantekeningen college Item-responstheorie - Universiteit Utrecht 22/23

Hoorcollege 12

Vorige colleges waren de klassieke testtheorie.

Onvolkomenheden KTT:

  • Theorie over testscores
    • Weinig informatief over afzonderlijke items
  • Schatting betrouwbaarheid testscore
    • Afhankelijk van populatie(variatie)
  • Aanname over toevallige meetouft
    • Meetfout is onafhankelijk van niveau respondent
  • Aanname over meetniveau testscore
    • Niet statistisch te toetsen
  • Beperkingen in vergelijken respondenten
    • Betrouwbaar voor middengroepen
  • Inefficiëntie
    • Alle respondenten moet hele test maken
  • Betrouwbaarheid is steeds afhankelijk van de steekproef.
  • Mensen die goed zijn of vaardig zijn, worden niet meegenomen in de Klassieke TestTheorie.
  • Test vooral in het midden van het bereik is hij goed. Aan de buitenkanten minder betrouwbaarheid.
  • Weinig mogelijk vragen zo veel mogelijk antwoorden. Dat is inefficiënt bij de KTT.

Item-responstheorie (IRT)

  • IRT komt tegemoet aan de onvolkomenheden KTT
  • Het is een theorie over itemscores in plaats van testscores
  • Schatting van psychometrische kenmerken van items en testscore is onafhankelijk van de populatie
  • Nauwkeurigheid van schatting (=betrouwbaarheid) kan binnen IRT variëren tussen respondenten
  • Aannames over modellen statistisch toetsbaar
  • Op IRT gebaseerde tests maken beoordeling ontwikkeling beter mogelijk
  • Schatting vaardigheid onafhankelijk van verzameling items: Dit maakt testafname op maat (adaptief testen) mogelijk

Je komt met een beperkter aantal vragen ook op een nauwkeurige schatting van iemand zijn vaardigheid. Dat is adaptief testen.

  • IRT gaat om het model voor itemscores en niet voor testscores. Voor elk afzonderlijk item kan weer een meetfout zijn.
  • T staat voor theta, de vaardigheid waarin we geïnteresseerd zijn.
  • Continu of categorisch kenmerk. Daar hebben die verschillende termen mee te maken.
  • Discreet is twee antwoorden, mee eens of niet mee eens. Dichotome items.
  • Ordinale items zijn Likert schalen.
  • Theta is de vaardigheid waarin we geïnteresseerd zijn.
  • En de kans op een correct antwoord.

Hogere vaardigheid? Dan is de kans dat je het goed maakt of dat je het ermee eens bent, neemt toe. De kans op respons 1. De kans dat je het ermee eens bent of dat je de opdracht goed hebt afgerond. Theta is kenmerk dat je gaat meten aan de hand van de verzameling items.

  • De kans op antwoord 1, gegeven een bepaalde theta (kwaliteit).
  • Meer latente trek, meer vaardigheid is een grotere kans op waarde 1. Dat loopt zoals bovenstaand model.
  • 1 is de succeskans.
  • Relatie tussen de latente trek en de succeskans. Dat is de item-responsfunctie.
  • Elk item heeft eigen item-responsfunctie.
  • Theta wordt vaak uitgedrukt in z-scores. 0 is, is gelijk aan gemiddelde van de groep. Dus dezelfde vaardigheid als het gemiddelde van de groep.
  • Dit zie je als SD’s tov het gemiddelde. Binnen 2 à 4 SD’s heb je al de hele populatie te pakken.
  • Buiten de 2 SD komen weinig mensen voor en dan wordt ook de kans op een goed of fout antwoord steeds minder.
  • Succeskans hangt af van de kwaliteit. De hoogte of sterkte van de latente trek.
  • De relatie tussen de latente trek theta en de succeskans. De kans op een correct of mee eens antwoord, als
.....read more
Access: 
JoHo members
Work for WorldSupporter

Image

JoHo can really use your help!  Check out the various student jobs here that match your studies, improve your competencies, strengthen your CV and contribute to a more tolerant world

Working for JoHo as a student in Leyden

Parttime werken voor JoHo

How to use more summaries?


Online access to all summaries, study notes en practice exams

Using and finding summaries, study notes en practice exams on JoHo WorldSupporter

There are several ways to navigate the large amount of summaries, study notes en practice exams on JoHo WorldSupporter.

  1. Starting Pages: for some fields of study and some university curricula editors have created (start) magazines where customised selections of summaries are put together to smoothen navigation. When you have found a magazine of your likings, add that page to your favorites so you can easily go to that starting point directly from your profile during future visits. Below you will find some start magazines per field of study
  2. Use the menu above every page to go to one of the main starting pages
  3. Tags & Taxonomy: gives you insight in the amount of summaries that are tagged by authors on specific subjects. This type of navigation can help find summaries that you could have missed when just using the search tools. Tags are organised per field of study and per study institution. Note: not all content is tagged thoroughly, so when this approach doesn't give the results you were looking for, please check the search tool as back up
  4. Follow authors or (study) organizations: by following individual users, authors and your study organizations you are likely to discover more relevant study materials.
  5. Search tool : 'quick & dirty'- not very elegant but the fastest way to find a specific summary of a book or study assistance with a specific course or subject. The search tool is also available at the bottom of most pages

Do you want to share your summaries with JoHo WorldSupporter and its visitors?

Quicklinks to fields of study (main tags and taxonomy terms)

Field of study

Access level of this page
  • Public
  • WorldSupporters only
  • JoHo members
  • Private
Statistics
1112
Comments, Compliments & Kudos:

Add new contribution

CAPTCHA
This question is for testing whether or not you are a human visitor and to prevent automated spam submissions.
Image CAPTCHA
Enter the characters shown in the image.
More contributions of WorldSupporter author: Hugo:
Follow the author: Hugo