Artikelsamenvatting bij Methodological Issues in the Direct Observation of Parent-Child Interaction: Do Observational Findings Reflect the Natural Behavior of Participants? van Gardner - 2000

Introductie

Observatietechnieken omvatten vaak het vastleggen van gedrag in omgevingen die voor gezinnen relatief onnatuurlijk zijn. De constructvaliditeit van observatiemethoden hangt daardoor gedeeltelijk  af van de vraag of de bevindingen representatief zijn voor het typische alledaagse gedrag van de participanten/doelgroep. In deze review wordt gekeken of observatie bevindingen worden beïnvloed door:

• Aanwezigheid van de waarnemer
• Type taak dat door de waarnemer wordt opgelegd (e.g. vrij spel of specifieke taak)
• Locatie van de waarnemingen (e.g. lab of thuis)

De review suggereert dat de aanwezigheid van een waarnemer niet noodzakelijkerwijs de aard van interacties binnen gezinnen verstoort. Echter lijkt het er op dat interacties in gestructureerde of kunstmatige omgevingen niet noodzakelijkerwijs representatief zijn voor de interacties die normaal gesproken thuis plaatsvinden.

Systematische observaties

De eerste systematische observatie technieken werden in de jaren 30 gebruikt in kleuterschool settings, waarbij er rekening gehouden werd met belangrijke psychometrische kwesties, zoals de noodzaak van adequate bemonstering van gedrag en interobserver-betrouwbaarheid. In de jaren 70 werden coderingssystemen ontwikkeld binnen een sociaal leertheoretisch kader om vragen te beantwoorden over de aard van ouder-kindinteractie in gezinnen waar kinderen gedragsproblemen hebben. 

Er is bewijs verzameld voor:

• Validiteit van veel van deze systemen voor het maken van onderscheid tussen klinische en niet-klinische groepen kinderen
• Ontwerpen van interventies en evalueren van hun uitkomst
• Beantwoorden van belangrijke basisvragen over ouder-kindinteractie

Als gevolg hiervan worden veel van deze vroege systemen tegenwoordig veel gebruikt.

Voor- en nadelen van observationele methoden

Voordelen

• Observatietechnieken kunnen onderzoekers helpen in het objectief observeren van "echt" gedrag (e.g. schreeuwen, knuffels) die minder snel via zelfrapportage duidelijk worden, omdat sommige gedragingen voor ouders zelf automatisch en snel kunnen zijn. 
• Observatietechnieken kunnen de relevante aspecten van complexe uitwisselingen tussen ouder en kind samenvatten en een microscopisch beeld geven van hoe gedrag zich in de tijd ontvouwt en hoe het wordt beïnvloed door sociale omstandigheden, inclusief de gedragstriggers en reacties van anderen. 
  
  • Zelfrapportagemetingen zijn daarentegen van onschatbare waarde voor andere doeleinden, zoals het beoordelen van de gevoelens, gedachten en attitudes van deelnemers en hun perceptie van hun eigen gedrag en dat van anderen.
• Observatiegegevens zijn nuttig voor het leveren van gegevens op basis van percentages en verhoudingen die stabielere, eigenschapachtige neigingen bij mensen vertegenwoordigen, zoals agressie, het afwenden van antisociaal gedrag, of slechte disciplinepraktijken. 
  
  • Dit is bewijs voor de betrouwbaarheid, constructie en voorspellende validiteit van eigenschappen die op deze zorgvuldige manier zijn opgebouwd, zoals antisociaal gedrag van kinderen of negatieve disciplinerende stijl van ouders. 

Nadelen

• Observatietechnieken zijn tijdrovend wat betreft trainen van waarnemers, uitvoeren van observaties, coderen van interactie en uitvoeren van betrouwbaarheidscontroles tussen waarnemers. 
• Ook zijn er hoge kosten die vaak het aantal observatiesessies dat kan worden uitgevoerd, beperken.

De kracht van directe observatietechnieken kan worden gezien in de bijdrage die ze hebben geleverd aan het begrijpen hoe interactie tussen ouder en kind psychopathologie bij kinderen beïnvloedt, en hoe deze te behandelen. Er is een breed scala aan coderingssystemen ontwikkeld, elk ontworpen om een ​​bepaalde reeks onderzoeksvragen over ouderschap en het gedrag van kinderen te onderzoeken. Behalve dat ze nuttig zijn voor het testen van hypothesen over de relatie tussen ouderschap en gedragsproblemen bij kinderen, worden gedragingen van deze coderingssystemen vaak gebruikt als belangrijkste uitkomstmaten in gerandomiseerde gecontroleerde studies. 

Validiteit van observationele coderingssystemen

Er is onderzoek gedaan naar de validiteit van observationele coderingssystemen in vergelijking met bijvoorbeeld zelfrapportage metingen die hetzelfde construct zouden moeten meten (e.g. bepaald gedrag in ouder-kind interactie). Sommige studies onderzoeken de voorspellende validiteit van 2 meetinstrumenten (observatie vs zelfrapportage) die hetzelfde construct meten en vinden vervolgens gemixte resultaten (e.g. wel en niet correlaties, lage en hoge correlaties etc.) Andere studies hebben convergentie onderzocht in plaats van de voorspellende validiteit, maar ook hieruit volgen gemixte resultaten. Er moet dus meer onderzoek gedaan worden voordat er conclusies getrokken kunnen worden over welke aspecten van ouder-kind gedrag en in welke settings adequaat gemeten kunnen worden met behulp van zelfrapportages en wanneer (observatie)technieken meer betrouwbaar, valide en bruikbaar zijn voor andere doeleinden.

Let op: De betrouwbaarheid van een meting stelt grenzen aan de validiteit van deze meting. Adequate niveaus van interobserver-betrouwbaarheid worden normaal gesproken vastgesteld en gerapporteerd in observationele studies. Echter is het specifieke probleem bij observatiegegevens dat onderzoekers mogelijk niet over de middelen beschikken om voldoende observatiesessies uit te voeren en daardoor de test-hertestbetrouwbaarheid niet altijd onderzocht of gerapporteerd kan worden bij observatie- of zelfrapportagemetingen. Als er dan ook een hoge mate van dagelijkse variabiliteit in gedrag is, kan dit leiden tot problemen zoals het weinig voorkomen van bepaald gedrag, of bevindingen die geen stabiele schattingen vertegenwoordigen van het gedrag van interesse (beperkte validiteit). Dit probleem kan aangepakt worden door in het onderzoek deze problemen grondig te bespreken en een methode te beschrijven om statistisch te corrigeren voor zowel de dagelijkse variabiliteit als voor het probleem van het niet optreden van bepaald gedrag als gevolg van korte observatieperioden (= "censureren"). 

Belang van resultaten van observaties in natuurlijk gedrag

Het is belangrijk dat resultaten van observatietechnieken natuurlijk gedrag reflecteren, omdat:

• Observaties die aangaven dat het gedrag na de behandeling was verbeterd ten opzichte van ervóór, zouden van beperkte waarde zijn als deze veranderingen weinig verband hielden met gedragsveranderingen die thuis plaatsvonden. 
• Als we de bevindingen uit longitudinaal onderzoek naar opvoeding willen vertalen naar nieuwe interventies, dan is het essentieel dat het waargenomen ouderlijk gedrag nauw aansluit bij dat wat het kind normaal ervaart. 
• Veel clinici gebruiken systematische observaties van ouder-kindinteractie in de kliniek om de functionele relaties tussen ouder- en kindgedrag te analyseren, om individuele doelen voor interventie te bepalen en om verandering te beoordelen.
• Veel van het onderzoek op het gebied van opvoed- en gedragsproblemen is in grote lijnen uitgevoerd vanuit het perspectief van de sociale leertheorie (= stelt dat een van de belangrijkste invloeden op het gedrag van kinderen het openlijke gedrag van andere gezinsleden is), waarbij observatietechnieken behulpzaam kunnen zijn in het meten van dit openlijke gedrag van gezinsleden.
  
  • Dit is in tegenstelling met gehechtheidsonderzoek, waarbij het geobserveerde gedrag gebruikt wordt om een ​​gevolgtrekking te maken over een verborgen, onderliggende constructie, namelijk onveilige gehechtheid. In het geval van de "Strange sitation" zou men kunnen stellen dat de belangrijke vraag niet is of het gedrag representatief is voor het normale leven, maar alleen of het de uitkomst voorspelt in overeenstemming met de gehechtheidstheorie.

Ecologische validiteit van observaties

Reactiviteit op de aanwezigheid van de waarnemer

= In welke mate gezinnen worden beïnvloed door de aanwezigheid van een waarnemer en of hun gedrag dan wel representatief is voor natuurlijke/routine interacties. 

Het is duidelijk dat het niet mogelijk is om, zonder de deelnemers te misleiden, een zuivere vergelijking te maken tussen gedrag wanneer het wordt waargenomen en dat wanneer het niet wordt waargenomen.

Er zijn wel benaderingen om de mate van de "waarnemers reactiviteit" te beperken in het design van een onderzoek:

• Verschillende niveaus van opdringeriggheid van de waarnemer kunnen vergeleken worden, in de veronderstelling dat als er significante reactiviteit is om geobserveerd te worden, het gedrag van de deelnemers onder verschillende omstandigheden zal variëren. 
  • Er zijn onderzoeken gedaan naar deze benadering en resultaten suggereren dat waarnemerseffecten niet erg sterk zijn of dat deze effecten niet variëren met het niveau van indringing (dit laatste is onwaarschijnlijk). 
• Aanname maken dat de reactiviteit in de loop van de tijd zal afnemen, omdat deelnemers eraan wennen om geobserveerd te worden.
  
  • Dus als er reactiviteitseffecten zijn, zouder er sterkere reactieve effecten zijn in het eerste deel van/eerste sessie van een observatie en daarom atypischer dan latere observaties. 
  • Een aantal onderzoeken hebben deze benadering getest met taakeisen en -instellingen die in elke sessie hetzelfde bleven, maar hier kwamen gemixte resultaten uit. Soms was de eerste sessie atypisch was omdat er meer met de waarnemer werd gepraat, maar waren er verder geen verschillen. Andere onderzoeken vonden geen systematische veranderingen binnen of tussen sessies, maar andere onderzoeken vonden wel weer een mogelijk gewenningseffect.
  • Het nadeel is wel dat gedrag tussen sessies kan veranderen om andere redenen dan veranderingen in reactiviteit ondanks inspanningen van de onderzoekers (e.g. systematische verschillen tussen sessies als gevolg van veranderingen in stemming van kind/moeder, of als gevolg van verschillen in activiteiten of andere gebeurtenissen).

Waarnemer reactiviteit bij video-opnames

• Er lijken geen onderzoeken te zijn die specifiek zijn ontworpen om de reactiviteit op homevideo-opname te onderzoeken of om deze te vergelijken met andere technieken. 
• Het lijkt er voor nu echter op dat reactiviteit van waarnemers geen substantiële bedreiging vormt voor de validiteit van waarnemingsgegevens wanneer video-opnames worden gebruikt.
• Echter moet dit nog verder onderzocht worden en zouden onderzoekers een evaluatie van reactiviteitseffecten in hun studies op moeten nemen, bijvoorbeeld door video-opnames met andere methoden te vergelijken. 

Aanbevelingen voor het verminderen van waarnemers reactiviteit

• Er is weinig informatie over de effectiviteit van verschillende aanbevelingen voor het verminderen van reactiviteit, aangezien deze over het algemeen niet zijn onderworpen aan vergelijkende tests wat betreft hun effecten op participanten. 
• Sommige onderzoekers doen wel aanbevelingen, zoals een introducerend bezoek of de eerste sessie niks opnemen. Hierbij is het onduidelijk of er gewenningseffecten zijn.
• Over het algemeen is het belangrijk om het aantal observatiesessies te maximaliseren om de betrouwbaarheid van de gegevens te vergroten, waardoor introducerende, niet-observatie bezoeken wellicht niet gewenst zijn en onnodig. Uit de literatuur blijkt dat er relatief weinig reactiviteitseffecten zijn.
• Sommigen raden aan om interactie met participanten tijdens het opnemen te vermijden, op basis van bewijs dat vertrouwdheid met de waarnemer het gedrag tijdens observaties kan beïnvloeden, terwijl anderen beweren dat de reactiviteit wordt verminderd als observatoren zich natuurlijk gedragen door te reageren op toenaderingen van familieleden.
• Er moet dus nog meer onderzoek worden gedaan wat de effectiviteit is van deze verschillende strategieën op waarnemers reactiviteit.

De aard van de taak opgelegd door de waarnemer

Ouder-kindinteractie wordt vaak beoordeeld tijdens een semi-kunstmatige taak die door de observator wordt opgelegd. Voorbeelden van taken zijn:

• Forehand & McMahons (1981) "Child's Game", waarbij ouders worden geïnstrueerd om samen te spelen, maar hun eisen te minimaliseren en in plaats daarvan de leiding van het kind te volgen. 
• Roberts & Powers; (1988) "Compliance Test" moedigt negatieve interacties aan door ouders te vragen het kind speelgoed op te laten ruimen. 
• Barkley's (1989) taken omvatten vrij spel tussen moeder en kind, en een set van vijf gestructureerde taken, zoals opruimen, figuren kopiëren en ets-een-schets.

Door onderzoekers wordt vaak een assumptie gemaakt dat het gedrag tijdens de taak enige relatie heeft met de stijl van interactie in natuurlijke omgeving. Maar dit is een grotendeels ongeteste veronderstelling, want veel onderzoekers vergelijken de gegevens tijdens de taak niet met die van natuurlijke situaties. In onderzoeken waar de taak en natuurlijke situatie wel vergeleken wordt, kan het zijn dat de effecten van activiteiten en mogelijk verschillende structuurniveaus worden verward met verschillen in de locatie. 

In het artikel worden verschillende voorbeelden gegeven van onderzoeken waarbij verschillende taken worden opgelegd (gestructureerd, vrij spel etc.) en er gekeken wordt naar de correlaties van de taken met het te meten gedrag (dus de validiteit van de taak). Ook werd er gekeken of er significante verschillen waren tussen de verschillende taken en verschillende locaties (thuis of lab) om er achter te komen of bepaalde taken hogere validiteit hadden dan andere en of gedrag in een natuurlijke situatie vergelijkbaar was met gedrag in een lab (hogere correlatie duidde op meer vergelijkbaarheid tussen locaties).

Methodologische implicaties zijn dat er zelfs binnen de thuissituatie een bescheiden consistentie kan zijn tussen natuurlijke en meer gestructureerde omstandigheden, en dat conflicten die worden waargenomen in ongestructureerde omgevingen meer voorspellende waarde kunnen hebben.

Locatie van de waarnemingen

Er zijn relatief weining onderzoeken die onderzoeken of observaties in de kliniek informatie verschaffen over het gedrag van kinderen die vergelijkbaar is met observaties thuis. Resultaten van onderzoeken die wel zijn gedaan zijn:

• Webster-Stratton vond matige tot hoge correlaties tussen gedrag thuis en in de kliniek, wanneer op beide locaties moeder en kind werden geobserveerd in een ongestructureerde situatie en werd gevraagd 'te doen wat ze normaal zouden doen'. 
  • Dus moeders die thuis meer directief waren, waren ook meer directief in de kliniek, en hetzelfde gold voor de gehoorzaamheid van kinderen.
  • Echter waren er wel verschillen in frequentie van bepaalde gedragingen, waarbij te zien was dat moeders meer directief waren in de kliniek en kinderen meer opstandig waren thuis.
  • Ook vonden ze gemiddelde percentages van niet-naleving door kinderen bij ongestructureerde thuisobservaties in vergelijking met tijdens duidelijk gedefinieerde kliniektaken, maar extreem lage cross-setting correlaties. Dit suggereert dat gestructureerde kliniekobservaties ons niet kunnen vertellen welke kinderen thuis moeilijker zijn in vergelijking met hun leeftijdsgenoten.
• Zangwill en Kniskern vonden hoge correlaties tussen gedrag tijdens speltaken in de kliniek en thuis tijdens het eten, hoewel de gemiddelde percentages van dit gedrag hoger waren in de kliniek dan thuis.

Er is een groter aantal onderzoeken waarin kliniek en thuis worden vergeleken, maar waarbij in elke setting zeer verschillende soorten activiteiten worden gebruikt. Hierdoor zijn er ook veel verschillende resultaten beschikbaar.

Conclusie

Er blijven vragen over of deze optimistische conclusie kan worden toegepast op video-opnamen thuis, en over de exacte effecten van verschillende aanbevelingen voor het verminderen van reactiviteit, aangezien deze over het algemeen niet zijn onderworpen aan vergelijkende tests van hun effecten op deelnemers. 

Het bewijs is veel minder geruststellend over de vraag of observaties die in een kunstmatige omgeving zijn uitgevoerd, of wanneer de onderzoeker een taak heeft opgelegd, ons kunnen vertellen over interactie in meer natuurlijke omstandigheden. Mogelijk staan ​​beoordelingen van waarnemers meer open voor systematische vooroordelen, zoals halo-effecten die mogelijk correlaties tussen instellingen kunnen opblazen. Lage betrouwbaarheid kan effectgroottes onderschatten met betrekking tot geobserveerd gedrag in zowel theoretische als interventiestudies.

Resultaten van onderzoeken suggereren dat taken met een hoge 'face validity' niet noodzakelijkerwijs het gedrag in het echte leven weerspiegelen, noch een goede voorspellende waarde hebben. Bovendien kunnen dezelfde gedragingen die in verschillende contexten worden waargenomen, verschillende voorspellingspatronen voor de uitkomsten van het kind vertonen. Het kan nuttig zijn voor toekomstige studies om de voorspellende validiteit van observaties die zijn uitgevoerd onder verschillende soorten en niveaus van taakstructuur te vergelijken, en om te laten zien hoe de keuze van de instelling varieert met het gedrag dat wordt geobserveerd. 

Een voorlopige conclusie uit de onderzochte onderzoeken is:

• Onderzoekers en clinici voorzichtig moeten zijn met het generaliseren van het ene type taak of omgeving naar het andere, en dat het waar mogelijk de voorkeur verdient om naturalistische thuisobservaties uit te voeren.
• Waar thuisobservaties niet mogelijk zijn, kunnen kunstmatige klinieken of laboratoriumobservaties onder bepaalde omstandigheden nuttige informatie opleveren. 
• Als het doel van observatie is om een ​​interventie voor ongehoorzaamheid van kinderen thuis te evalueren, dan is het van vitaal belang dat ongehoorzaamheid die wordt waargenomen in een klinische taak ons ​​iets vertelt over ongehoorzaamheid zoals die voorkomt in meer natuurlijke situaties. Observaties in klinieken en laboratoria blijken hiervoor niet erg geschikt. 
• Als aan de andere kant een klinische taak gericht is op het snel uitlokken van interessant gedrag om klinisch in te grijpen, dan kan observeren in deze setting nuttig zijn.
• Zelfs als ze niet erg representatief zijn voor het echte leven, hebben kunstmatige waarnemingen voor sommige doeleinden duidelijk een voorspellende waarde, en zijn ze in ieder geval waarschijnlijk beter dan geen waarnemingen, aangezien ze de informatie uit ouderlijke rapporten kunnen aanvullen of verbeteren.

Een aantal onderzoekers gebruiken nu verschillende taken gecombineerd tussen thuis en laboratorium om er voor te zorgen dat de resultaten gebaseerd zijn op zo'n natuurlijk mogelijke situaties. 

• Nadeel: duur in beoordelingstijd en het wordt nog steeds niet duidelijk welke locaties of combinaties van locaties het nuttigst zijn voor bepaald doelen.

Verder onderzoek zou kunnen helpen om te verduidelijken welke taken of combinaties van taken het meest representatief zijn voor 'typische' interacties en welke het meest voorspellend zijn voor de uitkomst.

Artikelsamenvatting van Gardner, F. (2000). Methodological Issues in the Direct Observation of Parent-Child Interaction: Do Observational Findings Reflect the Natural Behavior of Participants? Clinical Child and Family Psychology Review, Vol. 3, No. 3, 185-198 bij de literatuur van het derdejaars vak Observaties van interacties binnen gezinnen van de studie Pedagogische Wetenschappen aan de Universiteit Leiden.