Deze samenvatting is gebaseerd op het studiejaar 2013-2014.

Online nieuwsstroom

Sinds de introductie van het internet is er erg veel veranderd op het gebied van de media en de condities waaronder journalisten werken. Online nieuwsberichten verschillen erg van de traditionele kranten.

Online nieuws wordt gekenmerkt door:

• Interactiviteit: Er bestaat geen algemene definitie voor interactiviteit door de verschillende intellectuele perspectieven van onderzoekers en doordat interactiviteit een erg breed veld beslaat. Ook bestaat er geen algemene methode voor het meten van dit begrip. Door de komst van digitale nieuwsberichten is de interactiviteit toegenomen en is de grens vervaagd tussen voortbrenger en afnemer van het nieuws. Terwijl onderhandelingen tussen media en andere partijen niet nieuw is, vindt de interactiviteit tegenwoordig in veel kortere tijd plaats en hebben journalisten minder controle over wat ze hebben geschreven. In sommige gevallen kunnen bezoekers van een site namelijk zelf informatie toevoegen.
• Directheid: De directheid verwijst naar het idee dat de cyclus van het produceren van nieuws veel korter is geworden. Bovendien is de tijd tussen het moment waarop een nieuws organisatie zich bewust wordt van een probleem en informatie publiceert erg verkort. Door de grote onderlinge concurrentie proberen kranten nieuws zo snel mogelijk te publiceren. Dit leidt ertoe dat nieuws in delen wordt gepubliceerd. Door het steeds toevoegen van nieuwe informatie aan een stuk ontstaat uiteindelijk een definitieve versie.
• Onvastheid: Door de interactiviteit en directheid ontstaat er onvastheid van het nieuws. Interactiviteit geeft bezoekers de mogelijkheid om zelf informatie toe te voegen zonder dat het gecontroleerd wordt door de nieuwsorganisatie. Door de directheid kan nieuws constant bijgewerkt of verwijderd worden. Dit leidt tot onvastheid.

Problemen met bestaand onderzoek naar online nieuws:

• Er zijn nog maar weinig systematische studies gedaan naar de inhoud van online nieuws.
• Maar weinig analyses houden rekening met de kenmerken van online nieuws.
• Onderzoek naar interactiviteit en directheid van online nieuws richten zich hoofdzakelijk op de indeling van de nieuwssite in plaats van op de inhoud en context van het verhaal.
• Er bestaat nog weinig kennis over hoe interactiviteit en directheid de inhoud van online nieuwsberichten vormen.

De belangrijkste reden voor het gebrek aan inhoudsanalyses naar directheid is dat de traditionele methoden de snelle ontwikkelingen van online journalisten niet kunnen bijhouden. Er is dus behoefte aan strategieën voor het stilzetten van de stroom van online nieuws zodat systematische inhoudsanalyses mogelijk worden gemaakt. Er bestaan een aantal methoden die hiervoor gebruikt kunnen worden die ieder hun voor- en nadelen hebben:

Onderzoek
In dit artikel worden twee digitale kranten onderzocht: een uit Groot-Brittannië en een uit Zweden. Door bronnen van verschillende landen te nemen neemt de externe validiteit van het onderzoek toe. Er worden een aantal mogelijke methoden genoemd voor het onderzoeken van dit fenomeen:
            1. De snelheid van online nieuws

De eerste stap bestaat uit het op de voet volgen van een geselecteerd aantal nieuwsverhalen vanaf hun eerste publicatie en verder, om te onderzoeken hoe zij veranderen over tijd. Aangezien online verhalen iedere seconde kunnen veranderen, zou idealiter iedere vorm en inhoud van het nieuwsbericht opgeslagen moeten worden. Dit is een lastige taak aangezien op voorhand moet worden vastgesteld hoeveel nieuwsberichten onderzocht worden en hoeveel berichten opgeslagen worden. In dit onderzoek wordt de berichtgeving rondom de bestorming van het vliegveld in Keulen op 26 September 2008 bekeken. Het verhaal werd iedere keer dat de inhoud of de context van het verhaal veranderde opnieuw gedownload om het te kunnen vergelijken. Er werd steeds een screenshot gemaakt en ook werd de gehele tekst steeds opnieuw opgeslagen. Hierbij richtten de onderzoekers zich op 8 aspecten. Er werd gelet op Wat, Wie, Hoe, Wanneer, Waar, en Waarom. Daarnaast werd gekeken naar het gebruik van identificeerbare bronnen en in welke vorm en mate gebruikers konden meewerken aan de nieuwsproductie.  Uit de resultaten bleek dat beide bronnen hun informatie constant bijwerkte en de grootte van het bericht steeds toenam. Het nieuws uit de Zweedse krant kende echter een hogere mate van directheid en interactiviteit en vroeg hun bezoekers om informatie en foto’s toe te voegen.
            2. De snelheid van voorpaginanieuws
Naast de eerder genoemde methode kan er ook voor gekozen worden om de snelheid waarmee nieuws van de voorpagina verdwijnt vast te stellen. Terwijl in de traditionele kranten vooraf per publicatie besloten moet worden waar in de krant het geplaatst moet worden, kan dit bij online kranten voortdurend worden aangepast. De voorpagina wordt gezien als de pagina waar men als eerste uitkomt wanneer de nieuwssite bezocht wordt. De meest belangrijke plaats waar nieuws ingedeeld kan worden is gewoonlijk bovenaan de voorpagina.

Ten eerste moet ‘de meest belangrijke plaats’ gedefinieerd worden. In dit geval wordt dat geoperationaliseerd als de 14 nieuwsberichten die zijn gepubliceerd bovenaan de voorpagina. Ten tweede moet de analyse-eenheid gedefinieerd worden. In dit artikel waren de analyse-eenheden individuele nieuwsberichten. Een voorwaarde was dat de onderwerpen van deze berichten in principe hetzelfde bleven. Ten derde moet de periode gedefinieerd worden. In dit onderzoek is gekozen voor de periode van 15 oktober 2008 tot en met 16 oktober 2008. Met behulp van WinHTTrack werden de voorpagina’s van beide sites ieder uur gedownload zodat de top 14 nieuwsberichten aan het begin en aan het einde van de analyse vergeleken kon worden.

            3.  De snelheid van topverhalen

Ten derde kan men onderzoeken hoeveel top verhalen de online versies van kranten hebben tijdens een (of meerdere) dagen. Elk nieuwsbericht dat bovenaan de voorpagina op de dag van deze studie stond, kreeg een waarde op basis van zijn positie in de top 14 nieuwsverhalen. Hoewel het aantal nieuwsberichten op de voorpagina’s erg kan variëren, moet het meest opvallende bericht altijd de hoogste waarde toegewezen krijgen.

Opvallende nieuwsberichten die bovenaan de voorpagina stonden kregen een waarde van 14. Wanneer berichten plotseling naar de voorkant werden verplaatst, werd hen waarde berekend op basis van hun plaatsing ten opzichte van de andere top-14 berichten.

Deze methode stelde de onderzoekers in staat om te onderzoeken hoeveel en welke nieuwsberichten de meest zichtbare plekken op de voorpagina toegewezen kregen. Daarnaast konden zij ook de beweging van de berichten op de voorpagina analyseren en kijken hoe lang deze berichten tot de top-14 nieuws verhalen behoorden.

Geen van de nieuwsberichten uit de top-14 berichten stonden langer dan vijf uur op de voorpagina. Deze resultaten suggereren dat de nieuwsberichten van beide bronnen beïnvloed worden door directheid. Dit was vooral het geval bij de Zweedse nieuwssite.

Conclusie en discussie

In dit onderzoek werden drie manieren gegeven om online nieuws te onderzoeken waarbij rekening wordt gehouden met de interactiviteit en directheid ervan. Deze strategieën zouden ook voor andere inhoudsanalyses gebruikt kunnen worden voor het vergelijken van online nieuws met traditioneel nieuws. Terwijl dit een explorerende studie is, is het wel een goede eerste stap voor het onderzoeken van online nieuws waarbij gekeken wordt naar interactiviteit en directheid.

Beperkingen aan dit onderzoek zijn de tijdsduur en de hoeveelheid analyse-eenheden. Doordat het onderzoek één dag betrof, werden strategieën van nieuwsbronnen op de langere termijn niet onderzocht. Ook betreft dit onderzoek slechts twee kranten, wat een vrij kleine sample is. Daarnaast was het niet duidelijk welke tijdsindicatie gekozen moest worden voor het opnieuw downloaden van nieuwsberichten en welke middelen hiervoor gebruikt moesten worden. Dit zou opgelost moeten worden in vervolgonderzoek.

Inhoudsanalyse in Consumentenonderzoek

Het gebruik van gedocumenteerd bewijs zoals historische records, verhalen, bestaande advertenties en foto's is weinig gebruikt in consumentenonderzoek. Dit artikel toont een expositie van inhoudsanalyse methodologie en geeft commentaar op de bestaande studies in consumenten gedrag, gebruik makend van dit rijke onderzoek.

Inhoudsanalyse, ondanks dat het relatief nieuw is in consumentenonderzoek heeft een formele methodologie en is niet nieuw voor politicologie, journalistiek, sociale psychologie, communicatiewetenschap of politieke propaganda analyse.

Definities inhoudsanalyse

Inhoudsanalyse is een onderzoekstechniek voor de objectieve, systematische en kwantitatieve beschrijving van de manifeste inhoud van communicatie (Berelson, 1952)

Zowel latente inhoud als manifeste inhoud kan onderzocht worden bij inhoudsanalyse, een serie van beoordelingen of beschrijvingen die gemaakt zijn onder specifiek gedefinieerde condities door beoordelaars die getraind zijn in het gebruiken van objectieve criteria (Fearing, 1954).

Zo worden er in het artikel nog een aantal definities genoemd. De onderzoekers van dit artikel en anderen zijn het er in ieder geval over eens dat de onderscheidende karakteristieken van inhoudsanalyse objectief, systematisch en kwantitatief moeten zijn.

Objectiviteit

De categorieën van analyse moeten zo precies mogelijk gedefinieerd worden, zodat verschillende beoordeelaars tot dezelfde inhoud komen en bovenal tot dezelfde resultaten. Elke stap in het onderzoeksproces moet op basis van expliciet geformuleerde regels en procedures worden uitgevoerd. Het gaat dus om de vraag: Kunnen andere analisten, die dezelfde procedures met dezelfde data volgen, tot dezelfde conclusies komen? Hiermee onderscheidt inhoudsanalyse zich van literaire kritiek. Opvallend is dat in een groot deel van de onderzoeken naar consumentengedrag het objectiviteitcriterium zelden wordt gebruikt.

Systematisch

Dit betekent dat de inclusie en exclusie van communicatie-inhoud of analyse categorieën worden gedaan aan de hand van consistente regels. Hiermee kunnen halve of biased analyses, waarin alleen elementen in de inhoud die de analist past geselecteerd worden, worden geëlimineerd. Analyse moet ontworpen worden om relevante data voor een wetenschappelijk probleem of hypothese te vinden. De resultaten moeten theoretische relevantie hebben en bovendien generaliseerbaar zijn.

Kwantiteit

Dit is waarschijnlijk het meest onderscheidende kenmerk van inhoudsanalyse. Berelson (1952) vindt dat kwantiteit bepaalde woorden vormt als meer, altijd, toenemend en vaak. Bij kwantiteit wordt geïmpliceerd dat de data van statistische methoden niet alleen precies en samenvattend de resultaten moeten weergeven, maar dat het ook gaat om de interpretatie en gevolgtrekking. Het is niet relevant of het parametrische, non-parametrische data of nominale, ordinale of interval niveau betreft.

Het gebruik van inhoudsanalyse

Inhoudsanalyse is een wetenschappelijke, objectieve, systematische, kwantitatieve en generaliseerbare beschrijving van communicatie-inhoud. Volgens Holsti (1969) is inhoudsanalyse waarschijnlijk handig voor in ieder geval drie algemene klassen van onderzoeksproblemen die zich in virtuele disciplines voordoen. Ten eerste is het handig wanneer de toegang tot data een probleem vormt, waardoor de data van de onderzoeker gelimiteerd worden. Daarnaast heeft inhoudsanalyse ook de functie van bron als data en unobtrusive metingen.

Ten tweede zijn sommige vormen van inhoudsanalyse nodig, wanneer de eigen taal van een persoon en expressiemodus cruciaal zijn voor het onderzoek.

Ten slotte kan inhoudsanalyse deels behulpzaam zijn wanneer objectieve systematische evaluatie van materiaal nodig is die te groot is voor een enkel onderzoek. Voor onderzoeken naar kranten films, radio, literatuur, Sovjet propaganda, Voice of America thema's of de rol van vrouwen in tijdschriften is genoeg materiaal te vinden, waarbij het niet uitmaakt hoe unbiased de eigen selectieve perceptie van de onderzoeker is. De procedures in de methodologie bestaan uit het selecteren van een beschikbare populatie aan onderzoeken en een behoorlijke sample. Vervolgens moet er gekeken worden naar een specifiek woord, een bepaald thema of het wel of niet bestaan van een gebeurtenis of claim. Daarna volgt de procedure van training om bepaalde categorieën van inhoud te beoordelen volgens voorgelegde regels en ten slotte volgt de statistieke analyse van de data.

Sampling

De meeste onderzoekers zijn getraind om samples te maken van populaties mensen of mensen in het algemeen. Bij documenten gaat dit net zo. Er is een sample nodig van een behoorlijke grote, die random is verkregen en representatief is voor een gedefinieerd universum, die op zijn beurt generaliseerbaar is. De sample kan bestaan uit bijvoorbeeld consumenten of kiezers uit komische strips, tijdschriftadvertenties, dagelijkse kranten of radioscript commercials.

Soorten metingen

Een element of subdivisie van de inhoud kan variëren van groot tot klein. Een inhoudsanalyse kan bepalen hoe groot deze wordt. In de analyse kan gekeken worden naar de hoeveelheid ruimte die besteed wordt aan een bepaald onderwerp of het aantal artikelen of zelfs sleutelwoorden.

Woord

Dit is de kleinste subdivisie binnen inhoudsanalyse. Er wordt echter bijna nooit op dit niveau inhoudsanalyse uitgevoerd als het consumentenonderzoek betreft. Met woorden kunnen ook zinnen bedoeld worden, maar ook alleen woorden. Op deze manier kan er gekeken worden naar specifieke symbolen of waard geladen termen zoals religie, seks, bovennatuurlijk, democratie, sociaal, vriendelijkheid.

Thema

Deze unit is net wat groter dan het woord. Het is de meest bruikbare unit binnen de inhoudsanalyse, omdat issues, waarden, overtuigingen en attitudes besproken worden binnen deze unit. Daarentegen is het ook de moeilijkste unit van analyse.

Karakter

Het gebruik van fictieve of historische karakters als recording unit wordt vaak gebruikt in studies als fictie, drama, films, radio en andere vormen van entertainment.

Item

Het item is de gehele natuurlijke unit die gebruikt wordt door producers voor symbolisch materiaal. Dat kan een hele speech betreffen, maar ook een radioprogramma, een brief naar de uitgeverij of een nieuwsitem. Deze unit wordt door sommige onderzoekers als te groot en te ruim gezien. Daarentegen worden in de meeste onderzoeken naar consumentengedrag, die bestempeld worden als gebruikmaken van inhoudsanalyse, gebruik gemaakt van het item als analysemateriaal.

Ruimte en tijd metingen

Sommige studies hebben inhoud geclassificeerd op basis van fysieke divisies, zoals de kolomgrootte in kranten, de lijn of paragraaf, het aantal minuten bij radio en televisie of de foot bij films. Een ruimte-tijd meting kan gebruikt worden om bijvoorbeeld de relatieve grootte van 'zwarte' advertenties te vergelijken met 'witte' advertenties. Het thema zou dan het analyseren van waarden kunnen zijn, die door de communicatiedeskundige wordt gepresenteerd. Daarnaast kan een woordtelling worden gebruikt om de nadruk te meten.

Categorieën binnen analyse

Inhoudsanalyse staat voor de categorisatie van verschillende elementen in de karakters binnen een verhaal. Voorbeelden hiervan zijn de frequentie van het voorkomen van incompetente vrouwen in advertenties, of de proportie van raciale advertenties in magazines. Inhoudsanalyse is daarmee niet beter dan zijn categorieën, wanneer deze het geformuleerde denken, de hypotheses en het doel van de studie reflecteren. De categorieën vormen in essentie het conceptuele schema van het onderzoeksdesign. Een theoretische categorie zou een foto kunnen zijn die een activiteit aan de zoektocht naar de waarheid koppelt. Een foto van ontwerpers en technici werkend in hun laboratorium om het oogsten van de prairies in Oekraïne en Amerika te doen toenemen, kan gecategoriseerd worden als een economische waarde. De functie van een interviewer of code-editor is om de verbale statement om te zetten in een geclassificeerd schema. Wanneer hoog getrainde beoordelaars strikte, expliciete regels vormen, worden de categorieën die het beste de inhoud beschrijven, geselecteerd.

Richting

Het probleem van richting is waarschijnlijk het grootste probleem voor onderzoekers, omdat bij dit onderdeel de subjectiviteit moeilijk te controleren is en onmogelijk is om te elimineren. Richting verwijst naar de voor- en tegenconditie voor een bepaald onderwerp. Eigenlijk wordt de vraag gesteld: 'Is de communicatie voor of tegen een bepaald onderwerp of neutraal?'. Het is duidelijk dat inhoudsanalyse alleen productief kan zijn, wanneer er sprake is van een richting of het te kort daaraan.

Het probleem van betrouwbaarheid

Sinds de subjectiviteit van onderzoekers geminimaliseerd moeten worden om een systematische en objectieve beschrijving van communicatie-inhoud te verkrijgen, doet zich het probleem van betrouwbaarheid voor. Betrouwbaarheid of reproductie is een van de onderscheidende kenmerken van inhoudsanalyse die contrasterend is ten opzichte van andere technieken die communicatie-inhoud beschrijven. De mate van belangrijkheid heeft te maken met de verzekering dat het data verschaft die onafhankelijk verkregen zijn wat betreft de gemeten gebeurtenis, instrument of persoon (Kaplan & Goldson, 1949).

Categorische betrouwbaarheid

Deze belangrijke meten van betrouwbaarheid is afhankelijk van de capaciteit van een analist om categorieën te formuleren en het presenteren van competent beoordeelde definities van categorieën, waardoor deze akkoord gaan over welke items van een bepaalde populatie in een bepaalde categorie horen of niet. Wanneer dit doel niet bereikt kan worden, kan de gespecificeerde categorie niet begrepen worden voor wetenschappelijk gebruik.

Intercodeurbetrouwbaarheid

Intercodeurbetrouwbaarheid is het percentage van overeenstemming tussen verschillende beoordelaars over hetzelfde communicatiemateriaal. Het is de graad van consistentie tussen codeurs die dezelfde set van categorieën toepassen op dezelfde inhoud. Over het algemeen is de gerapporteerde betrouwbaarheid in de literatuur extreem hoog. Volgens Berelson (1952) moet deze tussen de 66% en 95% zitten. Volgens de onderzoekers moet de betrouwbaarheid minimaal 85% zijn. Zodra het percentage lager is dan 80% wordt de betrouwbaarheid verdacht. Wanneer categorieën smal en gesimplificeerd worden gedefinieerd en de beslissingen voor beoordelaars simpel zijn gemaakt, kan de betrouwbaarheid toenemen. Maar: betrouwbaarheid is een noodzakelijke conditie voor een valide resultaat, maar sommige stappen die de betrouwbaarheid doen toenemen, zorgen voor een slechtere validiteit. Hierdoor kan het betrouwbaarheidscriterium zeker niet als enige criterium binnen onderzoek worden gehanteerd.

Validiteit

Validiteit kan gedefinieerd worden als de mate waarin een instrument meet wat het zou moeten meten. In het onderzoeksgebied van inhoudsanalyse kan de keuze voor bepaalde categorieën en inhoud units de waarschijnlijkheid van een valide resultaat doen toenemen of afnemen. Er zijn verschillende soorten validiteit. Hieronder vallen inhoudsvaliditeit, voorspellende validiteit, concurrerende validiteit en constructvaliditeit. Helaas is gebleken uit de weinige inhoudsanalyses die tot op heden gedaan zijn dat er zeer weinig aandacht is besteed aan het validiteitscriterium. In de toekomst zou je kunnen verwachten dat met het herhalen van onderzoeken en verschillende metingen met dezelfde hypotheses vanuit verschillende invalshoeken die dezelfde tools, verschillende codeschema's gebruiken en verschillende communicatie-inhoud bronnen gebruiken tot valide metingen zou moeten leiden in consumentengedrag onderzoek.

De computer

Bij inhoudsanalyse wordt net als bij andere onderzoeksmethoden veel gebruik gemaakt van computers voor het verwerken van data. Het grootste gebruik van computers vindt plaats in studies die een woordtelling of symbolische telling vereisen. Computers kunnen namelijk snel woorden tellen met een goede betrouwbaarheid.

General Inquirer System

De kern van de General Inquirer System voor inhoudsanalyse is een woordenboek, waarin elk woord wordt gedefinieerd met een of meerdere tags die de categorieën binnen de inhoudsanalyse representeren.

Inhoudsanalyse geautomatiseerd

Voordat een automatische inhoudsanalyse wordt uitgevoerd moet eerst de probleemstelling, de invalshoek, de materiaalselectie, de waarneming en de analyse worden gekozen. Een voorwaarde voor een automatische inhoudsanalyse is dat de te onderzoeken media elektronisch beschikbaar moeten zijn, bijvoorbeeld via LexisNexis. Het kost namelijk erg veel tijd om alle teksten uit te typen of in te scannen. 

Stappen voor het opstellen van een inhoudsanalyse

1. Vaststellen van de probleemstelling

Voordat men kan beginnen met analyseren moet de probleemstelling gedefinieerd worden. Het onderwerp, de onderzoeksperiode en de te analyseren media moet gekozen worden. Hierdoor moet duidelijk worden wat de onderzoekers te weten willen komen. De keuze van de probleemstelling heeft invloed op het soort inhoudsanalyse dat uiteindelijk wordt toegepast. Er zijn twee soorten:
- Een thematische inhoudsanalyse: bekijkt of en hoe vaak over een bepaald fenomeen gesproken wordt.
- Een rationele inhoudsanalyse: bekijkt ook welke relatie er wordt gelegd tussen verschillende thema’s of objecten. Hierbij bestaat er een verschil tussen een netwerkanalyse die bekijkt of bepaalde objecten samen voorkomen in een tekst, en een semantische analyse waarbij ook wordt gekeken naar de aard van die relaties.

2.  Specificeren van de kernobjecten, synoniemen en disambigueringen

De hoofdonderwerpen en thema’s binnen teksten moeten nauwkeurig gespecificeerd worden. Dit geldt vooral voor automatische inhoudsanalyse. Een kernobject is een object waarvan men zich een voorstelling kan maken en is te onderscheiden van woorden, zinsdelen, zinnen en teksten. De kernobjecten waarin men geïnteresseerd is moeten gespecificeerd worden. Vervolgens moeten de trefwoorden (lijstjes van synoniemen) en disambigueringen (condities wanneer een synoniem valide is) gezocht worden.
Bij een rationele analyse moet bovendien worden gespecificeerd welke eigenschap(pen) van relaties men wil achterhalen en hoe die gevonden kunnen worden. Wie patronen wil onderzoeken zal ook lijsten van synoniemen moeten opstellen om samenwerking tussen bepaalde actoren te kunnen vaststellen Dit worden predikaattypen genoemd. Grammaticale analyse kan helpen om zowel losse woorden als uitdrukkingen te kunnen herkennen als indicatoren van een predikaattype.

3. Kiezen van de waarnemingseenheid.

Terwijl bij een thematische inhoudsanalyse meestal gehele teksten worden gebruikt, wordt er bij een relationele inhoudsanalyse vaak gekozen voor delen ervan. De reden hiervoor is dat een specifieke relatie in één zin of één alinea al tot uitdrukking komt.

4. Ontwikkelen van scripts. 

Een databestand wordt opgesteld waarin per waarnemingseenheid (zoals een zin, alinea of artikel) wordt vastgesteld of, waar en hoe vaak de verschillende kernobjecten voorkomen. Bij een relationele inhoudsanalyse wordt hierin ook vastgelegd of en hoe vaak de verschillende predikaattypen voorkomen. Bij een thematische inhoudsanalyse wordt dit ook wel een term-by-document-matrix of een Termen-Waarnemingseenheden-matrix TW genoemd.

Om de kwaliteit van de gegevens in zo’n matrix te verbeteren kunnen teksten voorafgaand aan het onderzoek nog worden uitgebreid met informatie over de structuur van die tekst. Ook kunnen woorden die erg vaak of juist erg weinig voorkomen uitgesloten worden van de analyse. Kernobjecten die in bijna iedere zin of alinea voorkomen leveren namelijk weinig informatie op. Hoe de (combinaties van) kernobjecten worden geteld en gemeten verschilt per inhoudsanalyse:

1. Bij een theoretische inhoudsanalyse gaat men uit van de directe telling van de kernobjecten. Het gaat uit van de frequentie van elk object per waarnemingseenheid. Voorbeeld:
   - Hoeveel aandacht krijgen bepaalde politieke partijen in verschillende media?
2. In een netwerkanalyse wordt de frequentie van paren van objecten gebruikt voor de analyse. Het gaat om het samen voorkomen van kernobjecten. Voorbeeld:
   - Welk beeld schetsen Nederlandse dagbladen van de Europese betrekkingen tussen landen? Welke landen komen dus samen voor in dezelfde artikelen?
3. In een semantische inhoudsanalyse is ook de aard van de relatie belangrijk: de analyse grijpt in op tripletten van objecten. Het uitvoeren van zo’n analyse is moeilijk omdat zowel de relatie tussen kernobjecten als de eigenschappen van die relatie moeten worden vastgesteld. Ook moet er een onderscheid worden gemaakt tussen het subject en het object. Voorbeeld:
   - Welk beeld wordt tijdens een verkiezingscampagne in het Nederlandse televisienieuws geschetst over de standpunten die de partijen innemen met betrekking tot immigranten, werkeloosheid en criminaliteit?
    

5. Dataverwerking

Aggregatiestappen zijn stappen die genomen worden om vanuit zinnen, alinea’s of artikelen (waarnemingseenheden) bij de zaken waarover men wil rapporteren (analyse-eenheden) te komen. Ook worden de verschillende synoniemen van een kernobject overgezet naar de kernobjecten waarover men wil rapporteren. Bij automatische inhoudsanalyse is de kloof tussen waarnemingseenheden en analyse eenheden in het algemeen groter dan bij conventionele inhoudsanalyse.
Nadat de aggregatiestappen zijn doorlopen kunnen de data-analysetechnieken worden toegepast. Zo kan men tot rapporteerbare uitkomsten van de inhoudsanalyse komen. Een statistische inferentiemethode is een methode die gebruikt wordt om data uit steekproeven te kunnen generaliseren naar de gehele populatie. LSA (Latent Semantic Analysis) is hier een voorbeeld van en is een soort van factoranalyse. Het kan worden gebruikt om predikaattermen of kernobjecten te sorteren, maar ook voor het ordenen van zinnen, alinea’s of artikelen. Onderlinge gelijkenissen tussen de teksten en gelijkenissen tussen de daarbinnen voorkomende woorden, kernobjecten of predikaattypen kunnen door middel van deze methode worden opgespoord. Hierdoor kunnen ook latente (verborgen) gelijkenissen ontdekt worden.

Theorieën
De Receive-Accept-Sample-theorie van Zaller gaat er vanuit dat de elite erg belangrijk zijn voor de publieke opinie. Wanneer een bepaald onderwerp in de media opeens erg veel aandacht krijgt en de elite verdeeld raakt over een onderwerp, gaan journalisten op zoek naar tegenstanders. De publieke opinie kan verschuiven doordat de balans in de pers verschoven is en de grotere aandacht voor het onderwerp ertoe leidt dat men zelf actief over een onderwerp gaat nadenken.

Volgens de theorie over issue ownership zijn issues niet neutraal maar hebben degenen die verantwoordelijk worden gezien voor een bepaalde issue de meeste invloed. De issue-eigenaren krijgen in zo’n geval de meeste aandacht.

Problemen
Drie problemen bij een theoretische inhoudsanalyse:
- Synoniemen. Bepaalde woorden kunnen gebruikt worden in een tekst om hetzelfde kernobject aan te duiden. In een onderzoek moeten er per kernobject dan ook meerdere synoniemen of trefwoorden gebruikt worden als zoekterm.
- Homoniemen. Dit zijn woorden die verschillende betekenissen hebben. In zo’n geval moet eerst worden gedisambigeerd: bepaald worden welke mogelijke betekenissen dit woord heeft. Uiteindelijk kan het probleem van homoniemen worden opgelost door het opgeven van condities bij een trefwoord. Er worden dan woorden opgegeven die in de context moeten voorkomen en die onderscheid maken tussen de verschillende betekenissen.
- Hyponiemen. Dit is een woord waarvan de betekenis volledig gedekt wordt door een ander woord met een veel bredere betekenis. Door middel van een hiërarchisch gestructureerde kernobjectenboom kan dit worden opgelost. Waarnemingseenheden op het laagste niveau kunnen dan worden samengevoegd met analyse-eenheden op hogere niveaus. Het probleem hierbij is wel dat zo’n hiërarchische boom veel verschillende relaties bevat. Het is niet altijd duidelijk onder welk woord bepaalde termen ingedeeld moeten worden.

Hulpmiddelen
Enkele hulpmiddelen die gebruikt kunnen worden voor het vergemakkelijken van het analyseerproces:

1. Lemmatiseren. In de Nederlandse taal kunnen woorden vele vormen aannemen, zoals meervoudsvormen en werkwoordsvormen. Door een tekst te lemmatiseren kan op lemma (stam) gezocht worden. De  synoniemenlijst kan dan worden ingekort omdat er niet gezocht hoeft te worden op elk mogelijke uitgang.
2. Redekundige ontleding. Per woord en woordgroep wordt bepaald welke functie het in de zin vervult, zoals onderwerp of werkwoord.
3. Het gebruik van matrixen. Een rationele inhoudsanalyse kan worden uitgewerkt tot een matrix waarin elke cel de relatie tussen twee kernobjecten aangeeft. Semantische analyse geeft een complexe structuur waarin bij elke relatie gebruikt wordt gemaakt van richting, sterkte, en type. Met bepaalde formules kunnen patronen worden beschreven van werelden en relaties. Veel concepten uit de communicatiewetenschap zijn terug te brengen tot dit soort patronen. Door het gebruik ervan kunnen alle documenten waarin interne onenigheid voorkomt uit de database gehaald worden.

Sample grootte voor kranten inhoudsanalyses in studies over verschillende jaren

Deze studie onderzoekt de meest efficiënte methode van het verzamelen van inhoud gedurende 5 jaar voor dagelijkse kranten. Er werden hiervoor 9 weken geselecteerd (9 uitgaven van een maandag, 9 uitgaven van een dinsdag, etc.) uit 5 jaar, omdat dit efficiënter is dan tien geconstrueerde weken - twee van elk jaar - zoals bij eerder onderzoek voor dagelijks krantenonderzoek populaties werd beweerd. Deze regel zorgt ervoor dat de gemeten variabelen geen grote varianties vertonen.  

Onderzoeksvraag

De onderzoekers gebruiken een longitudinaal onderzoeksdesign om veranderingen in media-inhoud over een bepaalde tijdsperiode te onderzoeken. Vragen over de meest efficiënte sampling procedure wordt daardoor in toenemende mate belangrijk. De onderzoeksvraag luidt: 'Wat is het minimum aantal voor random geconstrueerde weken die nodig zijn voor een accurate gevolgtrekking voor een populatie van 5 jaar van dagelijkse krantenedities?'

Methode

Ten eerste werden berekeningen gemaakt voor populatieparameters voor een 5 jaar durende populatie. Ten tweede werd een random gestratificeerde sample in sets van 50 genomen voor verschillende weeknummers en werd er berekend hoe goed deze de populatieparameter representeren. Ten derde werd besloten hoe groot de gestratificeerde sample moest worden om zo effectief mogelijk te zijn. Deze studie heeft alleen gebruik gemaakt van een geconstrueerde week sample, omdat uit onderzoek is gebleken dat dit efficiënter is dan een simple random design. Een sample grootte werd efficiënt geacht als deze zowel dezelfde percentages had of voldeed aan de verwachte percentages, waarbij de volgende grotere sample niet beneden het verwachte percentage mocht komen.

In deze studie werden vier variabelen gebruikt om de onderzoeksvraag te kunnen beantwoorden: het aantal foto's, het aantal informatie grafieken, het aantal verhalen en het aantal verhalen bij leden van de staf.

Foto's werden gedefinieerd als elke illustratie, gebeurtenis of persoon die geproduceerd zijn met een fotocamera. Informatiegrafieken werden gedefinieerd als elke tekening of grafiek die informatie representeert, waarmee onder andere kaarten, tabellen, figuren en cartoons worden bedoeld die niet op de komische pagina's staan. Verhalen werden gedefinieerd als elke tekstitem die een hoofdlijn heeft, ongeacht de lengte. Verhalen geschreven door leden van de staf zijn alle verhalen die geschreven zijn door iemand die gezien wordt als lid van de staf.

Deze vier variabelen werden geselecteerd, omdat van deze variabelen verwacht werd dat ze een bepaalde mate van variatie in hun gemiddelden en standaarddeviaties laten zien, die een in betere test kunnen voorzien dan wanneer er maar een variabele zou worden gebruikt.

Om een vijfjarige populatie te creëren, gebruikten drie studenten een microfilm om de vijf jaren van de Lansing State Journal van 1990 tot 1994 te coderen. Deze vijf jaar bevatten in totaal 1820 nummers, waarbij vijf daarvan misten vanwege de microfilm. De frequentie van elke variabele werd geteld voor elk nummer, deze werden samen genomen voor vijf jaar en daarna verdeeld over de nummers om de populatiegemiddelden te bepalen.

Er werd gebruik gemaakt van een random aantal generator, waarbij 50 samples werden verkregen van zes, zeven, acht en negen geconstrueerde weken die elk uit een totaal van 200 samples werden genomen (50 keer 4 tijdsperiodes).

Resultaten

De populatie

De assumptie van variatie onder de geteste variabelen werd aangenomen. Voor verder uitleg is het handig om tabel 1 door te nemen en de bijbehorende informatie te lezen. De data in tabel 2 laat de gemiddelden per issue zien voor elke variabele in alle vijf de jaren. Het gemiddelde van het aantal verhalen per issue was meer variabel dan dat van het aantal foto's, maar niet zo variabel als het aantal grafieken. De algehele trend tussen 1990 en 1994 was een afname van het aantal en ook een afname in de standaarddeviatie. Het gemiddelde aantal verhalen nam af, maar werd minder variabel. Het aantal verhalen door stafleden laat een ander patroon zien: in het jaar was het erg hoog, maar het varieerde ook heel erg.

De samples

Uit eerder onderzoek werd geconcludeerd dat twee geconstrueerde weken van een krant representatief zijn voor de issues uit een heel jaar. Daarom zouden 10 weken, twee van elk van de vijf jaar, representatief moeten zijn voor een vijfjarige inhoud populatie.

Data in tabel 3 laten de resultaten voor 50 samples voor elke zes, zeven, acht en negen geconstrueerde weken zien voor alle vier de variabelen. Zie de tabel voor verder informatie en uitleg.

Deze studie suggereert drie manieren om een longitudinale studie uit te voeren voor kranteninhoud. Als je uit gaat van een 100-jarige periode en variabelen met een CV onder de 0.5, zou de eerste manier zijn om een sample te nemen van twee geconstrueerde weken van elk jaar om een totaal van 200 weken of 1400 issues te krijgen. Dit zou de meest handige manier zijn om een valide beschrijving te geven van inhoud over 100 jaar.

Een tweede manier zou het selecteren van twee geconstrueerde weken zijn van elk jaar, maar hierbij moet wel de sampling van elk jaar vermeden worden. Een manier daarvoor zou random selecteren zijn, maar dit kan leiden tot een oneven distributie qua aantal jaar, waardoor de inhoud misleidend en niet representatief wordt. Een beter manier zou zijn om een constant interval te nemen. Hieruit kunnen trends worden opgemaakt en het is efficiënter, maar er is een kans dat ongewone jaren niet worden meegenomen, zoals het sample uit 1990.

De derde manier zou zijn om negen geconstrueerde weken te nemen uit een vijfjarige periode. Deze procedure kan alle variaties binnen de jaren meenemen, omdat alle jaren binnen de periode worden meegenomen. Over een periode van 100 jaar, zou deze manier 180 geconstrueerde weken bevatten in plaats van 200 geconstrueerde weken.

Dit onderzoek laat verder ook zien dat een onderzoeker die een bepaalde periode onderzoekt die korter is dan vijf jaar, twee geconstrueerde weken van elk jaar zou moeten onderzoeken om tot een adequate representatie van de krantendekking te komen gedurende de periode.

Samenvattend is het selecteren van negen geconstrueerde weken uit vijf jaar meer efficiënt dan het selecteren van tien geconstrueerde weken, zoals gesuggereerd werd in eerder onderzoek bij populaties uit 1 jaar, wanneer de variabelen die gemeten zijn kleine variaties vertonen. Wanneer de variaties groot zijn, zouden wel tien geconstrueerde weken genomen moeten worden.
 

De effectiviteit van random, consecutieve dag en geconstrueerde week sampling in kranten inhoudsanalyse

In deze studie worden 20 sets vergeleken, waarbij iedere sample uit vier verschillende grootten bestaat (n=7, 14, 21 en 28). Hierbij wordt gebruik gemaakt van een simpel random sample, een geconstrueerde week sample en een consecutieve dag sample van kranteninhoud. Vergelijkingen omtrent sample efficiëntie, gebaseerd op het percentage samples met gemiddelden die van elke set van 20 binnen een of twee standaardfouten van het populatiegemiddelde moeten liggen, laten de superioriteit van de geconstrueerde week sample zien.

Twee studies die wereldwijd geciteerd zijn, namelijk die van Jones en Carter (1959) en Stempel (1952) rechtvaardigen de 'geconstrueerde week' sample, waarin sample data gestratificeerd zijn bij dag of week om de systematische variatie voor dag en week te rechtvaardigen. Desalniettemin heeft nog geen een studie onderzoek gedaan naar de gehele waarde van de geconstrueerde week sample voor inhoudsanalyse. Deze rapportage vergelijkt de effectiviteit van drie type samples door een inschatting te maken van de populatieparameters voor kranteninhoud: simple random, geconstrueerde week sample en consecutieve dag sample.

Het doel van het onderzoek is om genoeg issues mee te nemen in de sample om een acceptabele inschatting van een onbekende populatieparameter te maken, en tegelijkertijd maximale efficiëntie te behalen qua tijd en moeite. Het selecteren van te weinig issues kan ervoor zorgen dat de data tot onbetrouwbare en niet valide resultaten leidt.

In dit onderzoek worden twee onderzoeksvragen gesteld:

1. Wat is het minimum aantal geconstrueerde weken die nodig zijn om een inschatting te maken van het gemiddelde aantal lokale nieuwsberichten per dagen, inclusief zondag?

2. Is een geconstrueerde week sample efficiënter dan een simple random sample of een consecutieve dag sample van vergelijkbare grootte?

Methode

In deze studie worden data van inhoudsanalyse van een 'group-owned' avond genomen en de zondagskrant. Drie getrainde codeurs onderzochten elk lokaal nieuwsitem in elke issue over een periode van 6 maanden (182 dagen) van februari tot juli 1988. Voor dit onderzoek werden de 182 dagen als populatie genomen, waarbij elk dag een lokaal verhaal telt van 6 tot 27 items. Het populatiegemiddelde lag op 15,2 voor lokale verhalen per dag, de modus op 8 en de mediaan op 15 met een standaarddeviatie van 6.18.

Ten eerste werden er sets van 20 samples opgesteld voor verschillende sample grootten die gebruik maken van een simpel random sampling. Twintig zevendaagse samples werden random geselecteerd, net zoals twintig 14-daagse samples, 21-daagse samples en 28-daagse samples.

De tweede stap was het opstellen van 20 samples die gebruik maakt van de geconstrueerde week methode. Ook hier werden 20 samples van een construeerde week (n=7) gebruikt en dit geldt ook voor twee geconstrueerde weken (n=14), drie weken (n=21) en vier weken (n=28).

In de derde stap worden vergelijkbare sets van 20 sample weken gemaakt op basis van de consecutieve dag methode. Twintig random startpunten werden gegenereerd en voor elke daarvan werden zeven consecutieve dagen geselecteerd om een week sample te vormen. Daarna werden van de 20 tweeweekse samples random startpunten genomen. Ditzelfde principe geldt ook voor de 20 drie- en vier geconstrueerde week samples.

Ten slotte werd onderzocht hoe vaak - als een percentage van elke set van 20 - een sample gemiddelde binnen een of twee standaardfouten van het populatiegemiddelde 15,2 viel.

Resultaten

De basis voor geconstrueerde week sampling wordt ondersteund aan de hand van tabel 1, waaruit valt op te maken dat er een gemiddeld aantal lokale verhalen voor elke zeven dagen van de week is. Voor verdere uitleg zie het artikel en tabel 1.

Uit tabel 2 kan de grootte van de sample gemiddelden in sets van 20 voor de simple random sample, de geconstrueerde week sample en consecutieve dag sample worden opgemaakt. Er is een duidelijk effect van sample grootte en sample techniek. Wanneer de sample grootte toeneemt, neemt de range van het sample gemiddelde in sets af voor alle drie de typen samples. Voor de geconstrueerde week sample was de range het smalst; voor de consecutieve dag samples was de range het grootst.

De eerste onderzoeksvraag betrof hoeveel geconstrueerde weken nodig waren om het populatiegemiddelde te kunnen inschatten voor lokale verhalen. Tabel 3 laat zien dat de percentages van de sample gemiddelden in elke set van 20 binnen 1 of 2 standaardfouten van het populatiegemiddelde vallen. Verder informatie over tabel 3 valt terug te vinden in het artikel. Om het gemiddelde dagelijkse aantal lokale verhalen in te schatten met 95% betrouwbaarheid zou 1 geconstrueerde week genoeg zijn voor deze populatie. De 'Central Limits Theorem' voorspelt dat 68% van het random sample gemiddelde binnen 1 standaardfout van het populatiegemiddelde ligt. Dat houdt in dat het percentage voor een- en vier geconstrueerde week samples op 85% ligt en voor twee- en drie geconstrueerde week samples dit percentage toeneemt tot 90%. Alleen de 28-dagen simple random sample viel binnen een standaardfout van het populatiegemiddelde.

De tweede onderzoeksvraag betrof of de geconstrueerde week sample efficiënter was dan een simple random sample of een constructieve dag sample. Uit tabel 2 en 3 valt af te leiden dat dit inderdaad het geval is. Uit tabel 2 valt namelijk op te maken dat de range van de sample gemiddelden altijd smaller is voor de sets van geconstrueerde week samples dan voor de consecutieve dag sample of de simple random sample met dezelfde grootte. Uit tabel 3 blijkt dat de percentages van de gemiddelden van de geconstrueerde week sample ,binnen 1 of 2 standaardfouten van het populatiegemiddelde, de percentages voor de simple random samples en consecutieve dag sample van dezelfde grootte overschrijden. Voor de precieze percentages van de verschillende samples verwijs ik je naar de tekst die bij tabel 3 hoort.

Conclusie

Simple random sample voor krantenedities geven een betrouwbare inschatting voor het populatiegemiddelde, wanneer de sample grootte groot genoeg is. De 'Central Limits Theorem' verleent onderzoekers toegang tot het gebruiken van random sampling om sampling fout in te kunnen schatten, wanneer een populatie distributie niet bekend is. In zulke omstandigheden is het beter om stratificatie toe te passen gebaseerd op bekende en niet-normale populatie distributie.

Dit onderzoek laat zien dat er directe vergelijkingen zijn tussen simple random-, consecutieve dag- en geconstrueerde week samples die een kleinere sample gebruikt, gestratificeerd voor een dag of week. De distributie van kranten is daarbij niet normaal te noemen. Geconstrueerde week samples kunnen beter inschattingen maken dan pure random samples voor dagen, omdat zij de mogelijkheid tot oversampling voor zondagen en zaterdagen ontwijken.

Verder laten de vergelijkingen in het onderzoek de importantie van sampling voor weken zien als men kijkt naar consecutieve dag sampling. Consecutieve dag samples zijn verder erg makkelijk te gebruiken en verschillende dagen kunnen hiermee gerepresenteerd worden, maar ze zijn niet betrouwbaar in het inschatten van de gemiddelden voor een periode van zes maanden of langer.

Validiteit in kwantitatieve inhoudsanalyse

Kwantitatieve inhoudsanalyse kenmerkt zich door een systematische en objectieve procedure voor het beschrijven van communicatie. In dit onderzoek wordt er beweerd dat kwantitatieve inhoudsanalyse erkend zou moeten worden als een vorm van testen en meting. Wanneer dit inderdaad zo blijkt te zijn, is het mogelijk om vele problemen die geassocieerd zijn met kwantitatieve inhoudsanalyse te framen als een goed gearticuleerde rubriek voor test validiteit. Er zijn twee procedures opgesteld om de validiteit van kwantitatieve inhoudsanalyse te onderzoeken:
1) de ontwikkeling van een protocol dat theoretisch valide is en

2) de ontwikkeling van een protocol die empirische validiteit verkrijgt.

In dit onderzoek wordt de nadruk gelegd op het gebruik van kwantitatieve inhoudsanalyse voor educatieve applicaties voor computer gemedieerde communicatie.

Reeves (1995) wijdt het falen van validiteit van de metingprocedures aan de educatieve technici die deze hanteren. De onderzoekers van dit artikel beweren dat aandacht voor de testvaliditeit de kwantitatieve inhoudsanalyse kan verbeteren en het onderzoeksveld kan verbreden. Sommige onderzoekers gebruiken kwantitatieve inhoudsanalyse in hun natuurlijke vorm. Dat wil zeggen: zij systematiseren, identificeren, categoriseren en tellen het aantal objectieve elementen van communicatie die een samenvatting voor het publiek verschaft. Deze procedure laat weinig ruimte voor interpretatie over en de resultaten zijn waardevol, zeker voor nieuwe educatieve fenomenen zoals het gebruik van CMC in onderwijs en leren.

Andere onderzoekers hebben geprobeerd om deze fenomenen te begrijpen door gebruik te maken van procedures die de traditionele vorm van kwantitatieve inhoudsanalyse verbreden. Het begint daarbij met categoriseren en identificeren van direct observeerbaar gedrag. Ze worden gezien als tekens, bewijs en indicatoren voor een onderliggend construct. Conclusies over onderliggende constructen gebaseerd op de frequentie van bovenliggende inhoud van communicatie is een gecompliceerd analytisch proces, ondanks dat dit maar zelden wordt erkend. De onderzoekers hebben daarom aandacht besteed aan het feit dat hier vaak overheen wordt gekeken. Kwantitatieve inhoudsanalyse is volgens de onderzoekers een vorm van testen en meten. Deze ontologische positionering verbindt inhoudsanalisten aan een assortiment van goed gedefinieerde procedurele tools die hen kan helpen bepaalde interpretaties en bevindingen te ondersteunen. De onderzoekers hebben daarnaast verschillende uitvindingen getoond die de validiteit moeten bevestigen. Hiervan zijn er drie verwant met de ontwikkeling van de protocollen voor het coderen. Waarbij hun doel is om beschrijvend materiaal te verzamelen en informatie uit onderzoeksmateriaal te halen. Deze drie zijn: correlationeel onderzoek, testen van verschillen in groepen en experimentele interventies.

Helaas blijken maar weinig onderzoekers geïnteresseerd te zijn in het uitvoeren van hun onderzoeken met reeds bestaande onderzoeksinstrumenten. Degene die dit wel doen, komen het volgende tegen: de validiteit van hun onderzoek neemt toe naarmate zij een bestaande procedure hanteren en zij zijn in staat om hun resultaten te vergelijken met een groeiende catalogus aan normatieve data. In dit onderzoek werd er gekeken naar twee jaar en een goede proportie van het onderzoek valt terug te koppelen aan de ontwikkeling van de drie kwantitatieve protocollen. Alleen op deze manier waren de onderzoekers in staat om onderzoek te doen naar fenomenen die onze aandacht vereisen. De ontwikkeling van het instrument speelde hierbij een centrale focus in het onderzoek en deze instrumenten worden in de huidige studies nog steeds gebruikt.

Inhoudsanalyse: Waar hebben we het over?

Kwantitatieve inhoudsanalyse wordt steeds meer gebruikt om het analyseniveau in Computer Supported Collaborative Learning te overtreffen, maar kritische reflectie voor geaccepteerd onderzoek is over algemeen nog niet uitgevoerd. Een review van CSCL conferentievoortgang laat een algemene vaagheid zien in definities van units in analyses. Over het algemeen kwamen argumenten voor de keuze voor een bepaalde unit te kort en de besluiten die gemaakt werden, terwijl de inhoudsanalyse procedures werden ontwikkeld, waren niet expliciet gemaakt. In dit artikel zal er geïllustreerd worden dat de huidig geaccepteerde oefeningen betreffende 'de unit van betekenis' over het algemeen niet toepasselijk zijn voor kwantitatieve inhoudsanalyses van elektronische communicatie. Zulke analyses worden beïnvloed door 'unit grensoverlap' en contextuele beperkingen die te maken hebben met de technologie die gebruikt wordt. De analyse voor e-mail communicatie verlangt een ander type analyse en segmentatieprocedure. Deze procedure heeft bewezen betrouwbaar te zijn en daarop volgende coderingen binnen deze units voor kwantitatieve analyse lieten tevens zien betrouwbaar te zijn.

De codeercategorieën waren niet goed gedefinieerd en moeilijk onderscheidbaar. Maar ondanks dat kon het codeschema als nog verbeterd worden. Reflectie voor een mogelijke verklaring voor de tegenvallende betrouwbaarheid van de procedure onthult een methodologisch probleem met betrekking tot de gekozen analyse unit: de unit grensoverlap.

Ondanks dat er studies zijn die een 'unit van betekenis' hebben gebruikt voor al het coderen of voor een deel van een variabele set van units, hebben beide een hoge intercodeurbetrouwbaarheid aangetoond. Verdere uitleg wordt gegeven in figuur 1 dat terug te lezen valt in het artikel. Om het methodologische probleem van overlappende grenzen te verhelpen, zou het relatieve aantal van 'communicatie' in het transcript, dat was toegewezen aan een ander segment en ook ontvangen werd als een andere code (zie wederom figuur 1), besloten moeten worden. Een andere oplossing is het kleiner maken van de unit om op deze manier het relatieve aantal van de totale communicatie die op verschillende manieren gecodeerd is door twee onafhankelijke codeurs te minimaliseren. Daarentegen is unit grensoverlap niet de enige factor die betrokken is: de toepassing van een unit wordt ook beïnvloed door de vier contextuele beperkingen.

De alternatieve unit van analyse kan bestempeld worden als betrouwbaar, wanneer er gebruikt wordt gemaakt van de alternatieve procedure. Deze procedure is makkelijk te gebruiken, kost weinig moeite en is meer precies. Cross-validiteit van een Engelse dataset laat zien dat, nadat twee punctuatie markers zijn toegevoegd, de procedure ook betrouwbaar was voor Engelse datasets. Er waren drie samples gecodeerd als er na de categorieën, definities en codeerregels wordt gekeken die resulteren in een betrouwbare kappa voor de subcategorie en een gemiddelde kappa voor de hoofdcategorie.

Het initiële doel van het onderzoek gepresenteerd in dit artikel was een procedure te ontwikkelen voor een betrouwbare inhoudsanalyse van elektronische communicatie in de context van project gerelateerd leren. Ondanks dat verschillende problemen zich voordeden tijdens het ontwikkelen van de procedure die niet vermeld werden in de meeste CSCL onderzoeken, hebben deze belangrijke implicaties voor inhoudsanalyse methodologie en oefening.

Een review naar CSCL ontwikkelingen in 2001, 2002 en 2003 laten zien dat er een groot aantal rapportages vaag zijn in hun definitie van de gebruikte analyse unit. Ook de argumentatie voor het kiezen van een specifieke analyse unit en de betrouwbaarheid van de statistiek voor het coderen, laten de segmentatie staan wanneer de unit kleiner is dan de boodschap. Ten slotte zijn de codeercategorieën kort beschreven en de codeerregels zijn niet expliciet weergegeven.

Inhoudsanalyse als systematische kwantificering

Communicatiewetenschap is mede ontstaan door de bezorgdheid bij het grote publiek over de inhoud van media. Inhoudsanalyse is een methode die gebruikt kan worden voor het analyseren van deze media inhoud. Het wordt voornamelijk gebruikt als kwantificerende methode waarbij wordt geteld hoe vaak een bepaald kenmerk voorkomt. Een kritiekpunt op deze methode is dat er geen rekening wordt gehouden met de context van de boodschap en het tellen van bepaalde woorden dus weinig waarde heeft. Door theoretische noties te maken kan dit probleem worden opgelost.

Bij een systematisch-kwantificerende inhoudsanalyse wordt een gestandaardiseerd waarnemingsinstrument gebruikt om een groot aantal gegevens bij een groot aantal onderzoekseenheden af te nemen. Hierbij moeten de waarnemers, ook wel codeurs genoemd, het materiaal analyseren door middel van een vragenlijst. De codeur werkt eerst de probleemstelling uit door middel van een conceptueel model. Vervolgens worden de selectie van eenheden, de inhoud van het instrument en de statistische analysetechnieken gedefinieerd. Nadat de steekproeftrekking heeft plaatsgevonden en de waarnemingen zijn verricht, worden de verzamelde gegevens bewerkt en digitaal geanalyseerd. Deze resultaten worden ten slotte op basis van de probleemstelling geïnterpreteerd en de conclusies worden geformuleerd. Dit gehele proces wordt uiteindelijk vastgelegd in een onderzoeksrapport.

Inhoudsanalyse en survey

Een inhoudsanalyse lijkt veel op een survey, maar kent toch een aantal verschillen. Terwijl bij survey-onderzoeken concrete personen worden onderzocht, gaat het bij een inhoudsanalyse om bepaald materiaal dat eerst onderscheiden moet worden. Daarnaast kunnen de onderzoekseenheden bij een survey zelf antwoord geven, terwijl dit bij een inhoudsanalyse door een codeur wordt gedaan. Daarbij onderzoekt hij het materiaal door middel van een vragenlijst. Om tot waardevolle resultaten te komen moet er dan ook veel aandacht worden besteed aan de kwaliteit van zo’n vragenlijst.

Het meeste onderzoek bij systematisch-kwantificerende inhoudsanalysen is beschrijvend. Zo wordt er bijvoorbeeld onderzocht welke thema’s voorkomen in bepaalde media en hoe deze thema’s geframed worden. Dit gebeurt vaak in onderzoek naar de inhoud van nieuws. In onderzoeken naar reclame wordt vaak gekeken naar kenmerken van de inhoud en de vorm die het meest effectief zijn voor de doelgroep.

Een uitgebreid registratie-instrument wordt gebruikt om bepaalde kenmerken van een boodschap te analyseren. Hierbij worden allerlei kenmerken van het programma, het verhaal en de personages onderscheiden en worden zij ingedeeld in categorieën. Deze kenmerken zijn meestal manifest, oftewel concreet aanwijsbaar.

Steekproeftrekking

Een probleem bij steekproeftrekking van een inhoudsanalyse is dat de eenheden niet homogeen zijn en media onderling sterk kunnen verschillen. Een aselecte steekproef kan hierdoor vertekening van de resultaten opleveren. Daarnaast zijn mediaproducten tijdgebonden en dit heeft invloed op de inhoud. Zo kennen kranten vaste thema’s die op vaste dagen behandeld worden, zoals sportverslagen en recensies. Ook worden nieuwsberichten vaak per dag op elkaar afgestemd en kunnen ze dus niet los van elkaar worden gezien. Een steekproef die puur op toeval berust, komt maar weinig voor. Bij inhoudsanalyses van mediaproducten wordt meestal een gestratificeerde steekproef getrokken waarbij de onderzoekseenheden deels geselecteerd worden op basis van bepaalde kenmerken.

Eenheden

Door middel van het conceptueel model wordt een waarnemingsinstrument opgesteld. Dit is een uitwerking van de onderzoekseenheden, de kenmerken van deze eenheden en de variaties die daarbij kunnen voorkomen. De kenmerken van de eenheden worden onderscheiden en ingedeeld in categorieën. Dit wordt gedaan om het interpretatieproces van de codeurs te structureren. De context van een bericht is hierbij zeer belangrijk omdat de betekenis van een product niet alleen op basis van de registratie-eenheid (het bericht) kan worden bepaald.

Ook wordt er bij een inhoudsanalyse onderscheid gemaakt tussen de eenheid die gebruikt wordt om het materiaal te selecteren (zoals kranten of tv-uitzendingen) en de eenheid die gebruikt wordt voor het waarnemingsproces. Deze waarnemingseenheid is de eenheid die wordt waargenomen en waar het onderzoek om draait. Hierbij moet men rekening houden met de analyse-eenheid. Dit is de eenheid waarover men uitspraken wil doen.
Onderzoekseenheden kunnen op twee manieren op natuurlijke wijze gekozen worden:

1. Op natuurlijke, fysieke gronden, zoals boeken, brieven of tijdschriften.
2. Op natuurlijke, syntactische gronden, zoals woorden of zinnen. De onderzoeker kan bijvoorbeeld bepaalde personen, objecten en gebeurtenissen (attitude-objecten) onderscheiden die van belang zijn voor een bepaalde vraagstelling.

Men probeert zoveel mogelijk natuurlijke eenheden toe te voegen aan een inhoudsanalyse omdat die aan de hand van oppervlakkige kenmerken kunnen worden vastgesteld. Het probleem hierbij is dat deze eenheden meestal minder relevant zijn om te analyseren.  Deze eenheden worden meestal dan ook alleen gebruikt voor het selecteren van het materiaal of het interpreteren van de context.

Waarnemingsinstrument

Het waarnemingsinstrument is de operationalisatie van het conceptueel model. Hierbij gaat het om een juiste vertaling van het begrip in termen van de kenmerken en hun categorieën. Dit wordt ook wel begripsvaliditeit genoemd.  Hierbij wordt gelet op de definiëring van de termen en op de manier waarop het instrument wordt toegepast.

Training

Voordat een inhoudsanalyse wordt uitgevoerd moeten de codeurs worden getraind. Het doel van zo’n training is dat zij een gemeenschappelijk referentiekader ontwikkelen zodat zij de bedoelingen van de onderzoeker begrijpen. Vaak ontdekt een onderzoeker tijdens dit proces dat categoriedefinities en codeeraanwijzingen op meerdere manieren te interpreteren zijn. Tijdens de training wordt het waarnemingsinstrument dan ook vaak aangepast totdat er overeenstemming is bereikt. Doordat het trainen van de waarnemers hoge kosten met zich meebrengt, wordt meestal gekozen voor een klein aantal codeurs. Een voorwaarde van deze codeurs is dat ze afstand moeten kunnen nemen van hun eigen meningen of opvattingen om objectiviteit te garanderen. Daarnaast is ervaring met zowel het codeerwerk als het materiaal zeer belangrijk.

De betrouwbaarheid van een instrument heeft altijd te maken met de deskundigheid waarmee de regels gehanteerd worden. Het draait dus niet om de betrouwbaarheid van een instrument, maar om goed getrainde waarnemers. Na de training wordt op basis van een betrouwbaarheidstest de beste codeurs geselecteerd. De onderzoeker kan er ook voor kiezen om alleen te coderen. Dit is echter alleen zinvol wanneer de onderzoeker het eigen codeerwerk en de geldigheid van de waarnemingen controleert op consistentie.

Het is niet altijd voor de hand liggend om op zoek te gaan naar getrainde codeurs. Wanneer een inhoudsanalyse draait om subjectieve inschattingen heeft men juist doorsnee kijkers of lezers nodig. De betekenis van een codering is daarbij gerelateerd aan het gemiddelde in een groep. Voor dergelijke inschattingen van standaard variabelen moet men dus doorsnee beoordelaars gebruiken, terwijl de overige variabelen door getrainde codeurs worden gedaan.

Geldigheid en betrouwbaarheid

De betekenis van een tekst wordt geïnterpreteerd door de lezer en is niet in de tekst zelf aanwezig. Om te kijken of deze interpretaties generalisbeerbaar zijn wordt gelet op twee kwaliteitscriteria:

• De geldigheid. Dit heeft betrekking op het operationalisatieproces wat betreft de selectie van het materiaal, waarbij wordt gekeken of de geselecteerde eenheden wel representatief zijn. Ook worden de empirische uitwerking van de begrippen (het waarnemingsinstrument) en de gekozen analyseprocedure gecontroleerd.
• De betrouwbaarheid. Hierbij gaat het om de mate waarin een andere onderzoeker dezelfde resultaten zou verkrijgen. Een onderzoek moet daarom herhaalbaar en navolgbaar zijn. De betrouwbaarheid is makkelijker te realiseren dan de geldigheid, omdat onderzoeken meestal vrij makkelijk te herhalen zijn en resultaten gemakkelijk vergeleken kunnen worden.

In een inhoudsanalyse wordt er veel meer aandacht besteed aan de betrouwbaarheid dan bij andere methoden. Deze betrouwbaarheid wordt meestal gecontroleerd door een deel van het codeerwerk te herhalen. Er zijn drie typen betrouwbaarheidscontroles:

1. Stabiliteit/intra-betrouwbaarheid: in hoeverre een waarnemer het materiaal op twee tijdstippen op dezelfde manier codeert.
2. Overeenstemming/inter-betrouwbaarheid: in hoeverre de resultaten van meerdere codeurs hetzelfde zijn.
3. Accuraatheid: in hoeverre het werk van de codeur overeenkomt met een normcodering (van de onderzoeker of een andere deskundige).

De betrouwbaarheid van codeurs kan variëren tussen 0 en 1 en is nihil (0) als ze alles anders coderen en totaal (1) als ze alles hetzelfde coderen. De betrouwbaarheid wordt meestal gezien als voldoende wanneer deze boven de 0.80 ligt. Omdat de overeenstemming kan berusten op toeval, heeft Scott een formule opgesteld die hier rekening mee houdt. Deze formule geeft aan hoeveel de geconstateerde overeenstemming afwijkt van de bij toeval verwachte overeenstemming:

Betrouwbaarheid =                    (aantal gelijke coderingen) – (aantal op toeval verwachte gelijke coderingen)
                                   ----------------------------------------------------------------------------------------------
                                                  (totaal aantal coderingen) – (aantal op toeval verwachte gelijke coderingen)

Bij overeenstemming gaat het niet om de samenhang tussen de codeerreeksen van de codeurs, maar om het vaststellen van de mate waarin men van de overeenstemming afwijkt.