Bulletsamenvattingen per hoofdstuk bij de 6e druk van Introduction to Behavioral Research Methods van Leary - Chapter


Wat is er belangrijk bij onderzoek in de gedragswetenschappen? - BulletPoints 1

  • Onderzoekers maken onderscheid tussen ‘basic research’, gericht op het beter begrijpen van psychologische processen, en ‘applied research’, gericht op toepassen van de verkregen kennis op het oplossen van bepaalde problemen. Soms wordt er nog ‘evaluation research’ gedaan, gericht op het begrijpen van de effecten van bepaalde programma’s op gedrag.

  • De drie doelen van onderzoek zijn beschrijving, voorspelling en verklaring.

  • Een methode is wetenschappelijk wanneer deze aan drie criteria voldoet: empirisme, verificatie en oplosbare problemen.

  • Een goede theorie voldoet aan vijf eisen: het stelt een causale relatie voor, is samenhangend (duidelijk, eenvoudig, logisch, consistent), maakt gebruik van een aantal concepten en processen om een verschijnsel te beschrijven, genereert toetsbare, falsificeerbare hypotheses en lost een bestaande theoretische vraag op.

  • Een hypothese volgt logischerwijze uit een theorie, d.m.v. deductie of soms door inductie. Een hypothese moet altijd getest kunnen worden, het liefst met verschillende meetmethoden. Om een hypothese te kunnen testen, moet deze duidelijk geformuleerd zijn.

  • Omdat theorieën alleen indirect door middel van hypothesen getest kunnen worden, zijn theorieën nooit te bewijzen. Er wordt in plaats daarvan gesproken van een ondersteunde theorie. Er kan ook nooit met zekerheid bewezen worden dat een theorie niet klopt. Zelfs als een hypothese bewezen onwaar is, kan er een meetfout gemaakt zijn. Echter, hoe meer ondersteunende studies dezelfde resultaten vinden, hoe groter kans dat de theorie klopt.

  • Er zijn vier soorten onderzoekstechnieken voor het testen van hypothesen: beschrijvend onderzoek, correlationeel onderzoek, experimenteel onderzoek en quasi-experimenteel onderzoek.

Wat betekent variabiliteit? - BulletPoints 2

  • Een schema is een cognitief referentiekader dat ervoor zorgt dat we informatie op een bepaalde manier kunnen verwerken en opslaan.

  • Behavioral variability beschrijft hoe en waarom gedrag verschilt per situatie en per individu, en hoe het door de tijd heen verandert. Hierbij wordt er gekeken naar onderzoeksvragen die gaan over verschillen in gedrag. De uitkomsten van het onderzoek (de getallen) moeten ook overeenkomen met deze verschillen (een score van vier op een test moet ook twee keer zo goed zijn dan een score van twee).

  • De gedragsdata moeten na het onderzoek geanalyseerd worden, dit kan d.m.v. twee soorten statistiek: beschrijvende statistiek en inferentiële statistiek.

  • De variantie van een dataset geeft een idee over de geobserveerde spreiding (de variabiliteit) in het gedrag van deelnemers aan het onderzoek. De variantie laat met name zien hoe scores afwijken van het gemiddelde. Variantie is klein wanneer de scores dicht om het gemiddelde geclusterd zijn.

  • Systematische variantie staat voor dat deel van de totale variantie dat op een voorspelbare manier gerelateerd is aan de variabelen die een wetenschapper onderzoekt. Errorvariantie staat voor de variantie die ontstaat door variabelen die niet in het onderzoek zijn opgenomen. De proportie systematische variantie bevindt zich altijd tussen .00 en 1.00. .01 geeft een zwakke relatie weer, .06 een gemiddelde en groter dan .15 een sterke.

  • Effect size geeft de sterkte van een relatie tussen twee variabelen weer. Wanneer er meerdere studies gedaan worden, wordt het gemiddelde van de effectgroottes van de verschillende studies berekend.

  • Er wordt altijd eerst gekeken of variabelen samenhangen (dus of er sprake is van systematische variantie), daarna wordt er pas gekeken hoe ze precies gerelateerd zijn.

Hoe kan gedrag gemeten worden? - BulletPoints 3

  • Er zijn drie meetsoorten voor gedrag: observationele meetsoorten, lichamelijke meetsoorten en zelfrapportagemetingen.

  • Psychometrie is een wetenschap, gericht op het onderzoeken van de technieken van het meten in de psychologie, het streeft ernaar om de psychologische meettechnieken te verbeteren.

  • Er zijn vier soorten meetschalen: nominaal, ordinaal, interval en ratio.

  • Betrouwbaarheid gaat over de consistentie van een meettechniek. Er zijn drie soorten betrouwbaarheid: test-hertestbetrouwbaarheid, inter-itembetrouwbaarheid en interrater-betrouwbaarheid.

  • Oorzaken van meetfouten kunnen zijn: stemming, stabiele kenmerken, situationele factoren, kenmerken van de meting en fouten.

  • Er zijn vier manieren om de betrouwbaarheid zo groot mogelijk te maken: standaardiseren van de uitvoering van de meting, verduidelijken van instructies en vragen, trainen van onderzoekers en minimaliseren van fouten in het coderen van data.

  • Validiteit is de mate waarin een meettechniek meet wat het hoort te meten. Er zijn drie soorten validiteit: Face-validiteit, constructvaliditeit en criterionvaliditeit.

  • Testbias ontstaat wanneer een meetinstrument niet even valide is voor iedereen die de test invult, waardoor de scores beter representatief zijn voor één groep dan voor een andere.

Op welke manieren kan psychologisch onderzoek benaderd worden? - BulletPoints 4

  • Onderzoekers kunnen gebruik maken van observationele methoden, fysiologische methoden, zelfrapportages en archiefmateriaal

  • Er zijn drie soorten observationele methoden: naturalistische observatie, participantobservatie en kunstmatige observatie.

  • Bij ongemaskerde observatie weet een proefpersoon dat hij geobserveerd wordt, hierdoor reageren mensen vaak wel op minder natuurlijke wijze. Gemaskerde observatie houdt in dat de proefpersoon niet weet dat hij geobserveerd wordt.

  • Het beschrijven en noteren van complexe gedragingen kan op vier manieren: verhaal, checklist, tijdsmeting en observationele beoordelingsschalen.

  • Psychofysiologische en neurowetenschappelijke metingen bestaan in vijf categorieën: neurale elektrische activiteit, neuroimaging, activiteit van het autonomische zenuwstelsel, bloed en speeksel en uiterlijke responsen.

  • Bij het samenstellen van een interview of vragenlijst zijn de volgende zaken belangrijk: specifieke en precies geformuleerde vragen, simpele vragen, geen aannames maken over de deelnemers, voorwaardelijke informatie moet voorafgaan aan het belangrijkste deel van de vraag, geen vragen waar meer dan één vraag in verwerkt zit, een goed reactieformaat (de manier van antwoorden), de vragen eerst uitproberen.

  • Er zijn drie soorten bias bij zelfrapportage: sociale wenselijkheidsfout, goedvinden en afwijzen.

  • Archiefmateriaal wordt gebruikt wanneer gebeurtenissen uit het verleden, sociale gedragsveranderingen door de jaren heen of een gebeurtenis die eerder voorgekomen moet zijn bestudeerd moeten worden.

Hoe worden participanten geselecteerd? - BulletPoints 5

  • Een representatieve steekproef is een steekproef waarmee accurate en foutloze schattingen gemaakt kunnen worden over de populatie. Een steekproef is representatief als een bepaald aspect net zo vaak voorkomt in de steekproef zelf, als in de populatie

  • De sampling error is het verschil tussen een steekproef en de bijbehorende populatie. De foutenmarge geeft en indicatie voor de mate van sampling error

  • Een kanssteekproef is een steekproef waarvan de onderzoeker weet wat de rekenkundige kans is dat een bepaald individu uit de populatie voor de steekproef geselecteerd zal worden. Een kanssteekproef kan op drie manieren geselecteerd worden: simple random sampling, stratified random sampling en cluster sampling.

  • Het non-respons probleem ontstaat wanneer individuen die voor een steekproef geselecteerd zijn niet reageren, terwijl deze mensen juist significant kunnen verschillen van mensen die wel willen deelnemen.

  • Wanneer het niet mogelijk is om een kanssteekproef te selecteren, wordt er gebruik gemaakt van een nonprobability sample, waarbij onderzoekers niet weten wat de kans is dat een bepaald individu voor de steekproef wordt gekozen en dus ook niet hoe representatief de steekproef is. Er zijn drie soorten nonprobability steekproeven: convenience sampling, quota sampling en purposive sampling.

  • Power verwijst naar de mate waarin een onderzoek in staat is de effecten van de onderzochte variabelen te detecteren. Een onderzoek met veel power ontdekt welke effecten aanwezig zijn, terwijl een onderzoek met weinig power de minder sterke effecten niet opmerkt.

Hoe ziet beschrijvend onderzoek er uit? - BulletPoints 6

  • Het doel van beschrijvend onderzoek (‘descriptive research’) is het op systematische en accurate wijze beschrijven van de kenmerken of gedragingen van een populatie. Er zijn drie soorten beschrijvend onderzoek: enquetes, demografisch onderzoek en epidemiologisch onderzoek.

  • Er bestaan vier soorten enquetes: cross-sectionele enquêtes, opeenvolgende onafhankelijke enquêtes, langdurige enquêtes en internetenquêtes.

  • Bij demografisch onderzoek gaat het om het beschrijven en verklaren van patronen van levensgebeurtenissen zoals geboorte, scheiding, migratie, gezondheid en dood.

  • Epidemiologisch onderzoek wordt gebruikt om te analyseren hoeveel mensen in verschillende groepen lijden aan een bepaalde ziekte.

  • Een frequentiedistributie is een tabel die de ruwe data samenvat. Dit kan in de vorm van een simpele frequentiedistributie, een gegroepeerde frequentiedistributie, een histogram of staafdiagram of een frequentiepolygoon.

  • Descriptive statistics (of beschrijvende statistieken) vatten de data van de hele groep proefpersonen samen. Metingen van het middenpunt geven informatie over de gemiddelde of typische score in een dataset. Hierbij wordt gekeken naar drie statistieken: gemiddelde, mediaan en modus.

  • Het betrouwbaarheidsinterval is meestal 95%, dit geeft aan dat het ware populatiegemiddelde met 95% zekerheid binnen de grenzen van dit interval valt.

  • Spreidingsmaten geven weer hoeveel spreiding er is binnen een dataset. Er zijn drie verschillende van deze maten: range, variantie en standaarddeviatie.

  • Een normaalverdeling heeft een piek in het midden en twee lage staarten aan de linker- en rechterkant. Dit betekent dat de meeste scores in het midden vallen (en rond het gemiddelde liggen), terwijl er maar weinig zeer lage en zeer hoge scores behaald zijn (dit zijn de staarten).

  • De z-score (ook wel standaardscore) laat zien hoe veel standaarddeviaties een score van het gemiddelde af ligt. Dus iemand met een z-score van -1 ligt 1 standaarddeviatie onder het gemiddelde.

Hoe ziet correlationeel onderzoek er uit? - BulletPoints 7

  • Twee variabelen covariëren als hoge of lage scores op de ene variabele altijd samengaan met hoge of lage scores op de andere variabelen; dus als de scores samen omhoog en omlaag gaan: er is sprake van een samenhang tussen de variabelen. Om dit te onderzoeken, wordt correlationeel onderzoek gedaan.

  • Een correlatiecoëfficiënt is een statistiek die altijd ligt tussen de -1 en de +1 die laat zien in welke mate twee variabelen lineair aan elkaar gerelateerd zijn.

  • Het kwadrateren van een correlatiecoëfficiënt leidt tot de coëfficiënt van bepaling (‘coëfficiënt of determination’). Deze coëfficiënt laat zien hoeveel van de variantie in de ene variabele wordt verklaard door de andere variabele.

  • Van statistische significantie is sprake wanneer een correlatiecoëfficiënt die op basis van een steekproef gevonden is heel waarschijnlijk ook geen nul is in de populatie. De significantie wordt beïnvloed door drie factoren: grootte van de steekproef, grootte van de correlatie en mate waarin we zeker willen zijn van de conclusie die op basis van de steekproef wordt getrokken.

  • Een directionele hypothese voorspelt welke richting de correlatie op gaat, dus positief of negatief. Een niet-directionele hypothese voorspelt alleen dat twee variabelen gecorreleerd zullen zijn.

  • Er zijn drie factoren die de sterkte van een correlatie ten onrechte kunnen beïnvloeden: restricted range, uitbijters en betrouwbaarheid van meetinstrumenten.

  • Correlatie betekent géén causaliteit. Zelfs wanneer er sprake is van een perfecte correlatie, kan er niet gezegd worden dat de ene variabele de andere veroorzaakt. Voor causaliteit moet aan drie voorwaarden voldaan worden: covariantie, richting en uitsluiting van invloed van andere variabelen.

  • Een onechte correlatie (‘spurious correlation’) is een correlatie tussen twee variabelen (x en y) die niet komt door een directe relatie tussen deze variabelen, maar door hun gedeelde relatie met een derde variabele (z).

Welke correlationele technieken zijn er? - BulletPoints 8

  • Door middel van regressie-analyse kunnen we regressieformules (‘regression equations’) ontwerpen, waarmee we scores kunnen voorspellen. Een regressieformule ziet er als volgt uit: y=β0+ β1x.

  • De afhankelijke variabele (y in de formule) is de variabele die we willen voorspellen, de onafhankelijke variabele (of predictor-variabele) is de x-variabele die de onderzoeker kan manipuleren.

  • Van multipele regressie-analyse is sprake wanneer de y-variabele wordt voorspeld aan de hand van meerdere x-variabelen. Er zijn drie soorten multipele regressie: standaard, stapsgewijs en hiërarchisch.

  • Wanneer er sprake is van meerdere voorspellers (predictoren, ofwel x-variabelen), berekenen onderzoekers de multiple correlatiecoëfficient (R). R beschrijft de relatie tussen y en een set voorspellers.

  • Er zijn twee technieken aan de hand waarvan toch uitspraken gedaan kunnen worden over de waarschijnlijke richting van een correlatie (dus causaliteit): cross-lagged panel design en structural equations modeling.

  • Een genestelde datastructuur houdt in dat deelnemers aan een onderzoek zijn geselecteerd uit steeds kleinere groepen, die steeds weer genesteld zijn in grotere groepen. Een probleem hierbij is dat de responsen niet onafhankelijk van elkaar zijn.

  • Factoranalyse is een verzamelnaam voor een aantal statistische technieken met als doel om onderliggende dimensies of factoren vast te stellen, die de relaties tussen variabelen kunnen verklaren.

Hoe ziet experimenteel onderzoek er uit? - BulletPoints 9

  • Een goed ontworpen experiment voldoet aan drie voorwaarden: minstens één van de onafhankelijke variabelen wordt gemanipuleerd, de deelnemers moeten op gelijke wijze (random) worden ingedeeld in experimentele condities en de onderzoeker moet controle hebben over externe variabelen. Er zijn meerdere soorten manipulaties van de onafhankelijke variabele mogelijk: omgevingsmanipulaties, instructiemanipulaties en invasieve manipulaties.

  • De experimentele groep is de conditie waarbij de onafhankelijke variabele wordt gemanipuleerd. De controlegroep krijgt niet te maken met een gemanipuleerde variabele en dient ter vergelijking; deze groep geeft een baseline.

  • Een pilot test is een test die voorafgaand aan het onderzoek wordt gedaan op een klein aantal proefpersonen, om te kijken of de verschillende condities van de onafhankelijke variabele wel genoeg van elkaar verschillen om significant invloed te hebben op het gedrag van de proefpersonen.

  • Er zijn drie manieren om deelnemers toe te wijzen aan condities: simpele willekeurige toewijzing, gematchte willekeurige toewijzing en herhaalde metingen.

  • Volgorde-effecten ontstaan wanneer het gedrag van deelnemers in een within-subjects design wordt beïnvloed door de volgorde waarin zij aan de condities worden blootgesteld. Er zijn vier soorten volgorde-effecten: oefening, vermoeidheid, sensitisatie en overdracht.

  • Interne validiteit gaat over de mate waarin een onderzoeker de juiste conclusies trekt over de effecten van de onafhankelijke variabele. Interne validiteit kan door meerdere factoren bedreigd worden: foutieve toewijzing, uitval, voortest-sensitisatie, geschiedenis, ontwikkeling en designfouten. Externe validiteit gaat over de mate waarin gevonden onderzoeksresultaten generaliseerbaar zijn naar andere steekproeven.

  • Bij een dubbel-blind procedure (‘double-blind procedure’) weten zowel de onderzoekers als de proefpersonen niet welke proefpersonen aan welke conditie zijn toegewezen.

Hoe is een experimenteel design opgebouwd? - BulletPoints 10

  • Experimentele designs waarbij er slechts één onafhankelijke variabele wordt gemanipuleerd heten eenweg-designs (‘one way designs’). De meest simpele vorm van een eenweg design is het tweegroep experimentele design (‘two-group experimental design’), hierbij zijn er slechts twee condities die met elkaar vergeleken worden. Er zijn drie soorten eenweg-designs: gerandomiseerd groepsdesign, gematchte subjectendesign en herhaalde metingendesign.

  • Bij een posttest-only design wordt de afhankelijke variabele alleen na de experimentele manipulatie gemeten. Bij een pretest-posttest design wordt de afhankelijke variabele één keer gemeten voor de manipulatie en één keer erna.

  • Een design waarbij twee of meer onafhankelijke variabelen worden gemanipuleerd, wordt een factorieel design (‘factorial design’) genoemd. De onafhankelijke variabelen in zo’n design worden factoren genoemd. Een factorieel design kan in een aantal vormen voorkomen: randomized groups factorial design, matched factorial design, repeated measures factorial design en mixed factorial design.

  • Het effect van een afzonderlijke factor wordt in een factorieel design een hoofdeffect (‘main effect’) genoemd. Een factorieel design heeft evenveel hoofdeffecten als dat er factoren zijn.

  • Een factor kan een ander effect hebben op het ene niveau van een onafhankelijke variabele dan op een ander niveau van die onafhankelijke variabele. Als dit het geval is, dan zeggen we dat de variabelen interactie hebben.

  • Om proefpersonen in groepen in te delen, kunnen onderzoekers twee procedures gebruiken: median-splitprocedure of extreme groups-procedure.

Op welke manier wordt experimentele data geanalyseerd? - BulletPoints 11

  • Wanneer de groepen verschillende gemiddelde scores hebben, is er sprake van systematische variantie. Het kan echter ook zo zijn dat de twee variabelen (x en y) samen variëren of dat er een andere variabele (z) optreedt als confounding variabele. Hierdoor lijkt het alleen maar alsof er sprake is van systematische variantie.

  • Inferentiële statistiek gaat er vanuit dat de onafhankelijke variabele effect heeft gehad, wanneer het verschil tussen de gemiddelden van de condities groter is dan dat we zouden verwachten op basis van alleen errorvariantie. Met deze statistiek kunnen we de kans vaststellen dat de verschillen in groepsgemiddelden het gevolg zijn van errorvariantie.

  • Na het doen van een eenzijdige of tweezijdige toets, kan de nulhypothese danwel behouden worden (dit betekent dat de onafhankelijke variabele geen effect heeft gehad), of verworpen worden (dit betekent dat de onafhankelijke variabele wel effect heeft gehad).

  • Type-I-fout houdt in dat de nulhypothese juist is, maar dat deze toch door de onderzoeker verworpen wordt. Type-II-fout houdt in dat de nulhypothese onjuist is, maar dat deze toch door de onderzoeker behouden wordt.

  • Een t-test wordt gebruikt om een tweegroep gerandomiseerd groepsexperiment (‘two-group randomized groups experiment’) te analyseren.

  • Een gepaarde t-toets (‘paired t-test’) wordt gebruikt wanneer er sprake is van een gematcht ontwerp of van herhaalde metingen.

Hoe gaat de analyse van complexe designs in zijn werk? - BulletPoints 12

  • De Bonferroni-aanpassing zorgt ervoor dat, ook bij gebruik van meerdere t-testen, de type-I-fout zo klein mogelijk blijft. Bij deze aanpassing wordt het normale Alpha-niveau (vaak 5%, dus .05) gedeeld door het aantal t-testen. Hierdoor wordt de kans op een type-II-fout echter wel groter.

  • ANOVA (‘analysis of variance’) wordt gebruikt voor designs die meer dan twee condities bevatten. Het bepaalt of er een statistisch significant verschil bestaat tussen een set van groepsgemiddelden, welke groepsgemiddelden dit ook mogen zijn.

  • De F-toets wordt berekend om de variantie tussen condities te vergelijken met de variantie binnen condities. We kunnen de kans inschatten dat de verschillen tussen de conditiegemiddelden het gevolg zijn van errorvariantie door deze F-ratio te toetsen.

  • Een significant resultaat geeft dan aan dat er een significant verschil is tussen ten minste twee conditiegemiddelden, maar het geeft niet precies aan welke gemiddelden dit zijn. Om daarachter te komen, wordt een post-hoc test gedaan.

  • MANOVA (‘multivariate analysis of variance’) wordt gebruikt om de effecten van twee of meer condities op twee of meer afhankelijke variabelen te toetsen. MANOVA werkt met een nieuwe variabele, de canonical variable, die een soort gewogen optelsom is van de variantie in alle afhankelijke variabelen in het onderzoek.

Hoe zien quasi-experimentele designs er uit? - BulletPoints 13

  • Wanneer het niet mogelijk of wenselijk is om onafhankelijke variabelen te manipuleren, wordt er gekozen voor een quasi-experimenteel design. Hiervan zijn verschillende soorten: one-group pretest-posttest design, nonequivalent control group design en time series design.

  • Regressie naar het gemiddelde (‘regression to the mean’) is de neiging van extreme scores om in een distributie richting het gemiddelde te verplaatsen bij herhaaldelijke meting.

  • Bij longitudinale onderzoeken is de quasi-experimentele variabele de tijd zelf. Er is dus geen sprake van een ingreep of een manipulatie van de onafhankelijke variabele.

Wat is een single-case onderzoek? - BulletPoints 14

  • De nomothetische benadering stelt dat we op zoek moeten gaan naar algemene principes en generalisaties die kunnen gelden voor alle individuen. De idiografische benadering stelt dat gedrag van individuele deelnemers moet worden beschreven, geanalyseerd en vergeleken.

  • Bij een single-case experimenteel design wordt de experimentele groep niet als geheel geanalyseerd, maar wordt elk individu uit de experimentele groep apart geanalyseerd. Er zijn verschillende soorten van dit design: ABA-design, multiple-I design en multiple baseline design.

  • De resultaten van een single-case studie kunnen niet statistisch onderzocht worden met t- en F-toetsen. Wel kunnen we de resultaten van een single-case experimenteel design per deelnemer grafisch (‘graphic analysis’/ ‘visual inspection’) weergeven.

  • Tegenwoordig wordt het single-case design vooral gebruikt om operante conditionering te bestuderen, of om te onderzoeken of gedragsveranderingstechnieken effectief zijn.

Welke ethische kwesties spelen in gedragsonderzoek? - BulletPoints 15

  • Gedragsonderzoekers hebben twee verplichtingen: zij moeten hun onderzoek uitvoeren met als doel het verbeteren van het welbevinden van mensen of dieren en moeten hun proefpersonen beschermen. Wanneer deze twee verplichtingen in conflict komen, ontstaan ethische vraagstukken.

  • Er zijn drie benaderingen voor het oplossen van ethische vraagstukken: deontologie, ethisch scepticisme en bruikbaarheid.

  • De APA (Americal Psychological Association) heeft de zogenaamde Ethical Principles of Psychologists and Code of Conduct opgesteld. Hierin staan de ethische standaarden die psychologen moeten volgen in alle gebieden van hun professionele leven; in therapie, evaluatie, lesgeven en onderzoeken.

  • Bij het maken van een ethische kosten-baten analyse, moet rekening gehouden worden met vijf potentiële opbrengsten: basiskennis, verbetering van onderzoekstechnieken, praktische uitkomsten, opbrengsten voor onderzoekers en opbrengsten voor proefpersonen. Er zijn ook enkele kosten: tijd en moeite van proefpersonen, mogelijke mentale of fysiologische schade en angst van proefpersonen dat anderen achter hun reacties komen.

  • Elk onderzoek waaraan mensen deelnemen, moet worden goedgekeurd door een Institution Review Board (IRB). Dit dient ter bescherming van de proefpersonen.

  • In onderzoek waaraan mensen deelnemen, zijn zes kwesties van belang. Dit zijn: het informed consent, de mate van inbreuk op de privacy, verplichting om deel te nemen, mogelijke psychische of fysiologische schade, deceptie en vertrouwelijkheid.

Page access
Public
Comments, Compliments & Kudos

Add new contribution

CAPTCHA
This question is for testing whether or not you are a human visitor and to prevent automated spam submissions.
Image CAPTCHA
Enter the characters shown in the image.