Onderzoek = productie van kennis door het verbinden van theorie met empirie

Methodologie= logica

Broken Windows Theory

wetenschappelijk verantwoorde uitspraken over de sociale realiteit

• = empirisch ondersteunde en beargumenteerde uitspraken op basis van correct wetenschappelijk onderzoek

Twee ideaaltypische wereldbeelden: naturalisme (of positivisme) vs. humanisme (en constructivisme)

Verschillen wat betreft:

– Ontologie: Waaruit bestaat onze wereld?

– Epistemologie: Wat is goede kennis?

– Methodologie: Op welke wijze kunnen we kennis produceren?

Naturalisme

– Ontologie: • Er bestaat een objectieve, externe realiteit die observeerbaar is, en die het gedrag van mensen beïnvloedt. • De sociale wereld lijkt complex, maar is in essentie eenvoudig: simpele onderliggende wetten

– Epistemologie: • Het ultieme doel van wetenschap is om de regelmatigheden te ontdekken en ze te presenteren als (natuur)wetten: Erklären. • Via observatie en identificatie van associaties oorzaak-gevolg relaties opsporen

– Methodologie: • Methodologisch monisme: methoden van natuurwetenschappen zijn ook toepasbaar in sociale wetenschappen • Hypothesen afgeleid uit een theorie moeten empirisch getest worden in overeenstemming met het falsificatieprincipe • De onderzoeker is een objectieve buitenstaander, waardenvrijheid is mogelijk en wenselijk

Humanisme – “People, unlike particles, think” (mensen zijn denkende wezens)

– Epistemologie:• Er zijn geen “natuurwetten” die het menselijke handelen determineren • Niet op zoek gaan naar “natuurwetten”, maar sociaal gedrag “van binnenuit” proberen te begrijpen in relatie tot de context waarbinnen dit gedrag wordt gesteld: Verstehen.

– Methodologie:• Methodologisch dualisme: methoden van natuurwetenschappen zijn niet toepasbaar in sociale wetenschappen • Objectiviteit is niet mogelijk en niet wenselijk; capaciteit tot empathisch handelen is cruciaal • D.m.v. interactie de betekenissen achterhalen die mensen aan sociaal handelen geven

Constructivisme

– Ontologie: • Dé realiteit bestaat niet; mensen construeren hun realiteit • verschijnselen in de werkelijkheid “sociale constructies” zijn”

Tegenstelling tussen naturalisme en humanisme / constructivisme: continuüm (boek)

Wereldvisie heeft implicaties voor keuze van methoden

Naturalisme: kwantitatieve onderzoeksmethoden

– Experimenten (zie hfst 5)– Statistische methoden– Toevalssteekproeven (hfst 6)– Survey onderzoek (hfst 7 & 8)

• Humanisme: kwalitatieve onderzoeksmethoden

– Case studies– Diepte-interviews– Participerende observatie

Geldigheid van een onderzoek

Meetgeldigheid: Doen we wel een uitspraak over iets waar we een uitspraak over willen doen?

Externe geldigheid: zijn de resultaten veralgemeenbaar?

Hoofdstuk 2: de empirische cyclus

Twee processen: deductie en inductie

– Deductie: van algemene wetten naar concrete verwachtingen en observaties

– Inductie: van concrete observaties naar algemene wetten

Samenspel van inductie en deductie…

– Theorievorming via observatie en inductie

– Hypothese afleiden (deductie) en toetsen

• Toetsen via observatie

• Of via ingrepen of interventies (“manipulaties” = veldexperimenten)

• Indien de empirie de hypothesen niet bevestigt: verwerpen

Cyclus van het theoretisch gericht onderzoek

Empirische cyclus v= ideaal beeld

– zelden volledig tenzij over lange periodes (onderzoeksprogramma’s = collectieve onderneming)

– in projecten: gedeelte van de cyclus

• overwegend inductie (“grounded theory”)

• overwegend deductie (“hypothetisch deductief”)

• kleine cycli meermaals (“analytische inductie”)

1. Observeren: Kennisprobleem: is theorieloos observeren mogelijk?

2. Inductie: ontwikkeling van hypothesen & theorieën

Bestaan er sociale wetmatigheden?

Wat zijn theorieën?

Hoe werkt inductie in de praktijk?

3. Deductie en voorspellingen

4. Het toetsen van hypothesen

Bestaan er sociale wetmatigheden?

– Hypothesen en theorieën worden ontwikkeld a.d.h.v. observeren van regelmatigheden, samenhangen, contrasten in de data

–cruciale vraag: zijn ze veralgemeenbaar naar andere cases?

• Het antwoord is afhankelijk van visie op onderzoek

Wilhem Dilthey (vertegenwoordiger humanisme)

– Vrije wil van mensen

– Samenleving product van menselijk bewustzijn

– Menselijke bewustzijn niet gedetermineerd door natuurkrachten, dus geen algemene wetmatigheden mogelijk

– Nadruk op “begrijpen” (verstehen)

Durkheim :

– Sociale fenomenen voltrekken zich volgens bepaalde wetmatigheden

– Sociale wetenschappers dienen ‘sociale feiten’ te bestuderen

• product van menselijke interactie

• extern aan het individu

• oefenen een dwingende kracht uit

– Vb. Zelfmoord lijkt voorbeeld bij uitstek van vrije wil, maar is eigenlijk gedetermineerd door de toestand van de samenleving

4 types van zelfdoding

Zwakke integratie: Egoïstische (na echtscheiding)

Sterke integratie: Altruïstische (zelfmoordcommando, collectieve zelfmoord in sekten)

------

Zwakke regulatie: Anomische(na ontslag, ineenstorting USSR)

Sterke regulatie: Fatalistische (gevangenen)

Merk op: onderscheid tussen

– deterministische wetmatigheden: als A dan altijd B

– probabilistische wetmatigheden: als A dan kans op B

Theorie: verschillende definities!

– Verklaart hoe en waarom bepaalde fenomenen optreden

– En doet dat doorgaans door relaties te leggen tussen verschijnselen die ons interesseren en andere verschijnselen • Bvb. “rellen” relateren aan “warmte” en “dichtheid”

Verschillende accenten bij onderzoekers en theoretici

• Theoretici: samenbrengen van ideeën en concepten sociale verschijngelen te verklaren

• Onderzoekers: theorie is verklaring van regelmaat

– logisch samenhangend geheel van uitspraken

– over relaties tussen concepten

– met een zekere mate van veralgemeenbaarheid

– die empirisch te testen zijn

– met een bepaalde mate van geldigheid

Theorieën verschillen van elkaar in de mate dat ze verwijderd zijn van de empirie

– Zeer abstracte theorieën (‘grand theories’)

• Staan ver af van de empirie en kunnen niet eenvoudig empirisch getoetst worden

• Bvb. systeemtheorie (Parsons zie cursus sociologie)

– Minder abstracte theorieën (‘middle range theories’)

• Kunnen gemakkelijker getoetst worden

Bvb. theorie van de “symbolische belangen” (lees blz 45, let op voorb 2.3.B is deductie!!!)

Theorieën verschillen ook van elkaar in de mate dat ze betrekking hebben op een substantief domein

– Substantieve of inhoudelijke theorieën

• Gaan over een of meerdere specifieke domeinen, bvb. een theorie over jeugdcriminaliteit (referentiegroepen, afwijkend gedrag, groepsnormen…)

– Formele of vormelijke theorieën

• Zijn abstracter, en worden toepasbaar geacht in vele domeinen. Bvb. de ‘rational choice’ theorie (winst maximaliseren): overal waar rationele keuzes worden gemaakt kan deze theorie gebruikt worden

---- = deductie

<----- = inductie

Inductie – Praktijk

Gefundeerde theorie-benadering of grounded theory (Glaser & Strauss)

Onderzoeker start niet met een theorie, maar met een studiegebied en laat de theorie ‘oprijzen’ uit de data

– Dit moet theorie opleveren die de realiteit beter benadert dan “speculatieve theorieën”

(Dat zijn theorieën die hun oorsprong vinden in de fantasie van wetenschappers; hoe iemand denkt dat de werkelijkheid in elkaar zou kunnen zitten)

– Creativiteit zeer belangrijk + voortdurend vergelijken

– Vertrekt van zgn. ‘Sensitizing concepts’ (gevoelig voor interpretaties door betrokken subjecten)

Aanvankelijk zou het om waarnemingen gaan rond vage concepten, maar geleidelijk worden die concepten scherper

• Drie opeenvolgende niveaus:

1. Beschrijven • Via woorden een mentaal beeld scheppen van een gebeurtenis, een situatie, een ondervinding, een emotie,…

2. Conceptueel ordenen • Organiseren van data op basis van hun eigenschappen en dimensies

3. Theorie • Een set van goed uitgewerkte concepten waartussen relaties worden gespecificeerd. Dit vormt een geïntegreerd kader om fenomenen te verklaren of zelfs te voorspellen

analytische inductie

• Theorievorming als voortdurend proces van interactie tussen onderzoeker en diens data

– Op basis van observaties worden hypotheses geformuleerd,

– die continu gecheckt worden aan de hand van nieuwe observaties

– en die worden aangepast, uitgebreid of verworpen al naargelang de uitkomst van de check

• Dit is circulair (vgl. de empirisch cyclus!)

– Dus de deductieve stap en de toetsing zit ook in dit type kwalitatief onderzoek, maar deze toetsing gebeurt niet via statistische tests

Essentieel voor lukken van methode:

Zoeken naar gevallen die je hypothese kunnen tegenspreken

– Falsificatie principe

– Zoeken naar uitzonderingen zodat je theorie sterker wordt

– Tot theoretische verzadiging optreedt

via kwantitatieve analyse

– “Data mining”

• zoeken naar verbanden en structuren in grote datasets met behulp van krachtige computers

• Gevonden samenhangen/patronen proberen te verklaren

– Soms ook in eigen onderzoek (vb. p. 51)

• Na analyse (min of meer gericht door algemene ideeën) vindt men betekenisvolle verbanden die men dan probeert te kaderen binnen theoretische kaders en dan later probeert te toetsen

• Eigenlijk een beetje de wereld op zijn kop. Normaal moet je beginnen met theorie en dan pas de statistische tests doen.

Deductie en voorspellingen

Stap van algemene theorieën naar testbare hypothesen

– Zodra nieuwe theorieën ontwikkeld zijn, worden ze getoetst a.h.v. nieuwe gegevens

– Zowel door bedenkers van de theorie als door andere onderzoekers

– Stapsgewijze beweging van algemeen naar concreet

Toetsen van de hypothese

Niet verworpen = waar?

– = Falsificatie principe (boek!!) niet te extreem bekijken: 1 negatief resultaat zorgt niet voor de omverwerping van de gehele theorie

Sluit aan bij de wetenschapsfilosofie van David Hume en meer recent Karl Popper (blz. 54-55)

Stelling van Duhem & Quine (blz. 56):

– Theorie = conjunctie van uitspraken (h1, h2, … )

– Stel: een waarneming O is onverenigbaar met de conjunctie

– In plaats van alles te verwerpen, kunnen we ook een van de uitspraken in twijfel trekken!

Praktijkgericht onderzoek

Evaluatieonderzoek

Evaluatieonderzoek is praktijkgericht onderzoek bestaande uit advies over het opzet, begeleiding tijdens de uitvoering en vooral het evalueren van de effecten van interventies in het maatschappelijk leven” (Swanborn, 1999)

Probleem (-analyse en –diagnose = advies)

• Interventie – moet een effect hebben, nl. probleem oplossen of “ongunstige toestand” reduceren – Evalueren van het proces

• Evaluatie van het effect – Is de doelstelling gerealiseerd? Evalueren van de uitkomst

Verschil met theoriegericht onderzoek:

– Cyclus vaak niet verspreid over meerdere onderzoeken. Het individuele onderzoek moet het probleem in kaart brengen en alle activiteiten ondernemen om het probleem op te lossen

– Vaak op korte termijn uitgevoerd (opdrachtgever wil snel resultaten).

– Let op: net zoals bij theoriegericht onderzoek worden niet altijd alle stappen gezet (bvb. soms enkel effect evaluatie)

Cyclus zie dia’s les 3

Belang proces-evaluatie: om neveneffecten op het spoor te komen!

Actie-onderzoek

– Kennis is macht!

– Geen duidelijk onderscheid tussen onderzoek en actie

• 4 belangrijke elementen

1) Empowerment van de deelnemers2) Participatie door samenwerking3) Kennisproductie4) Sociale verandering

Het onderzoeksplan

Opzetten van een concreet onderzoeksproject start bij opstellen onderzoeksplan (OP)

– Soort blauwdruk van het te voeren onderzoek

– Doel = onderzoek afbakenen, activiteiten vooraf vastleggen, onderzoek sturen

– Kern van het OP:

• Theoretische uitwerking en bepaling van centrale begrippen (Probleemformulering)

• Praktische uitwerking van methodologie (Onderzoekstechnisch ontwerp)

Zie schema p68

Het onderzoeksplan heeft verschillende functies

-financiering

• Projectvoorstel = embryonale versie van onderzoeksplan

• Beknopte weergave van– Probleem– Doel van het onderzoek– Toepasbare theorie(-ën)– Methodologie

– Gids voor empirisch onderzoek

• Bepalen van de vragen die het onderzoek moet beantwoorden en manier waarop dit gedaan zal

Worden • Afstemmen met opdrachtgevers • Makkelijk om nieuwe onderzoekers snel te

integreren (“lees het OP, dan weet je wat je moet doen”)

– Tool voor evaluatie

• terugkoppeling resultaten naar conceptueel model • Onderzoek evalueren

Probleemformulering

- Omvat 4 elementen:

• Probleemomschrijving & doelstelling

• Stand van zaken (literatuur onderzoek)

• Onderzoeksvragen en definitieve concepten

• Algemeen onderzoekskader

– Niet steeds zo afzonderlijk te zien, vaak geïntegreerd

– Ook niet het ene na het andere, vaak “kruisbestuiving” (zie voorbeeld over effect van

videogames)

Probleemomschrijving en doelstelling

– Basis van elk empirisch onderzoek

• Wat is het probleem waar onderzoekers mee geconfronteerd worden?

• Wat beoogt het onderzoek?

– Probleem kan praktijkprobleem zijn (dat via beleid kan worden opgelost) of theorieprobleem zijn (lacunes in kennis)

• Praktijkgericht of theoriegericht onderzoek

• Zien als ideaaltype (p. 71), dus mengvormen mogelijk

Stand van zaken: literatuuranalyse

Onderzoeksvragen formuleren

Algemeen onderzoekskader

• Algemeen onderzoekskader: onderzoek inpassen in een bepaalde onderzoekstraditie

– Inhoudelijk-onderzoeksgericht kader

• Theorie ‘dicht’ op het fenomeen (weinig abstract)

– Algemeen theoretisch kader

• Wat algemener

• Hulpmiddel om onderzoek te kaderen

• Niet altijd gespecificeerd

– Methodologisch kader: onderzoeksstrategie

• Kwantitatief (bvb. survey, experiment)

• Kwalitatief (bvb. diepte-interviews, focus-groepen)

Onderzoekstechnisch ontwerp (1)

• Onderzoekstechnisch ontwerp: eigenlijke ‘recept’ dat gebruikt wordt om het onderzoek uit te voeren

• Wat waarnemen? (p. 79)

– Welke kenmerken moeten gemeten worden en hoe?

– Operationalisering van kenmerken (hfdstk 4)

Hfst. 4: Operationaliseren

• Definitie:

– “Abstracte concepten uit een theorie concreet formuleren en als meetbare grootheid definiëren”

– Onderzoeksvatbaar maken van abstracte zaken

• Te operationaliseren elementen:

– Eenheden

Onderzoekseenheid: eenheid waar onze uitspraak betrekking op heeft

Waarnemingseenheid: eenheid die de informatie verstrekt over de analyse eenheid

Bvb. Personeelsmanager over bedrijf (bedrijf = analyse eenheid, personeelsmanager = waarnemingseenheid)

Onderzoeksvragen kunnen niveau’s doorkruisen: Leidt tot noodzaak van aggregatie /

Desaggregatie

Aggregatie: van lager naar hoger niveau – Op basis van individuele kenmerken komen tot

collectieve kenmerken • Vb. “gemiddelde scholingsgraad bedrijven”

• “Gemiddeld aantal inbraken wijk”

• “Gemiddelde testscore per klas”

Desaggregatie: van hoger naar lager niveau – Op basis van collectieve kenmerken komen tot individuele kenmerken

• Vb. “Sector van tewerkstelling”

• “Ervaring leraar”

– Resultaat: voor iedereen van dezelfde collectieve eenheid (bvb. klas) is waarde op de variabele dezelfde!

– Stel je wil invloed van ervaring van leraar nagaan op performantie leerlingen

– 2 niveaus in onderzoek: leraar = niveau van de klas (1 leraar per klas), leerlingen = lager niveau (meerdere leerlingen per klas)

Operationaliseringen:

– Ervaring leraar : aantal jaren les geven

Performantie!

• Oplossing 1: we desaggregeren ervaring van de leraar: elke leerling krijgt een variabele “ervaring” die de ervaring van zijn/haar leraar bevat (bvb. iedere leerling van klas 1A krijgt “8” omdat de leraar daar 8 jaar ervaring heeft)

Oplossing 2: we aggregeren de performantie van de leerlingen in elke klas: elke klas krijgt een gemiddelde van alle testresultaten van de leerlingen in die klas. Bvb. klas 1A krijgt score 7,5; klas 1B krijgt score 8,2.

Fouten tegen niveaus

- onvoldoende relevante niveaus

- Ecologische fout (“ecological falacy”): Ten onrechte conclusies over relaties tussen kenmerken van eenheden op lager niveau op grond van informatie over relaties tussen kenmerken van eenheden op hoger (geaggregeerde) niveau

- Individualiseringsfout: Negeren van groepsinteracties of kenmerken op het groepsniveau bij bestuderen van menselijk gedrag, louter op basis van individuele data besluiten trekken

– Plaats en tijd

Tijd en onderzoeksdesign

Cross-sectioneel onderzoek• “dwarsdoorsnede” onderzoek. We meten één keer (NU)

– Kunnen retrospectieve vragen bevatten (voor wie heb je vroeger gestemd)– Maar meestal vragen over het hier en nu.

Longitudinaal onderzoek • Onderzoek dat mensen volgt, en meerdere metingen verricht

– “Dagboekmethode” (hou gedurende 2 weken tvkijkgedrag bij)

– Echt longitudinaal design (elk jaar scholieren testen gedurende een aantal jaar om hun individuele evolutie te kunnen zien)

– Kenmerken van eenheden

– Relaties tussen kenmerken

Operationaliseren is: het meetbaar maken van theoretische concepten

– Concepten

• Een concept is abstract begrip dat een plaats inneemt in een theoretisch model

• = bouwstenen van theorie

In kwantitatief onderzoek: meetresultaat wordt weergeven in getal (correlatie: mate van samenhang)

Operationaliseren gebeurt d.m.v. indicatoren

– Representeren een concept

• Vragen in IQ-test representeren “intelligentie” (maar …)

– In survey onderzoek zijn indicatoren vaak “vragen” in de vragenlijst

• Soms slechts één vraag voor het meten van een concept

– Bijvoorbeeld, het concept “generatie” kan gemeten worden door één enkele vraag, nl. geboortejaar/leeftijd

• Soms meerdere nodig, afhankelijk van complexiteit en abstractie van concept

Hoe operationaliseren in de praktijk?

1. Formuleren van een theoretische definitie

2. Uiteenleggen in dimensies en subdimensies

3. Indicatoren selecteren

4. Instructies voor observatie opstellen

– In survey: survey-vragen of items opstellen

5. Verwerking (vb. factor-analyse)

Theoretisch concept operationeel concept waargenomen concept

In elke stap kan zich betekenisverschuivingof -verenging voordoen(??)

• Concept “dekking”

– In welke mate “dekt” het waargenomen concept het theoretische concept?

– Hoever reikt de scope van het gemeten concept?

Complexiteit van een kenmerk (p. 96)

– Hoeveel componenten in definitie?

• Vb. Geslacht: één component: M of V

• Vb. Intelligentie: meerdere componenten (rekenen, redeneren, taal)

* op theoretisch niveau = dimensies, op meetniveau = componenten

Abstractiegraad van een kenmerk

– Zintuiglijk waarneembaar of niet?

• JA: Vb. Geslacht, gezinssamenstelling (niet-abstract)

• NEEN: Vb. sociaal kapitaal, stemintenties, attitudes (abstract)

complexe, niet-abstracte kenmerken

– Overzicht opstellen van mogelijke deelaspecten

– Selecteer de deelaspecten die gemeten moeten worden (theoretisch gefundeerd)

– Voor de deelaspecten die we willen meten:

• Observatie-instructies opstellen

• Dit zijn meestal gewoon vragen naar die deelaspecten

Bijvoorbeeld: gezinstype: Niet abstract, wel meerdere componenten

• Statuut (wettelijk gehuwd, samenlevingscontract, samenwonend met/zonder registratie, vaste partner maar niet samenwonend, geen vaste partner, …)

• Geslachtssamenstelling

• Seksuele relatie

• Kinderen (biologisch, stiefkinderen, adoptie, …)

• Andere inwonende leden (grootouders, au-pair, …)

• Voorafgaande toestand?

We kunnen complexe eigenschappen ook eenvoudiger meten, via een enkele indicator

Bvb financiële achterstelling. Hier niet het objectieve (complexe) inkomen meten, maar eerder de subjectieve ervaring/inschatting ervan: “Vindt u dat u voldoende verdient om goed rond te komen?”

Abstracte kenmerken

– Zijn meestal, maar niet altijd complex

• Generatie: abstract maar niet complex

– Complexe abstracte kenmerken worden meestal met meerdere indicatoren gemeten

• Meerdere vragen

• Meerdere “items” (“item batterijen”)

vb: religieuze orthodoxie: survey

verschillende vragen - Elke vraag meet een “deelaspect” of een component van religieuze orthodoxie

Item batterijen: betrokkenheid op job

• Gestructureerder • Werken met “statements” niet met vragen

(bv. eens ----- oneens) • Lenen zich tot het maken van “Likert” schalen

Likert schaal: na sommatie krijgen we een “globale score” voor set van indicatoren (items)

• Ook wel “schaal score” genoemd

Een schaal wordt soms “latente” variabele genoemd.

-----

• Een manifeste variabele is een variabele die rechtstreeks gemeten werd

• Een latente variabele is een variabele die via een (meestal statistische techniek) afgeleid wordt van een aantal manifeste variabelen

• De techniek die hier aangeleerd werd is gewoon sommeren (additieve of summatieve schaal)

• Beperking: som schalen testen niet of de items werkelijk éénzelfde achterliggend concept meten!

Gebrekkige operationalisering kan leiden tot foutieve conclusies

– Veralgemeningsfout

• Te partiële meting van complexe concepten

• Er wordt slechts één of enkele dimensies gemeten, maar men geeft de indruk het totale concept te maten

-– Concretiseringsfout:

• Complexe concepten meten m.b.v. een zeer algemene meting i.p.v. de verschillende dimensies afzonderlijk te meten

• Vervolgens de conclusies doortrekken naar heel concrete gevallen / aspecten

• Vb.: Religiositeit meten met een zeer algemene vraag: Hoe religieus bent u?

Uit stabiliteit van deze indicator conclusies trekken over kerkpraktijk

– Abstractiefout:

• de afstand tussen het abstract theoretisch concept en het gemeten construct is te groot

• Het is niet duidelijk of het construct nog wel het abstracte concept meet

• Vb. Men wenst op contextniveau (land) het cultureel klimaat van pluralisme te meten via het aantal aanhangers van elke religieuze groepering

Relaties tussen kenmerken

Onderzoek is niet zozeer gericht op het meten van kenmerken, maar op relaties tussen kenmerken

• Kenmerken kunnen op verschillende wijzen met elkaar gerelateerd zijn

*geen verband: niets tekenen!

– Vb.:• Aantal kinderen en attitudes t.a.v. immigratie • Lichaamsgrootte en religiositeit • Afvalsorteergedrag en mediaconsumptie

*verband

• Aangeven met kromme, dubbelhoofdige pijl

• Verbanden zijn symmetrisch

– Je zegt alleen dat meer van het ene samen gaat met meer / minder van het andere

– Je zegt niet dat het ene kenmerk het andere beïnvloedt

– Ze veranderen gewoon samen, ze “covariëren”

• Vb.:– Politieke mediaconsumptie & politieke interesse

– Positieve attitudes t.a.v. etnische minderheden & nationalisme

X1 X2

Vaak wordt het teken van het verband aangegeven

+ = rechtevenredig: stijging x1 = stijging x2

- = omgekeerdevenredig: stijging x1 = daling x2

Effect van een kenmerk op het andere

– X beïnvloedt Y

– Aangeven met éénhoofdige pijl. De pijl vertrekt bij de variabele die het effect heeft en komt toe bij de variabele die het effect “ondergaat”

– X = onafhankelijke variabele; Y = afhankelijke variabele

– Normaal gezien “lezen” we een diagram van links naar rechts. Dus links staat de variabele die een effect heeft, rechts de variabele die het effect ondervindt

Vb.: • Leeftijd heeft een effect op onveiligheidsgevoel

• Studeren heeft effect op examenscore

Hoe kan je weten of het om een verband of een effectrelatie gaat? En wat de richting van het effect is?

– Statistisch (technisch) gezien geen onderscheid tussen verband en effect!

Verband of effect?

– Besluiten tot een effect mag niet zomaar; effect impliceert causaliteit

– Voorwaarden om van een causaal effect te spreken:

• Covariatie

• Tijdsorde

• Afwezigheid van schijnrelaties

• Sterke theoretische gronden

– “Safe option” = stellen dat er een verband is, maar effect meestal interessanter…

X Y

Aard van verband/effect

• Sterke of zwakke verbanden?

– De sterkte van het verband kan bepaald worden via statistiek

– Correlatie-coefficiënt / gestandaardiseerde regressiecoëfficiënt

• varieert van -1 tot +1.

• -1 = perfect negatief verband

• 0 = geen verband

• +1 = perfect positief verband

Functionele vorm

– Lineair verband / effect Fictieve data:

Lineaire relatie: voor te stellen d.m.v. 2 parameters

• Intercept (waarde afhankelijke variabele wanneer onafh. var=0)

• Richtingscoëfficiënt (toename of afname in afh. variabele wanneer onafh var met één eenheid toeneemt)

Intermediaire variabelen

Twee variabelen: – Geen relatie – Verband – Effect (van onafhankelijke naar afhankelijke variabele)

• Introductie van een derde variabele: bijkomende complexiteit!

– Mediatie / intermediaire variabelen

• Is zowel onafhankelijke variabele als afhankelijke variabele tegelijk

Soms zowel direct als indirect effect: partiële mediatie

Xy z

Media consumptie

leeftijdOnveilig gevoel

Speciale vorm: schijnverbanden

– Soms vind je een verband (of effect) dat er eigenlijk niet is

– Komt voor wanneer twee kenmerken beïnvloed worden door een derde factor die niet geobserveerd wordt

– Dus: schijnverband omdat je maar een stuk van de werkelijkheid beschouwt

Direct effect + Indirect effect = totaal effect

Direct effect: +0,1

Indirect effect: (+0,2) x (+0,4) = +0,08

Totaal effect van leeftijd op onveiligheidsgevoel = +0,18

Zonder 3e variabele zou het totale effect 0.18 zijn!!

= overschatting, want we “dwingen” om al het effect rechtstreeks te laten gaan

• Als we media-gebruik inbrengen dan laten we toe om een deel van het effect via deze variabele te laten gaan, en zal het rechtstreekse effect dus afnemen

Schijnverbanden opsporen via “elaboratie” van kruistabellen

- Afhankelijke variabele in rijen, onafhankelijke in kolommen- Kolompercentages

Zie tabel slides les 7 p 30

Interactie effect: andere wijze om relaties tussen 3 variabelen voor te stellen

Niet eenvoudig, maar wel heel belangrijk! Essentie:

– Sterkte van een verband wijzigt onder invloed van een derde variabele

– Met andere woorden: • Een variabele beïnvloedt niet rechtstreeks een andere variabele, maar de relatie tussen twee andere variabelen

X1

X2

y

Vb: vraag: aantal bedpartners: als de vraag gesteld wordt door man, dan doen mannelijke respondenten er nog een schepje bovenop. = Interactie effect. Relatie wordt sterker onder invloed van een variabele.

VRAAG MONITORAAT: AFLEZEN VAN VERBANDEN, SCHIJNVERBANDEN EN INTERACTIE-EFFECTEN UIT KRUISTABELLEN

Oef op einde slides les 7

Betrouwbaarheid en geldigheid

• Waarnemen gebeurt nooit volledig foutenvrij

– Toevallige fouten: geen patroon, eens erboven, eens eronder. Maar gemiddeld wel goed

– Systematische fouten: Wel een patroon, systematiek

• Criteria voor het beoordelen van onderzoek:

– Betrouwbaarheid: afwezigheid van toevallige fouten

– Geldigheid: afwezigheid van systematische fouten

• Zo operationaliseren dat betrouwbaarheid en geldigheid maximaal zijn

Toevalsfouten vs systematische fouten: tekening: UITLEG

Klassieke test-theorie

Y (geobserveerde waarde) = T (werkelijke waarde) + I (ongeldigheid) + e (toevalsfouten)

Assumpties klassieke test theorie

– De verwachte waarde (gemiddelde na heel veel herhaalde onafhankelijke metingen) van de toevalsfouten is 0

– Toevalsfouten zijn bij herhaalde metingen niet onderling gecorreleerd

– Toevalsfouten zijn niet gecorreleerd met de werkelijke waarde

– Toevalsfouten bij de meting van één kenmerk zijn niet gecorreleerd met toevalsfouten bij de meting van een ander kenmerk

Nut van deze assumpties: statistische modellen zijn erop gebaseerd!

Fouten vermijden

Toevallige fouten neutraliseren – Door veel waarnemingen te doen

• Concepten met verschillende indicatoren meten

• Bij voldoende groot aantal mensen (steekproeven)

Systematische fouten moeilijker te vermijden

– In elke fase van onderzoek kunnen ze optreden

– In beste geval calculeer je ze in (onderzoeksplan) en voorzie je maatregelen om de fouten te detecteren

Systematische fouten maken

1. Onderzoeksplan

• Onzorgvuldig plannen bepaalde stappen, bvb. kwaliteitscontrole, steekproeftrekking,…

2. Literatuurstudie

• Belangrijke boeken of artikels negeren

3. Ontwikkeling concepten

• Concepten foutief indiceren,…

4. Constructie onderzoeksinstrument

• Onvolledige codeerschema’s (weglaten belangrijke antwoordcategorieën bvb.)

5. Eenhedenselectie

• Slechte steekproeftrekking

6. Dataverzameling

• interviewer effecten

7. Codering, cleaning, opslag

• Foute beslissingen bij cleanen (bvb. wat doen met “andere”)

8. Analyse

• Verkeerde analysetechnieken

9. Interpretatie

• Ecologische fouten, individualiseringsfouten

10. Rapportering • Fouten maken bij schrijven (bvb. tabellen foutief aanmaken)

Peilingen naar stemintenties

– Onbetrouwbaarheid

• Ene peiling buiten de andere geeft iets andere resultaten, o.a. omdat je een andere steekproef hebt

• Doorgaans: vermeld als ‘foutenmarge’ (typisch: ca. 2%)

– Ongeldigheid

• Steekproefkader dekt de populatie niet

• Steekproef niet representatief

• Selectieve non-respons

• Sociale wenselijkheidsvertekening

• Vraagstelling (vb. bepaalde partijen weggelaten)

Vaststellen van betrouwbaarheid

Doel = mate van betrouwbaarheid van een instrument bepalen

– Betrouwbaarheid wordt uitgedrukt als een getal, meestal een correlatiecoëfficiënt.

• 0 = volstrekt onbetrouwbaar

• -1 en 1 = perfect betrouwbaar

• Drie methoden:

– Test-retest betrouwbaarheid – Paralleltest – Split-half betrouwbaarheid & Cronbach’s alpha

Test-retest

– Exact zelfde instrument 2x gebruiken bij zelfde mensen en kijken naar overeenstemming in resultaten

– Overeenstemming meten met correlatiecoëffient (moet zo dicht mogelijk bij +1 liggen)

Mogelijke problemen:

1. Te korte tijd tussen twee metingen = Geheugeneffect

– Geheugeneffect = respondent herinnert zich zijn antwoord van de vorige keer

2. Te lange tijd tussen twee metingen = Reële wijziging in opinie – Voorbeeld vraag splitsing België

Transitietabellen UITLEG = hoe betrouwbaarheid/geldigheid opsporen, correlatie berekenen?

Mogelijkheid om test-retest betrouwbaarheid te bekijken

– Bruikbaar voor nominale kenmerken

• Dichotomie eenvoudigste (2 categorieën)

• Maar meerdere categorieën ook nog doenbaar

– Heeft betrekking op meting van éénzelfde variabele bij dezelfde onderzoekseenheden op 2 verschillende tijdstippen

– Laat toe welke onderzoekseenheden zelfde waarde behouden en welke er veranderd zijn (=transitie)

Indien: ongeldigheid + onbetrouwbaarheid

– Dan kan je onbetrouwbaarheid niet meer zuiver meten, je weet niet hoeveel onbetrouwbaarheid en hoeveel ongeldigheid er is

–> Dus de correlatiecoëfficiënt (hier 0,895) is niet bruikbaar

je mag de r nu niet gebruiken om iets te zeggen over betrouwbaarheid

Als je de betrouwbaarheid van metingen kent, kan je zelf de transitietabel construeren

Voorbeeld:zie slides les 8 p 37

Paralleltest om onbetrouwbaarheid vast te stellen

– Niet 2 identieke instrumenten, maar 2 lichtjes verschillende instrumenten gebruiken

– Correlatiecoëfficiënt indien 2 metingen

– Factor analyse indien meerdere metingen

Problemen?

• Verschillende metingen, dus meet je wel het zelfde (geldigheid, systematische fouten)

• Hoe meer ze op elkaar gelijken hoe meer de kans op volgorde effecten (geheugeneffecten), hoe minder ze op elkaar gelijken hoe minder zeker dat ze het zelfde meten

Paralleltest vaak op basis van “samengestelde variabelen” = schalen, latente variabelen

Zie voorbeeld les 8 slide 40

Zelfde vier uitspraken 2x gebruiken

• Maar in andere survey modus (dus geen echte testhertest, maar paralleltest)

• de correlatie r(t1,t2) geeft de betrouwbaarheid weer. Moet minstens 0,80 zijn (Spector 1992, boek p. 144)

Split-half betrouwbaarheid

• Batterij items (schaal) op toevalsbasis in 2 delen splitsen

– Schaalscore maken op basis van helft 1

– Schaalscore op basis van helft 2

– Correlatie tussen deze twee schaalscores berekenen = spit half betrouwbaarheid

Cronbach’s alpha

• Betere methode: Cronbach’s alpha of interne consistentie van een schaal

– Wordt zeer courant gebruikt / in veel software pakketten, standaard berekend

• Is eigenlijk het gemiddelde van alle mogelijke split-half betrouwbaarheden

• Waarde varieert van 0 tot 1; waarde van 0,80 of hoger is goed – waarde van 0,70 of hoger is aanvaardbaar

Geldigheid: Ons onderzoek is geldig als we geen systematische fouten maken!

• Verschillende soorten geldigheid:

– Meetgeldigheid: meten we wat we willen meten?

– Interne geldigheid: • Zijn de relaties tussen kenmerken geldig geoperationaliseerd?

– Geen schijnverbanden?

– Houden we rekening met alle mogelijke verstorende variabelen?

– Zijn we wel zeker dat x een effect heeft op y, en niet omgekeerd?

– Externe geldigheid: generaliseerbaarheid van het onderzoek

• Kunnen we de resultaten veralgemenen naar de populatie?

Hoe beter het waargenomen concept aansluit bij het theoretische concept, hoe beter de operationalisering…

maar hoe kunnen we dat weten?

–> Proberen we te doen via de vraag naar “meetgeldigheid”

Verschillende manieren om meetgeldigheid na te gaan

• Face validity (inhoudsgeldigheid, content validity)

• Criterium geldigheid

– gelijktijdige geldigheid

– Predictieve geldigheid

• Construct geldigheid

• Convergerende en discriminerende geldigheid

Voorbeeld i&e geldigheid

– Interne geldigheid:

• Is de specificatie van de relatie tussen blootstelling aan gewelddadige games en hostility correct? Of hebben we eerder met een verband te maken dan met een effect?

– Externe geldigheid:

• Kunnen we resultaten op basis van een steekproef van 607 lln. In 4 scholen in de VS veralgemenen naar de jeugd in de VS? Naar andere landen ter wereld?

-------

Face validity

• Minimum-invulling: Face validity = ‘de meting lijkt op het gezicht het concept te meten’

• Dus intuïtief proces

– Niet steunen op “statistische” resultaten maar op inhoudelijk – theoretische overwegingen

– Proces van operationalisering systematisch evalueren, systematisch gaan overdoen en kijken of er geen fouten gemaakt zijn

• Veralgemeningsfout

• Concretiseringsfout

• Abstractiefout

Criteriumgeldigheid

– Veronderstelt een “criterium” = Instrument (operationalisering) of gebeurtenis waarvan de geldigheid vast staat

Twee vormen:

• Gelijktijdige geldigheid

– We ontwikkelen een nieuw instrument om hetzelfde concept te meten

• Maar is bv. korter

• Nagaan of het nieuwe instrument voldoende dicht aanleunt bij oude instrument

• Zo ja: via de werkwijze van criteriumgeldigheid hebben we aangetoond dat het nieuwe instrument ook geldig is: Beide instrumenten gebruiken en de mate van overeenstemming (correlatie) nagaan

– Indien correlatie 0.9 (min.!!) ?: Kortere instrument is even geldig als langere instrument Indien correlatie 0.6?: Kortere instrument is niet even geldig als langere instrument

MAAR!

als het “geldige instrument” eigenlijk niet (erg) geldig is, dan zal het nieuwe instrument even slecht als het oude zijn bij een hoge r

• Bij een lage r is het mogelijk dat het nieuwe instrument beter is, maar ook dat het slechter is dan het oude. Bij lage r dus geen eenvoudige conclusie te trekken!

• Predictieve geldigheid

- Geldigheid van een meting evalueren in het licht van een latere gebeurtenis die per definitie “geldig” is

– Bvb. assessment center bij aanwerving van sollicitanten. Is bedoeld om bvb werkperformantie te voorspellen. – Assessment op t1, werkperformantie bekijken na 1 jaar(t2).

– Predictieve geldigheid als de assessment een goede voorspeller is van performantie

Bekijken voor groepen, niet individuen Bij predictieve geldigheid veronderstelt men effecten ipv verbanden

Verschillen met gelijktijdige geldigheid

Tijdsorde

Het criterium bij de predictieve geldigheid is per definitie geldig

Construct geldigheid

- Op basis van theorie voorspelling maken (hypothese construeren) – Nakijken of hypothese stand houdt

• Zo ja: geldigheid meting in orde

Hypothese kan ontkracht worden!

• Om die reden beter met drie theoretisch verbonden concepten te werken…

Ideale situatie:

– We gebruiken minstens 3 concepten, waarbij 1 waarvan we niet weten of het geldig is

– De twee andere concepten zijn geldig gemeten

– We specificeren hypotheses over hoe de concepten met elkaar gerelateerd moeten zijn

– En we testen deze hypotheses

– Is dus in essentie zelfde als in het eenvoudige voorbeeld maar de theorie is steviger onderbouwd

Zie schema les 9 p 33

Convergerende validiteit

• Verschillende metingen van eenzelfde concept, liefst meer dan 2

• Nagaan in welke mate ze met elkaar samenhangen

– Bvb. 3 metingen van onveiligheidsgevoelen

• Indien grote correlaties tussen verschillende metingen: grote waarschijnlijkheid op geldigheid

Verschil met constructgeldigheid?

Constg.: 3 theoretisch verbonden concepten, waarvan er reeds 2 zijn geldig gemeten: we specifieren hypotheses over hoe de 3 concepten met elkaar zouden gerelateerd moeten zijn

Convg.: we gaan éénzelfde concept op verschillende manieren meten

Discriminerende validiteit

• Concepten die theoretisch duidelijk van elkaar verschillen moeten ook verschillende meetresultaten opleveren

– Bvb. onveiligheidsgevoelen en politieke machteloosheid

– De correlatie tussen deze twee concepten moet relatief laag zijn

• Niet nul natuurlijk want er kan in werkelijkheid een zekere mate van samenhang zijn tussen zich politiek machteloos voelen en een gevoelen van onveiligheid, maar die correlatie moet lager zijn dan tussen verschillende metingen van zelfde concept (vorig voorbeeld)

Kwalitatief onderzoek

• Ook in kwalitatief onderzoek vragen naar betrouwbaarheid en geldigheid

– Na interpretatie terugkoppelen naar veld: sleutelinformanten licht laten schijnen over je bevindingen. Zijn je bevindingen realistisch?

– Werken met verschillende codeurs (bvb. Diepte interviews, inhoudsanalyse) en kijken of men tot dezelfde resultaten komt (intercodeur betrouwbaarheid)

– Verschillende (onafhankelijke) onderzoekers in veld; kijken of ze tot dezelfde resultaten komen (‘triangulatie’)

Rijkdom en ethiek

Belang van causaliteit! (boek?)

Rijkdom onethisch gedrag

Rijkdom onethisch gedrag

Voorwaarden om over causale effecten te spreken

– Covariatie van 2 kenmerken

– Tijdsvolgorde

– Afwezigheid van schijnrelaties

– Sterke theoretische grond

Experimenten

Experimentele design

– Experiment bij uitstek geschikt om uitspraken te doen over causale relaties

• A veroorzaakt B

niet-experimentele designs

– Survey, diepte-interviews, focus groepen,…

– Niet-experimentele designs kunnen meestal niet verder dan besluiten tot verbanden

Twee belangrijke types van experimenten

– Laboratorium experiment artificieel!

• Eerder iets voor (sociaal-)psychologen

– Veldexperiment

• Experimenten in “werkelijke wereld” zoals klassen, organisaties, of als resultaat van beleidsmaatregelen.

• Meer iets voor sociologen, politologen, communicatiewetenschappers

Voorbeeld snoep nemen dat bedoeld is voor kinderen

Indien hoge klasse mindset meer snoep neemt dan lage klasse mindset: we besluiten dat denken te behoren tot een hogere sociale klasse onethisch gedrag veroorzaakt

– Waarom mogen we dit besluiten? (boek)

Het klassieke experiment

Vier belangrijke elementen

1. Hypothese (vermoeden) van wat iets veroorzaakt • “rijkdom veroorzaakt onethisch gedrag”

2. De onderzoeker definieert twee situaties waarbij het al dan niet optreden van de vermoedelijke oorzakelijke factor wordt gemanipuleerd • Hoge vs. lage klasse mindset

3. Eenheden wordt op toevalsbasis aan één van beide situaties (condities) toegewezen

4. We vergelijken de toestand op de afhankelijke variabele (voor en) na de experimentele manipulatie • Neemt een groep meer snoepjes dan de andere?

1. Hypothese over oorzaak afkomstig uit theorie of vroeger onderzoek

2. Verschillende situaties definiëren – Elke situatie noemt men een “conditie” • Soms ook niveau of “level” van de experimentele factor

3. Toevallig eenheden toewijzen = randomiseren

– (Waarom mogen de respondenten niet zelf kiezen?)

– (toevallige toewijzing aan groepen)

Maar soms kan dit niet of werkt het niet!!!

• “Gefixeerde kenmerken”: geslacht, leeftijd, etnische afkomst, lichaamsgewicht,…

• Ethische bezwaren: niet ethisch om vermoedelijk werkende medische behandeling niet te verstrekken, om mensen te dwingen te roken, om informatie over mensen (bvb. hun sociale status) te manipuleren om te zien of rechtbank anders oordeelt,…

• Bij kleine aantallen. Toeval werkt bij grote aantallen.

Alternatief voor randomisering: matching

– Voor elk element in een conditie zorgen we voor een vergelijkbaar element in de andere conditie

• We “matchen” op bepaalde kenmerken

Drie types matching:

1.Precisiematching: tegelijk met verschillende kenmerken rekening houden. Bvb. leeftijd, geslacht, opleiding. Als er een lager opgeleide man van 30 in de ene conditie zit, dan zorgen we ervoor dat er ook zo iemand in de andere conditie zit.

2. Groepsgewijs matchen of frequentie matchen: Of één kenmerk tegelijk.• Bvb. 5 lager opgeleiden in de ene conditie, dus ook 5 lager opgeleiden in de andere conditie. 7 mannen inde ene conditie, dus ook 7 in de andere. 4 30-jarigen in de ene conditie, dus ook 4 in de andere. • Maar kan dus dat er een lager opgeleide man van 30 in ene groep zit, maar niet in de andere!

3. Zwak matchen. Zorgen dat het gemiddelde (en evt. de spreiding) op een aantal kenmerken gelijk is. • Vb. gelijke gemiddelde leeftijd in beide groepen. • Maar dat betekent niet dat er evenveel even oude mensen in elk van de 2 groepen zitten!

Matchen garandeert minder vergelijkbaarheid dan randomiseren . (waarom?)

• Belangrijke vraag: op welke kenmerken matchen?

– Liefst op die kenmerken die een invloed kunnen hebben op de afhankelijke variabele

Vb. als je denkt dat leeftijd ook een effect zou kunnen hebben: ervoor zorgen dat de groepen gematcht zijn naar leeftijdstructuur.

– Maar is vaak niet evident

• Je kent immers niet alle mogelijke alternatieve invloeden

• Vandaar: hoe beter uw theoretische kennis, hoe groter de kans op een adequaat experimenteel opzet

4. Vergelijken situatie

– Afhankelijke variabele “meten” en vergelijken tussen de twee (of meerdere) condities

• Bvb. Respondenten van groep 1 (hoge klasse mindset): nemen gemiddeld 1.17 snoepjes

• Respondenten uit de lage klasse mindset slechts 0.60

– Verschil = 0.57 snoepjes

– Indien “statistisch significant”, besluiten dat klasse mindset onethisch gedrag heeft veroorzaakt

Klassieke experiment bestaat uit een voormeting en een nameting

– R = random assignment (toevallige toewijzing)

– O = observatie, eerste getal (i)=groep, tweede getal(j) = tijdstip van meting

– Xe = waarde van onafh. var. X in experimentele groep

– Xc = waarde van onafh. var. X in controle groep

R O11 Xe O12

R O21 Xc O22

Waarom voormeting?

– Toevalstoewijzing (of matching) zorgt voor gelijke samenstelling groepen

• Dus alle alternatieve mogelijke effecten worden uitgeschakeld

Maar soms werkt het toeval (of matching) niet perfect

• Dan toch verschillen tussen beide groepen die er op voorhand al zijn

• Voormeting: bvb. kijken hoeveel snoepen de groepen nemen voor de experimentele manipulatie, om na te gaan of er geen verschillen zijn tussen groepen

Netto-effect van de experimentele factor

– Verschillen na de experimentele manipulatie

• Bvb. score 1.17 – 0.60 = 0.57 punten verschil

– Min de verschillen vóór de experimentele manipulatie

• Bvb. score 0.80 – 0.60 = 0.20 punten verschil

• Netto effect van de experimentele manipulatie = 0.57 – 0.20 = 0.37 snoepen en niet 0.57 snoepen (wat we zonder voormetingzouden besluiten) = Formeel: (O12-O11) – (O22-O21)

Voormeting

• Voormeting om differentiële groepssamenstelling in kaart te brengen

– Laat toe “netto effect” te bepalen

• neveneffect:reactiviteit

Reactiviteit als een interactie-effect tussen experimentele manipulatie en voormeting!!!

Reactiviteit nagaan

‘solomon 4 group design’

– 2 groepen waar we voormeting doen

• Experimentele en controle groep. Hier dus mogelijkheid dat voormeting invloed heeft.

– Plus 2 groepen waar we geen voormeting doen

• Experimentele en controle groep, maar waar voormeting geen effect kan hebben omdat we ze niet doen.

Als O32=O12 en O42=O22 (of zeer gelijkend): geen effect van voormeting.

Anders: effect van voormeting (zie tekening les 10 p30)

Oefening: voldoet dit experiment aan het klassiek experimenteel design? Eind les 10

Bedreigingen van de interne geldigheid

Buitenexperimentele gebeurtenissen (‘history’)

• Vooral geval voor veldexperimenten

• Vooral probleem indien deze verschillen naar condities (=‘local history’)

– Differentiële groepssamenstelling, door slecht werkende randomisatie of matching, of door uitval doorheen de tijd

– Verwachtingen participanten (daarom ‘blind’)

– Verwachtingen onderzoeker (daarom ‘dubbelblind’)

Externe geldigheid:

– Zwakker punt van experimenten

• Als participanten speciale groep zijn, bvb. Psychologie studenten: kunnen we wel veralgemenen naar een algemene populatie?

• Als experiment in artificiële setting gebeurt (vooral labo, maar soms ook veld exp.) : kunnen we wel veralgemenen naar “normale” settings?

– Bvb. Hebben hoge vs. lage sociale klasse mindset ook effect in dagelijkse leven?

• Reactiviteit

Alternatief: Quasi- en pre-experimenten

Quasi-experimenten

• Strikte stramien van een klassiek experiment is praktisch niet altijd realiseerbaar

– Praktisch niet mogelijk – Ethisch niet verantwoord

– Wijken op bepaalde punten af van experiment

• Vb.: Geen randomisatie en/of geen voormeting

– Zwakkere designs dan het klassieke experiment

• minder controle over effect van storende factoren

• interne geldigheid meestal beperkter

• causale uitspraken meestal problematisch

Voorbeelden van quasi-experimenten:

– Non-equivalent control group design

– Simulated pretest posttest design

– Two group posttest only design

– Enkelvoudige tijdsreeks

1: Nonequivalent control group design

Geen 2 gelijke experimentele groepen: controlegroep is niet op dezelfde manier samengesteld als de experimentele groep = geen randomisering plaatsgevonden! (R in de notatie ontbreekt)

Men gebruikt bestaande groepen uit de samenleving o Besluiten tot causaliteit is dus betwijfelbaar: kan zowel aan manipulatie liggen, als

aan de verschillende groepssamenstellingo Wel voormetingen mogelijk: oplossing is beperkt

Vb: effect gewelddadige films : mensen mogen gaan kijken naar film naar keuze: agressiviteit werd op voorhand gemeten, alsook achteraf. Blauw = gaan gewelddadige film Groen= andere soort film

Is er een effect door het kijken van een agressieve film?

Men kan hier niet de eindresultaten vergelijken: mensen mochten kiezen! Dus vooraf verschil mogelijke factor ipv het kijken van een agressieve film

Grafiek 1: experimentele factor heeft effect: controlegroep blijft constant, nix gebeurt

Grafiek 2: toename in beide groepen: 1 groep iets grotere toename dan andere: er is een effect, maar welk? (zie dia’s les 11)

2: simulated pretest posttest design

Geen controlegroep: de O11 dient als ‘controlegroep’ : experimentele manipulatie vaak in beide steekproeven wegens onmogelijk te onderscheiden, maar in groep 1 doet men voormeting en in groep 2 een nameting MAG: want er is gerandomiseerd!

Heel gevoelig voor buitenexperimentele gebeurtenissen!

Vb: effect informatiecampagne VO in dag- en weekbladen

Effect: het verschil tussen groep A en groep B kan toegewezen worden aan de campagne: maar kan liggen aan buitenexperimentele gebeurtenissen, vb reeks op tv over vlaamse overheid! = ZWAKTE

1)Steekproef trekken uit populatie en in twee delen splitsen op toevalsbasis (A en B)

2)Steekproef A = controle conditie, voormeting– Steekproef B = experimentele groep, nameting

– Experimentele manipulatie vaak in beide steekproeven wegens onmogelijk te onderscheiden

3)Effect = Nameting in groep 2 – voormeting in groep 1. Reden dat dit mag: beide groepen zijn perfect vergelijkbaar want op toevalsbasis opgesteld (random assignment)!

4) Nadeel = buitenexperimentele gebeurtenissen kunnen O22 beïnvloeden

3: two group posttest only design

Als voormetingen niet mogelijk zijn, omdat het fenomeen niet bestaat! DUS als voormeting niet mogelijk is

Lijkt zeer sterk op klassieke experiment, maar geen voormeting

Effect = O12-O22

Nadeel: Veronderstelt dat beide groepen perfect vergelijkbaar zijn (is aannemelijk wegens R), maar we kunnen het niet echt nagaan omdat er geen voormeting is

Wanneer? – Als geen voormeting mogelijk is, bvb omdat het fenomeen niet bestaat zolang we het experiment niet uitvoeren.

4: enkelvoudige tijdsreeks design

Vóór exp. : meerdere voormetingen

Na exp. : opnieuw meerdere metingen

– Assumptie: het zou wel zeer toevallig zijn moest er iets buiten ons experiment gebeuren net op het moment dat wij ons experiment doen!

– Als we dus een “trendbreuk” zien, dan zal dat allicht te wijten zijn aan het experiment.

Pre-experimentele designs

• Nog minder sterk dan quasi experimenten

– Nog minder controle over interne geldigheid

– Enkel te gebruiken indien echt niet anders kan

• Voorbeelden:

– One group posttest only design

– One group pretest posttest design

– Static group comparison design

One group posttest only design

• Slechts één groep, geen voormeting

– Dus eigenlijk niets om mee te vergelijken

– Zeer zwak design. We kunnen logisch gezien geen enkele uitspraak doen over “effect”

One group pretest posttest design

• Zelfde als hiervoor, maar nu wel voormeting

– Voormeting=“controle groep”

– Nameting=“experimentele groep”

• Effect = nameting – voormeting

• Maar wat met buitenexperimentele gebeurtenissen?

• Wat als de voormeting reactief was?

Static group comparison design

• Twee groepen, geen random toewijzing, geen voormeting

– Effect = O12-O22

– Probleem = differentiële groepssamenstelling.

Verschillen kunnen te wijten zijn aan andere samenstelling groepen (oefening eind les 11)

Onderzoek bij concrete eenheden

– Bij wie = operationele definitie van eenheden

– Maar dan vraag: bij iedereen of maar een deel (subset) ervan?

• Iedereen = “census”.

• Deel van bevolking = “steekproef”.

Op basis waarvan steekproef maken?

– Theoretische overwegingen

• Theoretische of natuurlijke steekproef. Doel = eenheden met meeste informatieve waarde selecteren

– Toevalsbasis

• Toevalssteekproef. Doel = onderzoeks-populatie zo goed mogelijk weerspiegelen

Band met visie op onderzoek? (hum-natur)

Soorten steekproeven

• Overzicht

– Toevalssteekproeven

• Terminologie

• Vertekening

• Sterke punten van toevalssteekproeven

• Sample size

• Types van toevalssteekproeven

– Niet-toevalssteekproeven

Terminologie

1. Populatie (universum) – verzameling eenheden waarover onderzoek gaat, waarover we conclusies willen trekken.

Speciaal universum – Populatie die concreet betrokken is in onderzoek, hier en nu. Algemeen universum – Denkbeeldige theoretische populatie, niet plaats- en tijdsgebonden •

Onderzoeksresultaten ook geldig, zelfs na geboortes en sterfte van mensen over periode van een paar maanden of zelfs jaren

2. Steekproef – Subset van populatie die effectief betrokken wordt in onderzoek (waar we gaan observeren)

– Geselecteerde elementaire eenheden (onderzoekseenheden in populatie) zijn “steekproefeenheden”

3. Steekproef kader of “frame” – Lijst van alle eenheden in de populatie waaruit steekproef zal worden getrokken • Moet zo dicht mogelijk bij populatie aansluiten

- Geplande steekproef • Alle geselecteerde steekproefeenheden

- Gerealiseerde steekproef • Eenheden die ook werkelijk meewerken aan het onderzoek (=respondenten)

4. Steekproeffractie – Verhouding aantal in geplande steekproef over aantal in populatie.

– Is dus ook de kans op opname in de steekproef • Elke eerste jaar student KULeuven heeft bij zuiver toevallige selectie 41,67% kans om in de steekproef te zitten

5. Representativiteit – Mate waarin steekproef correcte weerspiegeling is van populatie

• Nooit representatief in het algemeen! “Onze steekproef is representatief voor de Vlaamse bevolking” = nonsens

• Op geselecteerde kenmerken, bvb. geslacht, leeftijd, opleiding,… steeds zeggen “representatief naar…”

• Enkel doenbaar voor kenmerken waarvan verdeling bekend is in populatie (bvb. via NIS)

– Representativiteitsanalyse gaat na of steekproef significant afwijkt van doelpopulatie.

Vertekening

Opname in steekproef te sterk afhankelijk van persoonlijke overwegingen, de beschikbaarheid van respondenten, of impliciete selectiecriteria

– De steekproef kan “vertekend” zijn (“bias”).

– Vertekening bij selectie vermijden of minimaliseren door eenheden op toevalsbasis te selecteren

Maar ook bij toevalssteekproeven: drie bronnen van vertekening

1. Sampling error

2. Onvolmaakt steekproefkader

3. Non sampling error / non-response error

AFGEDRUKT

Eerste vorm van vertekening op moment van selectie, trekken van steekproef

“sampling error” of steekproeffout

= het verschil tussen de populatie en de geplande steekproef

• Om grote afwijkingen tussen (geplande) steekproef en populatie te vermijden:

– Toevalsselectie gebruiken, dus aselecte steekproeven

– Maar ook toeval zal niet altijd perfect werken… • Altijd een bepaalde “foutenmarge”. Dit drukken we uit door resultaten niet als één cijfer weer te geven, maar als een interval (betrouwbaarheidsinterval, zie verder).

Onvolmaakt steekproefkader

• Wie er niet op staat kan niet worden geselecteerd

• Niet up to date (bvb. lijst werknemers, maar is al een jaar oud: mensen zijn vertrokken en er zijn nieuwe mensen aangetreden)

• Meervoudige registraties. Sommigen staan twee keer of meer op lijst…

• = Coverage error of dekkingsfout

Non-sampling error

• Selectie niet bepaald door toeval, dus zeer onderhevig aan selectie bias

– Vb. Non-respons (“uitval”) • Is geen selectie bias bij trekking (geplande) steekproef, maar selectie bias bij realisatie van de steekproef door weigering tot medewerken of niet-contacteerbaarheid• Als non-respondenten afwijken van respondenten: vertekening

– Vb. werkende mensen minder bereikbaar

– Vb. jongere mannen weigeren meer

– Kan resultaten in een bepaalde richting leiden (vertekenen)

Non-respons analyse

• Vergelijkbaar met “representativiteitsanalyse”, en is

zelfde indien die analyse gebeurt met gerealiseerde steekproef.

– Vergelijken van respondenten met populatie (maar fout kan ook bij steekproeftrekking zitten)

– Vergelijken van respondenten met nonrespondenten op basis van voor iedereen gekende informatie

– Bv. leeftijd en geslacht vaak gekend in steekproefkader. Nagaan of respondenten ouder zijn dan non-respondenten, of mannen minder meedoen dan vrouwen. Geeft idee over nonrespons fout.

Sterktes van toevalssteekproeven

• Toevalssteekproeven laten toe de resultaten te generaliseren (veralgemenen) naar doelpopulatie

– (=naar “speciale universum”)

• Maar we weten dat we vaak geen 100% correcte resultaten zullen hebben (zie vertekening). Onze resultaten zijn slechts “schattingen”, geen zekerheden! – Altijd een zekere “foutenmarge”. Dit drukken we uit door resultaten niet als één cijfer weer te geven, maar als een interval (betrouwbaarheidsinterval)

Als we toevalssteekproeven gebruiken dan kunnen we deze

betrouwbaarheidsintervallen (B.I.) berekenen

– B.I. wordt rond onze schatting gelegd

• Bvb. we vinden 18% rokers in onze steekproef van 1200 mensen.

• Dit zal niet exact 18% zijn in populatie, maar zal wel in de buurt liggen.

• We zoeken een ondergrens en een bovengrens van het interval waarbinnen het echte populatie percentage met een bepaalde kans (bvb. 95%) zal liggen

– Let wel: B.I. houdt enkel rekening met sampling error!

FORMULES KENNEN? VRAAG MONITORAAT

Sample size

• Absolute grootte versus relatieve grootte – De absolute grootte is van belang, niet de relatieve grootte (steekproeffractie)

• Steekproef van 1000 mensen in VS is even goed als steekproef van 1000 mensen in België, ongeacht het feit dat de VS veel meer inwoners telt dan België

– Hoe groter de steekproef, hoe kleiner het BI, en dus hoe preciezer onze resultaten (omvang n zit in noemer van de formules)

Heterogeniteit

• 1. Heterogeniteit in populatie – Verwijst naar diversiteit in populatie. Dit wordt gevat in variantie (=>Standard Error)

– Hoe heterogener de populatie, hoe groter de SE

– SE één component in berekening van BI

– Hoe heterogener de populatie, hoe groter de SE, en dus hoe groter het BI

• Als populatie heterogener is dan zullen de BI’s groter zijn (minder precies worden) – Dit tegenwerken door grotere steekproef te nemen (dan verkleint BI)

• Als populatie homogener is, dan volstaat een kleinere steekproef

– Let op: een survey bevat meerdere variabelen; heterogeniteit verschilt van kenmerkt tot kenmerk! Dus zoeken naar compromis.

Gewenste kans op vergissing

– In de sociale wetenschappen: meestal wordt 5% kans op vergissing gekozen (95% betrouwbaarheidsinterval) Za =1,96

– Kleinere kansen op vergissing hebben een prijs: kleinere precisie

Gewenste nauwkeurigheid

– Verwijst naar breedte van het BI

– Kan soms cruciaal zijn om een onderzoeksvraag te beantwoorden

• Bvb. Vorige verkiezing: partij X 22% van de stemmen, partij Y 24%. We willen weten wie van de twee nu zal winnen.

• Als de BI’s te groot zijn en elkaar overlappen, dan kunnen we niets besluiten, bvb. steekproef van 500:

Steekproefgrootte berekenen

• Op basis van heterogeniteit, gewenste kans op vergissing en gewenste nauwkeurigheid: rechtstreeks sample size berekenen

• Formule (voor proporties):

– n = steekproefgrootte

– Za = Z-waarde voor gewenste kans op vergissing

– p = percentage ‘succes’

– q = percentage ‘geen succes’ (=100-p)

– L = grootte betrouwbaarheidsinterval in procentpunten

Formule zie ppt 13 p16

– Als je p niet kent: gelijk stellen aan 50

– Stel 5% kans op vergissen, interval maximaal +/- 0,9% punten rond schatter (L=1,8), we weten niet hoeveel p is in populatie (dan nemen we 50)

Waarom 0,50 als we p in populatie niet kennen?

– Maximale heterogeniteit, daar is BI grootste. Dus dat is de “worst case scenario”, en dus het veiligste om vanuit te gaan

Analysebehoeften

– Hoe meer variabelen/ categorieën (waarden) je tegelijkertijd wil gebruiken in de analyse, hoe groter je steekproef zal moeten zijn

–• Vb. 6.6.: 6 variabelen, met 3 x 2 x 2 x 2 x 4 x 2 categorieën = 192 combinaties (cellen) (niet 64 zoals in boek). Als je in elke combinatie 20 eenheden wenst: 3840 eenheden in totaal nodig!

– Als er dan nog eens weinig in de populatie voorkomen van een bepaald type (bepaalde combinatie(s)), dan moet je nóg meer eenheden in steekproef nemen…

• Praktisch niet haalbaar. In dat geval zal men elke populatie eenheid niet langer een zelfde kans tot opname in de steekproef geven, maar sommige (schaarse) types een grotere kans. Dat is dan een “disproportioneel gestratificeerde steekproef”

Praktische overwegingen: tijd & geld

Types steekproeven

• Toevalssteekproeven vs. niet-toevalssteekproeven

– Operationele definitie van een toevalssteekproef: “een toevalssteekproef is een steekproef waarvan de elke steekproefeenheid een bekende of berekenbare kans heeft om opgenomen te zijn in de steekproef”

• Types toevalssteekproeven

– Enkelvoudige toevalssteekproef

– Systematische enkelvoudige toevalssteekproef

– Gestratificeerde toevalssteekproef

Enkelvoudige toevalssteekproef

• Meest eenvoudige toevalssteekproef = Enkelvoudige toevalssteekproef

– of Simple Random Sample (SRS)

• Elke populatie eenheid heeft dezelfde kans tot opname in steekproef

(=steekproeffractie)

– Vb. we trekken 800 eenheden uit lijst eerste jaar KULeuven studenten (N=5779) • Elke student heeft kans van 800/5779=13,8% om geselecteerd te worden

Zelfde formules voor BI en SE les 13 p 27

• Voordelen: – Eenvoudig te realiseren – Eenvoudig te analyseren (formules relatief eenvoudig)

• Nadelen: – Kleine groepen leveren kleine aantallen in steekproef => bemoeilijkt analyse – Geografische spreiding verhoogt reiskosten interviewers

Systematische enkelvoudige toevalssteekproef

• Alleen het eerste element wordt toevallig geselecteerd • Daarna selecteren we elke n-de eenheid Bvb. elke 10de bezoeker in een bibliotheek

• Gevaar = systematiek kan leiden tot selectie bias

– Vb 6.8: lijst van soldaten. Elke tiende soldaat selecteren. Maar lijsten waren gerangschikt per rang in leger in afdelingen van 10 soldaten. Resultaat: enkel sergeanten in steekproef…

Gestratificeerde toevalssteekproef

– Eenheden worden in strata opgedeeld volgens kenmerken – Naar één of meer kenmerken – Uit elk stratum worden een afzonderlijke steekproef getrokken

• “Proportioneel” gestratificeerde steekproef: Proporties in de populatie worden volstrekt gerespecteerd: we “helpen” toeval een handje

Concreet:

– Verdeel de populatie op in groepen (strata)

– Daarna trekken we een toevalssteekproef in elk van die strata

– Grootte van de steeproef per stratum is recht evenredig met de populatiegrootte van het stratum

• 48% mannen in bevolking 48% van de totale steekproef wordt getrokken in het stratum ‘man’

Andere formule om SE te berekenen!

– SE groter of kleiner?

– Dit reduceert de variantie – er zijn geen afwijkingen meer tussen steekproef en populatie voor de kenmerken waarop we stratificeren.

SE kunnen berekenen op examen: formule zie les 13 p35

Proportioneel gestratificeerde steekproef:

– Het aandeel van het stratum in de steekproef is gelijk aan het aandeel van het stratum in de bevolking

– Gestratificeerde steekproef weerspiegelt bijna perfect percentages in populatie

• Kleine strata = kleine aantallen voor de analyse • Dit maakt onze analyses minder betrouwbaar binnen die kleine strata (statistiek = wetenschap van grote aantallen!)

Disproportioneel stratificeren

• Stel dat we minimum 30 studenten wensen per stratum – Dan is de steekproef gestratificeerd–maar dan wel disproportioneel

• De proporties van in de populatie worden niet gerespecteerd in de steekproef

• Omdat bepaalde groepen over- en andere ondervertegenwoordigd worden

Verhoudingen ten aanzien van populatie niet meer correct weerspiegeld

Veralgemenen proportionaliteit in orde “wegen”

• Twee manieren om te wegen (corrigeren)

– Meest eenvoudig = op groepsniveau: Voor elk stratum (% kerksen x aandeel in populatie), dan sommeren

Individueel niveau: – Aandeel van stratum in populatie delen door aandeel van stratum in steekproef

Algemeen: • in de steekproef ondervertegenwoordigde groepen krijgen een gewicht groter dan 1 • In de steekproef oververtegenwoordigde groepen krijgen een gewicht kleiner dan 1 • Correct vertegenwoordigde groepen krijgen gewicht 1

BI berekenen met zelfde formule als voor gestratificeerde steekproef, maar wi = populatie aandeel

Clustersteekproef

• SRS met als “primaire eenheid” een verzameling van elementen (“cluster”)

– Onderscheid primaire en secundaire eenheden

Bvb. uit lijst van scholen toevallig (SRS) een aantal scholen kiezen (=primaire eenheid).

Binnen elke gekozen school alle leerlingen (=cluster van secundaire eenheden)

Voordelen – Eliminatie grote geografische spreiding Bvb. 10 scholen, dus maximaal 10 verschillende gemeenten – Studie kan in groep gebeuren (goedkoper)

Bvb. vragenlijst klassikaal invullen – Lost probleem op van niet-bestaande lijsten van elementaire eenheden

SE niet berekenbaar!

Tweetrapssteekproef

• Vergelijkbaar met cluster steekproef – Ook primaire en secundaire eenheden die toevallig geselecteerd worden

– Eerst toevalssteekproef van primaire eenheden – Daarna opnieuw toevalssteekproef van secundaire eenheden

• In cluster steekproef: geen steekproef op dit niveau, alle eenheden worden geselecteerd

• Om dit verschil aan te geven spreken we van sets ipv clusters

Principe:

– Aantal secundaire eenheden gefixeerd

– Verdeel de secundaire eenheden over primaire eenheden

Resultaat:

– goede afspiegeling van de populatie met weinig geografische spreiding

– Vandaar meest gebruikte methode in België (en elders) voor persoonlijke interviews (reistijden interviewers verkorten)

• Kans op selectie voor gemeente is afhankelijk van grootte: grote gemeenten hebben meer kans op selectie

Steekproef trekking mét teruglegging voor primaire eenheden (als je antwerpen getrokken bent, moet je deze kans terugleggen zodat het aantal kansen altijd terug even groot is bij een nieuwe trekking)

Voorbeeld berekening les 14 p 23

Tweefasensteekproef

• Wanneer je onderzoek doet naar groepen waarvoor geen steekproefkader bestaat

• Oplossing:

– Eerste fase: • trekken van een steekproef uit een populatie waarvoor wel een steekproefkader bestaat

• Screenen of de geselecteerde eenheden tot de doelgroep behoren

– Tweede fase:• Zij die tot de doelgroep behoren onderzoeken / bevragen

• Nog altijd een strikte toevalssteekproef!

Voorbeeld: Onderzoek bij Internet gebruikers – Geen lijst met alle Internet gebruikers in België – Face-to-face enquête bij een steekproef uit de ganse Belgische populatie (=fase 1) – Vragen: gebruikt u Internet? • Zo ja => enquête afnemen (=fase 2)

Selecte steekproeven

Quota steekproef

• Quota = vaste aantallen of proporties – Eerst verdeling van bepaalde kenmerken in populatie nagaan • Bvb. 51% vrouwen, 49% mannen; 20% lager geschoolden, 50% middelgeschoolden, 30% hooggeschoolden

– Dan ervoor zorgen dat de steekproef deze verdelingen volgt

• Je contacteert iemand, bvb. een hogergeschoolde man, en gaat na of je nog zo iemand nodig hebt. Zo ja: bevragen, zo neen, niet bevragen

Probleem = selectie is niet toevallig – Gestratificeerde steekproef met selecte keuze binnen strata, afhankelijk van Interviewer en diens voorkeuren (of vrienden,kennissen)

• Bereikbaarheid en bereidwilligheid van elementen – BI niet berekenbaar! Dus geen veralgemenende uitspraken mogelijk…

• Probleem wordt minder erg bij “random walk”

Theoretische steekproeven

• “Natuurlijke” of “theoretische steekproef” – Selectie niet toevallig op basis van theoretische gronden

• Doel = cases vinden die theoretisch interessant zijn (rijk aan informatie) • Zoeken naar grootst mogelijke variatie • Om te zien of theorie blijft kloppen bij al deze mogelijke cases

Verschillen theoretische steekproeven en toevalssteekproeven

– Wordt gecreëerd tijdens veldwerk, niet ervoor

• Zolang het nodig is om de theorie bij te schaven worden eenheden geselecteerd op basis van hun informatieve waarde.

• Selectie van eenheden dus niet toevallig (statistisch), maar op basis van theorie. “Welke eenheid is meest informatief voor mijn theorie”

– Interactief

• Steekproef wordt opgesteld in interactie met analyse. Na analyse van bestaande cases: welke eenheid (eenheden) zou ik nu moeten hebben? Dus keuze afhankelijk van analyse uitkomsten = interactief

“Open” steekproeven

– Steekproef wordt groter naarmate veldwerk vordert. In functie van bevindingen: nieuwe (extra) cases zoeken. Dus steekproef groeit – Representativiteit moet pas op einde gerealiseerd zijn, niet in het begin zoals bij een toevalssteekproef (die dan minder representatief wordt door uitval)

Vs. Toevalssteekproeven binnen survey onderzoek: “gesloten” steekproeven

• We beginnen met een vast aantal steekproefeenheden (bv. 2000), en daarbij gaan we bv. Interviewen • Steekproef “krimpt” zelfs onder invloed van weigeringen, nietcontacteerbaarheid,… Uiteindelijk zal gerealiseerde steekproef kleiner zijn dan geplande steekproef

Steekproefgrootte

– Douglas (p. 219)

• Naarmate fenomenen “meer essentieel” voor menselijk gedrag, hoe minder cases nodig

• Doorgaan met selecteren tot geen nieuwe inzichten meer mogelijk (‘theoretische verzadiging’)

• Actief zoeken naar negatieve gevallen – Als theorie toch stand houdt: dan sterke theorie – Cfr. analytische inductie!

Cfr. analytische inductie: hypothese toetsen door cases te selecteren die grootste kans geven om hypothese te moeten verwerpen. Als dat niet meer kan: theoretische verzadiging

Concrete vormen van theoretische steekproeven

1. Sneeuwbalsteekproef

– Eén of meer starteenheden • Die je in contact brengt met anderen (die voldoen aan een bepaald criterium)

– Bvb. onderzoek Becker bij Marihuana gebruikers (p. 50).

• Je start met een paar mensen die je in contact brengen met andere gebruikers – Gevaar = blijven steken in “kliekjes” • Proberen zo gevarieerd mogelijke “ingangen” te vinden

2. Doelgerichte steekproeven

– Selectie van “informatierijke” elementen • Steekproeven met extreme of afwijkende gevallen • Steekproeven met zo groot mogelijke verscheidenheid • Homogene steekproeven • Steekproeven van typische gevallen

Vraagverwoording

Hoe effecten van vraagverwoording en context (bv. Survey modus) begrijpen?

– Theoretische inzichten in het vraag-antwoord proces

– Op basis van “methodologische experimenten”, vnl. “splitballots”

– (Op basis van ervaring)

Opbouw hoofdstuk 7: – Daarnaast ook algemene regels voor het 1. Opstellen van vragen 2. Registreren van antwoorden 3. Voorbereiden van de vragenlijst (VL) = ZELFSTUDIE

Opstellen van vragenlijsten

• Algemene richtlijnen:

– Onderzoeksvragen niet uit het oog verliezen; putten uit vorige vragenlijsten – Zo eenvoudig mogelijk – Vragen best kort houden (meestal) – Gebruik correcte taal – Eenduidige en ééndimensionele vragen – Geen dubbele negaties – Vermijd algemene categorieën

Open <-> gesloten vraag

Plaatsen op een continuum / rating scales

– Forced choice

• Respondent dwingen te kiezen uit een van twee antwoordmogelijkheden • Wat is het belangrijkste in uw leven, vrienden of familie?

– Rangschikkingsvragen

• Voordeel: dwingt mensen om keuzes te maken • Nadeel: complex! • Vb.: waardenpatronen van Inglehart- Hier zijn een aantal doelen waarvan mensen zeggen dat ons land ze zou moeten nastreven. Rangschik deze doelen van belangrijk naar niet belangrijk

– Semantische differentiaal

• Tegengestelde adjectieven: bipolair • Enkel de uiteinden zijn benoemd (“gelabeld”) • Vb. Als u denkt aan BMW, wat roept dit bij u op? Actief 0 0 0 0 0 Passief

Feitenvragen

Foutenbronnen: bedreigende vs. niet-bedreigende vragen

Niet-bedreigende feitenvragen

• Richtlijnen: – Zo volledig mogelijk qua antwoord categorieën

– Overzichtelijke tabellen zodat niets vergeten wordt

– Geheugensteuntjes (bronnen raadplegen)

– Precies omschreven tijdsperiodes

– Lange vragen gebruiken (i.t.t. algemene aanbevelingen) • R kan langer nadenken

“Cognitief design” om herinnering te stimuleren <-> niet cognitief

Bedreigende feitenvragen

• Feitenvragen over gevoelige onderwerpen: – Gezondheid – Illegaal gedrag – Gedrag tegen gangbare normen – Financiële vragen

• Bijkomend: gevaar op sociaal wenselijke antwoorden: onderrapportering, ontwijkende antwoorden

Aanbevelingen

– Open vragen indien mogelijk • Vermijd suggestie van sociaal wenselijke antwoorden – Lange vragen ipv korte vragen voor frequentie vragen – Vertrouwde woordenschat gebruiken

– Bijzondere technieken om anonimiteit te waarborgen (als interviewers gebruikt)

• ACASI of stembustechniek

• Voet tussen de deur techniek

ACASI (niet in boek)

– Audio Computer Assisted Self Interview

– Gebruikt bij CAPI. Bij reeks van bedreigende vragen wordt laptop aan R gegeven, die dit gedeelte zelf invult. – Audio: stem leest vragen voor (hoofdtelefoon) om mensen met leesmoeilijkheden te helpen.

Stembustechniek: bij PAPI, bedreigende vragen zelfinvullen op papier, en in gesloten omslag aan interviewer geven

Voet tussen de deur techniek – Eerst een minder bedreigende vraag, daarna de bedreigende

Techniek: Question loading – “laden van vragen” om het geven van sociaal onwenselijke antwoorden te vergemakkelijken vb: veronderstel het gedrag: hoeveel rookt u per dag, hoeveel lessen bros je..

Rechtvaardigen • Nogal wat geneesheren zijn van oordeel dat wijn de spijsvertering kan verbeteren.

Iedereen doet het • Zelfs de meest kalme ouders worden al eens kwaad op hun kinderen.

– Leading question = vraag waarin de veronderstelling fout is

• “welke kleur had de fiets die je meenam?”

• “hoe snel reed de wagen toen hij door het stop-teken reed?”

– Question loading = vraag zodanig schrijven dat het geven van een sociaal onwenselijk antwoord minder moeilijk wordt

• “iedereen doet het”, “rechtvaardigen”,…

Kennisvragen

• Waarom in survey onderzoek?

– Rechtstreekse interesse in wat mensen weten

– Onrechtstreekse interesse om betrokkenheid bij thema (“attitude sterkte”) te meten

• Attitude sterkte = “kracht” waarmee men bepaalde overtuiging heeft (ook: de mate waarin men bij het onderwerp betrokken is)*

• Hoe sterker een opinie, hoe weerbaarder ze is – Beter bestand tegen tegenargumenten

– Beter bestand tegen “de tand des tijds”: stabieler

– Groter effect op eigen gedrag

• Sommige mensen “veranderden van idee”

– Geeft een zwakkere attitude aan, onder invloed van tegenargument wijzigen ze standpunt.

• Bevindingen:

– Hoe minder correcte antwoorden men selecteerde, hoe groter de kans werd dat men het standpunt wijzigde onder invloed van tegenargument

– Dus: hoe minder kennis, hoe zwakker de attitude.

Richtlijnen

– Enkele gemakkelijke vragen stellen zodat iedereen iets kan beantwoorden – Fictief onderwerp om gokken te detecteren – Meerdere JA/NEEN vragen stellen – Numerieke vragen: best open vraag – Niet gebruiken in zelf in te vullen vragenlijsten (R kan opzoeken, vragen aan anderen)

Opinies & attitudes

• Opinievragen vaak bedoeld om “attitude” te meten

– Attitude = neiging om iets (een “psychologisch object”) systematisch positief of negatief te

Evalueren • Kenniscomponent: je weet iets over het thema • Gevoelscomponent: je voelt er iets bij • Gedragscomponent: je gedraagt je er op een bepaalde manier tegenover

RAS-model

• Opinie meten veronderstelt dat mensen een opinie hebben

– Maar is niet steeds het geval!

– Ook onderscheid tussen sterke en zwakke attitudes

• Zaller: RAS-model – Reactie tegen “fichebak model”

• Wat is uw houding tegenover pizza met ansjovis?

– Even het kaartje “pizza met ansjovis” opzoeken in mijn mentale fichebak en het antwoord genereren

– Mensen “maken” hun attitude (volgens het RAS model)

RAS model:

• Mensen staan constant bloot aan informatie stromen (=Receive)

– Sommige info slaan ze op = Accept, receptie

– Andere niet (evt. wegens weerstand) = Resistentie

• Als gevolg veel overwegingen in hun hoofd, allemaal wel iets te maken met de attitude

• Op moment dat je het hen vraagt: ze rakelen een aantal overwegingen op (=Sample), en “knutselen” het bij mekaar tot een “opinie”

Centrale vs. perifere verwerking

• Waarom slechts steekproef van overwegingen?

– Psychologisch model: “centrale” versus “perifere” verwerking

– Cfr. Kahneman: Thinking fast & slow

• Centraal = informatie diepgaand verwerken

– Traag, doordacht – Rationeel, op basis van argumenten – Cognitief belastend

• Perifeer = informatie oppervlakkig verwerken

– Quasi-automatisch – Op basis van “heuristieken” (vuistregels), ndrukken, gevoelens – Cognitief veel gemakkelijker.

Wat met een enquête?

– Dus enkel steekproef van overwegingen • De info die snel toegankelijk is zal antwoord bepalen (“information accessibility”, p. 265)

• Maar vraagverwoording kan oproepen van sommige info gemakkelijker maken…

• of kan zelfs sommige info op voorhand “oproepen” en dus zo het antwoord sturen (=“priming”)

Consequenties?

– Als je de vraag een beetje anders stelt: andere overwegingen worden geactiveerd

• Dus andere gerapporteerde opinie! – Dus opinievragen waarschijnlijk erg gevoelig voor…

• formulering, de context en de moeilijkheidsgraad van de vragen response effecten

• Er speelt ook een conversatie component mee • Inzichten uit psychologie & linguïstiek nodig

9

17

Conversatienormen

• Pragmatically significant answer

– Enkel zeggen wat betekenisvol is voor interview(st)er • Informatief in het licht van (veronderstelde) bestaande kennis • Bruikbaar voor (veronderstelde) doel van het gesprek • Vraagt niet meer inspanning dan nodig bij ondervraagde

• Given new contract

– Veronderstelling dat interview(st)er enkel info zal vragen die ze nog niet weet.

– Inclusion / exclusion model hierop gebaseerd: Enkel info waarvan men denkt dat de interview(st)er die nog niet heeft moet opgenomen worden (inclusion) • De rest niet (exclusion) – Ook wat “niet hoort”, waarmee de interview(st)er “geen zaken heeft”

Response effecten

• Vier types “effecten” op antwoorden op opinievragen

1. Overtuigingskracht van de vraag

2. “Question constraint” (onuitgesproken spelregels)

3. Onbedoelde info in antwoordschalen

4. Context effecten - referentiekader ondervraagde

Overtuigingskracht van de vraag

• 1. Overtuigingskracht van de vraag

– Eenzijdige argumenten in de vraag

– Gekleurde informatie in inleiding tot de vraag

– Onevenwicht in vraagformulering

– Onevenwicht in antwoordcategorieën

Question constraint: Respondenten houden zich aan onuitgesproken spelregels van sociale interactie – antwoord op de vraag – Beperk je tot de aangeboden antwoordcategorieën – niet tegenspreken: Bv. wie eigenlijk geen mening heeft zal toch een antwoord geven…

Onbedoelde info in antwoordschalen

– Mensen gebruiken antwoordschaal om zich idee te vormen over “ware verdeling” in populatie. • Dit is een “heuristiek” (cf. perifere route) – “waar zou ik ongeveer zitten tegenover de rest?”

Context effecten

– Context van een vraag = “vorige vragen” en de antwoorden daarop

• Vb (Kahneman, Thinking fast and slow, p. 101-102): – Twee vragen voorgelegd aan studenten: • A. How happy are you these days? • B. How many dates did you have last month?

– Een groep krijgt eerst vraag A, andere eerst B – Tweede groep rapporteert minder gelukkig te zijn!

• Twee types context effecten:

– Carry-over effect: Antwoord in overeenstemming brengen

– contrast effect of backfire effect: contrasteren met vorige antwoorden

Split ballot experiment

– 2 scenario’s: • Eerst algemene vraag, dan specifieke

• Eerst specifieke vraag, dan algemene

– Respondenten randomiseren over condities – Als volgorde van vragen geen effect heeft, verwachten we geen verschillen in antwoordverdelingen

Verklaring van dit soort effecten:

– Vorige vragen vestigen aandacht op onderwerp zodat de antwoordverdeling wijzigt – Vorige vraag maakt dat betekenis van de volgende vraag wijzigt • sluit aan bij “given new contract” (contrast, “nu gaat het over iets anders”).

• Dus beter

– eerst de algemene vraag stellen, en pas daarna pas de specifieke – Of enkel specifieke vragen gebruiken…(ook hier kunnen context effecten zich voordoen) – Of aankondigen dat er twee vragen zijn

Vb abortusvraag

Contrast effect (of backfire effect)

– Als eerst specifieke vraag (handicap) gesteld wordt, dan lijkt tweede vraag te gaan over alle overige situaties

(“given new contract”), dus buiten “groot risico op handicap”. En dan zal men minder geneigd worden om “voor” te zeggen.

• Dus contrast effect tussen twee vragen. De specifieke vraag wordt gecontrasteerd met de algemene.

consistentie of carry-over effect

Hier wordt antwoord op 2de vraag in overeenstemming gebracht met 1ste vraag (voor groep A)

– Hun antwoord op 2de vraag ligt in lijn met dat op 1ste vraag

– “priming” hier van belang: de “reden” werd al gegeven in de eerste vraag, dus in de tweede vraag wordt deze herhaald

Oefeningen eind ppt 17

Geintegreerd model

Basismodel: hoe komt een antwoord op een opinievraag tot stand? (en wat kan allemaal foutlopen?)

1. Interpretation

2. Information retrieval

3. Editing the response

4. Mapping response onto response categories

1. Interpretation

• Moeilijke termen, gekleurde woorden, context…

2. Information retrieval

• Geheugen aftasten: heb ik daar een opinie over? • Indien niets gevonden: opinie “fabriceren” • Overwegingen selecteren en integreren tot een opinie (zie RAS model) • “accessibility” hier van belang: gebruikte vraagverw. en aangeboden antwoordcat., “priming” maken sommige overwegingen meer bereikbaar: stuurt antwoord

3. Editing the response

• Welk antw. is meest betekenisvol voor interview(st)er (pragm. sign. answer) • Wat weet interview(st)er al en kan ik weglaten (given new contract) => inclusion/exclusion model • Bijsturen antwoord in licht van “aanvaardbare” antwoorden (sociale wenselijkheid)

4. Mapping response onto response categories

• Hoe mijn antwoord in het “keurslijf” van de antwoordcat. krijgen? • Welk antw. cat. past het beste bij mijn antwoord?

Opinievragen: enkele regels :zie boek!

• Richting houding ≠ sterkte houding!

– Richting = mate van extremiteit

• Richting verfijnen

Bent u voor of tegen het invoeren van gemeentelijk stemrecht voor migranten? – Voor – Tegen. Verfijning: volledig voor, overwegend voor, extreem tegen..

Sterkte = belang dat men eraan hecht, centraliteit

Vb. meten van opiniesterkte :Welke drie onderwerpen zijn voor u de belangrijkste thema’s voor deze verkiezingen?