Geraldine Clarebout & Joke Torbeyns07-09-2012

Methoden en technieken van kwaliteitsvol praktijkgericht onderzoek

Contact: geraldine.clarebout@kuleuven-kulak.be; joke.torbeyns@ppw.kuleuven.be

InhoudKiezen van methoden: verschillende typesSteekproeftrekkingBetrouwbaarheid en validiteitVerwerking van dataPraktijkrelevantie bewakenAan de slag

Kiezen van methodeEerste stap in onderzoeksproces: probleemstelling,

onderzoekvraag (evt. hypothesen) – obv literatuur, reële problemen (zie sessie 2: De onderzoekende houding als startpunt van praktijkgericht onderzoek)

Tweede stap in onderzoeksproces Kiezen van methodeVerschillende opdelingen, verschillende benamingen

kwantitatief – kwalitatief onderzoekAlgemeen onderzoekstypesSpecifieke onderzoekstypes

Keuze afhankelijk van vraag, van soort data dat je wenst te verzamelen en soms afhankelijk van praktische mogelijkheden

Kiezen van methoden (tabel uit Dieussaert, Smits, & Goubin, 2011)

Doel van het onderzoek

Wat? Kwantitatieve benadering

Kwalitatieve benadering

Weten Beschrijven van een situatie, definiëren van een concept

Hoe vaak komt iets voor? Wat zijn eigenschappen van?Uit welke bestanddelen bestaat het fenomeen?

Wat denkt men over….?Welke verschillende opvattingen zijn er over…?Welke dimensie omvat fenomeen…?Wat is belangrijk bij…?

Verkennen van een verband

Welke factoren zijn gerelateerd aan…?

Volgens welk patroon of proces evolueert fenomeen x?

Wat zijn de antecedenten van…?

Vergelijken In welke mate verschilt X van Y mbt kenmerk..?

Waarin verschillen de opvattingen van groep A tov groep B?Hoe gedraagt groep A zich in vergelijking met groep B?

Doel van het onderzoek

Wat? Kwantitatieve benadering

Kwalitatieve benadering

Weten Verklaren Welke factoren veroorzaken X?In welke mate leidt een toename van X tot een toename van Y?

Hoe is de situatie ontstaan?Hoe kan men fenomeen X verklaren? Wat houdt het in stand?

Veranderen

Experimenteel ingrijpen, actieonderzoek

Leidt interventie X tot…

Hoe kan dynamiek X op gang gebracht worden?

Evalueren Meten of evalueren van effecten

In welke mate heeft ingreep X effect op…?Geeft ingreep A betere resultaten dan ingreep B op….? In welke mate zijn mensen tevreden over….?

Wat zijn de gevolgen van het invoeren van…?Hoe denken mensen over de nieuwe evolutie in….?Wat roept X of Y op?

Ontwerpen

Oplossen voor een nieuwe probleem, nieuwe toepassing

Ontwikkelonderzoek maakt vaak gebruik van een veelheid aan methodes en vooral van een gefundeerde trial and error-benadering, om zo tot een goed product te komen in systematische stappen

Kiezen van methodeAlgemene onderzoekstypes

I. Beschrijvende studiesII. Associatief onderzoekIII. Interventieonderzoek

IV. Design based researchV. Actieonderzoek

Kiezen van methode: wetenI. Beschrijvende studies

Beschrijving van situatie (bv. beschrijving van voorkeuren van studenten, beschrijving van klassen, gedrag van studenten, scores op testen, soorten handboeken…) door literatuuronderzoek of vragenlijstonderzoek

Þ Geen inzicht in waarom; kan basis zijn voor verder onderzoek

Þ Weten wat er is

Kiezen van Methode: WetenLiteratuurstudie:

Zoek naar ‘preliminary’ sources (Eric, PsycInfo, Web of Science, Google Scholar

Gebruik secundaire bronnen (reviews)Lees primaire bronnenSynthetiseren van de literatuur

Welke bronnen neem je mee op? Wat soort onderzoek neem je mee op? Wat zijn je zoektermen (descriptoren)? Welke beperkingen leg je op (bv. jaartallen)?

Bv. Start om onderzoeksvraag te beantwoorden naar optel en aftrekstrategieën in de eerste drie leerjaren in de lagere school.

~> zie sessie 2: de onderzoekende houding als startpunt voor praktijkgericht onderzoek

Kiezen van methode: WetenVragenlijstonderzoek: inzicht in kenmerken van

een groep (leerkrachten, directie, leerlingen)Schriftelijke vragenlijst:

Belangrijk: o Duidelijke, eenduidige vragen stellen (open of

gesloten vragen?)o Eerlijke antwoorden genereno Respons bij schriftelijke vragenlijst

Voordeel:o Grote groep in korte tijd bevrageno Vaak eenduidige kwantitatieve verwerking

Bv. Percepties van studenten over digitale cursussen meten

Kiezen van methode: WetenVragenlijstonderzoek (vervolg)

Interview:Belangrijk:

o Duidelijke, eenduidige vragen stelleno Open gesprek, eerlijke antwoorden genereren

Voordeel:o Stellen van open vrageno Het kunnen doorvragen

Bv. Zicht krijgen op gehanteerde strategieën door leerlingen (retrospectief) bij rekenenInterview met directie om zicht te krijgen op mate waarin ICT-gebruik ondersteund wordt door de directie

Kiezen van methode: WetenEtnografisch onderzoek: een volledig beeld krijgen van

processen (bv. Wat doen leerlingen tijdens een les LO?)Observeren en interviewen op geregelde tijdstippen van

leden van de bestudeerde groep, zo volledig mogelijk beeld krijgen

Vaak over langere periodeBelangrijk:

Sterk afhankelijk van de specifieke onderzoeker Niet altijd veralgemeenbaar

Moeilijk controleerbaarKwalitatieve gevalsstudies

Grondige studie van afzonderlijke cases Identificeren van fenomenenBijdragen tot theorievorming

Kiezen van methode: WetenNog andere beschrijvende methoden

Narratief onderzoekBiografie: focus op belangrijke gebeurtenissen in

iemands levenFenomenologie: focus op specifiek fenomeen (bv.

Conflicten, critical incidents)Grounded theory: ontwikkelen van theorie op basis

van dataDocumentanalyse (bv. Handboekanalyse,

analyse van bachelorproeven)

Kiezen van methode: WetenVoorbeeld 1

Onderzoek naar het gamegedrag van jongeren en hun opvattingen over het gebruik van games in het onderwijs

Aanbod van online vragenlijst aan 487 leerlingen secundair onderwijs en 298 studenten lerarenopleiding

Online vragenlijst bestaande uit open en gesloten vragen1. Gesloten vragen

Ja/neen; meerkeuzevragen Speel je digitale games? (ja/neen) Hoe vaak? (<2u per week; 2-6u per week; ...)

2. Open vragen Mogelijkheid tot uitgebreid antwoord Wat is de mogelijke meerwaarde van het gebruik van digitale games

in het onderwijs volgens jou?

Kiezen van methode: WetenVoorbeeld 1

Beschrijving van het gamegedrag van Vlaamse jongeren en hun opvattingen over het gebruik van games in het onderwijs1. Frequentie van gamen2. Aard van de meest gespeelde games3. Opvattingen over games in het onderwijs4. Motivatie voor/tegen games in het

onderwijsMet vergelijking van leerlingen secundair onderwijs en studenten lerarenopleiding

Kiezen van methode: WetenVoorbeeld 2

Onderzoek naar de houding van directieleden (lager onderwijs) tegenover leerkrachten met dyslexie in het onderwijs

Aanbod van schriftelijke vragenlijst aan 264 directieleden lager onderwijs; gevolgd door individueel interview met 8 directieleden lager onderwijs

Schriftelijke vragenlijst bestaande uit gesloten vragen Ja/neen; meerkeuzevragen; stellingen Heeft u momenteel een leerkracht met dyslexie in het team?

(ja/neen) Hebben leerkrachten met dyslexie, volgens u, specifieke sterke

punten die voortvloeien uit hun dyslexie? Zo ja, welke? (meerkeuze) Stelling: ik neem een leerkracht met dyslexie niet aan (5-punten

schaal, gaande van helemaal niet akkoord tot helemaal akkoord)

Kiezen van methode: WetenVoorbeeld 2

Individueel interview bestaande uit open vragen

Verdere toelichting en verdieping van antwoorden op schriftelijke vragenlijst

Waar is/was de leerkracht met dyslexie, uit uw team, goed in? Welke talenten herkent/herkende u bij deze leerkracht?

(onderstaande vragen stellen voor elk talent dat wordt aangehaald) Hoe komen/kwamen deze talenten tot uiting in de praktijk? Hebt u enig idee wat maakt dat die leerkracht met dyslexie daar goed in is? Komen die talenten ook terug bij leerkrachten zonder dyslexie?

Welke wel? Welke niet?

Hoe zou u deze verschillen verklaren? Waarom denkt u dat die talenten vooral terugkomen bij leerkrachten met dyslexie?

Zijn de genoemde talenten belangrijk voor het beroep als leerkracht? Zo ja? Waarom? Zo nee? Waarom niet?

Kiezen van methode: WetenVoorbeeld 2

Beschrijving van de visie van directieleden m.b.t. leerkrachten met dyslexie in het onderwijs op basis van zowel schriftelijke vragenlijst (algemeen) als individuele interviews (concrete toelichtingen en voorbeelden)

Kiezen van methode: wetenII. Verkennen van verbandenRelaties tussen verschillende variabelen,

gebeurtenissen=> GEEN oorzakelijke uitspraken! => GEEN basis om interventie te doen

Is er een relatie tussen leerkracht gedrag en score op een test van leerlingen, of sociaal economische status, relatie tussen attitudes en prestaties, geslacht en attitude

Kiezen van methode: wetenCorrelationeel onderzoek: onderzoeken van relaties

tussen verschillende variabelen (bv. Samenhang tussen leesvaardigheid en oplossen van vraagstukken en begrijpen van wiskundige begrippen)

Geen manipulatieAfnemen van instrumenten om de verschillende variabelen te

meten (bv. Vragenlijst, testen)Geen causale uitspraken, maar vaak wel basis

Causaal-comparatief onderzoek: zoeken naar de oorzaak of het gevolg van bestaande verschillen tussen groepen• Onderzoeken van effecten• Onderzoeken van oorzaken• Onderzoeken van gevolgen

Kiezen van methode: WetenVoorbeeld 1

Onderzoek naar het gamegedrag van jongeren en hun opvattingen over het gebruik van games in het onderwijs

Correlationeel onderzoek1. Nagaan van verband tussen enerzijds

gamegedrag van Vlaamse jongeren en anderzijdsOpleiding (secundair onderwijs – lerarenopleiding)Geslacht (man – vrouw)ICT-vaardigheden (zwak – matig – sterk)

2. Nagaan van verband tussen enerzijds houding t.o.v. games in het onderwijs en anderzijds gamegedrag

Kiezen van methode: WetenVoorbeeld 2

Onderzoek naar de houding van directieleden (lager onderwijs) tegenover leerkrachten met dyslexie in het onderwijs

Correlationeel onderzoek: nagaan van verbanden tussen enerzijds houding tegenover leerkrachten met dyslexie in het onderwijs en anderzijds ervaringen met deze leerkrachten

Kiezen van methode: veranderen / evaluerenIII. Interventiestudie

een bepaalde interventie, methode wordt verwacht een invloed te hebben op specifieke variabelen=> uitspraken doen over effectiviteit van methoden=> bevestigen (of juist niet) van theoretische voorspellingen

Effect van verschillende onderwijsmethoden op leerresultaten

Effect van werken vanuit ervaringen bij kinderen op wetenschappelijk denken

Kiezen van methode: veranderen / evalueren

experimenteel onderzoek: uittesten van verschillende interventies en effect ervan onderzoekenonafhankelijke (interventie) en afhankelijke variabelenmanipuleren van onafhankelijke variabelemaakt de interventie een verschil?

Pre-test __________interventie_________Post-testPre-test ____________________________Post-test

BelangrijkControleren andere variabelenSelectie van deelnemers: at random => quasi-experimenteel

design

Kiezen van methode: veranderen / evalueren VoorbeeldOnderzoek naar de effecten van de implementatie

van de leerlijn onderzoekvaardigheden in de lerarenopleiding op de opvattingen m.b.t. (het gebruik en zelf uitvoeren van) praktijkgericht onderzoek van studenten lerarenopleiding

Pretest: schriftelijke vragenlijst m.b.t. opvatting m.b.t. het gebruik en zelf uitvoeren van praktijkgericht onderzoek in de eigen onderwijspraktijk (gesloten vragen, open vragen)

Interventie1. Studenten controlegroep: afstudeerders, geen

expliciete instructie m.b.t. het zelf opzetten en uitvoeren van praktijkgericht onderzoek

Kiezen van methode: veranderen / evalueren VoorbeeldInterventie1. Studenten controlegroep2. Studenten experimentele groep: gerichte

en expliciete interventie (nieuwe leerlijn) m.b.t. het zelf opzetten en uitvoeren van praktijkgericht onderzoek; driejarige leerlijn

Posttest: schriftelijke vragenlijst m.b.t. opvatting m.b.t. het gebruik en zelf uitvoeren van praktijkgericht onderzoek in de eigen onderwijspraktijk (gesloten vragen, open vragen)

Analyse van invloed interventie op opvattingen studenten (vergelijking experimentele groep, controlegroep)

Kiezen van methode: ontwerpenIV. Design-based research

(~ontwikkelingsonderzoek)Vijf kenmerken: Pragmatic, Grounded, Interactive,

iterative and flexible, Integrative, and Contextual”Pragmatisch: vertrekkend vanuit probleem in

realiteit door interventie en uitbreiden van theorieGegrond (‘grounded’): zowel in de realiteit als in

de theorie Interactief, Iteratief en flexibel: samenwerking

tussen onderzoekers en leerkrachten, gedurende lange tijd, continue verfijning van interventie

Integratief: variatie aan onderzoeksmethoden, zowel kwalitatief als kwantitatief

In context

Kiezen van methodeActieonderzoek

‘teacher as researcher’Onderzoeken van eigen praktijkSystematisch en kritischOog op verbetering van eigen lespraktijk

~> illustraties van praktijkgericht onderzoek (SoE CLARA)

Kiezen van methode: besluitDe ene methode niet beter dan de andere

Belangrijk die methode te kiezen die een antwoord geeft op je onderzoeksvraag

In praktijk vaak verschillende methoden en verschillende instrument (triangulatie)

Belang van critical friend hoe nauwer je als onderzoeker betrokken bent bij het onderzoek

SteekproeftrekkingWie zijn mijn deelnemers, bij wie doe ik een

bevraging? Populatie groot?=> deelverzameling

Representativiteit => generaliserenAfhankelijk van kenmerken waarin je geïnteresseerd

bent (bv. Onderwijstype, geslacht, SES,..)Zelden volledige representativiteitRepresentatief voor bepaalde variabelen, niet voor

andere

SteekproeftrekkingSoorten steekproef

Zuivere toevalssteekproef Volledige lijst van onderzoekselementen (bv. Lijst met alle

leerkrachten) , trekken op basis van toeval Conceptueel eenvoudig, maar weinig gebruikt

o Moeilijk om exhaustieve lijst van onderzoekselementen op te stellen

o Geografische spreiding van de onderzoekselementeno Representativiteit niet gegarandeerd (bij kleinere steekproef)

Gestratificeerde enkelvoudige aselecte steekproef: Onderscheiden van deelpopulaties die verschillen op relevante

variabele (bv. Leerkrachten uit GO! Leerkrachten VGO, leerkrachten OGO)

Deelgroepen = strata Nemen van enkelvoudige aselecte steekproef binnen de strata Proportionele verdeling gelijk aan verdeling in de populatie, of

bewust niet proportionele verdeling

SteekproeftrekkingGetrapte steekproef

Eerst aantal primaire eenheden selecteren (bv. scholen)

Steekproef van secundaire eenheden (bv. leerkrachten) uit geselecteerde primaire eenheden

GemakkelijkheidssteekproefEenvoudigMoeilijk generaliseerbaar, obv theoretische

argumenten

Validiteit en betrouwbaarheidValiditeit

Inhoudsvaliditeit: zijn de indicatoren en vragen een goede afspiegeling van de te meten variabele (bv. Aanwezigheid op schoolvergadering goed indicator van leerkrachtmotivatie?)

Criteriumvaliditeit: hangen scores van deelnemers op een instrument samen met de scores die deelnemers behalen op een extern criterium (vooronderzoek voor nodig) (bv. Indien we vragen of leerkrachten gebruik maken van ICT is dat inderdaad een indicator voor het effectief gebruik?)

Betrouwbaarheid: instrument is betrouwbaar als het bij herhaalde toepassing op dezelfde, onveranderde elementen dezelfde waarde van de variabele als meetresultaat oplevert.

Verwerking dataAfhankelijk van methode

KwantitatiefZorg voor datafileVerwerking kan excel, spss, sas,….

KwalitatiefCoderingschema opstellenTurven ~kwantitatief‘beschrijven’

Tip: Mortelmans, D. (2007). Handboek kwalitatieve onderzoeksmethoden. Leuven: Acco te Gortenhuis, M., & Matthijsen, A. (2011). Basiscursus SPSS. Assen: Van Gorcum

Waarborgen van praktijkrelevantieRelatief eenvoudig bij actie-onderzoek,

design-based research

Niet uit het oog verliezen bij interventieonderzoekZorg voor betrekken van praktijk bij elke stap

in het onderzoekResultaten bekijken vanuit theoretische

relevantie, maar ook praktijkrelevantie (disseminatie naar praktijk! ~sessie 6)

Aan de slagVertrek in groepjes van 5 met een

onderzoeksvraag die je tijdens sessie 2 hebt gezien, of een eigen onderzoeksvraag. Schrijf hiervoor de methode, instrumenten, deelnemers uit.