methodieken en aandachtspunten in het onderzoeksproces meten en laten meten in de zorgsector 1
TRANSCRIPT
1
Methodieken en aandachtspunten in het onderzoeksproces
METEN EN LATEN METEN IN DE ZORGSECTOR
2
• MEMORI – praktijkgericht onderzoek, consulting & advies, o.a. voor ziekenhuizen− RZ Tienen
• Audit en communicatieadvies (2006)• Marktonderzoek (2009)
− AZ Sint-Maarten• Audit (2005)• Communicatiebegeleiding (2006)
− Onderzoek van het imago en de externe communicatie van de GZA-ziekenhuizen (2010)
• MEMORI – Projectmatig Wetenschappelijk Onderzoek − Naar een patiëntvriendelijke, duurzame onthaalomgeving in de
zorgsector (2008-2011)− Zorgmarketing of patiëntenmarketing? (2012-2013)
KADER
3
OVERZICHT
• Aanleiding om een onderzoek uit te voeren/te laten uitvoeren
• Invalshoeken • Stappen in het onderzoeksproces• Bronnen & online onderzoekstools• Voorbeelden van vraagtypen en
grafische voorstellingen
4
• Verbeterkans• Probleem, gevoel van tekort aan
handelingskennis − stageverslagen, eindproeven, krantenartikelen,
beleidsdocumenten, blogs, discussiefora,…
• Nieuwsgierigheid • Verandering (bv. fusie)• …
AANLEIDINGEN
5
COMMUNICATIE-ONDERZOEK• Sterkte-zwakte analyse van de int/ext communicatie en organisatie van de
communicatie • Optimalisering int/ext communicatie, het onthaal,… in het kader van
kwaliteitszorg• Komen tot communicatieprioriteiten binnen een communicatiebeleidsplan• Geïntegreerde uitwerking van communicatieacties, -procedures, -
kanalen… op het operationele niveau
BEKENDHEIDS- en IMAGO-ONDERZOEK• Werk maken van optimale bekendheid; positief imago bij verschillende
doelgroepen− Hoe ervaren/percipiëren de publieksgroepen de kwaliteit vh ziekenhuis?− Hoe verloopt het besluitvormingsproces bij de patiënt (in ziekenhuiskeuze)?
CONCURRENTIE-ANALYSE• Wat is de positionering van mijn ziekenhuis t.o.v. andere ziekenhuizen in
de regio?
INVALSHOEKEN
6
• Vooronderzoek en analyse van de communicatie-onderbouw
• Audit/onderzoek/survey/focusgroepen…• Conclusies en aanbevelingen
Valideren van onderzoeksresultaten: communicatieplan, communicatiestrategie, beleidsbeslissingen, bijsturing communicatiekanalen…
STAPPEN IN HET ONDERZOEKSPROCES
7
• Deskresearch • Gesprekken met onthaalmedewerkers,
patiënten, (focusgroepen)…• Surveys (online of offline)• Shadowing • Mystery shopping• Dagboekmethode• Usabilityonderzoek• …
MOGELIJKE METHODIEKEN
8
• Online survey tools• Heatmaps • Sociale media en blogs evalueren• Steekproefgrootte• Statistiek • Rapportering • Inhoudsanalyses op teksten
TOOLS
9
• Steekproefomvang
− Afhankelijk van statistische toets• http://
www.allesovermarktonderzoek.nl/Extra/steekproef.aspx (basis)
• http://www.tue-tm.org/snijders/mto3/sample_size.htm (overzicht)
• http://department.obg.cuhk.edu.hk/researchsupport/statstesthome.asp
• http://www.statpac.com/statistics-calculator/free-version.htm • (30 dagen trial)
BRONNEN
10
HTTP://WWW.JOURNALINKS.BE/STEEKPROEF/
11
• Online vragenlijsten maken
− LimeSurvey• http://www.limesurvey.org/ • Handleiding https://
admin.kuleuven.be/icts/onderzoek/enqueteservice/werken-met-limesurvey/overzicht-werken-met-limesurvey
− SurveyMonkey• https://nl.surveymonkey.com/MyAccount_GetStarted.aspx• Handleiding: www.oncoline.nl (zoeken via google)
− www.qualtrics.com− www.enquetemaken.be, www.studentenenquete.nl,
www.thesistools.com − Google Docs
BRONNEN
12
• Statistiek: − Wikiversity: http://
en.wikiversity.org/wiki/Wikiversity:Main_Page
− HyperStat Online StatisticsTextbook www.davidmlane.com/hyperstat/index.html
− Research Methods Knowledge Base www.socialresearchmethods.net\kb\index.php
− Wis(kunde)wijzer: http://www.wiswijzer.nl/ − Neill & Howellof Corston& Colman(passieve
beslissingsboom): http://en.wikiversity.org/wiki/Inferential_statistics_decision-making_tree
BRONNEN
13
• Interactieve beslissingsboom − Selecting Statistics (interactief)
www.socialresearchmethods.net/selstat/ssstart.htm
− Decision tree voor statistics (interactief) www.microsiris.com/Statistical%20Decision%20Tree/default.htm
BRONNEN
14
• Internetprogramma’s voor kwantitatieve analyses− GraphPad QuickCalcs:
www.graphpad.com/quickcalcs/index.cfm − VassarStats: http://
faculty.vassar.edu/lowry/VassarStats.html − The R Project for Statistical Computing: http
://www.r-project.org/ − SISA: http://
www.quantitativeskills.com/sisa/index.htm
BRONNEN
16
• Woordenfrequenties (analyses)− http://www.online-utility.org/text/analyzer.jsp − TEXTSTAT:
http://neon.niederlandistik.fu-berlin.de/nl/textstat/
− www.wordle.net (wordcloud)− http
://www-958.ibm.com/software/data/cognos/manyeyes/
BRONNEN
17
• Kwalitatieve analyses op sociale media− Google: http://www.google.be/trends − Google Analytics (alle online berichten)− Likealizer (facebook)− Blogs: www.blogpulse.com − Twitter: http://trendistic.indextank.com/http://
neoformix.com/Projects/TwitterStreamGraphs/view.php
− Gecombineerd: http://www.marketsentinel.com/blog/2011/03/free-social-media-monitoring-tools/
BRONNEN
18
• Leesbaarheid van teksten:
BRONNEN
19
• Bij verschillende doelgroepen/stakeholders: − (paramedische) doorverwijzers, huisartsen in de
regio, omwonenden, (potentiële) patiënten, bezoekers, leveranciers, samenwerkingspartners… interne doelgroepen (bv. artsen, personeel…)
− verschillen tussen campussen?− t.a.v. concurrentie?
• Kwal.methodiek: associatie-oefeningen, projectieve technieken
• Kwan.methodiek: o.a. semantische differentiaal, Likertschaal
BEKENDHEID- EN IMAGO-ONDERZOEK
20
• Respondent wordt gevraagd naar zijn mate van akkoord met een aantal statements− Volkomen eens (5) / eens (4) / noch eens, noch oneens (3) / oneens (2) /
volkomen oneens (1)
• Er worden extreem geformuleerde uitspraken gebruikt (in de ene of andere richting; dus geen neutrale statements)− Vermijd dubbelzinnige statements− Wees specifiek => leidt ook tot specifieke antwoorden− Geen twee items in één vraag stoppen
• Gemiddelde wordt berekend om pos/neg houding van respondent te kennen− ! Negatief geformuleerde stellingen krijgen omgekeerde schaalwaarden
• Bruikbare statements => waarbij personen met dezelfde attitude ook hetzelfde antwoord zullen geven− Bij de analyse neemt men de 25% meest positieven (de respondenten met
de hoogste gemiddelde scores) en vergelijkt men die met de 25% meest negatieven
LIKERTSCHAAL
21
• Ontworpen om de betekenis van begrippen na te gaan; bleek ook waardevol voor attitudeonderzoek
• Lijst van tegengestelde adjectieven− Maar ook beschrijvende naamwoorden en
zinnen
• Respondent moet een bepaald begrip per adjectievenkoppel situeren op 7-puntenschaal.
SEMANTISCHE DIFFERENTIAAL
22
VOORBEELD SEMANTISCHE DIFFERENTIAAL
23
24
helemaal niet van
toepassingniet van
toepassingmin of meer van
toepassingheel toepasselijk
geen antwoord/ weet niet
kwaliteitsvol (op het vlak van medische handelingen)
Innovatief (vernieuwend) zakelijke (afstandelijke) relatie
met patiënt
persoonlijke relatie met patiënt goede verpleegkundige zorg sociaal toegankelijk (ook voor
beperkte, lage inkomens)
conservatief duur
warm elitair
moderne infrastructuur (moderne kamers ed.)
vriendelijk
VOORBEELD IMAGOVRAAG
In welke mate associeert u volgende kenmerken met het [ZH]?
25
• Imago van ziekenhuis bij doorverwijzers− Doorslaggevende factoren bij de keuze van het
ziekenhuis waarnaar de huisarts doorverwijst • 5-puntenschaal gaande van ‘helemaal niet
belangrijk’ tot ‘heel belangrijk’• + open vraag: zijn er nog andere elementen…
− Indien men NIET doorverwijst [naar ons zh], wat zijn hiervoor de voornaamste redenen• Multiple response vraag (meerdere antwoorden
mogelijk)
− Associatie met imago-kenmerken− Impact van imago-kenmerken
VOORBEELDEN - DOORVERWIJZERS
26
gewoonte (n=84)
imago van het ziekenhuis (n=87)
locatie van het ziekenhuis (n=89)
comfort en accommodatie van het ziekenhuis (n=78)
persoonlijke band met de specialist (n=87)
snelheid van behandeling (n=89)
eerdere ervaringen met het ziekenhuis (n=89)
wensen van de patiënt (n=87)
algemene kwaliteit van de dienstverlening in het ziekenhuis (n=87)
pathologie van de patiënt (n=89)
vertrouwen in de vakkundigheid van de specialist (n=88)
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
51
31
22
28
23
19
16
11
13
10
26
48
53
60
46
55
58
60
55
55
25
10
9
16
9
22
25
26
28
32
34
75
Doorslaggevende factoren bij de keuze van het ziekenhuis waarnaar men doorverwijst
helemaal niet belangrijk niet belangrijk neutraal belangrijk heel belangrijk
27
negatieve imago van [ZH]
ontevredenheid over [ZH]
comfort en accommodatie van een ander ziekenhuis
negatieve ervaringen met [ZH]
algemene kwaliteit van de dienstverlening in een ander ziekenhuis
snelheid van behandeling in een ander ziekenhuis
persoonlijke band met specialist in een ander ziekenhuis
locatie van een ander ziekenhuis
pathologie van de patiënt
vakkundigheid specialist in een ander ziekenhuis
wensen van de patiënt
0 10 20 30 40 50 60 70 80
4
4
10
10
14
16
23
36
46
56
74
Redenen om NIET door te verwijzen naar [ZH](Multiple response, n=70, column resp.% = 293%)
28
• Imago van ZH bij (potentiële) patiënten− Factoren die een rol spelen bij de keuze voor een welbepaald ziekenhuis
• 4-puntenschaal (helemaal niet van toepassing – heel toepasselijk)
− Kennis over fusie (groep waartoe ZH behoort)− Associatie van ZH met imagokenmerken
• Zie voorbeelden
− Beperkte concurrentie-analyse (Voor welk ZH kiest u doorgaans?)
• Populatie− N=[oneindig, nl. alle potentiële patiënten]
• n=400; minstens 30 patiënten per afdeling/pathologie/typologie• Systematische toevalssteekproef = ideaal, maar vaak moeilijk te realiseren
− papieren enquête (mondelinge afname, verspreiding via verplegend personeel, …)
• Typologie patiënt (zie grafiek)− Eerste keer patiënt in ZH?− Geslacht, leeftijd, regio, dienst (open vraag), opleidingsgraad
VOORBEELDEN - PATIËNTEN
29
geen antwoord
anders
ik heb een afspraak voor een dagopname
ik ben gehospitaliseerd/opgenomen voor enkele dagen
ik heb een afspraak voor een consultatie (polikliniek)
ik heb een afspraak bij de Medisch Technische Dienst (bv. MRI, scan, bloedafname,…)
10 20 30 40
22
1
9
27
30
11
Typologie van de patiënt (n=668)
30
VOORBEELD IMAGOVRAAG
helemaal
niet akkoordniet akkoord akkoord
helemaal akkoord
geen antwoord/weet niet
Het behoren van het ziekenhuis tot de [GROEP] is voor mij een extra stimulans om voor dit ziekenhuis te kiezen.
Het behoren van het ziekenhuis tot de [GROEP] is voor mij een extra kwaliteitsgarantie.
Het levensbeschouwelijke aspect (bv. houding tegenover euthanasie, abortus,.. .) speelt bij mij een belangrijke rol in de keuze voor [ZH].
De vrije keuze van arts is een belangrijke reden voor mij om voor [ZH] te kiezen.
Mijn beeld over [ZH] is beïnvloed door de berichtgeving in de media.
De relatief korte wachtlijsten in [ZH]spelen een rol in mijn keuze voor dit ziekenhuis.
In welke mate gaat u akkoord met volgende uitspraken over het imago van [ZH]?
31
kwaliteitsvol*
sociaal toegankelijk*
vriendelijk*
conservatief*
warm
innovatief*zakelijke relatie met patiënt*
persoonlijke relatie met patiënt*
duur
elitair*
moderne infrastructuur
1.00
3.00
Imago van [ZH](vergelijking huisartsen - patiënten - personeel)
huisartsen SA patiënten SA personeel SA
32
• Vergelijking imago bij 3 doelgroepen
[ZH] huisartsen patiënten personeel
Conservatief* 2,48 2,38 2,72
duur 3,01 2,77 3,25
elitair* 2,43 2,35 2,73
innovatief* 3,44 3,46 3,22
kwaliteitsvol* 3,83 3,81 3,59
moderne infrastructuur 3,59 3,43
persoonlijke relatie met patiënt*
3,05 3,37 3,10
sociaal toegankelijk* 2,82 3,35 3,41
vriendelijk* 3,38 3,79 3,39
warm 3,04 3,22 3,15
zakelijke relatie met patiënt* 2,95 2,69 3,13
33
• Communicatie van doorverwijzende huisarts met ziekenhuis− Tevredenheid over de informatievoorzieningen
& informatiesoorten + belang => KLOOFANALYSE
− Informatielacunes− Tevredenheid over de samenwerking en
communicatie
• Moeilijk bereikbare doelgroep!− Telefonische opvolging
VOORBEELDEN COMMUNICATIEONDERZOEK
34
gemiddeld BELANG gemiddelde TEVREDENHEID KLOOF
Up-to-date contactgegevens van behandelende artsen 3,53 3,35 ,180
Informatie over nieuwe startende artsen 2,76 3,30 -,540
Actuele ontwikkelingen binnen het ziekenhuis (nieuwe diensten, nieuwe apparatuur…)
3,08 3,31 -,230
Medische verslaggeving na opname consultatie (per post of via MediBRIDGE) 3,95 3,49 ,460
Beleidsinformatie van het ziekenhuis 2,50 3,05 -,550
Elektronische communicatie via MONA 3,04 3,15 -,110
Medisch aanbod van het ziekenhuis 3,33 3,50 -,170
Algemene medische informatie (onderzoeksbevindingen, nieuwe visies…)
2,78 3,26 -,480
VOORBEELD KLOOFANALYSE
35
Ik ben voldoende op de hoogte van het reilen en zeilen van het ziekenhuis. (n=79)
Het ziekenhuis voorziet voldoende informatie over de verschillende diensten en afdelingen. (n=83)
De informatie van het ziekenhuis is voldoende duidelijk en helder. (n=84)
Ik heb een goed zicht op het aanbod van het ziekenhuis. (n=84)
Ik krijg voldoende informatie over nieuwe en actuele ontwikkelingen in het ziekenhuis. (n=85)
0%10%
20%30%
40%50%
60%70%
80%90%
100%
5
4
4
5
5
32
31
24
23
15
56
59
64
61
61
8
6
8
12
19
Tevredenheid over informatievoorziening van [ZH]
helemaal niet akkoord niet akkoord akkoord helemaal akkoord
36
Er is een goede informatie-uitwisseling tussen huisarts en specialist. (n=83)
De specialisten zijn makkelijk bereikbaar voor overleg. (n=79)
Ik ontvang tijdig de nodige informatie van de specialisten. (n=84)
Het ziekenhuis werkt goed samen met huisartsen en andere verwijzers. (n=78)
De contacten met de specialisten in het ziekenhuis verlopen vlot. (n=79)
Ik heb over het algemeen goede afspraken met de specialisten. (n=77)
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
4
4
4
17
23
21
12
19
8
69
56
62
72
65
75
11
18
15
13
15
16
Tevredenheid over de samenwerking en communicatie
helemaal niet akkoord niet akkoord akkoord helemaal akkoord
37
• “Welke informatie mist u van [ZH]?”− Bereikbaarheid specialisten/artsen
• Regelmatig up-to-date overzicht met huidige raadplegingsuren, e-mail, tel/GSM, foto vd arts,...
− Feedback over patiënt• Nu vooral eenrichtingverkeer; op vraag van huisarts• Overlijden patiënt wordt niet doorgegeven
− Informatie over nieuwe specialisten• Un répertoire mis à jour au moins 1xpar an avec tous les
services (et nouveaux médecins) avec les coordonnées de chacun.
− Sneller informatie over nieuwe behandelingstechnieken
INFORMATIELACUNES (OPEN VRAAG)
WWW.WORDLE.NET
39
• Duidelijkheid van informatieverstrekking• Evaluatie onthaalbrochure
− Onthaalbrochure gekregen? Gelezen? − Evaluatie inhoud/vorm (likertschaal)
• Evaluatie afdelingsfolder− Brochure gekregen? Gelezen? − Evaluatie inhoud/vorm
• Evaluatie website− % websitebezoekers (van de internetgebruikers)− Evaluatie: actualiteit, gemak waarmee info gevonden wordt,
aantrekkelijkheid…
• Mening over potentieel patiëntenmagazine + verwachte thema’s
• Evaluatie onthaal• Belang van aspecten van niet-medische dienstverlening
VOORBEELDEN - PATIËNTEN
40
In welke mate gaat u akkoord met volgende uitspraken over de onthaalbrochure?
helemaal
niet akkoordniet akkoord akkoord
helemaal akkoord
geen antwoord/weet niet
De onthaalbrochure oogt aantrekkelijk en nodigt uit tot lezen.
De onthaalbrochure is overzichtelijk.
De onthaalbrochure is duidelijk (vlot leesbaar).
De onthaalbrochure bevat alle nodige informatie.
De inhoud van de onthaalbrochure is begrijpelijk.
De onthaalbrochure is voor mij overbodig.
41
42
• Bevraging artsen – diensthoofden – personeel− Verslagen medische informatie: kennis-
leesfrequentie-tevredenheid-kanaalvoorkeuren…− Stellingen over taakinformatie, beleidsinformatie,
communicatiecultuur, informatiedoorstroming, gebruik van formulieren, kennis van de wettelijke comités…
− Profielvragen: • Discipline (internistisch, chirurgisch, medisch-techn)• Diensthoofd/eenheidsverantwoordelijke• Geslacht, leeftijd, campus, aantal jaren in dienst,
aantal dagen per week in ZH
VOORBEELDEN – INTERN COM AUDIT
43
Met deze uitspraak ga ik… Helemaal niet
akkoord
Niet akkoord
Min of meer
akkoordAkkoord Volledig
akkoord
Weet niet/geen mening
Als er iets verandert in de manier waarop ik moet werken, dan word ik doorgaans tijdig geïnformeerd.
Er wordt teveel vergaderd in allerhande werkgroepen.
Ik word overspoeld door allerhande informatie in het ziekenhuis.
Mijn geneesheer-diensthoofd informeert mij voldoende.
De informatiedoorstroming van artsen naar geneesheren in opleiding verloopt vlot.
Binnen onze dienst stroomt de informatie vlot door tussen de betrokken artsen onderling.
Ik ben slecht op de hoogte van wat er reilt en zeilt in het ziekenhuis omdat ik de informatie die verspreid wordt, te weinig lees .
VOORBEELD: ARTSEN (INTERNE COM)
44
Met deze uitspraak ga ik… Helemaal niet
akkoord
Niet akkoord
Min of meer
akkoordAkkoord Volledig
akkoord
Weet niet/geen mening
Ik ken de bevoegdheden van de wettelijke comités.
Ik weet op voorhand welke onderwerpen besproken zullen worden in de wettelijke comités.
Als een onderwerp mij aanbelangt, neem ik zelf het initiatief om mijn visie kenbaar te maken aan de leden van het betrokken comité.
Ik weet op welke wijze de beslissingen genomen worden in de wettelijke comités.
Een beslissing genomen in een wettelijk comité neem ik ter harte en pas ik toe in mijn praktijk.
Ik neem een beslissing van een wettelijk comité enkel ter harte als de directie aanwezig was bij de bespreking.
Ik neem een beslissing van een wettelijk comité enkel ter harte als ze ondertekend is door de directie.
VOORBEELD INTERNE COM
45
Ik vind dit een belangrijk communicatiekanaal.
Dit communicatiekanaal wordt voldoende gebruikt
in het ziekenhuis.
Ja Neen Ja neendagelijkse briefing dienstvergadering diensthoofdenvergadering persoonlijk gesprek met collega-diensthoofden of de departementele directeur
werkgroepen logboek dienstnota’s verslagen directiemededelingen intranet e-mail andere:……………………………………
VOORBEELD INTERNE COM
46
• Tips (www.sondz.nl) − 1) gebruik niet de standaard grijze kleuren in Excel− 2) gebruik grafieken waarbij u duidelijk de resultaten
kunt laten zien en niet teveel ruimte gebruikt − 3) vermeld altijd het aantal waarnemingen (bv: n=300 als de
grafiek op 300 waarnemingen is gebaseerd)
− 4) lettertype van labels moeten groot genoeg zijn (wanneer deze van excel naar ppt of word worden gekopieerd)
− 5) bij 5-puntenschaal: voeg uiterste categorieën samen− 6) gebruik voor positieve (schaal)waarden bij voorkeur
de kleur groen en voor negatieve (schaal)waarden de kleur rood
VISUEEL VOORSTELLEN VAN DATA
47
1 algemeen oordeel
2 kwaliteit pizza's
3 variëteit menu
4 vriendelijkheid personeel
5 prijs/kwaliteit verhouding
6 snelheid bediening
1 2 3 4 5
3.6
3.5
3.0
3.5
3.1
3.3
Wat vindt u van dit restaurant mbt: n = 300 respondenten
48
1 algemeen oordeel
2 kwaliteit pizza's
3 variëteit menu
4 vriendelijkheid personeel
5 prijs/kwaliteit verhouding
6 snelheid bediening
50%
42%
19%
44%
42%
46%
45%
52%
62%
44%
24%
31%
5%
6%
19%
12%
34%
23%
Wat vindt u van dit restaurant mbt:
uitstekend/zeer goed goed matig/slecht
n = 300 respondenten
49
1 algemeen oordeel
2 kwaliteit pizza's
3 variëteit menu
4 vriendelijkheid personeel
5 prijs/kwaliteit verhouding
6 snelheid bediening
50%
42%
19%
44%
42%
46%
-5%
-6%
-19%
-12%
-34%
-23%
Wat vindt u van dit restaurant mbt:
uitstekend/zeer goed matig/slecht
n = 300 respondenten
50
51
BALKO BALLO BALLOA BALSO BBrBV BM COM IM IV JOU OM TRM VIA VPK0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Tevredenheid mogelijkheden internationale ervaring
Tevreden Helemaal tevreden
52
VRAGEN?