frukostseminarium, utvärdering av förändringsarbete, 2 sep 2010
Post on 23-Jan-2015
2.661 Views
Preview:
DESCRIPTION
TRANSCRIPT
Christina Ehneström och Torbjörn Skarin, Metamatrix
Stockholm den 2 september 2010
Frukostseminarium-utvärdering av förändringsarbete
Seminariets innehåll
Kärnan i en utvärdering
Syftet påverkar valet av utvärderingsmodell
Summativ och formativ utvärdering, var går gränsen?
Utmaningar med projektmål
Programlogik – ett verktyg för att ta fram tydliga och utvärderingsbara mål
Erfarenheter från tre praktikfall med olika fokus
Hur blir utvärderingen ett praktiskt verktyg för ett kontinuerligt förändringsarbete?
Kärnan i en utvärdering
GEMENSAM SYN PÅ PROBLEMEN
OCH PÅ MÅLEN
SKAPA FÖRBEREDELSE INFÖR
FÖRÄNDRINGSARBETET
Syftet påverkar valet av utvärderingsmodell
Syfte med utvärderingen
Modell Användning
Når projektet önskade effekter?
Effektutvärdering Återrapportering till beställaren. Kan bidra till förändringar i kommande program/projekt/insatser.
Fungerar projektet enligt plan? Hur fungerar projektorganisationen?
Processutvärdering Beslut om avslut eller mer resurser. Kan fungera som modell för en större satsning. Förbättra och förändra verksamhet. Eventuell omorganisation.
Hur kan projektet förbättra/förändra sin verksamhet så att målen uppnås?
Lärande utvärdering/Följeforskning
Återkoppling sker kontinuerligt. Ska bidra till att förändra/förbättra i pågående projekt - aktiviteter eller mål. Skapa lärande mellan projekt, för beslutsfattare och för pågående eller nya program/insatser.
Summativ och formativ utvärdering, var går gränsen?
Summativ/effekt Formativ/lärande
XX X
Utmaningar med projektmål
Formulering av mål
Mål som inte går att följa upp och styra mot
Otydliga mål, kopplade till en politisk vision
Mål som inte är tidssatta eller kvantifierbara
Mål där indikatorer på måluppfyllelse saknas
Målstyrning
Otydlig koppling mellan insatser och mål
Organisatoriska gränser påverkar möjligheten att uppfylla målen eller styra mot målen
Olika verksamhetsföreträdare har olika syn på vad som skall uppnås och vägen dit
Programlogik – ett verktyg för att ta fram tydliga och utvärderingsbara mål
•Programteori•Programlogik•Effektkedja•Argumentationskedja•Logic model•Förändringshypotes
Programlogiken beskriver ett tänkt samband mellan aktiviteter å ena sidan och resultat och effekter å den andra sidan, dvs. den
förändring som programmet ska åstadkomma…
…medan en programteori utöver ovan nämnda också beskriver mekanismerna som
antas vara orsaken till sambanden.
Exempel
AktiviteterResurser Utfall/Direkta resultat
Resultat/Effekter på kort sikt
Effekter på lång sikt
Överlevnad
Ökad konkurrenskraft
Bättre lönsamhet
Överlevnad
Ökad konkurrenskraft
Bättre lönsamhet
Högre kompetens
Bättre samarbete med högskola/andra företag
Nya produkter och tjänster
Högre kompetens
Bättre samarbete med högskola/andra företag
Nya produkter och tjänster
Antal kurser
Antal personal som får utbildning
Antal nätverksmöten
Antal kurser
Antal personal som får utbildning
Antal nätverksmöten
Kurser för personal
Företagsforskar-skola
Nätverkande/erfarenhetsutbyte
Kurser för personal
Företagsforskar-skola
Nätverkande/erfarenhetsutbyte
Pengar
Kompetens
Lokaler
Kontakter
Pengar
Kompetens
Lokaler
Kontakter
PengarKompetensLokaler
Stilbildande utvecklings-projekt som inspirerar i regionen såväl som nationellt och internationellt
Röda tråden
Coachande aktiviteter
Satsning på lågutbildade/barnskötare
Ledarskap i förändring
Tango på tre
Observatörsprojektet/Utvärdering
Jämställdhetsutbildning (integrerat i respektive utbildning)
Spridningsaktiviteter
Högre beredskap inför förändringar
Anställningsbar och eftertraktad i andra delar av samhället
Ökad måluppfyllelse hos eleverna
Ökat självförtroende
Kvalitetssäkring av arbetsinsatser
Mindre stress bland lärare och elever
Coachande förhållningssätt
Projektets aktörer hamnar i framkant av svensk skolutveckling
Ökad kompetens att driva förändringsprocesser
Ökad samtalskompetensÖkad kompetens hos pedagogisk personal
Spetskompetens inom kompetensutvecklings-områdena
Hållbarhet
Spetsutbildning för utvalda i -Ledarskap-Processtöd-Observatörsprojekt-Certifierad coachning
Minskad risk för långtidssjukskrivning
Resurser ResultatAktiviteter Effekter på medellång-lång sikt
Processtöd till samtalsledare
Blir entreprenöriell
Ökad medvetenhet om genusfrågor
Medvetenhet om omvärldens krav och uppdrag
Kompetens att sprida information internt och externt
Skapa delaktighet
Upplevelse av delaktighet
Erfarenheter från tre praktikfall
Socialfonden, följeforskning av tio projekt i samma program
Göteborg stad, formativ (lärande) utvärdering av ett projekt
Internationella programkontoret, summativ (effekt) utvärdering av ett projekt
Erfarenheter från följeforskning av tio projekt inom Socialfonden
Bakgrund och syfte med utvärderingen: Syftet med den övergripande utvärderingen är att samordna de enskilda projektens utvärderingar och medverka till att ett antal, för projekten och för insatsen, relevanta och gemensamma frågeställningar identifieras som både kan påverka utvecklingen i projekten såväl som på en mer strategisk nivå.
Utmaningar i utvärderingen:
•Att koordinera nio utvärderingskolleger som alla har sina egna lösningar, har kommit olika långt, har olika mycket resurser och olika direktiv från sina uppdragsgivare.
•Att skapa ett intresse från de egentliga ägarna (aktivt ägarskap) så som politiker, AF och intresseorganisationer för den Sociala ekonomin.
•Att bidra till att lyckade resultat implementeras i ordinarie verksamhet.
Nytta/användning av utvärderingen: Resultat och erfarenheter från projektens verksamhet ska synliggöras och nätverksträffarna ska skapa tillfälle för analys, erfarenhetsutbyte och lärande. I den mån det är möjligt ska utvärderingen söka syntetisera resultaten till en samlad bild av hur olika aktörer inom den sociala ekonomin kan verka i förhållande till Arbetsförmedlingen och tvärtom.
FORMATIV UTVÄRDERING MED
SUMMATIVA INSLAG
NÄTVERKSTRÄFFAR/
ANALYSSEMINARIER
HÖGGRUPP (”STYRGRUPP”)/
CENTRAL ANORDNARGRUPP
Erfarenheter från utvärderingen av ett projekt inom Internationella programkontoretBakgrund och syfte med utvärderingen: att se om utbildningsinsatsen har gett några resultat kopplat till lärarnas arbete med eleverna, vilka typ av frågor lyfts fram i undervisningen, vilka metoder används och vilka material används? Syftet är även att se hur lärarna upplever Programkontorets insatser i allmänhet
Utmaningar i utvärderingen: initialt arbetade utvärderaren med programkontoret för att förtydliga målen och att beskriva förväntade och oväntade effekter, att få fram data för olika indikatorer på effekter, samt att få hög svarsfrekvens i webbenkäten (främst i kontrollgruppen som ej deltagit i utbildningen),
Nytta/användning av utvärderingen: Fördjupad information för Programkontoret om vilka som deltagit i utbildningarna (kön, ålder etc), hur hittar man information om utbildningarna, Skolverket är intresserade av uppföljning av undervisningen kopplat till kursplanen, EU-kommissionen vill se om samarbetet med programkontoret fungerar
EFFEKTUTVÄRDERING AV
UTBILDNINGSINSATS KRING EU-
KUNSKAP
ÄMNESFÖRDJUPNING OCH METODIK
GYMNASIELÄRARE I
SAMHÄLLSKUNSKAP
Erfarenheter från utvärderingen av projektet Hjärntorget
Bakgrund och syfte med utvärderingen: Ett projekt med många utmaningar och faser, en egeninitierad utvärdering som värderar projektprocessen och projektets effekter och nytta. SMARTA mål är uppsatta, utvärdering sker mot dessa mål (Specifikt, Mätbart, Accepterat, Realistiskt, Tidssatt)
Utmaningar i utvärderingen: Styrning av ett centralt projekt med stort lokalt ansvar och mandat, otydliga mål (trots SMARTA), den formativa utvärderingen genomfördes i slutfasen av projektet, effekterna av projektet gick ännu inte att värdera
Nytta/användning av utvärderingen: Självvärderings-instrument skapat för att värdera måluppfyllelsen, självvärderingsinstrument skapat för att värdera e-mognaden på skolnivån, ger ett diskussionsunderlag kring projektprocesserna inom staden, kring svårigheterna att styra med decentraliserat ansvar samt kring behovet av fortsatta insatser eller nya projekt
ETT IT-STÖD FÖR SKOLAN INOM GÖTEBORG
STAD
PROJEKTETS MÅLGRUPPER: SKOLLEDARE,
LÄRARE, ADMINISTRATÖRER, ELEVER,
FÖRÄLDRAR
FORMATIV UTVÄRDERING MED SUMMATIVA
INSLAG
Hur blir utvärderingen ett praktiskt verktyg för ett kontinuerligt förändringsarbete?
Välj rätt metod och verktyg för utvärderingen
Arbeta med att förtydliga målen, öka förmågan att styra mot målen
Skapa en gemensam bild av målen inom organisationen
Förankra utvärderingens resultat inom den egna organisationen
Skapa ett system för kontinuerlig uppföljning och styrning mot uppsatta mål
Kontaktinformation: Christina Ehneström, christina.ehnestrom@metamatrix.se, 076-050 8120Jan Hylén, jan.hylen@metamatrix.se, 073-441 4044Torbjörn Skarin, torbjorn.skarin@metamatrix.se, 073-944 2048
Besök bloggen: www.itochutbildning.se
top related