beata ciężka
DESCRIPTION
WOJEWÓDZTWO PODKARPACKIE. Beata Ciężka. Metodologia badań ewaluacyjnych. Projekt jest finansowany przez Unię Europejską z Europejskiego Funduszu Rozwoju Regionalnego w ramach Regionalnego Programu Operacyjnego Województwa Podkarpackiego na lata 2007 – 2013. WOJEWÓDZTWO PODKARPACKIE. - PowerPoint PPT PresentationTRANSCRIPT
Beata CiężkaBeata Ciężka
Metodologia badań ewaluacyjnych
WOJEWÓDZTWO PODKARPACKIE
Projekt jest finansowany przez Unię Europejską z Europejskiego Funduszu Rozwoju Regionalnego w ramach
Regionalnego Programu Operacyjnego Województwa Podkarpackiego na lata 2007 – 2013
Ewaluacja jest rodzajem badania
a więc
metodologia badań ewaluacyjnych czerpie z dorobku metodologicznego nauk, w szczególności nauk społecznych:
- Socjologii - Pedagogiki - Psychologii - Ekonomii- Nauk o zarządzaniu
WOJEWÓDZTWO PODKARPACKIE
Ewaluacja pozytywistyczna vs. humanistyczna
Paradygmat pozytywistyczny zakłada:- Obiektywne istnienie rzeczywistości - Niezależność badacza od przedmiotu poznania i sytuacji
badawczej- Przyjmowanie a priori eksplorowanych kategorii pojęciowych
Paradygmat humanistyczny zakłada:- Interakcyjne konstruowanie rzeczywistości- „Prawda” stanowi rodzaj konsensusu uzgodnionego między
działającymi podmiotami- Badacz wywiera wypływ na rzeczywistość i sam doznaje wpływu - Kategorie pojęciowe wyłaniają się w trakcie badań i mogą być
wyjaśnione tylko w towarzyszącym im kontekście- Maksymalne uspołecznienie całego przebiegu ewaluacji
WOJEWÓDZTWO PODKARPACKIE
Konsekwencje zaprezentowanych rozważań metodologicznych w ewaluacji funduszy strukturalnych
Założenie możliwości kreowania rzeczywistości społecznej poprzez zastosowanie interwencji
Zastosowanie metodologii „pomiaru wskaźników” Założenie stosowania zestawu z góry określonych kryteriów
oceny
Ale: Partycypacyjność w formułowaniu założeń ewaluacji Uznawanie ważności kontekstu Uznawanie różnorodności punktów widzenia Stosowanie triangulacji (w tym szerokiego wachlarza metod
jakościowych)
WOJEWÓDZTWO PODKARPACKIE
5
Triangulacja
Zwielokrotnienie: Metod i technik badawczych Źródeł informacji Typów danych Technik analitycznych Teorii wyjaśniających Liczby osób realizujących badania
Zastosowanie Lepsze poznanie i zrozumienie badanego obiektu Uwzględnianie różnych punktów widzenia Bardziej „zobiektywizowana” analiza
WOJEWÓDZTWO PODKARPACKIE
6
Założenia badań ilościowych i ich
zastosowanie
Obejmują gromadzenie i analizę informacji liczbowych (również informacji, które można zakodować w formie liczb np. opinii – badania sondażowe)
Wykorzystywane są do poznania rozkładów częstości występowania badanego zjawiska oraz określenia poziomu zależności, jakie występują pomiędzy różnymi zmiennymi
Podlegają analizie statystycznej i regułom w niej obowiązującym
Badania ilościowe umożliwiają wnioskowanie na temat całej populacji w oparciu o badania przeprowadzone na próbce tej populacji
Zasadniczym pytaniem jest: ILE?
WOJEWÓDZTWO PODKARPACKIE
7
Założenia badań jakościowych i ich zastosowanie
Dotyczą opisu, poznania i zrozumienia badanych zjawisk
Dane jakościowe są najczęściej niezbędne dla właściwej interpretacji informacji liczbowych
Jakościowy charakter badań i prowadzonych analiz pociąga za sobą nacisk na procesy i znaczenia, które nie podlegają ścisłym rygorom pomiaru w znaczeniu ilościowym
Pozwalają na sformułowanie odpowiedzi na pytania: co?, jak?, dlaczego?
Są wieloznaczne i wielowymiarowe, trudno na ich podstawie formułować uogólnienia
WOJEWÓDZTWO PODKARPACKIE
Badania z zastosowaniem triangulacji – przykłady
WOJEWÓDZTWO PODKARPACKIE
Badanie ewaluacyjne dotyczące realizacji perspektywy równości płci przez Sektorowy Program Operacyjny Rozwój Zasobów Ludzkich na lata 2004-2006
WOJEWÓDZTWO PODKARPACKIE
Badanie reprezentatywne ludności Polski powyżej 15 roku życia – badanie na 1000 osobowej ogólnopolskiej próbie reprezentatywnej (blok pytań w Pentor Omnibus).
Badanie liderów opinii - wywiady pogłębione z przedstawicielami środowisk naukowych, świata polityki oraz przedstawicielami środowisk kobiecych (7IDI).
PERSPEKTYWA SPOŁECZNA
25 Indywidualnych wywiadów pogłębionych (IDI) z wybranymi przedstawicielami instytucji
Ankieta internetowa (CAWI) obejmująca wszystkich pracowników instytucji mających związek ze SPO RZL
Desk Research
Badania ukierunkowane na dwie perspektywy:
1) Ogólna perspektywa - znajomości i stosunku do zasady równości płci
2) Perspektywa związana ze SPO RZL – stosunek oraz ocena konkretnych rozwiązań i działań lub ich braku
Poziom projektowy
PERSPEKTYWA PROJEKTU
Case Studies 20 wybranych projektów w ramach wszystkich działań (próba celowa)
500 wywiadów telefonicznych wspomaganych komputerowo (CATI) – próba warstwowa wszystkich projektów
Ankieta internetowa (CAWI) adresowana do wszystkich projektodawców (projekty zakończone i będące w trakcie)
Poziom instytucjonalny
Bariery realizacji celów w projektach Schematu b. Działania 2.3 SPO RZL
WOJEWÓDZTWO PODKARPACKIE
Metody jakościowe
Badanie dokumentacji (Desk research)Wywiady indywidualne w: Polskiej Agencji Rozwoju Przedsiębiorczości (PARP), Ministerstwa Rozwoju Regionalnego (MRR), ekspertem z organizacji pracodawców (PKPP Lewiatan) Zogniskowany wywiad grupowy - FGI (Focus Group
Interview) 1 wywiad grupowy (FGI) z 8 przedstawicielami firm MSP
(różnych wielkości i branż) korzystających ze szkoleń i korzystających z dofinansowania z funduszy UE
1 wywiad grupowy (FGI) z 8 przedstawicielami firm MSP (różnych wielkości i branż) korzystających ze szkoleń i nie korzystających z dofinansowania z funduszy UE
WOJEWÓDZTWO PODKARPACKIE
Studium przypadku (Case Study) 10 projektów wybranych
projektów: analiza dokumentacji projektowej; pogłębione wywiady indywidualne z koordynatorami; pogłębione wywiady indywidualne z osobami odpowiedzialnymi za
promocję i rekrutację; wywiady telefoniczne (lub indywidualne) z przedstawicielami
punków rekrutacyjnych współpracujących z realizatorem projektu – (jeżeli realizator projektu korzystał ze wsparcia regionalnych punktów rekrutacyjnych);
wywiad indywidualny/grupowy z przedstawicielami firm szkoleniowych współpracujących z realizatorem projektu;
wywiady z osobami odpowiedzialnymi za projekt Polskiej Agencji Rozwoju Przedsiębiorczości.
WOJEWÓDZTWO PODKARPACKIE
Metody ilościowe
1200 wywiadów telefonicznych (CATI Computer Assisted Telephone Interviewing) w tym:
600 wywiadów na próbie reprezentatywnej ogólnopolskiej wśród MSP
oraz 100 wywiadów na próbie MSP branży elektronicznej 100 wywiadów na próbie MSP branży turystycznej z
wybranych regionów 100 wywiadów na próbie MSP branży przemysłu drzewnego 100 wywiadów na próbie BO projektu „Szkolenie kadr MŚP w
zakresie wdrażania norm BHP” 100 wywiadów na próbie BO projektu „Ogólnopolski program
szkoleń w zakresie ochrony środowiska 100 wywiadów na próbie BO projektu „Inwestycja w kadry”
WOJEWÓDZTWO PODKARPACKIE
Wiele ewaluacji skupia się na pomiarze efektów
dlatego kluczową rolę stanowi dobrze zdefiniowany system wskaźników
oraz prawidłowo przygotowany i systematycznie
prowadzony monitoring
WOJEWÓDZTWO PODKARPACKIE
Przykładowe metody stosowane w ewaluacji wykorzystujące dane monitoringowe
WOJEWÓDZTWO PODKARPACKIE
Potrzeby
Cele Nakłady Działania Produkty
Rezultaty
Oddziaływanie
Skuteczność
Efektywność
Użyteczność i Trwałość
Trafność
WOJEWÓDZTWO PODKARPACKIE
Ewaluacja oparta na teorii projektu
Benchmarking
Ocenianie efektów programu/projektu poprzez porównanie ich z efektami podobnych programów/projektów, które zostały uznane za udane i mogą służyć jako przykład
W procesie porównania zidentyfikowane zostają silne i słabe strony programu/projektu oraz wyszukiwane są nowe rozwiązania, które mogą podnieść jakość osiąganych celów
WOJEWÓDZTWO PODKARPACKIE
Grupy porównawcze
Porównanie dwóch grup podmiotów, z których jedna grupa była beneficjentem danego projektu lub programu, druga grupa natomiast nie korzystała z pomocy
Ocena efektu netto Metoda może być z powodzeniem stosowana do ewaluacji
szczegółowej różnych typów projektów i programów, zwłaszcza tych związanych ze wsparciem dla sektora produkcyjnego (np. granty dla małych i średnich przedsiębiorstw) oraz działaniami w zakresie rozwoju zasobów ludzkich (np. wsparcie dla bezrobotnych)
WOJEWÓDZTWO PODKARPACKIE