jak ocenić postępy w projekcie? - comenius.org.pl · wewnętrzna zewnętrzna. erasmusplus.org.pl...

63
erasmusplus.org.pl Jak ocenić postępy w projekcie? Ewaluacja w Partnerskich Projektach Szkół Warszawa, 26 marca 2014 r.

Upload: doankiet

Post on 28-Feb-2019

219 views

Category:

Documents


0 download

TRANSCRIPT

erasmusplus.org.pl

Jak ocenić postępy w projekcie?

Ewaluacja

w Partnerskich Projektach Szkół

Warszawa, 26 marca 2014 r.

erasmusplus.org.pl

Czym jest ewaluacja?

erasmusplus.org.pl

Definicje ewaluacji •Systematyczny proces obejmujący zbieranie informacji oraz zdawanie relacji (w postaci raportu) z tego, jak się rzeczy mają, z intencją dostarczenia danych ułatwiających podejmowanie decyzji. H. Mizerek

•Proces zbierania danych i ich interpretacja w celu podejmowania decyzji. Ch. Galloway

•Proces diagnostyczno-oceniający, zawierający w sobie elementy pomiaru, osądu i decyzji. J. J. Guilbert

•Systematyczny i jawny proces zbierania informacji na temat istoty, charakteru i wartości interesujących (praktyka) zjawisk. H. Simons •Systematyczne badanie wartości lub cech konkretnego programu, działania lub obiektu z punktu widzenia przyjętych w tym celu kryteriów w celu jego usprawnienia, rozwoju lub lepszego zrozumienia. L. Korporowicz

erasmusplus.org.pl

Definicje ewaluacji

Badanie

Systematyczne (proces)

Zbierania danych, analizy i formułowania wniosków

Oraz wartościowania

W celu podejmowania decyzji

erasmusplus.org.pl

Rozwój badań ewaluacyjnych

I generacja ewaluacji (R. Tyler, l. ’30) – ewaluacja oparta na twardych danych, „pomiarowa” II generacja ewaluacji (L. Cronbach, l. ’60) – ewaluacja oparta na pomiarze, ale i na opisie, „kontekstowa” III generacja ewaluacji (R. Stake, l. ’70) – ewaluacja wspierająca podejmowanie decyzji w zarządzaniu, przygotowująca oceny IV generacja ewaluacji (Guba, Lincoln, l. ’80) – ewaluacja konstruktywistyczna, fakty i procesy życia społecznego są konstruowane przez uczestniczące w nie osoby, nie ma prawdy czy wartości obiektywnych

Rozwój funkcji ewaluacji

Funkcje ewaluacji Komu służy ewaluacja

rozstrzyganie, który program

jest dobry który zły

decydentom

doskonalenie programów

w toku ich opracowywania

i realizacji

realizatorom

wspomaganie podejmowania

decyzji

ekspertom

wpływ na politykę zmian

społecznych

politykom

narzędzie służące uczeniu się wszystkim osobom

zaangażowanym w

ewaluowane przedsięwzięcie

erasmusplus.org.pl

Ewaluacja obecnie (IV generacja ewaluacji)

Mówi się o ewaluacji demokratycznej, dla której charakterystyczne jest że:

• osoby podlegające ewaluacji mogą

i powinny mieć wpływ na jej kształt;

• powinny brać świadomy udział w ewaluacji;

• wszystkie ustalenia dotyczące ewaluacji powinny być jawne;

• wyniki ewaluacji powinny być upowszechniane;

• ewaluacja powinna być narzędziem służącym uczeniu się wszystkich osób w nią zaangażowanych.

erasmusplus.org.pl

Co może podlegać ewaluacji?

Intencjonalne, planowe projekty, działania. Zjawiska społeczne nie podlegają ewaluacji, choć oczywiście można je badać.

erasmusplus.org.pl

Rodzaje ewaluacji

Ze względu na czas ich realizacji względem ewaluowanego przedsięwzięcia i funkcję:

początkowa formatywna sumatywna odroczona

Ze względu na usytuowanie powstawania woli i zamysłu ewaluacji:

wewnętrzna zewnętrzna

erasmusplus.org.pl

Współzależność metod diagnostycznych

a

erasmusplus.org.pl

Dlaczego ewaluacja?

erasmusplus.org.pl

DZIAŁANIE cykl wg Deminga – teoria jakości

• Zaplanuj

• Wykonaj

• Zbadaj

• Wdrażaj Zaplanuj i tak dalej

• Projekt badania

• Zbieranie danych

• Analiza danych

• Wnioski i rekomendacje Projekt badania i

tak dalej

EWALUACJA Działań

erasmusplus.org.pl

Każdy widzi to co chce,

mechanizmy zniekształcające ogląd rzeczywistości

Efekt pierwszego wrażenia Etykietowanie Przypisuję osobom etykiety: „nieodpowiedzialny”, „spóźnialski”, „powolny”. Idealizacja Dostrzegam wyłącznie cechy „ideału”, nie dopuszczam informacji zakłócających ten obraz. Myślenie spolaryzowane Widzenie „czarno-białe”, bez dostrzegania możliwości pośrednich. Wyolbrzymianie Przesadną wagę przypisuję złym lub dobrym stronom zjawiska, osoby. Efekt aureoli Rozciągam na całą osobę jedną jej cechę. Ktoś jest ładny, więc jest też mądry i dobry.

erasmusplus.org.pl

Wniosek – ewaluacja

W jaki sposób będą Państwo ewaluować, podczas realizacji projektu i po

jego zakończeniu, czy cele oraz przewidywany wpływ projektu

zostały osiągnięte.

Raport końcowy – ewaluacja

W jaki sposób monitorowali i oceniali Państwo postępy i wpływ projektu

partnerskiego?

Jakie były główne wnioski i konkluzje przeprowadzonego monitoringu

oraz ewaluacji?

Wizyta monitoringowa – ewaluacja Czy i jak jest prowadzona ewaluacja projektu? Czy grupy docelowe są

proszone o informację zwrotną? Jakie narzędzia są wykorzystywane?

Kto w grupie partnerskiej jest odpowiedzialny za ewaluację?

Czy prowadzone są regularne działania monitorujące?

Jakie wnioski płyną z ewaluacji i monitoringu projektu? Jakie działania na

ich podstawie podjęto?

erasmusplus.org.pl

Ocena wartości planowanego badania

Jakich nowych przesłanek podejmowania decyzji mogą dostarczyć wyniki planowanych badań?

Na ile pewne będą te przesłanki?

Czy są one niezbędne do podejmowania ważnych decyzji?

Jakie byłyby koszty podjęcia złej decyzji?

Jaki jest bilans kosztów badań w porównaniu ze spodziewanymi zyskami, wynikającymi z ich przeprowadzenia?

erasmusplus.org.pl

ewaluacja w nadzorze

pedagogicznym

ROZPORZĄDZENIE

MINISTRA EDUKACJI NARODOWEJ

z dnia 7 października 2009 r.

w sprawie nadzoru pedagogicznego

ROZPORZĄDZENIE MINISTRA EDUKACJI NARODOWEJ

z dnia 10 maja 2013 r. zmieniające rozporządzenie w sprawie nadzoru pedagogicznego

• § 6. FORMAMI NADZORU PEDAGOGICZNEGO SĄ:

1) EWALUACJA

2) KONTROLA

3) WSPOMAGANIE

W KONCEPCJI NADZORU PEDAGOGICZNEGO ZNAJDUJEMY

• SZCZEGÓŁOWE WYTYCZNE DOTYCZĄCE REALIZACJI PROCESU EWALUACJI

ZEWNĘTRZNEJ,

• KONCEPCJĘ PRZEPROWADZANIA EWALUACJI WEWNĘTRZNEJ

(AUTOEWALUACJI) POZOSTAWIONO DECYZJI ZESPOŁÓW EWALUACYJNYCH

W POSZCZEGÓLNYCH PLACÓWKACH.

EWALUACJA WEWNĘTRZNA W SZKOLE POWINNA BYĆ PRZEPROWADZANA

W SPOSÓB UMOŻLIWIAJĄCY POZYSKANIE UŻYTECZNYCH INFORMACJI ORAZ

WYKORZYSTYWANA W DOSKONALENIU PRACY PLACÓWKI W OBSZARACH,

KTÓRE TAKIEJ POPRAWY RZECZYWIŚCIE WYMAGAJĄ.

• TAKIE PODEJŚCIE, OPIERAJĄCE SIĘ NA DUŻEJ AUTONOMII EWALUACJI

WEWNĘTRZNEJ, MA NA CELU NADANIE JEJ RÓWNOWAŻNEJ RANGI

Z EWALUACJĄ ZEWNĘTRZNĄ, JAKO DRUGIEGO FILARU PROWADZENIA

NADZORU I DBANIA O JAKOŚĆ EDUKACJI.

§ 20. 1. Dyrektor szkoły lub placówki publicznej we współpracy z innymi nauczycielami zajmującymi stanowiska kierownicze,

w ramach sprawowanego nadzoru pedagogicznego: 1) przeprowadza ewaluację wewnętrzną i wykorzystuje jej wyniki do

doskonalenia jakości pracy szkoły lub placówki; 2) kontroluje przestrzeganie przez nauczycieli przepisów prawa

dotyczących działalności dydaktycznej, wychowawczej i opiekuńczej oraz innej działalności statutowej szkół i placówek;

3) wspomaga nauczycieli w realizacji ich zadań, w szczególności przez: a) organizowanie szkoleń i narad, b) motywowanie do doskonalenia i rozwoju zawodowego, c) przedstawianie nauczycielom wniosków wynikających ze

sprawowanego przez dyrektora szkoły lub placówki nadzoru pedagogicznego.

2. Ewaluację wewnętrzną przeprowadza się w odniesieniu do wszystkich lub wybranych wymagań, o których mowa w § 7 ust. 4, lub do innych zagadnień uznanych w szkole lub placówce za istotne w działalności szkoły lub placówki

• Dyrektor szkoły lub placówki publicznej jest zobowiązany do opracowania na każdy rok szkolny planu nadzoru pedagogicznego, który ma zawierać m.in.: cele, przedmiot oraz harmonogram ewaluacji wewnętrznej, tematykę i terminy przeprowadzania kontroli przestrzegania prawa, tematykę szkoleń i narad dla nauczycieli.

• Zadania dyrektora związane z prowadzeniem ewaluacji wewnętrznej w szkole to: 1. powołanie zespołu, 2. przygotowanie planu ewaluacji,

• Natomiast do zespołu wyłonionego wśród nauczycieli należą: 1. projektowanie, 2. prowadzenie ewaluacji, 3. zbieranie danych i prezentacja wyników

• Przed zakończeniem roku szkolnego, obowiązkiem dyrektora szkoły lub placówki jest przedstawienie radzie pedagogicznej wyników i wniosków ze sprawowanego w roku szkolnym nadzoru pedagogicznego.

EWALUACJA WEWNĘTRZNA

• MOŻE BYĆ PROWADZONA W ODNIESIENIU DO WYMAGAŃ ZAMIESZCZONYCH W ZAŁĄCZNIKU DO ROZPORZĄDZENIA

1) efekty działalności dydaktycznej, wychowawczej i opiekuńczej oraz innej działalności statutowej szkoły lub placówki.

2) procesy zachodzące w szkole lub placówce.

3) funkcjonowanie szkoły lub placówki w środowisku lokalnym, w szczególności w zakresie współpracy z rodzicami uczniów.

4) zarządzanie szkołą lub placówką.

• MOŻE BYĆ TEŻ PROWADZONA W ODNIESIENIU DO INNYCH, UZNANYCH PRZEZ DYREKTORA ZA WAŻNE, ZAGADNIEŃ DOTYCZĄCYCH FUNKCJONOWANIA SZKOŁY LUB PLACÓWKI.

MOŻNA SKORZYSTAĆ Z WIEDZY UZYSKANEJ PRZY PLANOWANIU PROJEKTÓW MIĘDZYNARODOWYCH REALIZOWANYCH W SZKOLE W RAMACH PROGRAMÓW UNIJNYCH.

Ewaluacja wewnętrzna

w szkole (placówce) powinna być elementem codziennej

praktyki szkolnej i dostarczać informacji, które pomogą

dyrektorowi i nauczycielom podejmować słuszne

i uzasadnione decyzje odnośnie do swojej pracy oraz

działalności całej placówki.

Ewaluacja ma przyczynić się do adekwatnego planowania kolejnych projektów.

erasmusplus.org.pl

Dlaczego ewaluacja stanowi

trudność?

erasmusplus.org.pl

Jaka ewaluacja ma sens?

Typy badań naukowych Krzysztof Konarzewski

Typy badań naukowych

teoretyczne praktyczne

eksploracyjne weryfikacyjne rozpoznawcze oceniające

Uogól. Indyw. Uogól. Indyw. Uogól. Indyw. Uogól. Indyw.

erasmusplus.org.pl

Standardy ewaluacji programów sformułowane przez

Joint Comitee on Standards for Educational Evaluation

UŻYTECZNOŚĆ Ewaluacja będzie odnosić się do potrzeb odbiorców jej wyników

WYKONALNOŚĆ Ewaluacja będzie dobrze przemyślana, realistyczna i będzie uwzględniała koszty

POPRAWNOŚĆ Ewaluacja zostanie przeprowadzona zgodnie z prawem i etyką i będzie uwzględniała dobro uczestników i zainteresowanych

DOKŁADNOŚĆ Ewaluacja dostarczy fachowych informacji

erasmusplus.org.pl

Ewaluacja jako proces uczenia się

Ważna jest sama filozofia autoewaluacji:

• Autoewaluacja to uczenie się – uczenie się jako społeczny konstruktywizm; • Autoewaluacja to przede wszystkim uczenie się dorosłych; • Autoewaluacja to uczenie się organizacji;

Najlepiej, żeby autoewaluacja była intencjonalnie zorganizowana jako proces uczenia się. Jaap van Lakerveld, materiały projektu I-Probe NET

erasmusplus.org.pl

Wdrażanie rekomendacji

Warszawski program wspierania uczniów uzdolnionych „Wars i Sawa”

Obszar do zmiany/doskonalenia

Dotychczasowy sposób realizacji danego zadania

Sposób realizacji po zmianie

Termin wprowadzenia zmiany

Osoba odpowiedzialna

erasmusplus.org.pl

Planowanie i projekt ewaluacji

erasmusplus.org.pl

Planowanie ewaluacji

Uzasadnienie ewaluacji Kto chce, żeby przeprowadzono ewaluację? Komu ma służyć ewaluacja? Kto powinien otrzymać informację? Przedmiot ewaluacji Co będzie ewaluowane? Ewaluatorzy Kto planuje badanie? Kto zbiera informacje? Kto analizuje informacje i pisze raport?

erasmusplus.org.pl

Planowanie ewaluacji

Metody ewaluacji Jakie metody należy zastosować dla uzyskania wymaganych informacji? Czy mogą być one zastosowane w czasie jakim dysponujesz? Czy metody zostaną zaakceptowane przez osoby, których dotyczy ewaluacja? Czas Ile czasu można przeznaczyć na ewaluację? Pozwolenia Czy uzyskane zostały wszystkie pozwolenia do przeprowadzenia ewaluacji? Czy udział w badaniach jest dobrowolny? Kto decyduje o tym co ma się znaleźć w raporcie? Wykorzystanie ewaluacji Kto decyduje o sposobie wykorzystania ewaluacji? W jakiej formie zostanie złożony raport? Czy uczestnikom ewaluacji zostanie przedstawiona robocza wersja raportu? Do jakiego audytorium będzie adresowany raport?

erasmusplus.org.pl

Projekt ewaluacji

Cel ewaluacji (po co to wszystko?)

Obiekt ewaluacji (obszar ewaluacji) (co chcemy badać?)

Pytania kluczowe (co chcemy wiedzieć o badanym obiekcie?)

Kryteria ewaluacji (co będzie stanowić o sukcesie?) Wskaźniki do kryteriów

Metody zbierania danych (jeśli to możliwe – metody ich analizy) (w jaki sposób będziemy zbierać informacje?)

Określenie populacji i dobór próby (skąd będziemy czerpać informacje?)

Organizowanie zbierania danych (kto, kiedy i od kogo będzie zbierał informacje?)

Raport (jaki ślad pozostanie po badaniu?)

erasmusplus.org.pl

Projekt ewaluacji

Kryteria ewaluacji (co będzie stanowić o sukcesie?)

to standardy, według których ewaluujemy dane przedsięwzięcie.

Przykładowe kryteria: trafność efektywność skuteczność użyteczność trwałość efektów uspołecznienie innowacyjność powszechność

erasmusplus.org.pl

Projekt ewaluacji

Żeby stwierdzić zaistnienie jakiegoś faktu należy potwierdzić, że „coś” miało miejsce. Wskaźniki jakościowe (np. opinie uczestników zająć komputerowych na temat ich użyteczności pod kątem samodzielnego posługiwania się Internetem) Wskaźniki ilościowe (określają wymierne cechy faktu np. liczbę odbytych godzin zajęć komputerowych, liczbę dostępnych stanowisk komputerowych)

PROCES EWALUACJI

PLA

N

PR

OJEK

T

GEN

ERO

WA

NIE D

AN

YCH

AN

ALIZA

DA

NYC

H

RA

PO

RT

UP

OW

SZECH

NIA

NIE W

YN

IKÓ

W

EWA

LUA

CJI

WY

KO

RZY

STAN

IE W

YN

IKÓ

W EW

ALU

AC

JI

erasmusplus.org.pl

Metody badawcze stosowane

w naukach społecznych

Tylko 1/7 góry lodowej – czyli jej czubek – jest widoczna.

Aż 6/7 ukrywa się pod wodą. Trzeba dokonać wysiłku, żeby zobaczyć całość…

„będąc w środku puszczy widzimy drzewa, ale nie widzimy lasu”

Strategie badawcze

BADANIA ILOŚCIOWE BADANIA JAKOŚCIOWE

Przeprowadzane na stosunkowo dużych grupach, najczęściej reprezentatywnych dla danej populacji, z wykorzystaniem metod statystycznych przy losowym doborze próby i statystycznym analizowaniu wyników

Przeprowadzane na małych grupach lub wręcz pojedynczych osobach, wyjaśniające przyczyny i skutki różnych zjawisk, postaw, zachowań

Pozwalają na sformułowanie odpowiedzi na pytania: „Ile?”, „Jak często?”

Pozwalają na sformułowanie odpowiedzi na pytania: „Co?”, „Jak?”, „Dlaczego?”

Obejmują gromadzenie i analizę informacji liczbowych

Dotyczą opisu, poznania oraz zrozumienia badanych problemów

Wykorzystywane są do poznania częstości występowania badanego zjawiska oraz określenia poziomu zależności, jakie występują pomiędzy różnymi danymi

Dane jakościowe są najczęściej niezbędne do właściwej interpretacji danych liczbowych

STRATEGIE ILOŚCIOWE STRATEGIE JAKOŚCIOWE

• Standaryzacja danych

• Porównywalność danych

• Obejmowanie dużych prób badawczych

• „Obiektywizacja” danych

• Łatwiejsze procedury kodyfikacji danych

• Szybkość analizy danych

Wady

• Uśrednienie danych

• Eliminowanie faktów nietypowych

• Hermetyczność języka analizy

• Częsta fragmentaryczność obrazu

rzeczywistości

• Ujmowanie zjawisk w ich kontekście

• Możliwość uchwycenia znaczenia i sensu

zjawisk jakie mają dla badanych

• Możliwość analizy sposobu rzeczywistości

• Głębszy wgląd w motywacje i świat

wartości badanych

Wady

• Trudniejsze procedury obiektywizacji

analizy

• Trudniejsza porównywalność danych

• Czasochłonność analizy

• Niebezpieczeństwo interferencji osobistych

postaw badacza

Źródło: Leszek Korporowicz

Cechy jakościowych i ilościowych strategii badawczych

erasmusplus.org.pl

Metody badawcze stosowane w ewaluacji

Ankieta

Wywiad

Obserwacja

Analiza dokumentów

erasmusplus.org.pl

Ankieta

Zalety: łatwość i szybkość realizacji badań; informacja o powszechności zjawiska (pytanie „ile”); możliwość statystycznej analizy zebranych danych; zapewnienie anonimowości. Wady: poleganie na deklaracjach (opiniach) badanych; eliminowanie faktów nietypowych (uśrednianie danych); nie odpowiada na pytania: „jak”, „dlaczego”; brak możliwości modyfikacji w trakcie realizacji badania; zagrożenie manipulacją lub złą interpretacją

erasmusplus.org.pl

Wywiad

Zalety: spojrzenie na rzeczywistość z perspektywy badanych osób; możliwość wyjaśniania, dopytania; możliwość korekty błędów w trakcie badania; możliwość indywidualizacji języka. Wady: czaso- i pracochłonność procedury badawczej i analizy danych; brak anonimowości; duży wpływ badacza na badanie; brak możliwości ilościowej generalizacji wyników na populację.

erasmusplus.org.pl

Obserwacja

Zalety: eliminacja deklaracji „o” na rzecz obserwowanych „faktów”; możliwość wprowadzania zmian do procedury badawczej; Wady: groźba subiektywizmu; duży wpływ badacza na badanie; czaso- i pracochłonność procedury badawczej i analizy danych; brak możliwości ilościowej generalizacji wyników na populację;

erasmusplus.org.pl

Analiza dokumentów

Zalety:

Spojrzenie na rzeczywistość z perspektywy zakładanych celów

i wartości oraz „dowodów” ich realizacji; Wady:

fragmentaryczność dokumentów i brak wiedzy o sytuacji,

w której powstały;

trudność dotarcia do dokumentów;

poufność części dokumentów.

Trafność Rzetelność

Triangulacja

Różne rodzaje danych

Zespół ewaluatorów

Różne źródła

Różne metody badawcze

Wyniki Ewaluacji

erasmusplus.org.pl

Raport

Raport – kwestie do rozpatrzenia

Dla kogo piszemy:

• Respondenci (uczestnicy badania)

• Kierownik projektu

• Zwierzchnik

• Instytucje (np. grantodawcy)

• Klienci

• Zwykli czytelnicy

Pozycja z jakiej piszemy: • Estetyczna –

rozbawienie, rozrywka, wzbudzenie uczuć

• Naukowa – pogłębienie rozumienia, przekonanie czytelnika o jakości i prawdzie raportu

• Moralna – wzrost świadomości

• Aktywizująca – dostarczenie wskazówek do działania

erasmusplus.org.pl

Struktura raportu

1. Informacje na temat ewaluowanego przedsięwzięcia 2. Założenia ewaluacji

2.1 Projekt 2.2 Próba badawcza

3. Wyniki ewaluacji przedstawione wg pytań badawczych lub kryteriów ewaluacji 4. Wnioski 5. Rekomendacje 6. Aneksy

6.1 Narzędzia badawcze 6.2 Tabele 6.3 Wykresy

Organizowanie danych

w raporcie ewaluacyjnym

1. Pytanie kluczowe

Ankieta Kryteria

Wywiad

2. Pytanie kluczowe

Obserwacja Kryteria

Analiza dokumentów

3. Pytanie kluczowe

Ankieta Kryteria

Analiza dokumentów

erasmusplus.org.pl

Wnioskowanie

Wypowiedź 1

KOD 1 Wypowiedź 2 WNIOSEK REKOMENDACJA

Wypowiedź 3

Wypowiedź 1

KOD 2 Wypowiedź 2 WNIOSEK

Wypowiedź 3

REKOMENDACJA

Wypowiedź 1

KOD 3 Wypowiedź 2 WNIOSEK

Wypowiedź 3

erasmusplus.org.pl

Wskazówki dla piszących raporty

Używaj czasu teraźniejszego i strony czynnej, miej odwagę pisać w pierwszej osobie liczby pojedynczej.

Stosuj właściwe tytuły. Tytuł „Największe korzyści, jakie daje praca metodą projektów” jest lepszy niż „Rezultaty analizy korzyści pracy metodą projektów”.

W pełni wykorzystuj rolę tablic, wykresów. Ich podstawowym zadaniem jest uproszczenie przekazu wyników analiz. Używaj własnych słów do podkreślenia istotnych pozycji w tablicach – tam, gdzie czytelnik mógłby mieć trudności ze zrozumieniem.

Nie powtarzaj słowami tego co komunikuje wykres lub tabela!!!

Wykorzystuj wypowiedzi respondentów (cytaty) na poparcie swoich wywodów. Pamiętaj, że to opinie respondentów są kluczowe, a nie Twoje.

erasmusplus.org.pl

Inspiracje

erasmusplus.org.pl

Projekt ewaluacji wpływu projektu

Cel ewaluacji Zbadanie w jakim stopniu został osiągnięty wpływ projektu

Obiekt/obszar ewaluacji Wpływ projektu w następujących obszarach: •Współpraca szkoły ze środowiskiem lokalnym •Współpraca w zespole nauczycielskim •Programy nauczania

erasmusplus.org.pl

Projekt ewaluacji wpływu projektu

Pytania kluczowe Kryteria Metody badawcze Próba

1. W jaki sposób prowadzona jest współpraca z rodzicami w ramach realizacji projektu?

rodzice uczestniczą w decyzjach dotyczących realizacji projektu

analiza dokumentów wywiad grupowy

wszystkie sprawozdania ze spotkań z rodzicami prowadzonych w ramach projektu wybrani rodzice zaangażowani w działania projektu

rodzice angażują się w działania projektu

obserwacja wywiad grupowy

działania projektu, w których planowane było zaangażowanie rodziców wybrani rodzice zaangażowani w działania projektu

2. W jaki sposób prowadzona jest współpraca z instytucjami z otoczenia szkoły: biblioteka, gmina, dom kultury, policja w ramach realizacji projektu?

instytucje angażują się w działania projektu

obserwacja wywiad grupowy

działania projektu, w których planowane było zaangażowanie instytucji wybrani przedstawiciele instytucji zaangażowani w działania projektu

instytucje deklarują chęć dalszej współpracy ze szkołą

wywiad grupowy wybrani przedstawiciele instytucji zaangażowani w działania projektu

3. Jakie korzyści uzyskuje szkoła, w tym uczniowie, ze współpracy z rodzicami w ramach realizacji projektu?

korzyści uzyskują wszyscy w szkole wywiad grupowy ankieta

wybrani nauczyciele uczestniczący i nieuczestniczący w działaniach projektu uczniowie zaangażowani i niezaangażowani w działania projektu

4. Jakie korzyści uzyskuje szkoła, w tym uczniowie, ze współpracy z instytucjami z otoczenia szkoły w ramach realizacji projektu?

korzyści uzyskuje cała szkoła (nie tylko wybrany nauczyciel lub klasa)

wywiad grupowy ankieta

wybrani nauczyciele uczestniczący i nieuczestniczący w działaniach projektu uczniowie zaangażowani i niezaangażowani w działania projektu

erasmusplus.org.pl

Pomysły na zbadanie – wizyta partnerów

Co mnie interesuje? 1. Czy każdy z uczestników wiedział czego się od niego oczekuje? Jaki miał być jego wkład w wizytę?

2. Które z metod/form pracy były najbardziej efektywne z punktu widzenia realizacji celów wizyty, a które w mniejszym stopniu lub wcale?

3. Na ile działania realizowane podczas wizyty były użyteczne dla jej uczestników?

Jak uzyskać te informacje? Ad. 1–3 Wywiad grupowy z uczestnikami

Ad. 2 Walizka – kosz (co mi się przyda – co było niepotrzebne)

Ad. 3 Róża wiatrów (na promieniach róży oznaczamy poszczególne działania i posługując się skala np. 1 – 6 oznaczamy użyteczność działań. Po uzyskaniu wyników możemy je przedyskutować w grupie, zanim zorganizujemy kolejną wizytę)

erasmusplus.org.pl

Pomysły na zbadanie – materiały edukacyjne opracowane

w ramach projektu

Co mnie interesuje? 1. Czy materiały są wykorzystywane na lekcjach? Przez nauczycieli uczestniczących w projekcie, przez pozostałych nauczycieli? 2. W jakim stopniu materiały są dostosowane do potrzeb nauczycieli? 3. W jakim stopniu materiały są dostosowane do potrzeb uczniów?

Jak uzyskać te informacje?

Ad. 1-3 Ankieta z nauczycielami Ad. 3 Światła drogowe (jeżeli materiały są wykorzystywane podczas lekcji, uczniowie są proszeni o podniesienie karteczek czerwonych – materiały mi się nie podobają, żółtych – podobają mi się, ale niezupełnie lub zielonych – materiały mi się podobają, następnie można uczniów pogrupować według kolorów karteczek i poprosić o sformułowanie w grupie uzasadnienia opinii i jego przedstawienie)

erasmusplus.org.pl

Pomysły na zbadanie – spotkania zespołu projektowego

Co mnie interesuje? 1. Czy cel spotkania został zrealizowany? 2. Na ile spotkanie było przydatne dla uczestników? 3. Czy są sprawy, których nie poruszyliśmy na spotkaniu, a są ważne dla większości uczestników? 4. Jaki był poziom aktywności uczestników? Jaki były przyczyny braku zaangażowania? 5. Czy spotkanie było efektywnie prowadzone?

Jak uzyskać te informacje? Ad. 1-5 Obserwacja Ad. 1 Rozchodzenie się po kątach (każdy z czterech kątów sali oznaczony jest inną tabliczką w pełni zrealizowany, częściowo zrealizowany, częściowo niezrealizowany, zupełnie niezrealizowany, uczestnicy rozchodzą się do kątów odpowiadających ich postrzeganiu sytuacji, każda z grup uzgadnia argumenty uzasadniające znalezienie się w danym kącie i je prezentuje, dyskusja)

erasmusplus.org.pl

Pomysły na zbadanie – spotkanie zespołu projektowego

Co mnie interesuje? 1. Czy cel spotkania został zrealizowany? 2. Na ile spotkanie było przydatne dla uczestników? 3. Czy są sprawy, których nie poruszyliśmy na spotkaniu, a są ważne dla większości uczestników? 4. Jaki był poziom aktywności uczestników? Jaki były przyczyny braku zaangażowania? 5. Czy spotkanie było efektywnie prowadzone?

Jak uzyskać te informacje? Ad. 2 Poczta (na dużych kopertach przyczepionych do tablicy piszemy początki zdań, uczestnicy na swoich karteczkach kończą te zdania i wkładają karteczki do kopert. Przykładowe zdania: Problemy, które rozwiązałam/em dzięki spotkaniu to:…, W mojej pracy zmianie ulegnie:…, Dotychczas nie zauważałam/em, że:…

erasmusplus.org.pl

Pomysły na zbadanie – spotkania zespołu projektowego

Co mnie interesuje? 1. Czy cel spotkania został zrealizowany? 2. Na ile spotkanie było przydatne dla uczestników? 3. Czy są sprawy, których nie poruszyliśmy na spotkaniu, a są ważne dla większości uczestników? 4. Jaki był poziom aktywności uczestników? Jaki były przyczyny braku zaangażowania? 5. Czy spotkanie było efektywnie prowadzone?

Jak uzyskać te informacje? Ad. 3 Ustalanie priorytetów (uczestnicy na karteczkach wypisują kwestie, które są dla nich ważna, a które nie były poruszane na spotkaniu, a następnie układają z nich ranking, zwykły, trójkątny, diamentowy) Ad. 4 Identyfikacja przeszkód (w jedne kolumnie uczestnicy identyfikują co im pomagało zaangażować się podczas spotkania, a w drugiej kolumnie co im przeszkadzało w zaangażowaniu się) Ad. 5 Gadająca ściana (do dużego plakatu pt. uwagi do prowadzenia spotkania, uczestnicy przyklejają karteczki ze swoimi komentarzami)

erasmusplus.org.pl

Użyteczne materiały

Projekt COMENIUS I- PROBE NET Autoewaluacja w szkole. Podręcznik w języku angielskim, niemieckim, francuskim, hiszpańskim i innych http://www.i-probenet.net/ Materiały projektu systemowego „Wzmocnienie efektywności systemu nadzoru pedagogicznego i oceny jakości pracy szkoły” Ewaluacja w szkole. http://www.ore.edu.pl – projekty systemowe – nadzór pedagogiczny

erasmusplus.org.pl

Co w obszarze ewaluacji możemy

zrobić lepiej niż dotychczas?