organizacja i metodologia badania - ifispan.waw.pl · test matryc ravena (tmr), kwestionariusz...
TRANSCRIPT
Organizacja i metodologia badania
„Ścieżki rozwoju edukacyjnego młodzieży –
szkoły pogimnazjalne”
Marek Smulczyk, Akademia Pedagogiki Specjalnej dr Jacek Haman, Uniwersytet Warszawski
Agenda:
1. Informacje o badaniu panelowym
2. Metodologia i realizacja badania
3. Narzędzia badawcze
4. Próba i jej realizacja
5. Podsumowanie
O projekcie:
Rozwój systemu egzaminów zewnętrznych priorytet: Wysoka jakość edukacji , Program Operacyjny Kapitał Ludzki
Badania dotyczące rozwoju metodologii szacowania wskaźnika edukacyjnej wartości dodanej (EWD)
Ścieżki rozwoju edukacyjnego młodzieży – szkoły pogimnazjalne („Dalsza Nauka i Praca”, DNiP)
O projekcie:
• Beneficjent:
• Wykonawca:
• Czas trwania projektu:
czerwiec 2009 – lipiec 2013
Cele projektu:
• wykorzystywania wyników egzaminów zewnętrznych do oceny efektywności nauczania
• pozyskanie danych, umożliwiających budowę modeli opisujących trajektorie edukacyjne uczniów, przy kontroli czynników indywidualnych, rodzinnych i szkolnych
• wypracowanie różnych metod szacowania EWD
• badanie trafności wskaźnika EWD
Cechy indywidualne
ucznia: inteligencja
ogólna, kompetencje społeczne,
samoocena, poczucie własnej skuteczności, etc.
środowisko rodzinne ucznia:
pozycja społeczna
rodziny, struktura rodziny, kapitał ekonomiczny
rodziny
środowisko rówieśnicze
ucznia: efekt
rówieśników
środowisko szkolne ucznia:
liczba lat nauczania, planowa liczba
godzin, efektywnie wykorzystana liczba godzin, nieobecność
ucznia w szkole
Uprzednie osiągnięcia
szkolne i doświadczenia
edukacyjne
Etapowe osiągnięcia szkolne
Końcowe osiągnięcia
szkolne
czas
Model uwarunkowań osiągnięć szkolnych opracowany na potrzeby badania „Dalsza Nauka i Praca”
Specyfika panelu:
• PISA 2009 „opcja narodowa” marzec 2009 – pierwszy pomiar wiadomości i umiejętności uczniów
• Badanie panelowe jest kontynuacja badania uczniów którzy wzięli udział w badaniu PISA 2009 „opcja narodowa”
• Badanie ma 2 komponenty: ilościowy i jakościowy, badano czynniki szkolne i pozaszkolne
Specyfika panelu:
• Badaniem objęto: uczniów, rodziców, nauczycieli, dyrektorów szkół, personel szkolny, lokalne władze
• Badanie przeprowadzono na próbie: 100 liceów ogólnokształcących, 60 techników (w tym kilka liceów profilowanych), 40 zasadniczych szkół zawodowych
Realizacja badania
Etap I – pomiar narzędziami PISA – marzec 2009
Test PISA, Ankieta ucznia, Ankieta szkoły oraz Ankieta rodziców
Etap II – Pomiar uwarunkowań indywidualnych – jesień 2009
Test Matryc Ravena (TMR), Kwestionariusz Kompetencji Społecznych (KKS), oraz Kwestionariusz Nadziei na Sukces (KNS)
Etap III – powtórzony pomiar narzędziami PISA oraz pomiar uwarunkowań indywidualnych i kontekstowych – kwiecień 2010
Test PISA, Skala Samooceny Roesenberga (RSES) , Inwentarz Stanu i Cechy Lęku (STAI)
Kwestionariusza Ucznia „Ty i Twoi Rówieśnicy”, Ankieta Nauczyciela, Kwestionariusza Siatka zajęć
Realizacja badania
Etap IV – badanie jakościowe w liceach ogólnokształcących: październik – listopad 2010
wywiady indywidualne (IDI), grupowe (FGI) oraz obserwacja
Etap V – scalanie danych egzaminacyjnych: czerwiec 2011– wrzesień 2012
Wyniki egzaminów zewnętrznych (sprawdzian szóstoklasisty, egzamin gimnazjalny, matura, egzamin zawodowy)
Narzędzia badawcze
Pomiar wiadomości i umiejętności uczniów
Powtórzony pomiar testem z badania PISA OECD (Programme for International Student Assessment)
W badaniu z roku 2009 przetestowane zostały 3 dziedziny wiedzy uczniów:
• Czytanie i interpretacja (Reading)
• Matematyka (Mathematics)
• Rozumowanie w naukach przyrodniczych (Science)
Reading: dziedzina główna badania PISA 2009:
• Wyszukiwanie informacji (access and retrieve)
• Interpretacja (integrate and interpret)
• Ocena (reflect and evaluate)
Narzędzia badawcze Pomiar czynników indywidualnych
Nazwa narzędzia Autor Rzetelność w badaniu
Test Matryc Ravena (TMR) J. Raven α = 0,92
Kwestionariusz Kompetencji Społecznych (KKS)
A. Matczak α = 0,94
Skala Samooceny (RSES) M. Rosenberg α = 0,83
Kwestionariusz Nadziei na Sukces (KNS)
C. Snyder α = 0,82
Inwentarza Stanu i Cechy lęku (STAI)
Ch. Spielberger, R L. Gorsuch, R E. Lushene
podskala X-1: lęk – stan α = 0,87 podskalaX-2: lęk – cecha α = 0,85
Narzędzia badawcze Pomiar zmiennych kontekstowych
• Ankieta Ucznia
• Ankieta Rodziców
• Ankieta Szkoły
• Kwestionariusz Ucznia „Ty i Twoi Rówieśnicy”
• Kwestionariusz Nauczyciela
• Kwestionariusz Siatka zajęć
Badanie jakościowe – analiza przypadków w liceach ogólnokształcących
• Badaniem objęto wylosowanych 30 szkół
• Konfrontacja danych na temat wskaźnika EWD (uzyskanego z podejścia ilościowego) z danymi pozyskanymi za pomocą technik jakościowych: obserwacji, wywiadów pogłębionych z dyrektorami szkół, nauczycielami, pracownikami administracji, rodzicami, przedstawicielami władz lokalnych oraz wywiadów grupowych z uczniami
• wywiady indywidualne (Individual In-Depth-Interview; IDI), grupowe (Focus Group Interview; FGI) oraz obserwacja
Próba i jej realizacja
Jacek Haman Instytut Socjologii
Uniwersytetu Warszawskiego
Próba Licea
Ogólnokształcące Średnie szkoły zawodowe (technika i LP)
Zasadnicze szkoły zawodowe
Razem
Liczba uczniów w populacji docelowej
223.000 170.500 96.900 500.400
Liczba wylosowanych oddziałów
100 60 40 200
Liczba uczniów wylosowanych do próby
3.049 1.698 1.176 5.923
• Warstwy explicite: typ szkoły • Losowanie systematyczne z warstwowaniem implicite (z uwzględnieniem:
publiczności szkoły, wielkości miejscowości, wielkości szkoły) • Prawdopodobieństwo wylosowania szkoły proporcjonalne do liczby oddziałów • Jednostka losowania: szkoła, a ściślej – jeden oddział klasy I • W przypadku niedostępności szkoły z próby zasadniczej – wykorzystanie
wylosowanej szkoły zastępczej (w 10 przypadkach) • Właściwy udział typów szkół w próbie zapewniony w procedurze ważenia danych
Realizacja próby i „wymieranie” panelu
LO Technika i
LP ZSZ Razem Wylosowanych
3049 1698 1176 5923
100% 100% 100% 100%
Pomiar I: wiosna 2009 (ON PISA)
2685 1444 822 4951
88% 85% 70% 84%
Pomiar 2: jesień 2009
2272 1126 643 4041
75% 66% 55% 68%
Pomiar 3: wiosna 2010
2276 1114 602 3992
75% 66% 51% 67%
Wzięli udział we wszystkich trzech pomiarach
2010 985 479 3474
66% 58% 41% 59%
„Wymieranie” panelu: struktura próby po ważeniu
LO Technika i
LP ZSZ Razem
Pomiar I: wiosna 2009 (ON PISA) zgodny z rozkładem populacyjnym
44,9% 35,8% 19,3% 100,0%
Pomiar 2: jesień 2009 46,3% 34,5% 19,2% 100,0%
Pomiar 3: wiosna 2010 47,2% 34,9% 17,9% 100,0%
Wzięli udział we wszystkich trzech pomiarach
48,6% 36,0% 15,5% 100,0%
• Nierównomierność w poziomie realizacji w 2009 w różnych typach szkół korygowana poprzez ważenie
• Nierównomierność tempa „wymierania” panelu niekorygowana, ale nie ma znaczącego wpływu na wyniki
„Wymieranie” panelu a poziom kompetencji badanych uczniów
Egzamin gimnazjalny, część matematyczno-przyrodnicza
LO LP Techni-
kum ZSZ Ogółem
Wszyscy (w tym niebiorący udziału w żadnym z etapów DNiP) 32,80 23,61 25,38 17,18 27,52
Wziął udział w ON PISA 32,96 24,21 25,90 17,26 28,22 Wziął udział w pomiarze DNiP 2009 33,40 23,73 26,28 17,52 28,83 Wziął udział w DNiP 2010 33,37 24,21 26,35 17,53 28,97 Uczestniczył we wszystkich pomiarach 33,44 24,16 26,55 17,66 29,23
Odchylenie standardowe 9,257 8,036 8,321 6,209 10,426
W przypadku innych możliwych do kontrolowania miar kompetencji (egzamin gimnazjalny – część humanistyczna oraz dla uczestników ON PISA – wyniki testów PISA) związek między poziomem kompetencji a wypadaniem/pozostawaniem w próbie kształtował się podobnie
Schemat doboru i wielkość próby a jej efektywność
N E se sd Eta2typ Eta2
oddz. SRSeq Deff
Wynik testu 2009 z matematyki 4951 505,8 3,351 93,6 0,383 0,670 781 6,37
Ma w domu: własny pokój 4911 79,7% 0,59% 0,402 0,011 0,058 4642 1,06
Ma w domu: literaturę klasyczną 4911 77,3% 0,72% 0,419 0,131 0,196 3382 1,45
Ma w domu: książki naukowo-techniczne 4911 80,0% 0,75% 0,400 0,029 0,088 2867 1,71
Ma w domu: antenę satelitarną lub telewizję kablową 4911 73,5% 1,01% 0,441 0,004 0,093 1912 2,57
N - nominalna wielkość próby (z wyłączeniem osób, które nie udzieliły odpowiedzi na dane pytanie)
E - średnia lub odsetek (dane ważone)
sd - odchylenie standardowe (dane ważone)
se - błąd standardowy oszacowany za pomocą metody Balanced Random Replicates w wariancie Fay’a
Eta2typ - udział wariancji międzygrupowej (między typami szkół) w całkowitej wariancji zmiennej (dane nieważone)
Eta2oddział - udział wariancji międzyszkolnej (międzyoddziałowej) w całkowitej wariancji zmiennej (dane nieważone)
SRSeq – wielkość równoważnej prostej próby losowej (prostej niezależnej próby losowej, dla której oszacowanie parametru miałoby taki sam błąd standardowy)
Deff – efekt schematu doboru próby, proporcja wielkości zastosowanej próby do liczebności równoważnej prostej próby losowej
Podsumowanie:
• dostępność różnorodnych danych (jakościowe i ilościowe)
• standardy realizacji badania zaczerpnięte z programu OECD: PISA 2009
• dostępność bazy danych (www.ifispan.waw.pl)
Raport z badania
sierpień 2013
