02. evaluation framework
TRANSCRIPT
Εκπαιδευτική Αξιολόγηση
2. Το αξιολογικό πλαίσιο
2016 – Μπράιλας, Α. 1
Σκοπός του μαθήματος
Απώτερος σκοπός του μαθήματος είναι να δημιουργήσει μια μαθησιακή κοινότητα, έναν οργανισμό μάθησης με αναδυόμενες ιδιότητες, που συγκροτείται από αυτόνομα μέρη (όλους τους συμμετέχοντες).
2016 – Μπράιλας, Α. 2
eduAppreciative.wordpress.com #eduappreciative
TO ΑΞΙΟΛΟΓΙΚΟ ΠΛΑΙΣΙΟ 3
By Ta
ro T
aylo
r - P
apa
Smur
f, CC
BY
2.0,
ht
tps:
//co
mm
ons.w
ikim
edia
.org
/w/in
dex.
php?
curid
=650
6829
A man with his grandson in East New Britain, Papua New Guinea.
“Governments and education policy makers are increasingly focused on the evaluation and assessment of students, teachers, school leaders, schools and education systems. These are used as tools for understanding better how well students are learning, for providing information to parents and society at large about educational performance and for improving school, school leadership and teaching practices.”
2016 – Μπράιλας, Α. 4
Πηγή: OECD (2013). Synergies for Better Learning An International Perspective on Evaluation and Assessment, OECD Reviews of Evaluation and Assessment in Education, OECD Publishing, Paris.
“Results from assessment and evaluation are becoming critical to establishing how well school systems are performing and for providing feedback, all with the goal of helping students to do better. […] policy advice on using evaluation and assessment to improve the quality, equity and efficiency of education. […] Evaluation and Assessment Frameworks for Improving School Outcomes”
2016 – Μπράιλας, Α. 5
Πηγή: OECD (2013). Synergies for Better Learning An International Perspective on Evaluation and Assessment, OECD Reviews of Evaluation and Assessment in Education, OECD Publishing, Paris.
2016 – Μπράιλας, Α. 6
2016 – Μπράιλας, Α. 7 By D. Sharon Pruitt from Hill Air Force Base, Utah, USA - Free Creative Commons Colorful Children on Merry Go Round at The ParkUploaded by Effeietsanders, CC BY 2.0, https://commons.wikimedia.org/w/index.php?curid=6618902
2016 – Μπράιλας, Α. 8 By Hillebrand Steve, U.S. Fish and Wildlife Service - http://www.public-domain-image.com/public-domain-images-pictures-free-stock-photos/people-public-domain-images-pictures/adults-and-children-pretend-to-be-bears.jpg, Public Domain, https://commons.wikimedia.org/w/index.php?curid=24888936
2016 – Μπράιλας, Α. 9 By Percita - http://www.flickr.com/photos/dittmars/2702569075/sizes/o/in/photostream/, CC BY-SA 2.0, https://commons.wikimedia.org/w/index.php?curid=19876533
2016 – Μπράιλας, Α. 10
11
http://www.easterseals.com/florida/shared-components/home-page-rotator-slides/fldr-hero-1.jpg
“Several factors are driving the increased use of evaluation and assessment, including: • An increased demand for effectiveness, equity
and quality in education to meet economic and social challenges.
• A trend in education towards greater school autonomy, which is fuelling a need to monitor how schools are doing.
• Improvements in information technology, which allow for the development of both large-scale and individualised student assessment and facilitate the sharing and management of data.
• Greater reliance on evaluation results for evidence-based decision making.”
2016 – Μπράιλας, Α. 12
Πηγή: OECD (2013). Synergies for Better Learning An International Perspective on Evaluation and Assessment, OECD Reviews of Evaluation and Assessment in Education, OECD Publishing, Paris.
2016 – Μπράιλας, Α. 13
George Bush signs the Federal Funding Accountability and Transparency Act of 2006
“Accountability—the idea of holding schools, districts, educators, and students responsible for results—has become the most-recent watchword in education. In more and more states and districts, policymakers are moving to reward achievement and punish failure in schools, in an effort to ensure that children are getting a good education and that tax dollars aren't being wasted. "Accountability for student performance is one of the two or three -if not the most- prominent issues in policy at the state and local levels right now," says Richard F. Elmore, a professor at Harvard University's Graduate School of Education (Quality Counts, 1999)”
2016 – Μπράιλας, Α. 14
Πηγή: Editorial Projects in Education Research Center. (2004, August 3). Issues A-Z: Accountability. Education Week. Retrieved November 27, 2016 from http://www.edweek.org/ew/issues/accountabilityhttps://www.edweek.org/ew/issues/accountability/
2016 – Μπράιλας, Α. 15
“Accountability permeates education in the United States. It focuses on both the processes and products of education. Responsibility is assigned to individuals or groups, including educational leaders, administrators, teachers, other school staff, and students themselves. Measures are used to determine whether the process or products meet the desired goals, and criteria are set for whether the targets are met. The consequences attached to the accountability systems may be simply labels assigned to the individual or group to which responsibility has been assigned, or they can involve withdrawal of funding or removal of the individual or group from continuing in the same role.”
2016 – Μπράιλας, Α. 16
Πηγή: Martha Thurlow, http://www.education.com/reference/article/accountability/
2016 – Μπράιλας, Α. 17
As a culture we are pretty obsessed with measuring…
18
19
“Because of their role in providing accountability, evaluation and assessment systems can distort how and what students are taught. For example, if teachers are judged largely on results from standardised student tests, they may “teach to the test”, focusing solely on skills that are tested and giving less attention to students’ wider developmental and. educational needs. It is important to minimise these unwanted side-effects by, for example, using a broader range of approaches to evaluate the performance of schools and teachers”
2016 – Μπράιλας, Α. 20
Πηγή: OECD (2013). Synergies for Better Learning An International Perspective on Evaluation and Assessment, OECD Reviews of Evaluation and Assessment in Education, OECD Publishing, Paris.
Χωρίς να ξεχνάμε ότι στην εκπαίδευση
υπάρχουν πράγματα που μετρούνται και πράγματα
που δεν μετρούνται
By Luis Miguel Bugallo Sánchez (Lmbuga Commons)(Lmbuga Galipedia) - Self made, http://commons.wikimedia.org/wiki/Image:Felicidade_A_very_happy_boy.jpg, GFDL https://commons.wikimedia.org/w/index.php?curid=722564
“Most OECD countries now see evaluation and assessment as playing a central strategic role, and are expanding their use. They are also taking a more comprehensive approach: Formerly, evaluation and assessment focused mainly on student assessment, but the focus is now broader and includes greater use of external school evaluation, appraisal of teachers and school leaders, and expanded use of performance data.”
2016 – Μπράιλας, Α. 22
Πηγή: OECD (2013). Synergies for Better Learning An International Perspective on Evaluation and Assessment, OECD Reviews of Evaluation and Assessment in Education, OECD Publishing, Paris.
“Indicators are rising in importance Education systems are placing a stronger focus on measuring student outcomes, allowing comparisons of performance between schools and regions and over time. Most countries now have national databases on education, and issue education statistics and indicators. International benchmarking is also increasingly common and is informing national education debates.”
2016 – Μπράιλας, Α. 23
Πηγή: OECD (2013). Synergies for Better Learning An International Perspective on Evaluation and Assessment, OECD Reviews of Evaluation and Assessment in Education, OECD Publishing, Paris.
2016 – Μπράιλας, Α. 24 Illustration from The Pied Piper of Hamelin. Artist: Kate Greenaway (1846–1901)
Τι είναι το Αξιολογικό Πλαίσιο;
“Με τον όρο ‘αξιολογικό πλαίσιο’ εννοούμε τον προσδιορισμό με σαφή και ξεκάθαρο τρόπο των δομικών στοιχείων που συνθέτουν τον πυρήνα πάνω στο οποίο εδράζεται και διαρθρώνεται η αξιολόγηση. Τα δομικά στοιχεία που συνθέτουν το αξιολογικό πλαίσιο είναι:” (σ. 40) Πηγή: Πετροπούλου, Ο., Κασιμάτη, Κ., & Ρετάλης, Σ. (2015). Σύγχρονες Μορφές Εκπαιδευτικής Αξιολόγησης με αξιοποίηση Εκπαιδευτικών Τεχνολογιών. Αθήνα: www.kallipos.gr
2016 – Μπράιλας, Α. 25
Είναι αναγκαίο να δούμε το συνολικό “κάδρο” της αξιολόγησης, το όλον στη συναλλαγή του με τα επιμέρους και με το συγκείμενο. “To achieve its full potential, the various components of assessment and evaluation should form a coherent whole. This can generate synergies between components, avoid duplication and prevent inconsistency of objectives.”
2016 – Μπράιλας, Α. 26
Πηγή: OECD (2013). Synergies for Better Learning An International Perspective on Evaluation and Assessment, OECD Reviews of Evaluation and Assessment in Education, OECD Publishing, Paris.
1: Το αντικείμενο της αξιολόγησης (αυτό που αξιολογείται)
2016 – Μπράιλας, Α. 27
“To be designed successfully, evaluation and assessment frameworks should draw on informed policy diagnosis and best practice, which may require the use of pilots and experimentation. To be implemented successfully, a substantial effort should be made to build consensus among all stakeholders, who are more likely to accept change if they understand its rationale and potential usefulness..”
2016 – Μπράιλας, Α. 28
Πηγή: OECD (2013). Synergies for Better Learning An International Perspective on Evaluation and Assessment, OECD Reviews of Evaluation and Assessment in Education, OECD Publishing, Paris.
2016 – Μπράιλας, Α. 29
2: Οι σκοποί-στόχοι της αξιολόγησης (απαντάμε στο γιατί της αξιολόγησης)
“Evaluation and assessment should serve and advance educational goals and student learning objectives. This involves aspects such as the alignment with the principles embedded in educational goals, designing fit-for-purpose evaluations and assessments, and ensuring a clear understanding of educational goals by school agents.”
2016 – Μπράιλας, Α. 30
Πηγή: OECD (2013). Synergies for Better Learning An International Perspective on Evaluation and Assessment, OECD Reviews of Evaluation and Assessment in Education, OECD Publishing, Paris.
2016 – Μπράιλας, Α. 31
3: Τα κριτήρια της αξιολόγησης (πως αξιολογούμε)
2016 – Μπράιλας, Α. 32
4: η αξιοπιστία της αξιολόγησης
Αν επαναλάβουμε την αξιολόγηση, θα πάρουμε τα ίδια αποτελέσματα;
By Achim04 - Own work, CC BY-SA 4.0, https://commons.wikimedia.org/w/index.php?curid=51928532
2016 – Μπράιλας, Α. 33
5: η εγκυρότητα της αξιολόγησης
Μετράω πράγματι αυτό που υποτίθεται ότι μετράω ή μετράω κάτι άλλο; Για παράδειγμα, μετράω πράγματι τη μαθηματικο-αναλυτική ικανότητα ενός μαθητή ή το πόσο καλός είναι στην απομνημόνευση;
2016 – Μπράιλας, Α. 34
6: η συνέπεια της αξιολόγησης Υπάρχει δυνατότητα γενίκευσης σε διαφορετικά περιβάλλοντα?
By Dori - Own work, CC BY-SA 3.0 us, https://commons.wikimedia.org/w/index.php?curid=6123346
35
7: η αντικειμενικότητα της αξιολόγησης
Objective vs. subjective
Turret lathe operator machining parts for transport planes at the Consolidated Aircraft Corporation plant, Fort Worth, Texas, USA. Via Wikimedia commons
2016 – Μπράιλας, Α. 36
8: η διακριτική ικανότητα της αξιολόγησης
Κατάταξη με βάση την πραγματική ικανότητα κάποιου
By Steve Evans from Bangalore, India - Flickr, CC BY 2.0, https://commons.wikimedia.org/w/index.php?curid=394539
37
Υπάρχει πραγματική ικανότητα; By Painting: Tor-Arne Moen; photo: Tor-Arne Moen - Tor-Arne Moen
(the painter), CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=33733229
38
9: η πρακτικότητα της αξιολόγησης
- Είναι αξιοποιήσιμη; - Είναι ωφέλιμη; - Δουλεύει;
By Manuel F. Guerrero, U.S. Marine Corps - This Image was released by the United States Marine Corps with the ID 090613-M-2906G-005 (next). https://commons.wikimedia.org/w/index.php?curid=7320221
2016 – Μπράιλας, Α. 39
Πηγή: Πετροπούλου, Ο., Κασιμάτη, Κ., & Ρετάλης, Σ. (2015). Σύγχρονες Μορφές Εκπαιδευτικής Αξιολόγησης με αξιοποίηση Εκπαιδευτικών Τεχνολογιών. Αθήνα: www.kallipos.gr
2016 – Μπράιλας, Α. 40
Photo “student teacher” by Rex Pe via flickr (CC BY 2.0)
Τα αντικείμενα της αξιολόγησης “Με τον όρο ‘Αντικείμενο’ στο επιστημονικό πεδίο της εκπαιδευτικής αξιολόγησης προσδιορίζεται αυτό το ‘οποίο έχει επιλεγεί να αξιολογηθεί’. Το αντικείμενο μιας αξιολογικής διαδικασίας μπορεί να είναι έμψυχο (π.χ. στελέχη της εκπαίδευσης, εκπαιδευτικοί, μαθητές) ή άψυχο (π.χ. αναλυτικό πρόγραμμα, υλικοτεχνική υποδομή μια σχολικής μονάδας). Επίσης μπορεί να είναι απλό (π.χ. ένα σχολικό βιβλίο) ή σύνθετο (π.χ. ένα πρόγραμμα σπουδών ενός πανεπιστημιακού τμήματος).” (σ. 41) Επίσης πολλές φορές εξυπηρετεί η διάκριση ανάμεσα σε γενικό αντικείμενο και σε ειδικά αντικείμενα. Είναι ιδιαίτερα σημαντικός ο ακριβής προσδιορισμός του αντικειμένου της αξιολόγησης, πριν την εκκίνηση της διαδικασίας Πηγή: Πετροπούλου, Ο., Κασιμάτη, Κ., & Ρετάλης, Σ. (2015). Σύγχρονες Μορφές Εκπαιδευτικής Αξιολόγησης με αξιοποίηση Εκπαιδευτικών Τεχνολογιών. Αθήνα: www.kallipos.gr
2016 – Μπράιλας, Α. 41
2016 – Μπράιλας, Α. 42
2016 – Μπράιλας, Α. 43
Οι σκοποί/στόχοι της αξιολόγησης “Οι σκοποί/στόχοι της αξιολόγησης απεικονίζουν τους λόγους για τους οποίους πραγματοποιείται η αξιολογική διαδικασία στο χώρο της εκπαίδευσης. Στην ουσία απαντούν στο ερώτημα «Γιατί» αξιολογείται το συγκεκριμένο αντικείμενο. Η συνηθέστερη πρακτική στο πεδίο της εκπαιδευτικής αξιολόγησης είναι να τίθεται ένας γενικός σκοπός και στη συνέχεια να εξειδικεύεται σε ειδικούς στόχους, οι οποίοι ουσιαστικά αποτελούν μετρήσιμες εκφάνσεις του γενικού σκοπού. Για παράδειγμα, αν θέτουμε ως γενικό σκοπό την αξιολόγηση του ελληνικού εκπαιδευτικού συστήματος, τότε η αξιολόγηση της τριτοβάθμιας εκπαίδευσης θα αποτελεί έναν ειδικό στόχο” (σ. 42) Πηγή: Πετροπούλου, Ο., Κασιμάτη, Κ., & Ρετάλης, Σ. (2015). Σύγχρονες Μορφές Εκπαιδευτικής Αξιολόγησης με αξιοποίηση Εκπαιδευτικών Τεχνολογιών. Αθήνα: www.kallipos.gr
2016 – Μπράιλας, Α. 44
“The point of evaluation and assessment is to improve classroom practice and student learning. With this in mind, all types of evaluation and assessment should have educational value and should have practical benefits for those who participate in them, especially students and teachers.”
2016 – Μπράιλας, Α. 45
Πηγή: OECD (2013). Synergies for Better Learning An International Perspective on Evaluation and Assessment, OECD Reviews of Evaluation and Assessment in Education, OECD Publishing, Paris.
? Τι άνθρωπο θέλουμε να
φτιάξουμε με το εκπαιδευτικό
σύστημα;
46
“Because the fundamental purpose of evaluation and assessment is to improve student learning, students should be placed at the centre. They should be fully engaged with their learning and empowered to assess their own progress (which is also a key skill for lifelong learning). It is important, too, to monitor broader learning outcomes, including the development of critical thinking, social competencies, engagement with learning and overall well-being. These are not amenable to easy measurement, which is also true of the wide range of factors that shape student learning outcomes. Thus, performance measures should be broad, not narrow, drawing on both quantitative and qualitative data as well as high-quality analysis.”
2016 – Μπράιλας, Α. 47
Πηγή: OECD (2013). Synergies for Better Learning An International Perspective on Evaluation and Assessment, OECD Reviews of Evaluation and Assessment in Education, OECD Publishing, Paris.
? Brainstorming
By Luis Miguel Bugallo Sánchez (Lmbuga Commons)(Lmbuga Galipedia) - Self made, http://commons.wikimedia.org/wiki/Image:Felicidade_A_very_happy_boy.jpg, GFDL https://commons.wikimedia.org/w/index.php?curid=722564
2016 – Μπράιλας, Α. 49
Βιωματικό μέρος – Δραστηριότητα στην αίθουσα
2016 – Μπράιλας, Α. 50
By U
ser:Y
ves P
icq
- Cro
p of
File
:Nép
al ra
na th
aru1
818a
.jpg,
CC
BY-S
A 3.
0,
http
s://
com
mon
s.w
ikim
edia
.org
/w/in
dex.
php?
curid
=213
3837
2
2016 – Μπράιλας, Α. 51
By Christiaan Briggs —Christiaan 21:23, 2 Feb 2005 (UTC) - Own work, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=52667