หลักการและแนวคิดการวัดผล...

31/01/54

1

หลกการและแนวคดการวดผลและการประเมนผลในมตใหม

สมพล พงศไทย วฒบตรฯ(สตนรเวชฯ), MPH(maternal & Child Health), นบ.

ศาสตราจารยสาขาสตศาสตร-นรเวชวทยา มหาวทยาลยบรพา

วตถประสงค

เมอสนสดการบรรยายแลว ผเขาอบรมสามารถ

อธบาย ๑.ความหมาย ความส าคญของการประเมนผล การวดผล การตดสนผล

๒.หลกการและแนวทางในการวดผล

๓.หลกการและแนวทางในการตดสนผล

31/01/54

2

กระบวนการจดการเรยนรอยางเปนระบบ

Input-----------------Process---------------Output

นกศกษา---------------การจดการศกษา-------------บณฑต หลกสตร ด าเนนการตามหลกสตร ---------------ประเมนผล สะทอนผล พฒนา-------

------------------การประกนคณภาพ------------------

การประเมนผลสมฤทธ (ทบทวน)

• การตรวจสอบหลงสนสดการจดการเรยนรแลว วา ผเรยนไดบรรลตามวตถประสงคการศกษาทไดวางแผนไว

31/01/54

3

การประเมนผล

• การวดผล (Measurement)

• การตดสนผล (Judgement)

ความส าคญการประเมนผล

• สะทอนกลบและพฒนา (Feedback & developmemt)

31/01/54

4

หลกในการประเมนผล • ถกตอง

• เชอถอได

• ยตธรรม


•การวดผล (Measurement)

• การตดสนผล (Judgement)

31/01/54

5

การวดผล การวดผลทด • แมนตรง/ถกตอง (validity) ตรงวตถประสงค ครอบคลมทกวตถประสงค

• เปนปรนย (objectivity) มค าตอบทถกตอง

• ชดเจน (comprehensiveness) ค าถาม/ตวเลอก ไมก ากวม

การวดผล (ตอ)

• ยากงายพอด (difficulty index)

• มอ านาจจ าแนก (discrimination power)

• มความเทยง (reliability)

• น าไปใชไดสะดวก (usability)

31/01/54

6

กระบวนการวดผล • วางแผน

• เลอกเครองมอ

• สรางขอสอบ

• ตรวจสอบคณภาพของขอสอบ

• น าไปใช

• ประเมนหลงใช

• พฒนา แกไข-ปรบปรง

วางแผนวดผล • ก าหนดกลมของวตถประสงค ตาม table of

specification • ก าหนดสดสวน ตามความส าคญของวตถประสงคแตละขอ

• ก าหนดเครองมอใหสอดคลองกบชนด(พสย)และระดบของวตถประสงค

31/01/54

7

• สรางขอสอบ

• ตรวจสอบคณภาพ

• ก าหนดเกณฑผาน

• น าไปใช

• วเคราะหขอสอบหลงสอบ

หลกการวดผลดานประชานพสย

• จ า

• เขาใจ

• แกปญหา

• ถาม-ตอบ



31/01/54

8

เครองมอวดผลดานประชานพสย

• ปากเปลา

• เขยน

• เขาปา

• ยตธรรม ?

การสรางขอสอบ • Table of specification

• Theme

• วตถประสงค

• องคประกอบ

31/01/54

9

Table of Specification • ประมวลวตถประสงคตามหมวดหม/เคาโครง ของหลกสตร ทงหมด/รายวชา

วตถประสงคการศกษา ระบสญญาณโรคของโรคตบแขงได

แยกสญญาณโรคระหวาง โรคตบแขงกบโรคเยอหมหวใจอกเสบชนดเรอรง ได

ฯ

ตารางวตถประสงคการศกษา(รายชวโมง)

31/01/54

10

ปากเปลา • เขาปา?????ยตธรรม????

• มเคาโครง (structured)และสดสวนคะแนน เปนลายลกษณอกษร

เขยน • เขาปา????ยตธรรม????

• เรยงความ

• เลอกตอบ

31/01/54

11

เรยงความ

• ตรงตามวตถประสงค

• ครอบคลมเนอหา ?

เลอกตอบ

• ตรงตามวตถประสงค ?

• ครอบคลมเนอหา

31/01/54

12

เรยงความ

• บรรยาย

• เตมค า

เลอกตอบ

• True/False

•Multiple Choice Question, MCQ

31/01/54

13

True/False

• C-type (a/ b/ Both/ Neither)

• K-type or Multiple true/false

(1,2,3 = a; 1,3 = b; 2,4 = c; 4 = d; 1,2,3,4 = e)

• X-type or Simple true/false (True/False option)

One-Best-Answer

• A-type (4-5 options)

• B-type or Matching (4-5 options, 2-3 stems)

• R-type or Extended matching (10-20 options, 2-3 stems)

31/01/54

14

องคประกอบ One-Best-Answer

• โจทย (Stem)

• ค าถาม (Lead-in)

• ตวเลอก (Option)

*ค าตอบทถก (Correct answer)

*ตวลวง (Distractors)

ใชกบประชานพสยไดทกระดบ

• ความจ า

• ความเขาใจ

• ความสามารถในการแกปญหา

31/01/54

15

โจทย (Stem) • เปนตวปญหา(ขอมลประวต/การตรวจ)

• ลกษณะทด –ขอมลชดเจน เจาะจง เพยงพอท ผตอบสามารถตอบไดโดยไมตองอาศยขอมลเพมเตมจากตวเลอก

–ไมเยนเยอ ไมใหขอมลทไมจ าเปน

In differentiation cirrhosis of the liver from chronic constrictive pericarditis,

31/01/54

16

ค าถาม (Lead-in) • เปนประโยคสมบรณ

• ไมใหแสดงความเหนสวนตว

• หลกเลยงค าทเปน ‘NEGATIVE’

In differentiation cirrhosis of the liver from chronic constrictive pericarditis, a useful physical sign is

31/01/54

17

ตวเลอก (Option) • สอดคลอง เปนเนอเดยวกนกบเนอหา

• แตละตวเลอกควรเปนเรองเดยวกน

• ไวยากรณตอเนองกบโจทย

• หามใช ‘all of the above’

Option *Correct answer*

• ค าตอบทถกทสด มค าตอบเดยว

• รหสค าตอบไมควรซ ากนในขอถดมา ควรคละกนทงฉบบ

31/01/54

18


a. distention of the neck vein

Option *Distractors* • ทกตวควรมความเปนไปได สมเหตสมผล สามารถลวงคนไมรจรงใหตอบได

31/01/54

19



b. hepatomegaly

c. ascites

d. pitting edema of the ankles and legs

e. splenomegaly

บรรยาย

•Modified Essay Question, MEQ

• Constructed Response Question, CRQ

31/01/54

20

Modified-essay question (MEQ)

ค าถามเพอวดความสามารถในการแกปญหา

องคประกอบ

• A brief scenario

• Hypothesis generation

• Data gathering

• Hypothesis refinement

• Management

• Incidental questions related to basic science

31/01/54

21

ตวอยาง ขอมล ญ.ค อาย ๒๕ ป ปวดทองใกลสะดอมา ๓ วน คลนไสและอาเจยนเปนบางครง ค าถามท ๑ การปวดทองน นาจะเกดจากโรคอะไรไดบาง จงตอบมาไมเกน ๓ โรค

๑……………………………….. ๒………………………………. ๓………………………………. ค าถามท ๒ ทานจะซกประวตและตรวจรางกายเพมเตมอะไร เพอใหการวนจฉยท

แน นอน ประวต ตรวจรางกาย

……………………………………… …………………………………………….

……………………………………… …………………………………………….

ขอมลเพมเตม ตรวจพบอณหภมสง ๓๘ ซ กดเจบ ม guarding และ rebound tenderness ททองนอยดานขวา ตรวจทางหองปฏบตการ พบ Hb 12.5 gm% Hct 38 vol% WBC 11000 PMN 92%

ค าถามท ๓ ทานคดวาคนไขเปนโรคอะไรมากทสด ตอบ …………………………………………………….

ค าถามท ๔ การรกษาคนไขทเหมาะสมทสด ไดแก ตอบ …………………………………………………….

ค าถามท ๕ จงอธบายการด าเนนโรค หากผปวยรายนไมไดรบการรกษาทนทวงท

ตอบ

……………………………………………………..

31/01/54

22

กอนน าไปใช • ทบทวนวธการเขยนขอสอบ • ตรวจสอบเนอหาใหถกตอง • ตรวจทานแกไขปรบปรงตนฉบบ • ตรวจรหสค าตอบ มออาชพ ..มใช ….เลนๆ

การประเมนผล • การวดผล (Measurement)

•การตดสนผล (Judgement)

31/01/54

23

การตดสนผล

• ผาน - ไมผาน

• ผาน - มระดบ

*average, outstanding

*Letter grading, A-B-C-D+

ตดสนผล

• เกณฑ

• กลม

•ก ก ก ก ! ! ! !

31/01/54

24

เกณฑ

• คะแนนรอยละ

? ๕๐%

? ๖๐%

? ๗๐%

เกณฑ(ตอ)

• ระดบความร ความเขาใจ ทกษะการแกปญหา ทต าทสดทหลกสตรรบได

31/01/54

25

กลม

• ยดล าดบท

• อาศยวธการทางสถต

เกณฑ + ก + สถต

Minimal Passing Level, MPL = คะแนนต าสดของขอสอบชดนนทจะใหผาน

*ผออกขอสอบเปนผก าหนด

31/01/54

26

MPL • โอกาสทคนคาบเสนจะตอบถกในแตละขอ

• ค านวณจากคา Acceptability Index, AI (ดชนความสามารถยอมรบ) หรอ บางคนเรยกวา Difficulty Factor, DF

หลกการการวดผลดานจลนพสย • หลกการ สงเกตการกระท าโดยตรง • เครองมอ * Check list * Rating scale * Rubic score

31/01/54

27

Checklists

• วดพฤตกรรม/หตถการ ตามรายการลกษณะวา ปรากฎ หรอ ไมปรากฎ

Rating Scales

• วดรายการลกษณะของพฤตกรรม/หตถการ โดยมมาตร

31/01/54

28

Rubic score

• วดรายการลกษณะของพฤตกรรม/หตถการ โดยมมาตรทองเกณฑชดเจน (Descriptive Numerical scale)

Descriptive Numerical scale 0 1 2 3 4 X

0 = ท าไมไดเลย 1 = ท าถกบาง/มจดผดพลาดวกฤต 2= ท าถกตอง 3 = ท าถกตอง สวยงาม 4 = ท าถกตอง สมบรณ สวยงาม ไมมทต X = ประเมนไมได

31/01/54

29

• รปแบบ

*OSCE (Objective Structured Clinical Examination)

*OSLER (Objective Structured Long Examination

Record)

*Long case examination

*Short case examination

ตวอยาง

วตถประสงคการศกษา • นกศกษาแพทยปท ๔ สามารถใสและถอดถงอนามยกบหนจ าลองอวยวะเพศชายไดถกตอง

31/01/54

30

Task analysis • ตรวจสอบรอยฉกขาด รอยแหงกรอบ วนหมดอายบนซอง • ฉกซอง การสวมถง • บบจกปลายถงอนามย • สวมลงปลายอวยวะเพศขณะอกมอยงคงบบจกไว ขยบวงขอบ

ลงไปจนสดโคนอวยวะเพศ ปลอยมอบบจก การถอดถง • มอหนงใชกระดาษทชชก าปลายถง อกมอกใชกระดาษทชช

เกยวขอบโคนถง • ใชทงสองมอคอยๆดงถงออก • หอถงดวยกระดาษทชชใหมดชด ทงลงในภาชนะ

checklist

• ตรวจสอบรอยฉกขาด รอยแหงกรอบ วนหมดอายบนซอง

• ฉกซอง(หามใชกรรไกรตด)

• บบจกปลายถงอนามย

• สวมลงปลายอวยวะเพศขณะอกมอยงคงบบจกไว ขยบวงขอบลงไปจนสดโคนอวยวะเพศ ปลอยมอบบจก

• มอหนงใชกระดาษทชชก าปลายถง อกมอกใชกระดาษทชชเกยวขอบโคนถง

• ใชทงสองมอคอยๆดงถงออก

• หอถงดวยกระดาษทชชใหมดชด ทงลงในภาชนะ

31/01/54

31

AI=?

• ตรวจสอบรอยฉกขาด รอยแหงกรอบ วนหมดอายบนซอง

• ฉกซอง(หามใชกรรไกรตด)

• บบจกปลายถงอนามย

• สวมลงปลายอวยวะเพศขณะอกมอยงคงบบจกไว ขยบวงขอบลงไปจนสดโคนอวยวะเพศ ปลอยมอบบจก

• มอหนงใชกระดาษทชชก าปลายถง อกมอกใชกระดาษทชชเกยวขอบโคนถง

• ใชทงสองมอคอยๆดงถงออก

• หอถงดวยกระดาษทชชใหมดชด ทงลงในภาชนะ


•Critical error

•Acceptable performance

31/01/54

32

หลกการวดผลดานเจตคตพสย

• วดอะไร พฤตกรรม • วดอยางไร สงเกตโดยตรง • วดโดยใคร ผทเหน

เครองมอวดผล Authentic-Direct Observation • Anecdotal record • Checklists • Rating Scales • Rubic score

31/01/54

33

Anecdotal Records

• บนทกพฤตกรรมของนกศกษาโดยอาจารยหลายๆคน

Checklists

• วดพฤตกรรมตามรายการลกษณะวา ปรากฎ หรอ ไมปรากฎ

31/01/54

34

Rating Scales

• วดรายการลกษณะของพฤตกรรมโดยมมาตร

ชนดของ Rating Scales • Numerical

• Graphic

• Descriptive graphic

• Descriptive numerical

• Ranking

31/01/54

35

นกศกษามสวนรวมในการอภปราย.

• Numerical

1 2 3 4 5 X

• Graphic ไมเลย สม าเสมอ

ขอควรระวงของ Rating Scales

• Personal bias Generosity bias มองโลกในแงด

Severity bias มองโลกในแงราย

Central tendency ไมแนใจใหไวกลางๆ

Laniency สงสาร

31/01/54

36

ขอควรระวงของ Rating Scales (ตอ)

• Halo Effect ชอบ/เหมนหนา

• Logical Effect เหมา

• Contrast Errors เทยบตวเอง

• Proximity Errors ตามขอแรก

Rubic score

• วดรายการลกษณะของพฤตกรรมโดยมมาตรทองเกณฑ

31/01/54

37

ชนดของ Rubic score • Descriptive graphic

• Descriptive numerical

• Ranking

Descriptive Numerical 0 1 2 3 4 5 6 X

• 0 = ไมท าเลย • 1 = ท านอยมาก • 2 = ท าบาง แตไมท าเปนสวนใหญ • 3 = ท าและไมท า เทาๆกน • 4 = ท าบอย • 5 = ท าบอยมาก • 6 = ท าสม าเสมอ • X = ประเมนไมได

31/01/54

38

Descriptive graphic

ไมเลย นอยมาก บางครง บอยครง สม าเสมอ

Ranking

ไมอภปราย เทากบเพอน มากกวาเพอนทกคน

31/01/54

39


•Critical error

•Acceptable performance

ตรวจสอบคณภาพ • ประชมรวมระหวางคร

• พจารณาตามหลกของการวดผลทด

• ตดสนค าตอบทถกตองตามหลกฐานทประจกษ(evidence-base)

• ก าหนดคา Acceptability Index (AI)

31/01/54

40

ตรวจไวยากรณ

• ภาษา

• รปประโยค

• ค า

• ตวยอ

• ความสม าเสมอ

Acceptability Index ดรรชนความร(ของนศพ.)ท(อาจารย)ยอมรบ

AI = น าหนกของตวเลอกซงถกตอง

ผลรวมของน าหนกตวเลอกทงหมด

31/01/54

41

การก าหนดคา AI ขอสอบ MCQ ชนด ๕ ตวเลอก

AI • ผออกขอสอบพจารณาความยากงายของแตละขอ โดยเทยบกบนกเรยนทคาบเสน

• ก าหนดคะแนนเปนตวเลขใหแตละขอ ตงแต ๐ - ๒

31/01/54

42

AI • ค าตอบทถก ให ๒

• ขอทนกเรยนคาบเสน ไมสามารถแยกไดจากขอทถก ให ๒

• ขอทนกเรยนคาบเสน บอกวาผดชดเจน ให ๐

• ขอทคาดวานกเรยนคาบเสน ไมแนใจ ให มากกวา ๐ ถงต ากวา ๒



b. hepatomegaly

c. ascites

d. pitting edema of the ankles and legs

e. splenomegaly

• 2

• 0

• 1

• 1

• 1.5

31/01/54

43

MPL AI = น าหนกของตวเลอกซงถกตอง


= 2 = 0.36

2+0+1+1+1.5

MPL = ผลรวมของ AI ของทกขอ

จ านวนขอสอบ

การน า AI ไปใช

• AI = น าหนกของตวเลอกซงถกตอง


• Minimal Passing Level = ΣAI

n

• Passing scores = MPL- SEM

31/01/54

44

จดสอบ

• สถานท

• อปกรณ

• บคลากร

• เผอเหลอเผอขาด(สงไมคาด)

หลกการวเคราะหขอสอบ

ประเมน

• ความยากงาย

• อ านาจจ าแนก

31/01/54

45

ดชนความยากงาย (difficulty index)

• ความยาก/ความงาย

• ยงยากยงตองเดา

มอ านาจจ าแนก (discrimination power)

• แยกคนร จากคนไมรไดด • คนรยอมท าถกตองกวาคนไมร

31/01/54

46

วธการวเคราะหขอสอบ • หาระดบความยากของแตละขอ(difficulty index, p-

value)

คาสดสวนของคนทตอบถก

• หาอ านาจจ าแนก(discrimination index, r-value)

คาความแตกตางระหวางคนเกงทตอบถกกบคนไมเกงทตอบถก

• หาประสทธภาพของตวลวง

การวเคราะหขอสอบรายขอ เพอ

๑.หาระดบความยาก ๒.หาอ านาจจ าแนก ๓.หาประสทธภาพตวลวง

*ไมตองท าเอง แตตองฟงผ เชยวชาญ

31/01/54

47

การวเคราะหขอสอบทงชด เพอ

๑.หาระดบความยาก ๒.หาอ านาจจ าแนก ๓.หาความเชอถอได

*ไมตองท าเอง แตตองฟงผ เชยวชาญ

วเคราะหขอสอบหลงสอบ • ระดบความยากงายของแตละขอ(difficulty index,

p-value)

p = 0.4 – 0.7

• อ านาจจ าแนก(discrimination index, r-value)

r > 0.35

• ประสทธภาพของตวลวง

31/01/54

48

การพฒนาขอสอบ

• ตรวจสอบวาสามารถแยกคนรออกจากคนไมรไดหรอไม

• พจารณาประสทธภาพของตวลวง

• ปรบปรง แกไข

การสะทอนกลบและการพฒนา • ทบทวน

• ปรบปรง

• แกไข

• ยกเลก

31/01/54

49

ความสมพนธระหวางวตถประสงค เนอหา กจกรรมการเรยนร การประเมนผล

วตถประสงค

เนอหา กจกรรมการเรยนร


ขอบคณครบ

สมพล พงศไทย ๓๑ มกราคม ๒๕๕๔

หลักการและแนวคิดการวัดผล...

Documents