1

ตวแปรและการวดตวแปร

(Outcome variable & Measurement)

ผชวยศาสตราจารยนคม ถนอมเสยง

สาขาวชาวทยาการระบาดและวชาชวสถต

คณะสาธารณสขศาสตร มหาวทยาลยขอนแกน

Web: http://home.kku.ac.th/nikom; Email: nikom@kku.ac.th

รปแบบการวจย

ประชากร/ตวอยาง

การรวบรวมขอมล

การวเคราะหขอมล

การแปรผลขอมล

รายงานผล

กระบวนการวจยResearch Process

ปญหาการวจย

ทบทวนเอกสาร/วจย

กาหนดตวแปรทเกยวของ

วตถประสงค/สมมตฐาน

นยามของการวด (Definitions of Measurement)หมายถงการกาหนดคาใหกบ บคคล (Persons) สตว (animals)

วตถ (objects) และเหตการณ (events) เพอแสดงถงปรมาณหรอคณภาพของลกษณะทสนใจ ตามโดยมกฎเกณฑ (rule)หรอวธการทชดเจน (Stevens, 1951; Polager & Thomas, 2013) ลกษณะทสนใจ ทางสถตเรยกวา “ตวแปร (Variable)”

นยามตวแปร (Definitions of Variables)ตวแปร หมายถง คณลกษณะหรอคณสมบตของตวอยางทสนใจศกษา

Type of Variables

categorical data- nominal scale- ordinal scale -discrete -count

Dependent, Independent variable- response variable , dependent variable ,or Y variable- explanatory variable, independent variable or X variable

nominal

ordinalequalitativ

data discrete

data continuousvequantitati

Categorical data

สเกลการวดของตวแปร

1. นามสเกล (nominal Scale) เพศ กลมเลอด2. อนดบสเกล (Ordinal Scale) ทศนคต ความพงพอใจ

ระดบความเจบปวด3. ชวงสเกล (Interval Scale) IQ อณหภม4. อตราสวนสเกล (Ratio Scale) ชพจร ความดนโลหต

การวดเชงปรนยหรอการวดเชงวตถวสย (Objective measurements)-การวดเชงปรมาณหรอคณภาพทางกายภาพของบคคล หรอวตถ โดยใช เครองมอเฉพาะ เชนวดสมรรถภาพปอดใช Spirometry ฯลฯ• are measured by an observer (blinded or unblinded)• are often more precise than subjective measurements• can include archival data• ideal for measuring short-term conditions at a single point in time,

such as X-rays, blood pressure, or lung function• preferable as the main study outcomes because the potential for

bias is reduced(Peat, 2001. Health Science Research A handbook of quantitative methods.)

ประเภทของการวด (Type of Measurement)การวดเชงอตนยหรอการวดเชงอตวสย (Subjective measurements)การวดเชงปรนยหรอการวดเชงวตถวสย (Objective measurements)

2

ประเภทของการวด (Type of Measurement)การวดเชงอตนยหรอการวดเชงอตวสย (Subjective measurements)-การวดปรมาณหรอคณภาพภายในตวของบคคลหรอวตถ โดยการใหลาดบ (Rating) การตดสนใจ (judgment)• can be a subject report or a researcher observation• are prone to inconsistency and observer bias• time is not a problem so that retrospective information can be

collected in addition to current information• ask questions of importance to the sample

(Peat, 2001. Health Science Research A handbook of quantitative methods.)

ความคาดเคลอนในการวด (Measurement Error)ความคาดเคลอน (Measurement Error) หรอความผดพลาด ความผดพลาดอยางมระบบ (Systematic Error)

สาเหตจากความลาเอยงหรออคต (bias) แกไขโดยแบบแผนการวจยทเหมาะสม

ความผดพลาดอยางสม (Random Error)เกดโดยบงเอญ (chance) แกไขโดยใชวธการทางสถตไมสามารถแกไขดวยแบบแผนการวจย

Diastolic Blood Pressure (mmHg)

อคต (Bias)

80 90

ความดนโลหตจรง (True)

(จากการวดในหลอดเลอด)

ความดนโลหตจากการวด

(Sphygmomanometer)

ความผดพลาดอยางมระบบ

(Systematic Error)

ความผดพลาดอยางสม

(Random Error)

ความบงเอญ (Chance)

.....................

จานวนคาสงเกต

Methods in Minimizing Measurement Error

Careful planning, training, Clear operational definition, Inspection of equipment.

การวดดานสขภาพ (Health Measurement)ความหมายสขภาพ (WHO, 1946)“ภาวะทสมบรณ ทงกาย จตและสงคม ไมเพยงแตการปราศจากโรคหรอความเจบปวยเทานน”(Health is a state of “complete physical, mental and social well-being and not merely the absence of disease or infirmity”)ความหมายสขภาพ (WHO, 1998)“ภาวะทสมบรณ ทงกาย จต จตวญญาณและสงคม ไมเพยงแตการปราศจากโรคหรอความเจบปวยเทานน”

(Health as a state of “physical, mental, spiritual and social well-being and not merely the absence of disease or infirmity”

แนวคดการวดดานสขภาพวดสขภาพเชงบวก (Positive health measurement)- วดผลลพธสขภาพดานความผาสก (Well being),

คณภาพชวต (quality of life)วดสขภาพเชงลบ (Negative health measurement)- วดผลลพธสขภาพดานการปวย (morbidity), การเสยชวต (mortality)

ผลลพธของการวจย (Research outcome)- ผลลพธหลกของการวจย (Primary outcome) - ผลลพธรอง (secondary outcome)

ผลลพธของการวจย (Research outcome) ผลลพธหลกของการวจย (Primary outcome)

- ผลลพธทมความสาคญทสดในการวจยตามคาถาม/วตถประสงคหลกของการวจย

- ใชในการคานวณขนาดตวอยาง- ใชเปนแนวทางในการเขยนแผนการวเคราะหขอมล- ปรากฏในรายงานผลการศกษา

ผลลพธรอง (secondary outcome)

3

The primary outcome measure- is the pre-specified outcome considered to be of greatestimportance to relevant stakeholders (such a patients, policy makers, clinicians, funders)

- and is usually the one used in the sample size calculation - Some trials may have more than one primary outcome. Having several primary outcomes, however, incurs the problems of interpretation associated with multiplicity of analyses and is not recommended.

- Primary outcomes should be explicitly indicated as such in the report of an RCT.

- Other outcomes of interest are secondary outcomes(additional outcomes).

- There may be several secondary outcomes, which often include unanticipated or unintended effects of the intervention , although harms should always be viewed asimportant whether they are labelled primary or secondary.

(Consort: Outcomes Item 6a - Completely defined pre-specified primary andsecondary outcome measures, including how and when they were assessed

http://www.consort-statement.org/consort-statement/3-12---methods/item6a_outcomes/

ผลลพธดานสขภาพ (Health Outcome)A health outcome is a change in the health of an individual,group of people or population which is attributable to anintervention or series of interventions.ตวอยาง- การเกดอาการไมพงประสงค (side effect) - ระยะเวลาการปลอดเหตการณ (survival time)- การเกดโรคซา (readmission)- ความไมพงพอใจ (Dissatisfaction)- คณภาพชวต (quality of life)- ความพการ (Disability)- ความไมสบาย (discomfort) - ปรมาณ...- เสยชวต (death)ฯลฯ

Criteria for selecting health measure in health research สอดคลองกบคาถามวจย (Relevance) นยามเชงปฏบตการได (Capability of operational definition) เปนทยอมรบในสาขาวชาการ (Credibility) มความแมนยา (Accuracy) มความตรง (validity)

ความเทยง (reliability) และไวตอการจาแนกความแตกตาง (Responsiveness)

สามารถนาไปใชในทางปฏบต (ไมยงยากและคาใชจายเหมาะสม)Availability and cost

Operational DefinitionOperationalizationthe process of converting theoretical ideas to a tightly defined statement of how variables are to be measured

Operational definitionof a variable is a statement of how the researcher in a particular study choose to measure the variablein question

นยามเชงทฤษฎ (Theoretical Definition)ความหมายของตวแปรตามแนวคด (concept) หรอทฤษฎ (Theory)

นนามเชงปฏบตการ (Operational definition)ความหมายของตวแปรทชดเจน มความเปนรปธรรมสงเกตหรอวดได สอดคลองกบความหมายตามแนวคดหรอทฤษฎ

4

ตวอยางนยามเชงทฤษฎ (Theoretical Definition)

สวสดการ หมายถง “สงเอออานายใหคนมชวตทดมสภาพการทางานทด และสะดวกสบาย”

(พจนานกรม ฉบบราชบณฑตยสถาน พ.ศ. 2542)

นนามเชงปฏบตการ (Operational definition)สวสดการ หมายถง “รถรบสง บานพก คารกษาพยาบาล

คาเลาเรยนบตรทรฐมอบให ททาใหบคลากรมความสะดวกสบายในการทางาน)

Criteria for selecting outcome measure

(Fitzpatrick et al. 1998)

1. Appropriateness. Is the content of the instrument appropriate to

the questions which the study is intended to address?

2. Acceptability. Is the instrument acceptable to samples?

3. Feasibility. Is the instrument easy to administer and process?

4. Validity. Does the instrument measure what it claims to measure?

5. Reliability. Does the instrument produce results that are reproducible and

internally consistent?

6. Responsiveness. Does the instrument detect changes over time

that matter to samples?

7. Precision. How precise are the scores of the instrument?

8. Interpretability. How understandable are the scores of the instrument?

How do I choose a outcome for my study?

1. Appropriateness

8. Interpretability 2. Acceptability

7. Precision 3. Feasability

4. Validity6. Responsiveness

5. Reliability

How do I choose

a outcome measure

for my study?

ความสามารถของการวด (Performance of Measurement)

ความตรง (Validity) ระดบ (level) การวดของขอมล มความเปนจรง (true) กบปรากฏการณ (phenomena)

ความเทยง (Reliability) ความคงทของผลลพธ จากการวดเหตการณซาๆ กน โดยไมคานงวาจะวด กลมคนทแตกตางกน เครองมอทแตกตางกน เวลาและสถานท ทแตกตางกน ใหผลลพธจากการวดเหมอนๆ กน

สง

ความเทยง (reliability)

ตา

ความตรง (validity)สง ตา

.....

. ..

. .

.....

. ..

. .

X X

ทฤษฎการวด (Theory of Measurement)

E = S + R

คาคลาดเคลอนอยางมระบบ (Systematic Error )

คาคลาดเคลอนอยางสม(Random Error)

X = T + E

คาจากการวด = คาจรง + คาทค ลาดเคลอน

สาเหต Tester or Rater

Measurement Instrument

Variability of characteristics being measured

5

25

Types of Data Collection Instrument

Scientific Instruments

Checklist, data - compilation forms

Eyes and other senses, pen and paper,watch, scales, microscope, etc.

Interview schedule, checklist,questionnaire, tape recorder

Questionnaire

Using available information

Observing

Interviewing

Administering writtenquestionnairesMeasures

Data CollectionTechniques

Data CollectionInstruments

Measurement Instrument Rater reliability

(ความเทยงของผวด )

- Inter-Rater

- Intra-Rater

internal consistency

(ความสอดคลองภายใน )

Response stability

(ความคงท) or

Test-Retest)

Alternate form

(เครองมอทคลายกน )

-Kappa, ICC, CCC

Kuder-Richardson formula 20

Coefficient Alpha (Cronbach)

Item-Total Correlation

Spearman-Brown/ Guttman

Correlation Coefficient

ICC, Kappa, ICC, CCC, CV, SEM

Correlation Coefficient

CCC, Kappa

{{{

สถตทใชทดสอบความเทยง

ความสอดคลองภายใน (internal consistency)

-Kuder-Richardson formula 20 (KR-20)

-Coefficient Alpha (Cronbach)

-Item-Total Correlation

-Inter item correlation

-Spearman-Brown/Guttman

โมเดล Domain-Sampling

-สรางขอคาถามครบ ไดคะแนนจรง (true Score)

-ขอคาถามแตละขอทสรางวดในเรองเดยวกน

แสดงวา “ขอคาถามแตละขอมสวนรวม

(core) ในการวด (สมพนธ)”

item1

...

item2

item3

Item Nitem5

item4

item1

item1

item5 Item4

DOMAIN

แบบสอบถาม...

Item=ขอคาถาม

Kuder-Richardson formula 20 (KR-20)

ใชกบแบบสอบถามมลกษณะของคาตอบแบบ ใช-ไมใช, multiple

choice เมอตอบถกได 1 ผดได 0

Kuder-Richardson formula 20 (KR-20)

ใชกบแบบสอบถามมลกษณะของคาตอบแบบ ใช-ไมใช

Multiple Choice เมอตอบถกได 1 ผดได 0

คาถาม ใช ไมใช ไมทราบ ไมตอบ1. โรคเอดสเกดจากเชอไวรส2. โรคเอดสตดตอโดยการมเพศ

สมพนธ…10. ปจจบนไมมวธการรกษาโรคเอดส

ใมหาย

6

21

120

tσ

pq

k

kKR-

Kuder-Richardson formula 20 (KR-20)

k = จานวนขอคาถาม

= ความแปรปรวนของแบบทดสอบหรอแบบสอบถามทงฉบบ

คานวณจาก

p = สดสวนของขอทตอบถกในแตละขอคาถาม , q = 1-p

n

)x(xσ it

22

2t

061.qp ii

21

120

tσ

pq

k

kKR-

id k1 k2 k3 k4 k5 k6 Total

1 0 1 1 0 1 1 4

2 0 0 0 0 0 0 0

3 1 1 1 1 0 1 5

4 1 1 1 1 1 1 6

5 1 1 1 1 1 1 6

6 1 1 1 1 1 1 6

7 1 1 1 1 1 0 5

8 1 1 1 1 1 1 6

9 1 1 1 0 0 0 3

10 1 1 1 0 0 0 3

pi 0.8 0.9 0.9 0.6 0.6 0.6

qi 0.2 0.1 0.1 0.4 0.4 0.4

piqi 0.16 0.09 0.09 0.24 0.24 0.24 1.06

4410

44

22

.n

xx

;n

)x(xσ

i

it

คานวณ Kuder-Richardson formula 20 (KR-20)

8302443

0611

16

620

44310

443445440444

4410

44

11

20

22222

22

2

..

.KR-

.).(...).().().(

σ

.n

xx;

n

)x(xσ

σ

pq

k

kKR-

t

iit

t

STATA output: KR-20

. alpha k1-k6,item

Test scale = mean(unstandardized items)

averageitem-test item-rest inter-item

Item | Obs Sign correlation correlation covariance alpha-------------+-----------------------------------------------------------------k1 | 10 + 0.6470 0.4924 .0966667 0.8239k2 | 10 + 0.7908 0.7167 .0933333 0.7925k3 | 10 + 0.7908 0.7167 .0933333 0.7925k4 | 10 + 0.8364 0.7222 .0744444 0.7755k5 | 10 + 0.7264 0.5581 .0855556 0.8157k6 | 10 + 0.7264 0.5581 .0855556 0.8157-------------+-----------------------------------------------------------------Test scale | .0881481 0.8302-------------------------------------------------------------------------------

Kuder-Richardson formula 20 (KR-20)

ใชกบแบบสอบถามมลกษณะของคาตอบแบบ ใช-ไมใช/

Multiple Choice เมอตอบถกได 1 ผดได 0

4.คณเคยดมสราเปนสงแรกในตอนเชาเลยหรอไม เพอทจะได

กาจดอาการเมาคางของคณ (Eye opener)

3. คณเคยรสกไมดหรอรสกผดเกยวกบการดมสราของคณหรอไม

(Guilty)

2. เคยมคนสรางความราคาญใหกบคณโดยการกลาวตกเตอน

หรอตาหนคณเกยวกบการดมสราของคณหรอไม (Annoyed)

1.คณเคยรสกวาคณควรจะลดปรมาณการดมของคณลงหรอไม (Cut Down)

ไมใชใชขอคาถาม

Ewing JA; Detecting alcoholism. The CAGE questionnaire. JAMA. 1984 Oct 12;252(14):1905-7.

011110

01119

11118

11117

11116

11115

11114

11113

00002

01101

i4i3i2i1id

. alpha i1-i4, itemTest scale = mean(unstandardized items)

averageitem-test item-rest interitem

Item | Obs Sign correlation correlation covariance alpha-------------+-----------------------------------------------------------------i1 | 10 + 0.8807 0.7638 .0777778 0.7500i2 | 10 + 0.8540 0.7629 .0962963 0.7723i3 | 10 + 0.8540 0.7629 .0962963 0.7723i4 | 10 + 0.7845 0.5345 .0925926 0.8929-------------+-----------------------------------------------------------------Test scale | .0907407 0.8376

21

120

tσ

pq

k

kKR-

Kuder-Richardson formula 20 (KR-20)

k = จานวนขอคาถาม

= ความแปรปรวนของแบบทดสอบทงฉบบ

คานวณจาก

p = สดสวนของขอทตอบถกในแตละขอ

q = 1-p

1

22

n

)x(xs it

2t

7

สมประสทธเอลฟา (Coefficient Alpha)

- Modify Kuder-Richardson formula 20 (KR-20)

คาถาม เหนดวย เหนดวย ไมแนใจ ไมเหนดวย ไมเหนอยางยง ดวย

อยางยง1. ทานคดวาโรคเอดส

เปนโรคทอนตรายรายแรงตอชวต

2. ทานคดวาการเปนโรคเอดสเปนสง ทนากลว

สมประสทธเอลฟา (Coefficient alpha) แบบทดสอบหรอ

แบบสอบถามทมการใหคาคะแนนไมเทากน เชนมาตราวดประเมนคา

(rating scale) ของ Likert

สมประสทธเอลฟา (Coefficient alpha)

= คาความเชอถอของสมประสทธเอลฟา

k = จานวนขอคาถามของแบบทดสอบหรอแบบสอบถาม

= ความแปรปรวนของขอคาถามทงฉบบ

= ความแปรปรวนของขอคาถามรายขอ

2

2

11 t

i

S

S

k

kα

α

2

tS

2

iS

คานวณจากเมตรกซ Variance-Covariance

id p1 p2 p3 p4 p5 total

1 1 1 1 1 1 5

2 2 2 3 2 1 10

3 3 2 2 3 1 11

4 4 3 3 4 4 18

5 1 2 2 1 4 10

6 2 1 3 2 2 10

7 3 2 2 3 3 13

8 4 3 3 4 2 16

9 1 2 2 1 4 10

10 2 2 1 2 2 9

Mean 2.3 2 2.2 2.3 2.4 11.2

Variance 1.34 0.44 0.62 1.34 1.60 13.512is

x

2

2

11 t

i

S

S

k

kα

12

2

n

)x(xtS

51.13110

2.119(...2.11102.115

12

2222

))()(

n

)x(xtS

36.560.134.162.044.034.11

22

n

)x(xs ii

60.1110

)12(...)12()11(

1

34.1110

)3.22(...)3.22()3.21(

1

62.0110

)2.21(...)2.23()2.21(

1

44.0110

)22(...)22()21(

1

34.1110

)3.22(...)3.22()3.21(

1

22222

5

22222

4

22222

3

22222

2

22222

1

n

)x(xs

n

)x(xs

n

)x(xs

n

)x(xs

n

)x(xs

ip

ip

ip

ip

ip

36.560.134.162.044.034.11

22

n

)x(xs ii

คานวณความแปรปรวน รายขอคาถาม2is คานวณความเทยง

การแปลผล

754551.13

36.51

15

5

11 2

2

.

S

S

k

kα

t

i

< 0.60 ความเทยงตา , unacceptably

0.60-0.79 ความเทยงปานกลาง

0.80+ ความเทยงสง

8

ทางเลอกอนสาหรบการคานวณสมประสทธเอลฟา

-ใชคาเฉลยของสหสมพนธระหวางขอคาถาม หรอ

-เมตรกซสหสมพนธ ในการคานวณ (Lord & Novick,1968)

Nunally, 1976; Carmines & Zeller, 1979)

-โดยคะแนนขอคาถามเปนคามาตรฐาน โดยมคาเฉลยเทากบ 0

ความแปรปรวนเทากบ 1 ดงน

)]1(1[

nρ

ρn = คาเฉลยของสหสมพนธ

ระหวางขอคาถาม

. alpha p1-p5

Test scale = mean(unstandardized items)

Average interitem covariance: .4077778Number of items in the scale: 5Scale reliability coefficient: 0.7545

. alpha p1-p5, std

Test scale = mean(standardized items)

Average interitem correlation: 0.4428Number of items in the scale: 5Scale reliability coefficient: 0.7989

โมเดล Domain-Sampling- สรางขอคาถามครบ ไดคะแนนจรง (true Score)- ขอคาถามแตละขอทสรางวดในเรองเดยวกน แสดงวา “ขอคาถามแตละขอมสวนรวม (core) ในการวด (สมพนธ)”

item1

...

item2

item3Item Nitem5

item4

item1item1

item5 Item4

DOMAIN

แบบสอบถาม...

Item=ขอคาถาม

ITEM ANALYSISทดสอบความสมพนธของขอคาถาม

- Inter item correlation หรอ- Item Total Correlation หรอ- พจารณาคาความเทยงของแบบสอบถามเมอตดขอคาถามแตละขอทงไป

ผลวเคราะห

- Inter item correlation (0.20 ขนไป คาลบ, < 0.20พจารณาปรบปรง หรอตดขอคาถามทง)

- คาความเทยงของแบบสอบถามเมอตดขอคาถามแตละขอทงไปเทยบกบความเทยงของทกขอ(เลอก Alpha Coefficient ขอมล Rating Scale,เลอก KR-20 ขอมล 0,1)

-สรางขอคาถาม 5 ขอ (I) ถาขอคาถามม “ความสอดคลองภายใน” พจารณาจากขอคาถามแตละขอ สมพนธกบขอคาถามอนๆ รวมกน เชน-I1 กบ I2+I3+I4+I5 -I2 กบ I1+I3+I4+I5-I3 กบ I1+I2+I4+I5 -I4 กบ I1+I2+I3+I5-I5 กบ I1+I2+I3+I4 (Item Total Correlation)

-ถาสมพนธมากและไมตดลบ (+0.20) แสดงวาขอคาถามนนเหมาะสม (ถา <0.20 หรอตดลบตองปรบปรง หรอตดทง)

. alpha p1 p2 p3 p4 p5, item

Test scale = mean(unstandardized items)

averageitem-test item-rest inter-item

Item | Obs Sign correlation correlation covariance alpha-------------+-----------------------------------------------------------------p1 | 10 + 0.9421 0.8735 .2203704 0.6398p2 | 10 + 0.7826 0.6860 .3944444 0.7425p3 | 10 + 0.7027 0.5522 .4055556 0.7674p4 | 10 + 0.9421 0.8735 .2203704 0.6398p5 | 10 - 0.2174 0.0198 .6092593 0.8809-------------+-----------------------------------------------------------------Test scale | .37 0.7967-------------------------------------------------------------------------------

คอลมน 3 เครองหมายของความสมพนธตวแปรนนกบผลรวมของทกตวแปรคอลมน 4 คาสหสมพนธระหวางตวแปรนนกบผลรวมของทกตวแปร

0.9421 คอสหสมพนธระหวาง p1 กบ p1+p2+p3+p4+p5คอลมน 5 คาสหสมพนธระหวางตวแปรนนกบผลรวมของตวแปรทเหลอ

0.8735 คอสหสมพนธระหวาง p1 กบ p2+p3+p4+p5

(Item Total Correlation)

9

. alpha p1 p2 p3 p4 p5, itemTest scale = mean(unstandardized items)

averageitem-test item-rest inter-item

Item | Obs Sign correlation correlation covariance alpha-------------+-----------------------------------------------------------------p1 | 10 + 0.9421 0.8735 .2203704 0.6398p2 | 10 + 0.7826 0.6860 .3944444 0.7425p3 | 10 + 0.7027 0.5522 .4055556 0.7674p4 | 10 + 0.9421 0.8735 .2203704 0.6398p5 | 10 - 0.2174 0.0198 .6092593 0.8809-------------+-----------------------------------------------------------------Test scale | .37 0.7967-------------------------------------------------------------------------------

คอลมน 7 สมประสทธเอลฟา กรณทตดขอคาถามขอนนออกไป เชน.6398 หมายถงสมประสทธเอลฟาขอ p2 p3 p4 p5 ตดขอ p1สวนคา 0.7967 คอ สมประสทธเอลฟา ของทกขอ

การแปลความหมาย ขอคาถาม p5 มคา item-total correlation (item-rest)<0.20 และตดลบ และสมประสทธเอลฟา กรณทตดขอคาถาม p5 ออกไปเทากบ 0.8809 สงกวาสมประสทธของทกขอ (.7967) ตองพจารณาปรบปรง/ตดทง

. alpha p1 p2 p3 p4 p5, item std detail

Test scale = mean(standardized items)average

item-test item-rest inter-itemItem | Obs Sign correlation correlation correlation alpha-------------+-----------------------------------------------------------------p1 | 10 + 0.8966 0.8136 0.2978 0.6291p2 | 10 + 0.7916 0.6444 0.3610 0.6932p3 | 10 + 0.7243 0.5445 0.4015 0.7285p4 | 10 + 0.8966 0.8136 0.2978 0.6291p5 | 10 - 0.3036 0.0281 0.6548 0.8836-------------+-----------------------------------------------------------------Test scale | 0.4026 0.7711-------------------------------------------------------------------------------Interitem correlations (reverse applied) (obs=10 in all pairs)

p1 p2 p3 p4 p5p1 1.0000p2 0.7187 1.0000p3 0.5345 0.4226 1.0000p4 1.0000 0.7187 0.5345 1.0000p5 -0.0142 0.0000 0.1252 -0.0142 1.0000

กรณวเคราะหขอคาถามใหเปนขอคาถามมาตรฐานคาเฉลย=0 สวนเบยงเบนมาตรฐาน=1 (ระบ std)

Inter item correlation

n

ii

n

ii

n

iii

)Y(Y)X(X(

)Y)(YX(Xr

1

22

1

1

ความตรง (Validity)

1. ความตรงตามเนอหา (Content Validity)2. ความตรงตามโครงสราง (Construct Validity)3. ความตรงเชงทานาย (Predictive Validity)4. ความตรงตามสภาพ (Concurrent Validity)

ความตรง ระดบ (level) การวดของขอมล มความเปนจรง (true) กบปรากฏการณ (phenomena)

ประกอบดวย

ความตรงตามเกณฑ (Criterion validity)

ความตรงตามเนอหาเปนการบอกใหทราบวา ขอคาถามทงหมดทสรางขน มเนอหาตางๆ ครบถวนตามวตถประสงคและถกตองครบถวนตามทฤษฎ

เชน การศกษา ความรเรองโรคเอดส เนอหา (Content Domain) ควรประกอบดวย ความหมาย สาเหตการตดตอ วธการตดตอ อาการ การรกษา วธปองกน ผลกระทบตอบคคล ครบครว ชมชน

ความตรงของแบบทดสอบ

ดชนความตรงตามเนอหา (Content Validity Index: CVI)

อตราสวนความตรงตามเนอหา (Content Validity Ratio: CVR)

ดชนความสอดคลอง (Index of Item-Objective Congruence)

Validity index (Aiken (1980, 1985: Rating Scale)

2/

2/

N

NNCVR e

judge

judge

judge N

DN

N

ACVII

nN

XXXN

I

n

j

N

m

n

j

n

jijkmjkijk

ik )1(2

)1(1 1 1 1

k

lXor

cN

inV i

)1(

คาดชนความตรงตามเนอหา (CVI) ของเครองมอม 2 ประเภท1. คาดชนความตรงเชงเนอหาของขอคาถามรายขอ (item-level CVI

หรอ I-CVI) 2. คาดชนความตรงเชงเนอหาของเครองมอทงชด (scale-level CVI หรอ

S-CVI) การคานวณคา CVI แตละชนด มดงน- คา I-CVI ผทรงคณวฒประเมนขอคาถาม - หาสดสวนของผทรงคณวฒทมความเหนตรงกนของขอคาถามแตละขอโดยกาหนดระดบความตรงตามเนอหาเปน 4 ระดบ

1 = ไมเกยวของ (not relevant)/ 2 = เกยวของนอย (somewhat relevant) 3 = เกยวของ (quite relevant) และ 4 = เกยวของมาก (very relevant)

- ขอคาถามทผทรงคณวฒประเมนวาเกยวของไดแก คาคะแนนระดบ 3 และคาคะแนนระดบ 4

10

- คานวณ I-CVI ดงน

A = จานวนผทรงคณวฒประเมนวาเกยวของ D = จานวนผทรงคณวฒประเมนวาไมเกยวของ N = จานวนผทรงคณวฒทงหมด

ถา คา I-CVI ตากวา 0.80 พจารณาปรบแกหรอตดขอคาถามนนทง

N

DACVII

- คานวณคา S-CVI เทากบขอคาถามทผทรงคณวฒประเมนวาเกยวของ หารดวยขอคาถามทงหมด

itemofNumber

ACVIS

Item ผทรงคณวฒ (Experts/Judges)1 2 3 4 5

1

2

3 1

4 1

5 1

Proportion 1 1 .8 (1+.6+1+1+1)/5=0.92

judge

judge

N

DNCVII

92.05

.8111.8

JudgeExpert/ofNumber

judgeExpert/eachofproportionofSum/

AveCVIS

15

05

6.5

25

8.5

15

15

05

การคานวณคา คาดชนความตรงเชงเนอหาของขอคาถามรายขอ (item-level CVI (I-CVI) แลคาดชนความตรงเชงเนอหาของเครองมอทงชด (scale-level CVI (S-CVI)

เกณฑพจารณา

- คาดชนความตรงเชงเน อหาของขอคาถามรายขอ (item-level

CVI (I-CVI) ขอคาถามแตละขอ มากกวาหรอเทากบ 0.78 (9 คน)

- คาดชนความตรงเชงเน อหาของเครองมอทงชด

(scale-level CVI, (S-CVI/Av) มคาไมตากวา 0.80 (expert 5 คน)

Polit, Beck, Owen. (2007). Is the CVI an Acceptable Indicator of Content Validity Appraisal and Recommendations.

Expert คะแนน 3, 4 I-CVI

3-4 ทกคน 1.00

5 4 หรอ 5 .80, 1.00

6 5 หรอ 6 .83, 1.00

7 6 หรอ 7 .86, 1.00

8 7 หรอ 8 .88, 1.00

9 7 ,8 หรอ 9 .78,.89, 1.00

อตราสวนความตรงตามเนอหา (Content Validity Ratio: CVR)

2/

2/

N

NNCVR e

ขอคาถาม Essential Useful but not

essential

Not

necessary

1.

2.

…

n.

Ne is the number of panelists indicating "essential"

N is the total number of panelists.

Minimum Values of CVR & CVRt(One Tailed Test,

p = .05) (Lawshe, 1975; p568)

26

23

20

18

15

12

11

10

n

10

9

9

8

7

7

6

5

n

.2940.5612

.3135.5911

.3330.7210

.3725.789

.4220.758

.4915.997

.5114.996

.5413.995

Min ValueNo of PenalistMin ValueNo of Penalist

n = minimum of Penalist

ดชนความสอดคลองระหวางขอคาถามกบวตถประสงค

(Index of Item-Objective Congruence)

(Rovinelli & Hambleton, 1977)

Iik

= is the index of item-objective congruence for item k

on objective i,

N = is the number of objectives (i=1, 2, …, N),

n = is the number of content specialists (j=1, 2, …, n),

Xijk

= is the rating (-1, 0, +1) of item k as a measure of

objective i by content specialist j.

11 ikI

nN

XXXN

I

n

j

N

m

n

j

n

jijkmjkijk

ik )1(2

)1(1 1 1 1

11

Rovinelli & Hambleton. (1977). On the Use of Content Specialists in

the Assessment of Criterion-Referenced Test Item Validity.

Dutch Journal of Educational Research, 2, 49–60.

nN

XXXN

I

n

j

N

m

n

j

n

jijkmjkijk

ik )1(2

)1(1 1 1 1

“Tijdschrift voor Onderwijsresearch”

?????N

RIOC 000+1จ

-4-4-3+4

-1-1-1+1ง

-1-100ค

-1-1-1+1ข

-1-1-1+1ก

4321

objectivejudge

Table 3 Judges’ Ratings of Item-Objective

Congruence for a Hypothetical Item 1

Iik

= I11

N = 4

n = 5

30.

30.

17.

77.030

4)7(12

)5)(14(2

)4())4()4()3(4(()4)(14(

14

13

12

11

I

I

I

I

nN

XXXN

I

n

j

N

m

n

j

n

jijkmjkijk

ik )1(2

)1(1 1 1 1

(Rovinelli & Hambleton,1976, 1977)

n

jijkX

1

Validity index (Aiken (1980, 1985: Rating Scale)

k

lXVor

cN

inV i

)1(

I = weight equal ci-1,

c = highest rating,

ni= number of rater of each rating,

N = total rater (judge),

= sample mean of the judges’ ratings,

l = lowest possible rating,

k = range of values rating scale (Max-Min)

X

3/)1)(1(

1)12)(1(

ccN

VcNZ

Critical Value of V

89.0

)15(7

)6)(15()0)(14()0)(13()1)(12()0)(11(

V

)1(

cN

inV i

Example The rating (5 scale) for item of seven judges

are: 2, 5, 5, 5, 5, 5, 5

81.23/)15)(15(7

1)1)89.0(2)(15(7

3/)1)(1(

1)12)(1(

ccN

VcNZ

002.0ValueP

Table: Aiken’s Right-Tail Probabilities (p)

Rating=5 rater=7 V = 0.82 p-value = 0.010

0.75 = 0.041

Aiken’s Right-Tail Probabilities (p) for Selected

Values of the Validity Coefficient (V) ความตรงตามโครงสราง

ความตรงตามโครงสรางเปนลกษณะของการสรางโครงสรางขนจากขอคาถามหลายๆ ขอ

- ตามทฤษฎ (Theory) หรอ- แนวคด (Concept)

แลวรวมเปนโครงสราง (Construct) หรอตวแปร (Variables)การวเคราะหประกอบดวย

- การวเคราะหองคประกอบ Factor Analysis- multi-trait-multi-method

12

ตวอยาง การวเคราะหความตรง เกยวกบการวดการรบร เกยวกบโรคเอดส

ประกอบดวยขอคาถามเพอประกอบเปนโครงสราง 4 โครงสราง ดงน

การรบรถงความรนแรงของโรคเอดส การรบร โอกาสเสยง การรบร

ประโยชนทไดรบ และแรงจงใจ โดยขอคาถามประกอบดวย

ตวแปร ขอความ

A1 มความจาเปนทจะศกษาความรเรองโรคเอดสA2 การปองกนโรคเอดสเปนหนาทของทกคนA3 โรคเอดสเปนโรคทนารงเกยจA4 โรคเอดสเปนโรคทเปนแลวตายA5 เมอทราบวาเปนเอดสจะบอกทดคนในครอบครวทราบA6 การสกทผวหนงมโอกาสตดเชอเอดสA7 ผปวยเอดสทรกษาสขภาพใหแขงแรงอยเสมอสามารถดารงชวตอยในชมชน

ไดตามปกตA8 การใหความรเรองโรคเอดสในชมชนสามารถลดปญหาเกยวกบโรคเอดสได

Component 1 2 3 4

A1 -1.001E-02 .107 .766 .201 A2 4.864E-02 -8.618E-02 .850 -5.660E-02A3 -8.419E-02 .825 -2.781E-02 -9.160E-02A4 .194 .757 4.751E-02 .190 A5 -4.703E-02 -.114 7.699E-02 .862 A6 .261 .270 6.600E-02 .681 A7 .881 -3.521E-02 7.242E-02 4.719E-02 A8 .872 .128 -3.386E-02 9.503E-02

แรงจงใจ

การรบรประโยชนทไดรบการรบรถงความรนแรง

การรบร โอกาสเสยง

การวเคราะหองคประกอบ Factor Analysis

ความตรงตามเกณฑ (Criterion Validity)- ความตรงทพจารณาความสมพนธของการวดเครองมอหนงกบเครองมออน หรอเครองมอทเปนมาตรฐานทองคา (Gold Standard)

(the correlation of a scale with some others measure of the trait or disorder under study , ideally, a “gold standard”)

- ประกอบดวย * ความตรงเชงทานาย (Predictive Validity) และ* ความตรงตามสภาพ (Concurrent Validity)

ความตรงเชงทานาย (Predictive Validity)- การวดความตรงของ 2 เครองมอในระยะเวลาทตางกน (criterion will not be available until some time in the future)

- วธการทางสถตทใชในการประเมน * ตวแปร continuous - Regression

Categorical - Logistic Regression* ประเมน ความไว (Sensitivity), ความจาเพาะ(Specificity)

(Predictive Value), Likelihood, ROC Curve

ความตรงตามสภาพ (Concurrent Validity)- การวดความสมพนธของเครองมอทสรางขนใหมกบกบเกณฑ (correlate the new scale with the criterion measure)เชน วดความสมพนธเครองมอทสรางขนใหมกบเครองมอทเปนมาตรฐานทองคา (Gold Standard)

- วธการทางสถตทใชในการประเมน * ตวแปร continuous - Concordance Correlation

Categorical - Kappa Statistics, Phi Coefficient* ประเมนความสอดคลอง (Agreement)