평가도구의 질 판단 기준

1.타당도의 개념

2.전통적 관점

3.통합적 관점

검사도구의 질을 판단하는 기준 중 평가의 목적에 비추

어 가장 근본적인 기준으로 검사도구가 측정하려고 하는

능력이나 특성을 충실하게 재고 있는지를 나타낸다.

즉, 타당도란 검사도구가 ‘무엇’(what)을 측정하고 있는

가와 관련된 개념으로 실제 검사도구가 측정하고 있는

것이 검사도구가 측정하려고 하는 것과 얼마나 근접하는

가의 문제이다.

예시:

요약:

국어고사가 ‘국어능력’을 측정하고 있어야지

엉뚱하게 ‘사회생활능력’을 측정하고 있어서

는 안 된다.

타당도는 근본적으로 검사의 적절성 여부에

대한 질문이다.

전통적 관점 :

타당도의 각 유형을 그 자체로서 독립된 타당도로 인정

하는 관점

대표적인 유형:

논리적 타당도,예측타당도,공인타당도,구인타당도

내용 타당도 ≒ 논리적 타당도, 안면타당도

평가도구가 평가하려고 하는 내용(교육목표)을 어느 정도로

충실히 측정하고 있는지를 분석 측정하려는 것이다.

주로 성격검사의 타당도를 확인⋅결정하기 위해 쓰이기는

하지만, 지능검사, 적성검사, 흥미검사, 자아개념검사 등에

도 쓰인다.

검사도구의 타당성은 일차적으로 검사도구가 교육목표, 교과

과정, 교재의 내용을 얼마나 잘 측정하고 있는지에 달려 있다.

내용타당도의 결정:

①평가도구가 처음에 의도했던 교육목표에 비추어 보아 적절한가

②문항내용이 교과내용의 중요한 것을 빠뜨리지 않고 충분히 포괄

＇하고 있는가

③문항의 난이도가 학생집단의 성질에 비추어 보아 적절한가

④문항의 표본이 모집단을 잘 대표하고 있는가

다만 내용타당도의 추정은 검사 내용에 대한 전문가의 판단에 기초하기

때문에 다른 타당도 유형과는 달리 내용타당도는 수치로 나타낼 수 없

다.

예시: 어떤 교과의 학업성취도 검사의 내용 타당도는 그 교과의 전문가

가 학업성취도검사 문항이 교육목표와 교육하고자 하는 내용을 잘 대표

하고 있는지를 판단함으로써 추정된다.

내용타당도의 준거는 교육목표가 되기 때문에 교육목표의 세분화와 이

원분류표의 작성은 검사의 타당성을 높이는 필요조건이 된다.

‘검사결과가 피험자의 미래 행동이나 특성을 어느 정도로 정확하

고 완전하게 예언하느냐’ 같은 예언 능률의 정도에 의해 표시되

는 타당도를 예측타당도라고 한다.

예측타당도는 어떤 평가도구가 목적하는 준거를 정확히 예언하

는가를 말한다.

따라서 예측타당도의 준거는 검사가 예언하고자 하는 미래의 행

동 특성이 된다.

예시: 입학성적이 높은 학생이 입학 후에도 학업성적이

높은 경우 그 입학시험의 예측타당도는 높다. 한 성

적검사에서 성공한 학생이 다음 성적검사에서 실패

하거나, 또 비행기 적성검사에서 우수한 피험자가

실제 비행기록에서 실패하는 결과를 나타낸다면,

이 같은 측정도구들은 예측타당도가 부족하다.

예측타당도의 추정은 선행검사(점수와) X와 준거(미래 행동 특성)

Y와의 상관계수로 표시된다. 상관계수가 크면 그만큼 예언의 정

확성이 크고 반대로 예언의 오차가 적다는 뜻이 된다.

예시: 대입수학능력시험의 점수와 대학에서의 평점의 상관 계수

가 예측타당도가 된다.

그러나 인간행동을 측정대상으로 하는 평가도구에서 완전한 예언이란 기대할 수

없으며, 거기에는 반드시 ‘예언의 오차’가 있다.

또한 예측타당도는 검사X와 준거Y의 두 평가도구의 신뢰도에 크게 영향을 받는

다. 만약 두 개의 검사가 모두 신뢰로우면 예측 타당도는 높아지지만, 둘 중 하나

또는 둘 다 신뢰도가 낮을 경우 예측타당도는 낮아진다.

즉 높은 예측타당도를 얻기 위해서는 두 평가도구의 신뢰도가 모두 높아야 한다.

내용 타당도가 교육목표라는 ‘내적 준거’에 의해 추

정되는 것에 반해 예측타당도는 미래 행동 특성이라

는 ‘외적 준거’ 에 의해 추정된다.

공인타당도는 평가도구에 의해 밝혀진 피험자의 행동특성

이 도구 밖에 있는 행동 준거와 현재 어느 정도 일치하느냐

를 말한다. 이는 한 검사점수가 타당성을 인정받고 있는 다

른 검사점수와 일치하는 정도를 의미한다.

공인타당도의 추정은 예측타당도와 마찬가지로 검사 X와

준거검사 Y의 두 점수간의 상관계수로 나타낸다.

1.예측타당도는 행동의 준거가 ‘미래’에 있지만 공인타당도는 ‘현재’에

있다. 공인타당도는 검사X와 준거Y가 본질적으로 동시에 측정된다. 즉,

한 행동특성을 측정한 검사 X와 검사 밖에 존재하는 행동준거 Y 사이가

‘현재’ 어느 정도 잘 일치하느냐로 판단한다. 물론 실제적 필요에 의해서

시간적으로 후에 측정할 수도 있다.

예시:교과흥미검사의 결과가 미술에 흥미가 있다고 하면 학생은 미술활

동에 적극적이어야 한다.

2.공인타당도는 준거의 성질이 예언에 있지 않고 공통된 요인이 있느냐 없느냐

에 있다. 즉 검사 X로 검사 Y를 대체할 수 있느냐고 할 때 공인타당도를 의미한

다.

예시: ‘철자법의 선다형 검사’를 ‘받아쓰기 검사’로 대체할 수 있는가, ‘작문검사

를 독후감 과제로 대체할 수 있는가 등 두 검사 사이에 공통된 요인이 있어 대체

가능한지, 그 사이의 상관을 알아보는 것은 공인타당도에 해당된다.

3.관련이 먼 듯한 준거도 필요에의해 상관을 내는 경우가 있다.

예시: 지능검사와 학력검사의 상관, 지능검사와 학습 습관검사의

상관

이 경우에는 특정 X를 측정하고 있는 검사와 특성 Y를 측정하고

있는 검사 사이의 경험적 공인관계를 밝혀보려는 것이 목적이다.

공인타당도는 평가도구의 실제적 의미를 풍부히 해주

고 활용하는 데 유용한 정보를 제공할 뿐 아니라 새로

운 연구의 아이디어를 제공한다는 점에서 중요하다.

구인타당도는 한 검사가 조작적으로 정의되지 않은 어떤 특성이나 성질

을 측정하려고 했을 때, 검사가 심리적 특성을 구성하고 있는 구인들을

얼마나 잘 포함하였느냐의 정도이다. 이러한 구인타당도는 측정하고자

하는 구인들을 정의하고, 그 구인들에 관한 논리적 가설을 뒷받침해 주

는 경험적 자료들을 수집함으로써 검증된다.

여기서 구인이란 검사 성취에 반영되어 있다고 짐작되는 인간의 가정적

속성을 말한다. ≒ 과학적 용어로 ‘개념’이란 말로 대체할 수 있다.

즉 인간의 행동을 설명하고 해석하기 위해 만들어 낸 가정적 모형을 구

성하는 요인들이다.

예시: 지배성, 자아개념, 사고력, 학습동기, 성취동기, 불안 등

구인과 같은 속성이 모호하고 불명료한 추상적 개념을 구인에 대한 이

론적 모형을 기초로 하여 과학적 법칙을 정립해 줄 수 있는 증거를 보여

줌으로써 구인을 의미 있는 중요한 개념으로 사용될 수 있게 하는 것.

예시: 창의력 검사의 경우 창의력을 이루는 구인으로 가정된 이해력, 민

감성, 도전성, 개방성, 자발성, 자신감, 집착성 등의 구인을 제대로 측정

하고 있는가를 과학적 이론화 과정을 통해 밝히는 것.

이처럼 구인타당도는 아직 조작적으로 정의되지 않고 과학적으로 이론이 제대로

정립되지 않은 새로운 개념 혹은 구인을 측정하는 검사에 과학적 이론과 타당화

를 부여하는 과정이라고 규정 할 수 있다.

즉 ‘이 특성을 가진 사람은 X라는 상황에서 Y의 행동을 보일 것이다’라는 법칙 정

립이 구인타당도에서 노리는 핵심이다.

따라서 구인타당도는 우선 그 성질이 아직 모호하고 조작적으로 정의되지 않은

구인의 성질에 관한 이론과 법칙을 정립하기 위한 과정이기 때문에 준거의 확인

과 이론 형성이 보다 중심이 된다.

1. 검사점수 혹은 검사결과의 원인이 될 구인이 무엇인지를 시사하는 과정이다.

이와 같은 과정은 관찰 및 검사의 이론적 분석을 기초로 한 상상적 행위로 이루

어진다.

2. 구인에 관련된 이론의 상정과 이 이론에서 추리할 수 있는 가설을 추출하는

과정이다.

이것은 순전히 과학의 논리적 조작에 의존한다.

3. 가설을 검증하기 위해 경험적 연구를 실행하는 과정이다.

예시: 사람은 먼저 상상적 추리를 통해 구인 X가 어느 검사점수의 원인이 될 것

이라는 가정을 한 다음 이에 따른 잠정적 이론을 수립하게 된다. -1

그리고 이론적 망에서 ‘만약 그렇다면 검사점수 X가 높은 사람은 Y라는 상황 아

래에서 Z와 같은 행동을 나타낼 것이다’라는 가설을 끌어낼 수 있게 된다. -2

이러한 가설을 검증하기 위해 실제 실험이나 연구를 통해 경험적 검증을 하고 가

설의 타당성 여부를 결정한다. -3

≒이 과정은 곧 과학적 이론을 형성하는 과정과 마찬가지이다.

구인타당도를 밝히는 과정에서는 적절하다고 생각되는 모든 형태의 연구 방법이

쓰인다.

예시: 집단간의 차이, 상관 분석 및 요인 분석, 시간적으로 공간적으로 여러 상황

에서의 변화 상태의 비교, 심리적 과정의 연구, 검사문항의 분석, 실험 등

이론을 정립하기 위해서는 적절하다고 생각되는 모든 방법이 필요하기 때문이다.

그러므로 필연적으로 구인타당도의 정도를 어떤 단일한 지수로 표현할 수는 없

다.

통합적 관점 :

한 검사의 타당도 검증의 대상은 검사 점수로부터

유추되는 해석과 추론이다.

1. 타당도 검증 대상에 대한 인식의 변화 : 학자들로 하여금 이론적 적합성을 추

구하는 구인타당도 개념이 모든 검사의 타당화 과정에서 핵심적 역할을 하여야

함을 깨닫게 함.

즉 타당화의 대상이 검사 점수로부터 추론되는 해석이라면 그러한 추론을 가능

하게 하는 이론(theory)도 모든 타당화 과정에서 평가되어져야 한다.

2. 검사 점수로부터 얻어지는 모든 해석은 검사 활용과 관련된다는 점에서 이러

한 인식의 변화는 타당도의 영역을 검사 활용(test use)으로 확대시키는 계기가

됨

3. 타당화의 대상이 검사 점수로부터 추론되는 해석이라면 이러한 추론에는 가

치(value)가 불가피하게 개입될 수 밖에 없다는 점에서 타당화 과정에서 가치를

명시적으로 고려하도록 함.

1. 타당도에 대한 통합적 관점은 구인타당도에 내재된 원리를 모든 타당

화의 원리로 확대함으로써 모든 검사의 타당화 과정을 구인타당도에서

원용하는 과학적인 이론 검증의 과정과 동일하게 본다.

따라서 통합적 관점에서 구인타당도는 사실상 타당도 자체를 의미한다.

2. 통합적 관점은 타당화 과정에서 가치와 검사 활용의 결과를 명시적으

로 고려한다.

즉 타당도의 대상이 검사 점수로부터 유추되는 추론이라면 타당화 과정

은 필연적으로 검사 점수의 해석과 활용에 따른 가치와 결과를 고려하

여야 한다.

3. 통합적 관점에 있어서 타당도는 관련된 모든 증거들은 활용하여 검사

점수의 해석에 대해 내린 종합적이고 평가적인 판단이다.

따라서 통합적 관점에서는 더 이상 일정한 영역에서 타당도로서 충분한

역할을 하는 것으로 간주되는 내용,예측,공인,구인타당도와 같은 개별

적인 타당도 유형은 존재하지 않는다.

4. 타당도에 대한 통합적 관점에 따르면 타당화 과정은 사실상 평가

(evaluation)이다.

통합적 관점의 특성에 따르면 검사의 타당도를 구한다는 것은 사실상

검사 제작자에 의해 제시된 검사 점수의 해석과 그러한 검사 점수의 활

용에 대한 평가(evaluation)를 수행하는 것과 마찬가지가 되는 것이다.

1. 검사내용에 기초한 증거

검사내용에 기초한 증거는 검사의 내용과 측정하려는 구인(construct), 그리고 검사 제작

자에 의해 제시된 검사 점수의 해석 간 관계의 적절성에 관한 것이다. 특히, 검사의 내용 영

역(domain)의 적절성이 검사 점수로부터 추론되는 특정한 해석과 연결된다는 점을 인식하

는 것이 중요하다. 이 점이 전통적인 내용타당도의 논의와 다른 점이다. 이러한 관계의 적

절성은 주로 관련 분야의 전문가들에 의해 판단된다.

2. 반응 과정에 기초한 증거

반응 과정에 기초한 증거는 측정하려는 구인과 수험자의 반응과의 적절성에 관

한 것이다. 하지만 반응 과정에 대한 연구는 수험자들의 문항에 대한 반응 분석

뿐 아니라 수험자들의 수행을 관찰하고 평가하는 과정이 의도된 점수 해석, 또는

측정하려는 구인에 얼마나 부합하는지에 대한 연구를 포함한다.

3. 내적 구조에 기초한 증거

내적 구조에 기초한 증거는 검사문항과 검사 구성 요소간의 관계가 검사 점수 해

석의 기반이 되는 구인과 일치하는 정도를 나타낸다. 의도한 구인을 측정하기 위

한 검사의 개념적 구조와 검사의 문항들과 구성 요소들 사이의 내적 관련성

(interrelationships)이 얼마나 잘 부합되는지를 분석하는 것은 검사의 타당도를

평가하는 데 있어서 하나의 요소가 되어야 한다.

4. 다른 변수와의 관계에 기초한 증거

다른 변수와의 관계에 기초한 증거는 검사 점수와 외재적인 변수간의 관련성이 검사 점수

를 해석하는 데 기반이 되는 구인과 얼마나 일관성을 갖는지를 분석한다. 이러한 외재적 변

수들에게는 검사 점수가 예측할 것으로 기대되는 변수, 검사가 측정하려는 구인과 동일하

거나 관련된 구인, 또는 구별되는 구인을 측정하는 다른 검사 점수 등이 포함된다. 다른 변

수와의 관계에 기초한 증거는 수렴적 또는 판별적 증거, 검사-준거 관련성, 타당도 일반화

로 구분되어진다.

5. 검사결과에 기초한 증거

검사결과에 기초한 증거는 의도하거나 의도하지 않은 검사 사용의 결과를 분석하는 것이다.

여기서 중요한 것은 검사 사용의 결과가 직접적으로 타당도와 관련된 증거인지 아니면 사

회정책에 관한 결정에 영향을 주지만 타당도의 영역 밖에 해당하는지를 구별하는 것이다.

즉 검사결과가 비타당도(invalidity)에 기인한 것인지 수행(performance)에 있어서 타당한

차이에 기인한 것인지 구별하는 것이다.

지금까지 살펴 본 모든 증거들은 검사가 측정하려는 구인과의 일관성 또는 관련성을 그 판

단 준거로 하고 있다. 이는 구인타당도의 원리를 전체 타당화 과정으로 확대한 타당도에 대

한 통합적 관점의 특성을 보여주는 것이다.

또한 타당도 연구에서 중요한 것은 비록 몇몇 관련된 증거들을 수집할 수 없는 상황일지라

도 수집 가능한 증거들을 통해서 검사 점수 해석과 활용을 정당화할 수 있는 설득력 있는

주장을 하는 것이다.

수고하셨습니다.