測驗與評量之基本概念 - national tsing hua universityspec/4/98/981108-1.pdf ·...

49
測驗與評量之基本概念

Upload: others

Post on 05-Feb-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

  • 測驗與評量之基本概念

  • 前言

    評量就方式分正式與非正式評量。

    依時間分起點行為 形成性與總結性評量依時間分起點行為、形成性與總結性評量。

    其他如檔案評量、動態評量、生態評量、其他如檔案評量 動態評量 生態評量決策性評量、觀察性評量、功能性評量、能力本位評量與課程本位評量等。能力本位評量與課程本位評量等。

    不論上述和總評量均需考量評量工具之客觀性與可信度。

  • 有關鑑定與標記的問題

    IDEA法案(1997)為PL94-142(1975)的修正法案,稱為105 17公法 在其修法前的統計發現:稱為105-17公法,在其修法前的統計發現:

    (一)少數種族接受特殊教育的比例,遠高於其在

    普通班的比例。

    (二)貧窮的非裔美國人被教師診斷為MR是對照組(二)貧窮的非裔美國人被教師診斷為MR是對照組

    的2.3倍。

    (三)非裔美國人在中小學比例為16% 但在特殊教(三)非裔美國人在中小學比例為16%,但在特殊教

    育人口中卻有21%.

  • 無歧視的評量(Nondiscriminatory Assessment)

    PL105-17特別再提出評量時的注意精神包括:

    (1)需使用各種評量工具及方法收集學生功能性(1)需使用各種評量工具及方法收集學生功能性

    和發展性資料。家長亦可提供相關資料。

    (2)不以單一程序作為鑑定身心障礙學生之標

    準,或擬定教育計畫。

    (3)除了生理或發展因素外,可使用信效度均佳

    的測驗工具,評量認知及行為因素的影響。的測驗工具,評量認知及行為因素的影響。

  • PL105-17的附加條件:地方教育機構應確保

    (a)測驗材料和方法不得有種族及文化歧視

    (b)施測時,應以學生之母語或瞭解的溝通方式進行(b)施測時 應以學生之母語或瞭解的溝通方式進行

    (c)使用之測驗工具需具備良好之信效度

    (d)施測者需為受過訓練的專業人員,並依照指導手冊(d)施測者需為受過訓練的專業人員,並依照指導手冊

    程序進行。

    (e)只要懷疑學生某方面有身心障礙,就應該評量之。(e)只要懷疑學生某方面有身心障礙,就應該評量之。

    (g)評量工具及方法應提供相關資料,協助了解學生之

    教育需求教育需求

  • 程序的保障(Procedural Safeguards)

    PL105-17同時提出身心障礙者家長對於兒童從診斷、鑑定、安置、IEP之規劃與執行、檢討,都斷 鑑定 安置 IEP之規劃與執行 檢討,都有權享有機構或學校提供書面通知、紀錄及參與會議的權利。會議的權利

    教育單位應提供免費、適當的公立學校及個別化教育評量教育評量。

  • 我國特教法與美國IDEA的比較雖然背景不同、資源相差頗大。

    精神相同 作法一致精神相同、作法一致。

    頒佈時間相同。(1997)頒佈時間相同 (1997)

  • 優良測驗之十五個標準(Mason,Bramble(1978)

    (1)測驗所測量的構念 (2)信度

    (3)效度 (4)標準化的樣本(3)效度 (4)標準化的樣本

    (5)閱讀程度 (6)指導語的適切性

    (7)實施的容易程度 (8)計分的容易程度(7)實施的容易程度 (8)計分的容易程度

    (9)常模的資料 (10)實施的時間

    (11)測驗編製的說明 (12)題目的特性(11)測驗編製的說明 (12)題目的特性

    (13)有複本可供利用 (14)評論者的評語

    (15)測驗目的與測驗符合的程度(15)測驗目的與測驗符合的程度

  • 標準化測驗

    由測驗專家,根據測驗目的,經過標準化程序編製之測驗稱為標準化測驗序編製之測驗稱為標準化測驗。

    如常模參照測驗、具有結構性、有測驗手冊中說明計分方式、實施過程及結果解釋。

    標準化測驗在測驗之實施、計分與解釋程序標準化測驗在測驗之實施、計分與解釋程序均有一致性,對於測驗之情境控制與實施步驟安排 均需達到指導手冊之規定驟安排,均需達到指導手冊之規定。

  • 信度信度指測驗之一致性。亦即在不同時間對同一個體實施測驗會得到相同的結果。體實施測驗會得到相同的結果

    信度通常指測驗結果之可靠性與穩定性、以及題目之一致性,其觀念即為「相關」。目之一致性 其觀念即為 相關」

    相關決定兩個變項間的關係。相關係數介於+1.0到-1.0之間。評量信度的方法很多,以皮爾森相關係數(Pearson’s r)最常用來表示相關的強度或指數。( )檢查信度之方式,在時間部分採前後測,題目部分則採內部一致性考驗。

  • 重測信度

    對測驗之穩定性或時間的類化有興趣時採用 以同一工具在不同時間測試求一致性用。以同一工具在不同時間測試求一致性。

    一般而言,重測時間應在兩週或六個月以下,因為時間越久,穩定度越低。

  • 複本信度

    當一個測驗無法再測,又不想使用折半信度時 如該測驗有兩種以上之複本 即可度時,如該測驗有兩種以上之複本,即可依據受試接受複本測驗之分數求其相關。

    通常複本之假設為其題數、題型、內容、難度、鑑別度均屬一致。難度 鑑別度均屬一致

  • 折半信度

    通常測驗僅得實施一次,而其本身又無複本時 多會用折半信度法本時,多會用折半信度法。

    將題目之單雙數分成兩半計分,而後求其相關,又稱一致性係數。

  • 庫李信度

    是分析項目間一致性以估計信度的方法。

    使用庫李 號公式使用庫李20號公式。

  • 評分者信度

    計量評分者間之一致性。

    評分者間一致性的公式評分者間一致性的公式:

    1. 計算在類別中的所有觀察總次數。

    2. 計算各類別(同一行為)二者一致的次數。

    3 一致次數除以總次數。3. 一致次數除以總次數。

    4. 將(3)所得結果乘以觀察者人數

  • 效度指一個測驗或一套測量方式測量的結果符合該特質實際情況之程度。質實際情況之程度

    效度即是決定一個測驗是否有用之要素。

    效度分為內容效度、項目分析、建構效度、一致效度分為內容效度 項目分析 建構效度 一致性效度、同時效度、預測效度等。

    求測驗之合理性則採內容效度與項目分析。求測驗之合理性則採內容效度與項目分析

    求測驗之實用性則採建構效度、一致性效度、同時效度與預測效度。時效度與預測效度

    測驗應先具有效度,再求其是否有信度。

  • 效標關連效度指測驗之結果與其他已知之標準作比較所獲得之指標。因為使用時間不同又分

    (一)同時效度

    指測驗分數與實施測驗同時取得之效標之間的相

    關 即在評量一個工具短期間與其他測驗作比較關。即在評量一個工具短期間與其他測驗作比較。

    (二)預測效度

    指測驗分數與實施測驗後一段時間取得之效標之間指測驗分數與實施測驗後一段時間取得之效標之間

    的相關。旨在使用測驗分數預測個人在效標方面之未

    來表現來表現。

  • 內容效度

    指測驗題目能包含所有要測驗的項目。

    例如一個數學成就測驗如果只有兩位數的例如一個數學成就測驗如果只有兩位數的加減問題,而無其他類型,則其內容就不具代表性。

    內容效度無法用數字量化。內容效度無法用數字量化。

  • 建構效度建構效度在心理教育評量上屬於評估心理特色、人格特質、心理概念、特質、或理論特性之學術人格特質 心理概念 特質 或理論特性之學術用語。較內容效度更為嚴謹。

    建構效度必須考量:建構效度必須考量

    (1)隨個體發展的改變而改變。(2)與其他測驗之相關。(與相同建構之測驗高相(2)與其他測驗之相關 (與相同建構之測驗高相

    關,與不同建構之測驗低相關。)(3)以統計方法進行因素分析以說明評量工具之(3)以統計方法進行因素分析以說明評量工具之

    結構。

    (4)內部一致性 採同一方法評量相同之結構(4)內部一致性:採同一方法評量相同之結構。

  • 常模常模具有指出個人在團體中相對地位及提供比較數量的功能。數量的功能

    常模因為地區之大小可分全國性常模與地區性常模。因為受試之特性又分性別、年齡、年級、地區、職業、城鄉等。

    心理年齡及年級等值為發展性常模,亦即利用個體發展之程度與正常發展之力常相比較。

    百分位數及標準分數為組內常模,說明個體在某測驗之成績,和他具有相同背景之標準化族群相比較。

  • 心理年齡

    以比西量表為例,在標準化樣本中,將七歲兒童能答對的題目放在七歲組 八歲兒歲兒童能答對的題目放在七歲組,八歲兒童能答對的題目放在八歲組。其此類推。

    如果一個六歲兒童能通過八歲組之題目,其心理年齡即為八歲。其心理年齡即為八歲

  • 年級等值

    教育上常以年級來比較。教育上常以年級來比較 例如某生的數學能力相當四年級來比較。例如某生的數學能力相當四年級水準。假設以全年級全體平均數計算即可算出年級常模算出年級常模。

  • 測驗年齡當量(test age)指一位受試在測驗所得分數,和該測驗常模之百分等級五十比較相當的年齡。分等級五十比較相當的年齡

    例如在魏氏兒童智力量表各分測驗的平均量表分數是10,某生在(圖形補充)測驗得分原始分數為數是 某生在(圖形補充)測驗得分原始分數為16,查表得到該生在(圖形補充)之年齡當量為9歲2個月。(9:0-9:3取中數)如年齡當量跨越兩個年齡組需取低組之中數,跨越三個則取第二個的中數。

    求出分測驗的測驗年齡總和,再除以分測驗之數目,即可得「平均測驗年齡」。

  • 百分位數

    以標準化樣本中在某一原始分數以下所佔百分比來表示 例如百分等級七十四 代百分比來表示。例如百分等級七十四,代表有百分之七十四的同學表現不如他,同時指百分之二十六的同學表現比他好時指百分之二十六的同學表現比他好。

  • 標準分數

    原始分數經由線性或非線性轉換變成標準分數分數。

    標準分數計算為將原始分數先減去一個常數,在除以一個常數,但仍能保持原來分數間之數理關係。如Z分數或T 分數。數間之數理關係 如Z分數或T 分數

  • 決斷分數(切截)(cutoff score)

    決斷分數用於預測。得分在此決斷分數以上則預測其成功 反之則為失敗上則預測其成功,反之則為失敗。

    例如身心障礙及資賦優異學生鑑定原則鑑定基準中,對於智障者有「智力測驗結果未達平均數負二個標準差」,即為決斷分未達平均數負二個標準差」 即為決斷分數。

  • 施測程序與計分方法

    一、熟悉測驗手冊及準備作答用紙

    閱讀手冊1.閱讀手冊。2.熟悉施測方法及程序。2.熟悉施測方法及程序3.準備碼表、題目及答案紙等。

  • 施測程序與計分方法

    二、開始施測

    1 施測前先認識學生 在不同情境見幾次並輕鬆1.施測前先認識學生,在不同情境見幾次並輕鬆交談,與學生相處過程非正式進行觀察。

    2.測驗當天在測驗前花幾分鐘和學生交談,在學生放鬆後開始施測。

    3.向學生說明測驗之目的與重要性。4 謹慎依指導手冊進行施測。4.謹慎依指導手冊進行施測。

  • 施測程序與計分方法

    三、計算實際的年齡

    為便於選擇施測題目及對照常模1.為便於選擇施測題目及對照常模。2.施測當天之日期減出生日期。2.施測當天之日期減出生日期3. 除非指導手冊有規定,年齡一般算至

    年月 日期在 天以下自動刪除年月,日期在15天以下自動刪除,15天以上自動進一個月。(但魏氏兒15天以上自動進一個月 (但魏氏兒童智力量表第三版計算至日)

  • 施測程序與計分方法

    四、計算原始分數

    施測時獲得之第一個分數即為原始分數1.施測時獲得之第一個分數即為原始分數。2.多數測驗原始分數為答對之題數。但仍2.多數測驗原始分數為答對之題數 但仍

    有例外。

  • 施測程序與計分方法

    五、施測之起點與上限

    施測可依指示某一年齡層從第幾題開1.施測可依指示某一年齡層從第幾題開始做。如果起始點答錯則可能測驗太始做 如果起始點答錯則可能測驗太

    難需另找測驗。或是倒退幾題做,以

    便找到起點便找到起點。

    2 注意指導手冊所規定是否有連續錯幾2.注意指導手冊所規定是否有連續錯幾題便停止施測之規定。

  • 施測程序與計分方法

    六、作答紙或博多稿(protocol)的使用作答紙或博多稿通常均包含施測時的1.作答紙或博多稿通常均包含施測時的一些提示,例如起始點與上限(連續一些提示 例如起始點與上限(連續

    幾題錯誤即停止)

    通常教育測驗均提供練習題 練習題2.通常教育測驗均提供練習題,練習題不計分,且允許指導直到答對為止。不計分 且允許指導直到答對為止

  • 施測程序與計分方法

    七、測驗情境之營造

    營造輕鬆無焦慮的環境與氣氛1.營造輕鬆無焦慮的環境與氣氛。2.鼓勵學生專注給予增強而非答對時給予增強。3.依照指導手冊說明進行。4 注意避免因知覺或溝通障礙影響測驗。4.注意避免因知覺或溝通障礙影響測驗。5.學生作答避免受測驗材料或作答方式之影響。

  • 施測程序與計分方法

    八、獲得衍生分數

    以原始分數對照常模表以獲得一個衍生分以原始分數對照常模表以獲得一個衍生分數。如百分等級、年級等值、平均數100或50之標準分數,或其他標準分數(Z分數或T分數)T分數)

  • 測驗結果與解釋

    主要用於進一步之教育介入方案。在特殊教育領域則分為以下功能:教育領域則分為以下功能:

    1. 判定是否符合接受特殊教育之門檻。

    2. 測驗結果之周延解釋。

    3. 書寫測驗結果。3. 書寫測驗結果

    4. 擬定教育目標。

  • 常模參照解釋的原則

    需以該測驗測量的真正特質來解釋測驗分數。

    解釋測驗分數需考慮學生之家庭背景及其身心狀況解釋測驗分數需考慮學生之家庭背景及其身心狀況。

    需以使用該測驗之特殊場合為依據。

    測驗分數應以「一段分數」而非「特定量值」來解釋。釋

    測驗分數需有其他證據作佐證。

    解釋測驗時 應儘量使用描述性與事實性之說明解釋測驗時,應儘量使用描述性與事實性之說明,避免批判性判斷。

  • 解釋測驗應包含下列內容

    一、內容方面之描述:如測驗內容本身有關受試

    知識與能力(並分析內在差異)如何 測驗知識與能力(並分析內在差異)如何、測驗

    時之心態及反應。

    二、在某一特殊團體之等級。

    三、教育發展之水準:亦即與其他團體作比較。

    四、在某一時距內之生長與進步。

    五 個人在各方面能力之組型與側面圖。五、個人在各方面能力之組型與側面圖。

  • 特殊兒童評量的歷程

    特殊學生特徵

    轉介

    評量

    鑑定標準

    個案

    篩選

    鑑定 診斷評量

    基本流程篩選

    基本流程

    創 藝 領性適情人語溝知成智造力評量

    術才能評

    導才能評

    向評量

    應行為評

    緒評量

    格評量

    言評量

    通評量

    動評量

    就測驗

    力評量

    評量領域

    量 量量

  • 特殊兒童與一般兒童的差異性

    生理特性:肢體、視覺、聽覺、身體病弱等

    心理特性:智力、行為、情緒、認知歷程等

    差異存在於:

    生心理之某一部份或某一特質之異常( b l)’缺陷生心理之某一部份或某一特質之異常(abnormal)’缺陷(deficit)’缺憾(disability)’ 損傷(impairment)’障礙(handicapped)’病症(disorder)及困擾(disturbanced)等現象因此其

    1.學習能力不同 2. 生理功能不同 3.社會互動不同

    4 行為控制不同 5 生活適應不同 6 職業生活不同4.行為控制不同 5. 生活適應不同 6.職業生活不同

    但仍有其相同性存在,諸如發展歷程模式、生理組織結構、

    心理需求要素、人格結構發展、及社會適應內容等。心理需求要素 人格結構發展 及社會適應內容等

  • 特殊兒童鑑定與評量的涵義鑑定(IDENTIFICATION)由學齡兒童中找出特殊學生以作為安置與教育的由學齡兒童中找出特殊學生以作為安置與教育的

    歷程,分為初選及複選階段。

    初選:初選:

    藉晤談、觀察、團體測驗篩選可疑之個案。

    複選:

    針對轉介及初選可疑個案進行進一步測試及複檢。

    之後由鑑定委員會作綜合判斷

  • 特殊兒童鑑定與評量的涵義

    評量(assessment):

    測驗(test)

    評量 涵蓋前述各項名詞測量measurement)

    涵蓋前述各項名詞之涵義,隨測驗領域之不同而交互使

    評估(assessment)

    診斷域之不同而交互使用之。診斷(diagnosis)

    評量( l ti )評量(evaluation)

  • 鑑定與評量之要件

    一、WHY:為何要評量?二 鑑定與評量的內容是什麼?二、WHAT:鑑定與評量的內容是什麼?三、WHO:誰來做鑑定與評量?三 WHO:誰來做鑑定與評量?四、HOW:如何進行鑑定與評量?五五、WHEN&WHERE:

    何時何地進行鑑定與評量?何時何地進行鑑定與評量?

  • 一、WHY:為何要評量?1.篩選與鑑定特殊兒童

    教學方案與策略之決定與評鑑2.教學方案與策略之決定與評鑑3.決定目前的教育水準及教育需求3.決定目前的教育水準及教育需求4.分類與安置之決定

    發展個別化教育計畫5.發展個別化教育計畫

  • 二、WHAT:鑑定與評量的內容是什麼?

    教育

    評量包括學習機能能力、學習成效、學習困難所在、及影響教育及學習之因素等評量 之因素等

    心理 認知:感官決動作協調、注意力辨識力、記憶力推理能力與語言能力、後設認知能力及智力

    評量語言能力、後設認知能力及智力

    情意:學習動機、態度、自我觀念及興趣與情緒控制等

    生理生理機能(視聽觸味嗅覺) 生長史 疾病史等

    生理評量

    生理機能(視聽觸味嗅覺)、生長史、疾病史等

    社會

    適應

    能力社會互動、生活自理、語言溝通、問題解決等

  • 三、WHO:誰來做鑑定與評量?應以多元訓練小組及專業團隊方式進行。

    評量人員應包括普通班教師、特殊教育教師、評量人員應包括普通班教師 特殊教育教師專家、治療師、學校心理學家、家長等。

  • 四、HOW:如何進行鑑定與評量?1.擬定鑑定與評量計畫

    進行施測或觀察晤談2.進行施測或觀察晤談3.測驗分數及資料整理3.測驗分數及資料整理4.送鑑輔會以供判別

  • 五、WHEN&WHERE:五、WHEN&WHERE:何時何地進行鑑定與評量?

    階段 評量內容 評量時機 評量地點 評量人員

    第一 團體智力 發現可疑個 教室內 級任教師第一階段

    團體智力

    成就測驗

    發現可疑個案

    教室內 級任教師

    專業人員

    第二階段

    個別智力

    成就測驗

    發現可疑個案複檢

    教室外 級任教師

    專業人員

    第三 學科診斷測驗 瞭解可疑個 教室內外之適 級任教師階段 輔助性資料蒐集 案問題並找

    出原因當場所 學科教師

    專業人員

  • 寫在魏氏正式上課之前

    寧願做一個高明而老練的心理評估藝術工作(art of psychological assessment)的實作(art of psychological assessment)的實際從業者。

    而非智力測驗員(intelligence-tester)或心理評量技術員( psychometrist-technician )評量技術員( psychometrist technician )

  • 認清心理評估

    是一種運用測驗分數所進行的診斷活動

    是一位機靈的診斷者 描繪受檢者的一幅是一位機靈的診斷者,描繪受檢者的一幅統整而又內容豐富的心理肖像( h l i l t it)(psychological portrait)。

    期望藉由魏氏時發揮個人的臨床敏感度並整合必要(clinical sensitivity),並整合必要

    的其他測驗資訊及個案史料,以描繪案主獨特又具有個人與社會意義的心理肖像。