standart belirleme

A.FARUK KILIÇELİF ÖZLEM ARDIÇİLHAN KOYUNCUMUSTAFA GÖKCAN

STANDART BELİRLEME NEDİR? Standart belirleme; iki ya da daha fazla performans derecesini ayıran puanların belirlenmesinde izlenen tanımlanmış sistemli kurallar ya da süreçler bütünüdür.

STANDART BELİRLEME YÖNTEMLERİKesme puanının belirlenmesi standart belirleme sürecidir ve istenilen yeterlikte olan öğrenci ile olmayan öğrencinin ayırt edilmesini sağlar.Kesme puanı belirlenmeden önce performans düzeyi tanımlanmalıdır.

STANDART BELİRLEME YÖNTEMLERİPerformans Düzeyi: Kişilerin belirli bir alanda “yetersiz”, “temel düzeyde”, “yeterli” ya da “ileri düzeyde” sınıflandırıldıklarında hangi bilgi, beceri ve yeteneğe sahip olmaları gerektiğini detaylı olarak anlatan tanımlamalardır.

STANDART BELİRLEME YÖNTEMLERİStandart belirleme sürecini kişileri performans düzeylerine göre ayıran performans standartlarını, test puanları cetvelindeki rakamsal hale getirme süreci olarak adlandırılabiliriz.

STANDART BELİRLEME AŞAMALARIStandart Belirleme Aşamaları:1. Uygulama grubu (panel) seçilmesi2. Standart belirleme metodunun seçimi, çalışma materyallerinin hazırlanması3. Performans düzeyleri tanımlarının hazırlanması 4. Standart belirleme metodunu kullanabilmesi için katılımcıların eğitilmesi5. Katılımcı kararlarının alınması6. Nihai kesme puanının hesaplanması

STANDART BELİRLEME YÖNTEMLERİ1. Nedelsky Yöntemi-Sadece çoktan seçmeli testlerde kullanılabilir. -Uzmanlardan her bir olası yanlış seçeneği değerlendirmeleri istenir.-Her bir madde için, geçti-kaldı sınırındaki bir öğrencinin seçeneklerden kaç tanesinin yanlış olduğunu bilerek eleyebileceklerini tahmin etmeleri beklenmektedir.

STANDART BELİRLEME NEDİR?2. Angoff Yöntemi

Angoff yönteminde Nedelsky yönteminden farklı olarak maddelerin seçenekleri ayrı ayrı değil, madde bir bütün olarak değerlendirilir. Uzman her bir soruyu sınırdaki bir öğrencinin cevaplayabilme olasılığını tahmin eder. Doğru cevaplama olasılıklarının toplamı, bir uzman tarafından belirlenen kesme puanıdır.

STANDART BELİRLEME NEDİR?3. Angoff Çeşitlemeleri / 1-0 ( Yes/No ) Yöntemi

- Uzmanlardan, öğrenciye uygulanacak olan testteki her bir test maddesini inceleyip, minimum yeterlilik düzeyindeki bir öğrencinin bu maddeleri doğru cevaplayıp cevaplayamayacağını tahmin etmeleri istenir.- Öğrencinin maddeyi doğru cevaplayacağı düşünülüyorsa 1 puan, yanlış cevaplayacağı düşünülüyorsa 0 puan verilir.- Puan toplamları alınarak o uzman için bir kesme puanı belirlenir; tüm uzmanların kesme puanı ortalaması ile de testin kesme puanı belirlenmiş olur.

STANDART BELİRLEME NEDİR?4. Ebel Yöntemi-Her uzman soruları önce gruplara ayırır ve daha sonra da her gruptaki sorular için tahminde bulunur.-Her soru için iki farklı yargıya varılır. Bir yargı “güçlüğü” ile ilgili, diğeri ise “uygunluğu” ile ilgili olarak verilir.-Ebel “kolay”, “orta”, “zor” olmak üzere üç güçlük düzeyi, “gerekli”, “önemli”, kabul edilebilir” ve “tartışılabilir” olmak üzere dört uygunluk boyutu tanımlamıştır.

STANDART BELİRLEME NEDİR?4. Ebel YöntemiYargıcılardan maddelerin tamamını tabloda belirtilen hücrelere yerleştirmeleri ve minimum yeterlikteki bireylerin, sınıflanan bu maddelerin yüzde kaçını doğru cevaplayabileceğini belirtmeleri istenir.Hesaplama aşamasında, her bir hücredeki madde sayısı ile o hücre için belirtilen geçme oranı çarpılmakta ve bu çarpımlar toplanmaktadır. Her bir yargıcı için bu işlem tekrarlanmakta ve ortalama alınarak nihai kesme puanına ulaşılmaktadır.

STANDART BELİRLEME NEDİR?5. İşaretleme/Ayraç (Bookmark) Yöntemi İşaretleme yönteminin esası, madde tepki kuramı (MTK) kullanılarak maddelerin haritalanmasıdır.Maddeler ölçek üzerindeki yerlerine göre sıralanırlar. Ölçek üzerindeki yerleri de madde güçlüklerine (p) göre belirlenir. Sıralama ise en basit maddeden en zor maddeye doğru yapılır.

STANDART BELİRLEME NEDİR?6. Sınır Grup Yöntemi

- Bu yöntemde kesme puanı performans düzeyleri sınırındaki (tam olarak yeterli değil ama yetersiz de değil) öğrencilerin puanları esas alınarak hesaplanır.- Sınır grupta olan öğrencileri belirlemeleri istenir.- Öğrenciler belirlendikten sonra uygulanan test sonucunda elde edilen puanların medyanı kesme puanı olarak alınır.

STANDART BELİRLEME NEDİR?7. Karşıt Gruplar Yöntemi

Farklı yetenek grupları arasında beklenen performans düzeyi ile var olan performans düzeyi karşılaştırılmakta, kesme puanı da bu karşılaştırmaya göre belirlenmektedir.Grup “yeterli” ve “yetersiz” olmak üzere uzmanlar tarafından 2 gruba ayrılır.Yeterli ve yetersiz grubun dağılımının kesiştiği nokta kesme puanı olarak belirlenir.

Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen KesmePuanlarının Sınıflama Tutarlılıklarının KarşılaştırılmasıMakale Künyesi:

Seçil ÖMÜR ve Hüseyin SELVİ, Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi,Kış 2010, 1 (2), 109-113

Giriş: Ölçme araçlarından elde edilen puanlara dayanarak bireyler hakkında seçme, yerleştirme, tanı, rehberlik gibi çeşitli kurumsal kararlar verilmektedir. Geliştirilmiş bir ölçme aracını kullanarak bir birey için elde edilmiş bir puan hakkında karar verebilmek (assessment) için de çeşitli ölçütler kullanılmaktadır. Bu ölçütlerden biri de elde edilen puanın, belirlenen bir kesme puanını aşıp aşmadığıdır.

Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen KesmePuanlarının Sınıflama Tutarlılıklarının Karşılaştırılması

Kesme puanına dayalı değerlendirme işleminde teste giren bireylerin sınıflanması söz konusu olduğundan, verilecek olan kararlar da; geçer-kalır, başarılı-başarısız, yeterli-yetersiz, olumlu-olumsuz tutuma sahip vb. şeklinde genellikle iki kategori düzeyinde belirlenmektedir.


Kesme puanının belirlenmesine ilişkin birçok farklı yöntem bulunmaktadır. Bu çalışma kapsamında kesme puanı belirlemede kullanılan yöntemler aşağıdaki gibidir:• Angoff Yöntemi• Ebel Yöntemi• Nedelsky Yöntemi


Belirtilen kesme puanı belirleme yöntemlerinde yeterli yargıcı sayısının belirlenmesi, yargıcıların niteliklerine karar verilmesi, yargıcıların seçilmesi gibi sıkıntılar da bulunmaktadır. Ayrıca belirtilen farklı yöntemlerle belirlenen kesme puanları temel alınarak, bu puanların ne derecede tutarlı sınıflama yaptığının belirlenmesi de oldukça önemlidir. Bu yöntemleri karşılaştıran çeşitli çalışmalar bulunmasına rağmen (Chang, 1999; Livingston ve Zieky, 1989; Alsmadi, 2007), hiçbirinin sınıflama tutarlılığını incelemediği görülmektedir.


Amaç: Bu üç yöntemin kesme puanlarından hangisinin, değişik yargıcı sayılarında daha tutarlı sınıflama yaptığını incelemek.


Problemler:

1. Angoff, Ebel ve Nedelsky yöntemleriyle elde edilen kesme puanlarına dayanarak hesaplanan sınıflama tutarlığı indeksleri hangi yöntemde daha yüksektir?2. Farklı yargıcı sayılarına (10, 20 ve 30) göre Angoff, Ebel ve Nedelsky yöntemleriyle hesaplanan kesme puanlarının, sınıflama tutarlığı indeksleri hangi yöntemde daha yüksektir?


Yöntem: Çalışma kapsamında; Angoff, Ebel ve Nedelsky Yöntemleriyle ve farklı yargıcı sayıları kullanılarak elde edilen kesme puanlarının sınıflama tutarlığı indekslerini incelenmiştir.


Çalışma Grubu: Yargıcılar: 2009–2010 eğitim öğretim yılında çeşitli illerin ilköğretim okullarında görev yapan 24 İngilizce öğretmeni ve Mersin Üniversitesi’nde görev yapan 6 alan uzmanı


Öğrenciler: Mersin ilindeki özel bir dershaneye devam eden 176 ilköğretim 8. sınıf öğrencisi.


Veri Toplamı Aracı: 8. sınıf düzeyinde 17 tane çoktan seçmeli test maddesinden oluşan ve bir dershanenin deneme sınavında kullanılan İngilizce testi (KR-20: .60).


Veri Toplama Süreci: Yargıcılardan testin maddeleri için kendilerine verilen değerlendirme formları üzerinde, 1. Angoff yöntemi için, geçme-kalma (minimum yeterlik) sınırındaki öğrencilerin o maddeyi doğru cevaplama yüzdesini tespit etmeleri, 2. Ebel yöntemi için, ölçekteki bütün maddeleri güçlük ve önem derecelerine göre sınıflamaları ve geçme-kalma (minimum yeterlik) sınırındaki öğrencilerin sınıflanan bu maddelerin yüzde kaçını geçebileceklerini belirtmeleri


Veri Toplama Süreci: 3. Nedelsky yöntemi için, geçme-kalma (minimum yeterlik) sınırındaki öğrencilerin, her bir madde için eleyebileceği çeldirici sayısını belirtmeleri istenmiştir.Ardından farklı yargıcı sayılarına (10, 20 ve 30) göre Angoff, Ebel ve Nedelsky yöntemleriyle elde edilen kesme puanlarının sınıflama tutarlığı indeksleri karşılaştırılmıştır.


Verilerin Analizi: Farklı yargıcı sayıları (10, 20 ve 30) tüm yargıcılar içindenseçkisiz(random) seçilerek elde edilmiştir. Angoff, Ebel ve Nedelsky yöntemleri kullanılarak elde edilen kesme puanlarının sınıflama tutarlığı indeksleri, tek uygulamaya dayanan ve Subkoviak (1988) tarafından geliştirilen formülü kullanılarak hesaplanmıştır. c:KesmePuanı :Testin Ortalaması ve S:Testin Standart Sapması


Bulgular

Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen Kesme

Puanlarının Sınıflama Tutarlılıklarının KarşılaştırılmasıFarklı yargıcı sayısına göre; Angoff, Ebel ve Nedelsky yöntemleriyle elde edilen kesme puanları ve bu puanların sınıflama tutarlığı indeksleri aşağıda belirtilmektedir.Tablo 1. Angoff, Ebel ve Nedelsky yöntemleri ile elde edilen kesme puanları ve bu puanların sınıflama tutarlığı indeksleri

Yargıcı Sayısı (N) En Yüksek Standart Sapma En yüksek kesme puanıEn yüksek sınıflama tutarlılığı

10 Nedelsky Ebel Nedelsky20 Ebel Ebel Nedelsky30 Nedelsky Angoff Nedelsky

Bulgular

Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen KesmePuanlarının Sınıflama Tutarlılıklarının KarşılaştırılmasıYargıcı sayısının 10 ve 20 olması durumlarında, en yüksek kesme puanının Ebel yöntemiyle ve en iyi sınıflamanın Nedelsky yöntemiyle elde edildiği görülmektedir. Yargıcı sayısının 30 olması durumunda ise, en yüksek kesme puanının Angoff yöntemiyle ve en iyi sınıflamanın Nedelsky yöntemiyle elde edildiği görülmektedir.

Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen KesmePuanlarının Sınıflama Tutarlılıklarının KarşılaştırılmasıSonuçYargıcı sayısına bağlı olarak kesme puanlarında önemli bir değişim gözlenmemekle birlikte, üç yöntemde ve üç ayrı yargıcı sayısında en yüksek sınıflama tutarlığı indeksinin Nedelsky yöntemiyle elde edildiği sonucuna ulaşılmıştır.

Angoff, Ebel ve Nedelsky Yöntemleriyle Belirlenen KesmePuanlarının Sınıflama Tutarlılıklarının KarşılaştırılmasıÖnerilerPo değerlerinin güvenirliği yüksek ölçeklerde daha iyi sonuçlar vereceği düşünüldüğünden benzer çalışmaların, farklı güvenirlik katsayılarına sahip ölçekler için elde edilen kesme puanlarının sınıflama tutarlılıkları karşılaştırılabilir.

İşaretleme ve Angoff Standart Belirleme YöntemlerininKarşılaştırılmasıMakale Künyesi:

Sevda ÇETİN ve Selahattin GELBALKuram ve Uygulamada Eğitim Bilimleri, 13 (4), 2159-2175

Amaç: Bu araştırma ile Angoff ve İşaretleme Yöntemleri ile bulunan kesme puanlarının mevcut bir geçme puanı ile karşılaştırılması amaçlanmıştır.

İşaretleme ve Angoff Standart Belirleme YöntemlerininKarşılaştırılması

Problemler:İşaretleme ve Angoff standart belirleme yöntemleri ile elde edilen kesme puanları bir vakıf üniversitesinin İngilizce yeterlik sınavının belirlenmiş mevcut geçme puanından farklılaşmakta mıdır? Bu yöntemlerle yürütülen standart belirleme süreci nasıl işlemektedir?


Yöntem: Angoff ve İşaretleme yöntemlerinin özelliklerinin belirlenmesi, durum saptamaya yönelik olduğundan bu yönüyle çalışma betimsel bir araştırma niteliği taşımaktadır. Ayrıca yöntemlerin kıyaslanmış olması bakımından da temel bir araştırmadır.


Yöntem

Yargıcılar: 17 İngilizce dil uzmanıÖğrenciler: 2009 yılı güz döneminde üniversite İngilizce yeterlik sınavına giren toplam 564 öğrenci


Veri Toplama Aracı: Bir vakıf üniversiteninhazırlık birimince uygulanmakta olan ve önceden belirlenmiş bir kesme puanı bulunan yeterlik testidir.


Verilerin Analizi: 1 Parametreli ve 2 Parametreli Lojistik Model sayıltılarının incelenmesi için çalışmada BILOG programı kullanılmıştır.


Araştırmada model veri uyumu için ● Tek Boyutluluk, ● Yerel Bağımsızlık, ● Testteki Maddelerin Sabit Ayırt Edicilik Düzeyine Sahip Olup Olmadığı, ● Şans Başarısı, ● Testin Hız Testi Olup Olmadığı,● Madde Ve Yetenek Parametrelerinin Değişmezliği varsayımları her üç modele göre incelenmiş, kullanılan veriye uygun düşen modeller belirlenmeye çalışılmıştır.


İşaretleme ve Angoff Standart Belirleme YöntemlerininKarşılaştırılmasıYapılan tüm analizler sonucunda veri setinin 2 Parametreli Model için en uygun olduğu görülmüştür. Çalışmada modeller arasında karşılaştırma yapabilmek adına madde parametreleri 1 Parametreli Model için de kestirilmiştir.

Problem 1:

Üniversite İngilizce hazırlık programı yeterlik sınavının Angoff yöntemiyle hesaplanan yeterlik puanı mevcut yeterlik puanından farklı mıdır? İşlemler:

Angoff Yönteminin işlemleri uygulanmıştır. Bunun için 17 İngilizce dil uzmanından (okutman) yardım alınmıştır.


Bulgular: Üniversitenin Belirlediği Kesme Puanı: 35,75 Angoff Yöntemine Göre Belirlenen Kesme Puanı: 27,83


Problem 2:Üniversite İngilizce hazırlık programı yeterlik sınavının İşaretleme yöntemiyle hesaplanan yeterlik puanı mevcut yeterlik puanından farklı mıdır? İşlemler:İşaretleme Yönteminin işlemleri uygulanmıştır. Bunun için 17 İngilizce dil uzmanından (okutman) yardım alınmıştır. Ayrıca BILOG programı kullanılmıştır.


Bulgular:

Üniversitenin Belirlediği Kesme Puanı: 35,75İşaretleme Yöntemine Göre Bulunan Kesme Puanları:19,242 (1PLM ve RP50)25,247 (1 PLM ve RP67)18,897 (2PLM ve RP50) 25,102 (2PLM ve RP67)

Problem 3:

Angoff yönteminde uzmanların belirlediği madde cevaplama olasılıkları ile üniversite İngilizce hazırlık programı yeterlik sınav puanlarından hesaplanan gerçek madde güçlükleri arasındaki ilişki düzeyi nasıldır? İşlemler:

Angoff Yönteminin işlemleri uygulanmıştır.


Bulgular:Uzmanların Madde Cevaplama Olasılıkları Ortalamaları İle Gerçek Madde Güçlükleri Arasındaki Korelasyon=0,60 Manidarlık Düzeyi: 0,01Anlamlı olduğu görülmüştür.


Problem 4:Üniversite İngilizce hazırlık programı yeterlik sınavına ilişkin Angoff ve İşaretleme Yöntemiyle hesaplanan yeterlik puanı (kesme puanı) ile mevcut yeterlik puanı üstünde puan alan öğrenci yüzdeleri farklılaşmakta mıdır? İşlemler:Öğrenci yüzdeleri bulunduktan sonra karşılaştırma yapılmıştır. Bunun için bağımlı iki yüzde arasındaki farkın testi yapılmış ve anlamlılığı z testi ile sınanmıştır. Test işleminde önem düzeyi 0.05 alınmıştır.


Bulgular:Üniversite kesme puanının diğer yöntemlerle belirlenene kesme puanlarıyla farklılaştığı gözlenmektedir. Fakat Angoff ve İşaretleme yöntemlerinden elde edilen kesme puanları arasında anlamlı bir fark bulunmamaktadır.


Tartışma ve Öneriler

1. Üniversitenin belirlemiş olduğu geçme puanı, olması gerekenden daha yüksek bir puan olarak karşımıza çıkmaktadır.2. Üniversitenin idari olarak kesme puanı belirlerken A1 ve A2 düzeyi sınırındaki öğrenciler için değil, genel olarak A2 düzeyindeki öğrenciler için bir geçme puan belirlemesi neden olarak gösterilebilir.



3. Uzmanların kararlarıyla testin yapısının oldukça benzerolduğu, uzmanların madde cevaplama olasılıkları ortalamaları ile gerçek madde güçlükleri arasındaki orta düzeyde bir ilişki olduğu görülmüştür.4. Üniversite herhangi bir standart belirleme yöntemi kullanmamış olup idari bir kararla belirlemiş olduğu kesme puanı A2 düzeyindeki öğrenciler düşünülerek hesaplanmıştır.



Eğitimcilerin geçerli bir geçme puanı belirlemek için, kendi koşullarına uygun daha kullanışlı olabilecek bir standart belirleme yöntemi kullanmaları önerilebilir. Benzer bir çalışma farklı standart belirleme yöntemleri kullanılarak yapılabilir. İşaretleme yöntemi ile standart belirme çalışması sadece çoktan seçmeli maddelerden oluşan bir testte yönelik değil farklı soru tiplerinin olduğu sınavlara yönelik olarak da yapılabilir.


Ömür, S. & Selvi, H. (2010). Angoff, Ebel ve Nedelsky yöntemleriyle belirlenen kesme puanlarının sınıflama tutarlılıklarının karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 1 (2), 109-113. Çetin, S. & Gelbal, S. (2013). İşaretleme ve Angoff standart belirleme yöntemlerinin karşılaştırılması. Kuram ve Uygulamada Eğitim Bilimleri, 13(4), 2159-2175.

KAYNAKÇA

TEŞEKKÜRLER…

standart belirleme

Education