14. ULUSAL TIP EĞİTİMİ KONGRESİ, Bursa, Türkiye, 31 Ekim - 03 Kasım 2024, ss.1-2, (Özet Bildiri)
DEĞERLENDİRMEDE EŞİTLİK: ÇOKTAN
SEÇMELİ SORU TESTLERİNE YÖNELİK BİR İNCELEME
GİRİŞ
İyi
bir değerlendirme için Ottawa Kriterleri arasında kabul
edilebilirlik yer alır. Eşitlik, kabul edilebilirlik üzerine etkilidir. Benzer
gruplar için aynı içeriğe yönelik olarak test bulueprint kullanarak hazırlanan testlere ait sonuçlarının benzer olması değerlendirmede
eşitliğin araştırılmasında kanıt olarak kullanılabilir. Eşitliğin
araştırılmasında testleri karşılaştırabilmek için genel test istatistikleri, ortalamanın tahmini standart hatası (SEM), Kuder- Richardson 20
(KR20) değerleri ve madde analizi sonuçları kullanılabilir.
AMAÇ
Bu
araştırmanın amacı, aynı yıl içinde benzer gruplarda aynı bloğun tekrarlarının değerlendirilmesi
için test blueprint kullanarak hazırlanan ÇSS testlerinde merkezi eğilim,
dağılım ölçütleri ve madde analizi sonuçlarının karşılaştırılması aracılığı ile
testlerin eşdeğerliği hakkında değerlendirme yapmaktır.
YÖNTEM
Çalışmada 2022-2023 akademik yılında, Fakültemiz Dönem 5 programında beş kez gerçekleştirilen kadın
doğum-üroloji stajı ÇSS testlerine ait veriler karşılaştırılmıştır. Testler,
test blueprinte sadık kalarak hazırlanmıştır. Testler için öğrencilerin puan gruplarına göre dağılımları, genel test
istatistikleri, KR 20, SEM hesaplanmıştır. Test maddeleri için
güçlük, ayırt edicilik ve nonfonksiyonel
çeldirici sayısı saptanmıştır. Karşılaştırmalarda
ANOVA ve ki-kare testi kullanılmıştır. Etki büyüklüğü Eta kare değeri ile
incelenmiştir. p < 0.05 anlamlı olarak kabul edilmiştir.
BULGULAR
Beş
testin puan ortalamaları 69 - 74, KR20 değerleri 0.85 - 0.90, SEM değerleri ise
3.44 - 3.64 arasında değişmektedir. Testlerden alınan puanların ortalaması istatistiksel
olarak anlamlı düzeyde birbirinden farklıdır; etki büyüklüğü incelendiğinde
test puanlarının gruplar arasında düşük/orta düzeyde farklılaştığı saptanmıştır
(F=3.217, p=0.013 ve η2=0.039). Testler arasında maddelerinin güçlük, ayırt edicilik ve nonfonksiyonel çeldirici sayısı
açısında istatistiksel olarak anlamlı bir farklılık olmadığı
saptanmıştır (sırasıyla F=1.527, p=0.193, F=1.485, p00.205 ve
=15.388,
p=0.496).
TARTIŞMA
İncelenen değişkenler açısından test sonuçları arasında anlamlı bir
farklılık saptanmamıştır. Öğrenci puanları arasındaki farklılığın etki
büyüklüğü düşüktür. Sonuçlar beş gruba da benzer özellikte testler uygulandığını
destekler yöndedir.
SONUÇ
Test blueprint kullanımının hedef düzeyi ve ağırlığının gözetilmesinde,
içerik geçerliliğinin sağlanmasında önemli bir katkısı bulunmaktadır. Test
sonuçlarının analizi değerlendirme süreçlerinin standardizasyonu için bize
önemli veriler sunar.
ANAHTAR SÖZCÜ KLER
Değerlendirmede
kabul edilebilirlik, değerlendirmede eşitlik, çoktan seçmeli soru, madde
analizi, test istatistikleri