ÇOKTAN SEÇMELİ SORULARDA İTEM ANALİZİ VE SORU YAZARLARININ SORU GÜÇLÜK DEĞERİ ÖNGÖRÜLERİNİN DEĞERLENDİRİLMESİ: DOKUZ EYLÜL ÜNİVERSİTESİ TIP FAKÜLTESİ ÖRNEĞİ

Giriş: Çoktan seçmeli sorular (ÇSS), bilgi değerlendirme amacıyla tıp eğitiminde yaygın olarak kullanılır. ÇSS özelliklerini değerlendirmede güçlük düzeyi (Difficulty Index - DIF I), ayırt edicilik düzeyi (Discrimination Index - DI) ve çeldiricilerin etkinliği (Distractor Efficency - DE) en sık kullanılan madde analizleridir. ÇSS yazarları, sorularını yazarken olası güçlük düzeyini öngörmeli, çeldiricileri düzenlemede özenli olmalıdır.

Amaç: Bu çalışmanın amacı sınavlarda kullanılan ÇSS kalitesini ve soru yazarlarının sorularının güçlük düzeyleri hakkındaki öngörülerini değerlendirmektir.

Yöntem: Bu çalışmada 2021-2022 akademik yılında Dokuz Eylül Üniversitesi Tıp Fakültesi birinci sınıfında yapılan toplam altı testte yer alan, sınavlarda kullanılmadan önce bir ölçme değerlendirmeci tarafından madde yazım hataları açısından gözden geçirilerek düzenlenen, tamamı ilk kez kullanılmış beş seçenekli 688 ÇSS ’nin DIF I, DI ve DE değerleri ve non fonksiyonel çeldirici (Non Fonksiyonel Distractor  - NFD) sayıları saptanmış ve nitelikleri değerlendirilmiştir. NFD' nin DIF I ve DI üzerindeki etkisi, etki büyüklüğü dikkate alınarak değerlendirilmiştir.  Soru yazarlarının DIF I tahminleri ile gerçekleşen değerlerin uyumu Mc neamer ki-kare testi ile değerlendirilmiştir. Analizler SPSS 24.0’ da (IBM, Armonk, NY, United States of America) yapılmıştır.

Bulgular: 688 ÇSS’ nin DIF I ortalaması 0,57±0,21’dir ve %47,5’ i ideal güçlük düzeyindedir. ÇSS yazarları sorularını hazırlarken madde analizi sonuçlarına göre anlamlı olarak daha yüksek düzeyde sorularının kabul edilebilir DIF I değerlerine sahip olduğunu ön görmüştür (Ki kare mc neamer =9,45, p=0,002). DI ortalaması 0,31 ± 0,17’dir ve %43,6’ sının ayırt ediciliği mükemmel düzeydedir. Çeldiricilerin %36,8’ i NFD’ dir. ÇSS’ lerin %30,1’ inde ise tüm çeldiriciler fonksiyoneldir. ÇSS’ lerin güçlüğü ve ayırt ediciliği ÇSS’ deki NFD sayısına göre anlamlı olarak farklıdır (tümü için p<0,001, η2 sırasıyla  0,569 ve 0,083).

Sonuç: Madde analizleri, testlerde kullanılan ÇSS' lerin kalitesi hakkında bize değerli bilgiler sağlayan pratik analizlerdir. Soru bankalarının oluşturulmasında madde analizi sonuçları dikkate alınmalıdır. Bu çalışmada, literatürde yer alan benzer çalışmalara göre ideal DIF I ve mükemmel DI değerine sahip ÇSS oranının çok daha yüksek olduğu saptanmıştır. NFD sayısının güçlük ve ayırt edicilik düzeyi üzerine anlamlı bir etkisinin olduğu, özellikle güçlük düzeyi üzerindeki etki büyüklüğünün dikkate değer olduğu saptanmıştır. Çeldiricilerin daha iyi düşünülerek düzenlenmesi ve beş seçenek yerine dört seçenekli ÇSS kullanmak madde analizi değerleri üzerinde olumlu etki yaratabilir. ÇSS yazarları, sorularının gerçek değerlerden daha yüksek oranda kabul edilebilir güçlük sınırlarında olduğunu ön görmüşlerdir. Sınavlarda kullanımından önce soruların madde yazım hataları açısından ikinci bir kişi tarafından gözden geçirilmiş olmasının DIF I ve DI üzerine etkisini anlayabilmek için başka çalışmalara gereksinim vardır.