Akademik Veri Yönetim Sistemi
Türk Periodontoloji Derneğ 53. Bilimsel Kongresi ve 31. Bilimsel Sempozyumu, Antalya, Türkiye, 7 - 10 Kasım 2024, cilt.1, sa.1, ss.1
Amaç: Bu çalışma, 2012-2021 yılları arasında ÖSYM tarafından yapılan Diş hekimliğinde uzmanlık sınavı (DUS) periodontoloji sorularının ChatGPT 4o tarafından elde edilen yanıtlarının doğruluk oranlarını analiz etmeyi amaçlamaktadır. Ayrıca, bu yıllardaki başarı yüzdeleri arasındaki farkları değerlendirmek hedeflenmiştir.
Gereç ve Yöntem: DUS 2012 yılında uygulanmaya başlamıştır. 2012-2021 yılları arasındaki ÖSYM resmi sitesinde yayınlanan açık erişime sahip periodontoloji soruları ChatGPT 4o’a sorularak doğru ve yanlış cevaplar kaydedilmiştir. Her yıl için başarı yüzdeleri hesaplanmış ve 2012-2016 ile 2017-2021 dönemleri arasındaki farklar Mann-Whitney U testi ile analiz edilmiştir.
Bulgular: ÖSYM tarafından iptal edilen 2 soru (2013 ilkbahar-2014 sonbahar sınavlarında) değerlendirme dışı tutulmuştur. Bu çalışmada 2012-2021 yılları arasında toplam 128 periodontoloji sorusu ChatGPT 4o’a sorulmuştur. ChatGPT 4o 2012 ilkbahar, 2013 ilkbahar, 2014 sonbahar, 2015, 2019, 2020, 2021 sınavlarında sorulan periodontoloji sorularına %100 doğruluk oranıyla yanıt vermiştir. 2016 ve 2017 yıllarında yapılan sınavlarda ise %80 başarı oranı ile en düşük başarı oranını göstermiştir. ChatGPT 4o toplam 128 sorudan 120 soruya doğru cevap vermiştir. Genel başarı yüzdesi %93,75 olarak hesaplanmıştır. Yıllar arasında doğru ve yanlış cevaplar arasında istatistiksel olarak anlamlı bir fark bulunmamıştır. (p-değeri > 0.05).
Sonuçlar: Gelişmekte olan yapay zeka sistemleri pek çok alanda kullanılmaktadır. ChatGPT 4o, DUS Periodontoloji sorularına yüksek doğruluk oranıyla cevap vermiştir. Bu sonuçlar, ChatGPT 4o’ın diş hekimliği uzmanlık alanındaki bilgi düzeyinin yüksek olduğunu göstermektedir. ChatGPT 4o diş hekimliği eğitiminde faydalı bir şekilde kullanılabilir.
Purpose: This study aims to analyze the accuracy of responses by ChatGPT 4o for the Periodontology questions of the Dentistry Specialization Exam (DUS) conducted by ÖSYM from 2012 to 2021 and to evaluate the differences in success rates between these years.
Materials and Methods: The DUS, administered since 2012, features periodontology questions publicly available on the ÖSYM website. These questions from 2012 to 2021 were posed to ChatGPT 4o, and their correct and incorrect answers were recorded. Success rates for each year were calculated, and differences between the periods 2012-2016 and 2017-2021 were analyzed using the Mann-Whitney U test.
Results: Two annulled questions (from the 2013 Spring and 2014 Fall exams) were excluded from the evaluation. In total, 128 periodontology questions were asked to ChatGPT 4o. It achieved a 100% accuracy rate for the 2012 Spring, 2013 Spring, 2014 Fall, 2015, 2019, 2020, and 2021 exams. The lowest accuracy rate was 80% in the 2016 and 2017 exams. ChatGPT 4o correctly answered 120 out of 128 questions, resulting in an overall success rate of 93.75%. There was no statistically significant difference in accuracy between the years (p-value > 0.05).
Conclusion: Developing AI systems are increasingly used in various fields. ChatGPT 4o demonstrated high accuracy in answering DUS Periodontology questions, indicating a strong knowledge base in dentistry specialization. ChatGPT 4o can be effectively utilized in dental education.