Seçilen Endodonti Sorularında Yapay Zekanın (Chat-GPT*) Başarı Oranının Değerlendirilmesi

Çiftci B., Er Ö., Aydın B.

10. Uluslararası Endodonti Sempozyumu, Antalya, Türkiye, 19 - 22 Mayıs 2024

  • Yayın Türü: Bildiri / Yayınlanmadı
  • Basıldığı Şehir: Antalya
  • Basıldığı Ülke: Türkiye
  • Dokuz Eylül Üniversitesi Adresli: Evet

Özet

Seçilen Endodonti Sorularında Yapay Zekanın (Chat-GPT®) Başarı Oranının Değerlendirilmesi

AMAÇ

Günümüzde teknoloji ile birlikte gelişen yapay zeka programlarının sağlık ve eğitim alanında giderek yaygınlaşan kullanımı bulunmaktadır. (1,2,3,4) Bu programlardan biri olan Generative Pre-Trained Transformer (Chat GPT, Open AI, San Francisco, CA, ABD) diyalog tabanlı bir yapay zeka sohbet robotudur. (5) Bu çalışma, Chat GPT ’nin, Ölçme Seçme ve Yerleştirme Merkezi (ÖSYM) tarafından 2012 yılından itibaren her sene yapmış olduğu Diş Hekimliğinde Uzmanlık Sınavında (DUS) sorulan Endodonti sorularındaki başarısını test etmeyi amaçlamaktadır.

GEREÇ VE YÖNTEM

ÖSYM’nin internet sitesinde açık erişimi olan 2012 yılından itibaren 2021 yılına kadar yapılmış 13 sınavın soru ve cevapları mevcuttur. (www.osym.gov.tr) Toplamda 130 soru vardır ve 3 tanesi sınavdan sonra iptal edilmiştir. İptal edilen sorular çalışmaya dahil edilmemiştir. Bu çalışmada 127 soru ChatGPT-4 ‘e cevaplaması için sorulmuştur. Cevapların doğruluğu yine ÖSYM’nin ilan ettiği cevap anahtarı kullanılarak saptanmıştır.

SONUÇ

Endodonti alanındaki başarısı ilerleyen dönemlerde veri girişinin daha fazla olacağı ve doğru bilgiye ulaşma ihtimalinin artacağı düşünüldüğü için daha başarılı yanıtlar vereceği düşünülmektedir. 

Evaluation of the Success Rate of Artificial Intelligence (Chat-GPT®) in Selected Endodontic Questions

OBJECTIVE

With the advancements in technology, the use of artificial intelligence programs in the fields of health and education is becoming increasingly widespread. (1,2,3) One such program, the Generative Pre-Trained Transformer (Chat GPT, Open AI, San Francisco, CA, USA), is a dialogue-based artificial intelligence chatbot. (4) This study aims to test the success of Chat GPT in finding correct answers of Endodontics questions posted in the Centrilized Specialty Examination (DUS) conducted annually by the Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM) since 2012.

MATERIALS AND METHODS

The questions and the answers of 13 exams conducted from 2012 to 2021 are available on ÖSYM's website. (www.osym.gov.tr)  There are a total of 130 questions, three of which were canceled after the exam. These cancelled questions were not included in present study. In this study, 127 questions were submitted to ChatGPT-4 for the detection of the correct answers. The success rate of the program in finding the right answers was determined using the answer key announced by ÖSYM.

FINDINGS

Chat GPT answered 126 of the 127 questions, while only 91 of them were the correct answers. These results indicated an approximate success rate of 70.8%. The success rate, detecting the correct answers, varied over the years, while higher success rate is observed in the earlier years: between 2012-2016. The success rate was approximately 82% in the first eight exams, while the success rate dropped to 54% in the last five exams.

CONCLUSION

Finding the rıght answers by Chat GPT in Endodontics section of the exam is thought to get more accurrate in the future owing to increasing data input.