EVALUATING THE ACCURACY AND RELIABILITY OF ARTIFICIAL INTELLIGENCE CHATBOTS IN ANSWERING DENTAL SPECIALTY EXAMINATION PERIODONTOLOGY QUESTIONS

Background/Aim: Large language models (LLMs) are increasingly utilized by dental students and specialty candidates as supplementary tools for examination preparation. However, their reliability in specialized clinical domains requiring analytical reasoning remains underexplored. This study aimed to comparatively evaluate the accuracy, reliability, and inter-model agreement of three contemporary reasoning-focused LLMs in answering Periodontology questions from the Turkish Dental Specialty Examination (DUS). Materials and Methods: In this cross-sectional in silico study, 100 multiple-choice Periodontology questions administered in past DUS sessions (2012–2026) were selected. The questions were presented in isolated sessions without prior contextual prompting to three models: OpenAI GPT-5.5 Thinking, Anthropic Claude Opus 4.7 (adaptive thinking), and Google Gemini 3.1 Pro. Responses were scored dichotomously against official answer keys. Overall accuracy rates were compared using Cochran's Q test, pairwise agreement was assessed via Cohen's Kappa (k) coefficient, and shared error distributions were analyzed using a two-tailed Binomial test (p<0.05). Results: Overall accuracy rates were 95.0% for ChatGPT 5.5, 93.0% for Claude Opus 4.7, and 92.0% for Gemini 3.1 Pro, with no statistically significant difference among the models (p = 0.311). Pairwise comparisons revealed statistically significant and substantial agreement across all model pairings (p < 0.001): ChatGPT–Gemini (κ = 0.754 ± 0.140), ChatGPT–Claude (κ = 0.646 ± 0.173), and Gemini–Claude (κ = 0.640 ± 0.157). Although shared error distributions did not deviate significantly from random expectation (p > 0.05), ChatGPT and Gemini selected the identical incorrect distractor in all 5 questions they mutually failed (100% shared error rate; p = 0.0625). Conclusion: Contemporary reasoning-capable LLMs demonstrate high accuracy and substantial inter-model consistency on specialty-level Periodontology questions. Nevertheless, the presence of concordant errors indicates shared algorithmic blind spots, underscoring that AI outputs must be supplemented by specialist oversight and evidence-based verification in dental education.

Amaç: Büyük dil modelleri (LLM), diş hekimliği öğrencileri ve uzmanlık adayları tarafından sınav hazırlık süreçlerinde yardımcı birer araç olarak giderek daha fazla tercih edilmektedir. Bununla birlikte, analitik çıkarım gerektiren spesifik klinik branşlardaki güvenilirlikleri henüz tam olarak netleşmemiştir. Bu çalışmanın amacı, güncel ve akıl yürütme odaklı üç farklı LLM mimarisinin Diş Hekimliğinde Uzmanlık Eğitimi Giriş Sınavı (DUS) Periodontoloji sorularını yanıtlama doğruluğunu, güvenilirliğini ve modeller arası uyumunu karşılaştırmalı olarak değerlendirmektir. Gereç ve Yöntemler: Kesitsel ve in silico tasarımlı bu araştırmada, geçmiş yıllardaki (2012–2026) DUS oturumlarında yöneltilmiş 100 adet çoktan seçmeli Periodontoloji sorusu incelenmiştir. Sorular, herhangi bir ön koşullama (prompt mühendisliği) yapılmaksızın bağımsız oturumlarda üç farklı modele (OpenAI GPT-5.5 Thinking, Anthropic Claude Opus 4.7 [adaptive thinking] ve Google Gemini 3.1 Pro) yöneltilmiştir. Yanıtlar resmi cevap anahtarına göre ikili (doğru/yanlış) olarak kodlanmıştır. Doğruluk oranları Cochran Q testi ile, ikili model uyumları Cohen’in Kappa (k) katsayısı ile, ortak hata dağılımları ise iki yönlü Binom testi ile analiz edilmiştir (p<0.05). Bulgular: Modellerin genel doğruluk oranları ChatGPT 5.5 için %95,0, Claude Opus 4.7 için %93,0 ve Gemini 3.1 Pro için %92,0 olarak saptanmış olup modeller arasında istatistiksel olarak anlamlı bir fark bulunmamıştır (p = 0,311). İkili karşılaştırmalarda tüm model çiftleri arasında istatistiksel olarak anlamlı ve "iyi derecede" uyum gözlenmiştir (p < 0,001): ChatGPT–Gemini (κ = 0,754 ± 0,140), ChatGPT–Claude (κ = 0,646 ± 0,173) ve Gemini–Claude (κ = 0,640 ± 0,157). Ortak hata dağılımları rastlantısal beklentiden anlamlı düzeyde ayrışmasa da (p > 0,05), ChatGPT ve Gemini ikilisinin birlikte yanlış yanıtladıkları 5 sorunun tamamında aynı çeldirici şıkkı işaretledikleri (%100 ortak hata; p = 0,0625) dikkat çekmiştir. Sonuç: Güncel akıl yürütme yeteneğine sahip LLM’ler, uzmanlık düzeyindeki Periodontoloji sorularında yüksek doğruluk ve güçlü bir yanıt tutarlılığı sergilemektedir. Ancak modellerin hatalarda dahi uzlaşma eğilimi göstermesi ortak algoritmik kör noktaların varlığına işaret etmekte; bu durum diş hekimliği eğitiminde yapay zekâ çıktılarının mutlaka uzman denetimi ve kanıta dayalı kaynaklarla doğrulanması gerektiğini ortaya koymaktadır.