Evaluation of Accuracy, Information Quality, and Readability of Artificial Intelligence Based Chatbots in Pediatric Oral Surgery: A Comparative Analysis Based on the AAPD Clinical Guideline

Amaç: Yapay zekâ (YZ) tabanlı sohbet robotları, tıp ve diş hekimliği alanlarında bilgi kaynağı olarak giderek daha fazla kullanılmaktadır. Bu çalışma, Amerikan Çocuk Diş Hekimliği Akademisi (AAPD) klinik kılavuzuna referansla, dört farklı YZ sohbet robotunun pediatrik oral cerrahi konularında kanıta dayalı yanıtlar sunmadaki performansını değerlendirmeyi ve karşılaştırmayı amaçlamıştır. Gereç ve Yöntemler: Tanımlayıcı gözlemsel tasarıma sahip bu çalışmada, dört YZ sohbet robotu (ChatGPT-5, Gemini, Copilot ve DeepSeek) değerlendirilmiştir. AAPD’nin Management Considerations for Pediatric Oral Surgery kılavuzundan türetilen 20 soru bu modellere yöneltilmiştir. Yanıtların doğruluğu doğrulanmış bir derecelendirme sistemiyle, bilgi kalitesi 16 maddelik DISCERN aracıyla ve okunabilirlik düzeyi Flesch–Kincaid Okuma Seviyesi (FKGL) formülüyle değerlendirilmiştir. İstatistiksel karşılaştırmalarda parametrik olmayan Kruskal-Wallis ve Mann-Whitney U testleri, Holm-Bonferroni düzeltmesiyle birlikte uygulanmıştır (p<0.05). Bulgular: Tüm ölçütlerde sohbet robotları arasında anlamlı farklılıklar bulunmuştur. Gemini ve ChatGPT-5 en yüksek doğruluk puanlarını elde etmiştir (sırasıyla 1.30±0.47 ve 1.40±0.60; p=0.001), buna karşın DeepSeek ve Copilot daha düşük doğruluk göstermiştir. Bilgi kalitesi açısından DeepSeek en yüksek DISCERN puanına ulaşmıştır (52.90±3.73; p<0.001) ve onu Copilot izlemiştir. ChatGPT-5 ve Gemini daha okunabilir metinler üretmiş (sırasıyla 10.73±1.98 ve 11.68±1.91), ancak okunabilirlik farkları istatistiksel olarak anlamlı bulunmamıştır (p>0.05). Sonuç: Değerlendirilen modeller arasında Gemini ve ChatGPT-5 en doğru yanıtları üretirken, DeepSeek en yüksek bilgi kalitesini sağlamıştır. YZ tabanlı sohbet robotları, pediatrik oral cerrahi alanında hasta eğitimi ve akademik öğrenme için tamamlayıcı araçlar olarak umut verici görünmektedir; ancak güvenilirlikleri modeller arasında önemli ölçüde farklılık göstermektedir. Klinik kullanımdan önce bu sistemlerin sürekli olarak doğrulanması ve kılavuz temelli olarak değerlendirilmesi gereklidir.

Objective: Chatbots powered by artificial intelligence are increasingly used as tools for obtaining medical and dental knowledge. This study aimed to assess and compare the performance of four AI chatbots in providing evidence-based information on pediatric oral surgery topics, with reference to the American Academy of Pediatric Dentistry (AAPD) clinical guideline. Materials and Methods: This descriptive observational study evaluated four AI chatbots (ChatGPT-5, Gemini, Copilot and DeepSeek) by posing 20 questions derived from the AAPD Guideline on Management Considerations for Pediatric Oral Surgery. Responses were assessed for accuracy using the grading system, for quality using the 16-item DISCERN instrument and for readability using the Flesch–Kincaid Grade Level (FKGL) formula. Non-parametric Kruskal-Wallis and Mann-Whitney U tests with Holm-Bonferroni adjustment were employed for statistical comparisons (p<0.05). Results: Significant differences were observed among chatbots in all outcome measures. Gemini and ChatGPT-5 achieved the highest accuracy scores (1.30±0.47 and 1.40±0.60, respectively; p=0.001), whereas DeepSeek and Copilot showed lower accuracy. In terms of information quality, DeepSeek produced the highest DISCERN scores (52.90±3.73; p<0.001), followed by Copilot. ChatGPT-5 and Gemini yielded more readable outputs (10.73±1.98 and 11.68±1.91, respectively), though readability differences were not statistically significant (p>0.05). Conclusions: Of the models evaluated, Gemini and ChatGPT-5 produced the most accurate responses, while DeepSeek generated the highest-quality content. While AI chatbots show promise as supplementary tools for patient education and clinical learning in pediatric oral surgery, their reliability varies considerably across platforms. Continuous validation and guideline-based evaluation are essential prior to clinical integration.