Oxford araştırması: Yapay zekâ henüz doktorların yerini alamaz

Oxford Üniversitesi’nin yürüttüğü bir araştırma, sağlıkta kullanılan yapay zekâ sohbet botlarının güvenilirliğini mercek altına aldı. Sonuçlar, büyük beklentiye rağmen bu sistemlerin henüz hekimlerin yerini alamayacağını ortaya koydu.

Çalışma, Nature Medicine dergisinde yayımlandı. Araştırmaya yaklaşık 1.300 kişi katıldı.

Senaryolar üzerinden test edildi

Katılımcılara hekimler tarafından hazırlanan kurgusal hasta senaryoları verildi. Örneğin aşırı yorgunluk yaşayan genç bir anne ya da kasık ağrısı ve idrarda kan şikâyeti olan 47 yaşındaki bir erkek gibi vakalar değerlendirildi.

Katılımcılar iki gruba ayrıldı. Bir grup GPT-4o, Llama 3 ve Command R+ gibi yapay zekâ sohbet botlarını kullandı. Diğer grup ise arama motorları gibi klasik yöntemlerle bilgi aradı.

Yapay zekâdan hem olası tanı koyması hem de “acil servise git”, “ambulans çağır” ya da “aile hekimine randevu al” gibi bir sonraki adımı önermesi istendi.

Doğru tanı oranı düşük kaldı

Sonuçlara göre sohbet botları vakaların yalnızca üçte birinden azında doğru tanı koyabildi. Doğru bir sonraki adımı önerme oranı ise yüzde 44’ün altında kaldı.

Yapay zekâ kullanan grup, klasik yöntemlerle bilgi arayanlara kıyasla belirgin bir üstünlük sağlayamadı.

Buna karşılık, gerçek kullanıcılar olmadan yapılan simülasyon testlerinde yapay zekâ çok daha başarılı göründü. Bu testlerde hastalıkları yüzde 95 oranında doğru tespit etti. Doğru yönlendirme oranı ise yüzde 56’ya ulaştı.

Sorun sadece sistemde değil

Araştırma ekibi, gerçek hayattaki düşük başarı oranının nedenlerini de inceledi. Kullanıcıların çoğu, hangi bilgileri vermesi gerektiğinden emin olamadı. Yapay zekâ yanıtları ise sorunun nasıl sorulduğuna göre değişti. Cevaplarda hem doğru hem de hatalı bilgiler bir arada yer alabildi.

Münih Üniversitesi’nden sağlık iletişimi uzmanı Anne Reinhardt, yapay zekânın çoğu çalışmada standart test ortamlarında değerlendirildiğini hatırlattı. Reinhardt’a göre günlük hayatta belirtileri tarif eden ve yanıtları yorumlayan sıradan kullanıcıların rolü yeterince dikkate alınmadı.

Araştırmanın yazarlarından hekim Rebecca Payne ise “Tüm heyecana rağmen yapay zekâ henüz doktorların rolünü üstlenmeye hazır değil” uyarısında bulundu. Payne, yanlış tanı riskine ve acil durumların gözden kaçabileceğine dikkat çekti.

Darmstadt Teknik Üniversitesi’nden Iryna Gurevych de etkili bir sağlık sohbet botunun, kullanıcıyı doğru bilgi vermeye yönlendirmesi ve eksik durumlarda ek sorular sorması gerektiğini vurguladı.

Araştırmacılar, dil modellerinin test edilme yöntemlerinin geliştirilmesi gerektiğini belirtiyor. Mevcut testlerin, yapay zekânın gerçek insan etkileşiminde ne kadar güvenilir olduğunu tam olarak yansıtmadığı ifade ediliyor.