OpenAI’nin büyük dil modelinin (LLM) son güncellemesi ChatGPT 4.0, bir kavram kanıtlama çalışmasında yüzde 85 doğru yanıtla klinik nöroloji sınavını geçti. Araştırmanın yazarları, biraz ince ayar yapıldıktan sonra LLM’lerin klinik nörolojide “önemli uygulamalara” sahip olabileceğine inanıyor.
Cointelegraph’ın haberine göre, Heidelberg Üniversite Hastanesi ve Heidelberg Alman Kanser Araştırma Merkezi’nden bir grup araştırmacı tarafından yürütülen deneyin sonuçları 7 Aralık’ta yayımlandı. Test 31 Mayıs’ta gerçekleştirildi ve iki LLM, ChatGPT 3.5 ve daha sonraki versiyonu olan ChatGPT 4.0 kullanıldı.
Araştırmacılar, Amerikan Psikiyatri ve Nöroloji Kurulu’nun nöroloji sınavı için hazırladığı soru bankası ile Avrupa Nöroloji Kurulu’ndan alınan küçük bir soru grubunu kullandılar.
ChatGPT’nin eski sürümü 1956 sorudan 1306’sını doğru yanıtlayarak yüzde 66,8 puan alırken, daha yeni bir model olan ChatGPT 4.0 1662 doğru yanıtla yüzde 85 puan aldı. Ortalama insan skoru yüzde 73,8 idi. ChatGPT 4.0 davranışsal, bilişsel ve psikolojik sorularda insan kullanıcılardan daha iyi performans göstermiş ve doğru cevapların yüzde 70’i genellikle eğitim kurumlarında geçme puanı olarak kabul edildiğinden nöroloji sınavını etkili bir şekilde “geçti”.
Ancak her iki model de “üst düzey düşünme” gerektiren görevlerde, yalnızca “alt düzey düşünme” gerektiren sorulara kıyasla daha zayıf performans gösterdi.
Deneyi yürüten araştırmacı grubuna göre bu sonuçlar, LLM’lerin bazı değişikliklerden sonra klinik nörolojide kullanılması için bir tavsiye niteliği taşıyor:
“Bu bulgular, daha fazla iyileştirme ile büyük dil modellerinin klinik nörolojide önemli uygulamalara sahip olabileceğini göstermektedir.”
Araştırmacılar hala bazı çekinceler olduğuna dikkat çekiyor. LLM’lerin dokümantasyon ve karar verme destek sistemlerinde uygulanması için net bir perspektif olsa da, nörologlar, yüksek dereceli bilişsel görevler açısından hala kusurlu oldukları için pratikte kullanımları konusunda dikkatli olmalı. Çalışmanın yazarlarından Dr. Varun Venkataramani şunları söyledi:
“Çalışmamızı daha çok LLM’lerin yetenekleri için bir kavram kanıtı olarak görüyoruz. LLM’lerin klinik nöroloji için uygun şekilde uygulanabilir hale getirilmesi için hala geliştirilmeye ve hatta muhtemelen belirli ince ayarlara ihtiyaç vardır.”
Yapay zeka, AstraZeneca için kansere çare bulmak veya Hong Kong’da aşırı antibiyotik reçeteleriyle mücadele etmek gibi sağlık alanındaki bazı önemli görevlerde halihazırda çalışıyor.
Yapayzeka.news’in hiçbir güncellemesini kaçırmamak için bizi Facebook, Twitter, LinkedIn, Instagram‘ ve Whatsapp Kanalımız‘dan takip edin.
