ABD Teksas Eğitim Ajansı (TEA – The Texas Education Agency) puanlama sisteminde Üretken Yapay Zekayı (Gen AI) test ediyor. Yeni notlandırma tekniği, kullanıcıları anlamak ve onlarla iletişim kurmak için OpenAI’nin ChatGPT’si gibi sohbet robotlarını kullanacak.
Teksas, bu yıl çok daha az sayıda insan değerlendiriciyi işe alacak, çünkü onları yapay zeka destekli yeni bir puanlama sistemiyle değiştiriyor. Teksas Eyaleti Akademik Hazırlık Değerlendirmeleri (STAAR) sınavları, insan değerlendiricilerin çoğunun Gen AI ile değiştirilmesi için bir test tezgahı olabilir.
Teksas, Gen AI puanlama sistemini eğitiyor
Teksas Eğitim Ajansı, “Teksas Eyaleti Akademik Hazırlık Değerlendirmesinde okuma, yazma, fen ve sosyal bilgiler için açık uçlu sorular için otomatik bir puanlama motorunu kullanıma sunduğunu” doğruladı.
Bu yıl Teksas’ta devlet tarafından zorunlu kılınan sınavlar tarihi nitelikte olacak. Bu hafta STAAR sınavlarına girecek öğrenciler, geçen yıla kıyasla çok daha az sayıda insan değerlendiriciye sahip olacak. Genellikle Generative AI olarak adlandırılan bir doğal dil işleme motoru, cevaplarının çoğunu değerlendirecek.
STAAR sınavı, öğrencilerin devlet tarafından zorunlu kılınan çekirdek müfredatı anlamalarını ölçüyor. Teksas eyaleti bu sınavı geçen yıl yeniden tasarladı. İlginç bir şekilde, testte artık çoktan seçmeli sorular çok daha az. Teksas bunların yerine “açık uçlu sorular” ya da “yapılandırılmış yanıt maddeleri” koydu.
Texas is rolling out an “automated scoring engine” to score the STAAR test. The technology, which uses natural language processing, a building block of AI chatbots, will save the state $15-20 million. But some educators are worried.
New in @TexasTribune https://t.co/Tu36tmF5B7
— Keaton Peters (@KeatonPeters) April 10, 2024
Texas Tribune’e göre, yeni getirilen açık uçlu sorularda “altı ila yedi kat daha fazla yapılandırılmış yanıt maddesi” olacak.
Basitçe ifade etmek gerekirse, bu tür açık uçlu sorular, çoktan seçmeli bir sorudaki tek bir yanıta kıyasla, kabul edilebilir birkaç yanıta sahip. Teksas Eğitim Ajansı öğrenci değerlendirme direktörü Jose Rios, sonuç olarak bu tür soruların puanlanması için çok daha fazla zamana ve değerlendiriciye ihtiyaç duyulduğunu belirtiyor.
Başka bir deyişle, bu sorular not vermenin karmaşıklığını önemli ölçüde artırıyor. İşte bu noktada Gen AI gerçekten parlıyor. ChatGPT gibi platformlar, karmaşık sorguları birden fazla basitlik ve derinlik düzeyinde yanıtlama konusunda kanıtlanmış bir geçmişe sahip.
20 milyon dolar tasarruf
TEA, Gen AI puanlama sistemini 3.000 yanıt kullanarak eğitti. Bir güvenlik önlemi olarak, Gen AI iki tur insan puanlamasından geçmiş yanıtlara maruz bırakıldı. Yapay zeka puanlama motorunun yanıtların özelliklerini öğrendiği ve bir insanın vereceği puanların aynısını vermek üzere programlandığı bildirildi.
Texan children taking the STAAR test will apparently be graded by AI. If you disagree with your child’s score, they’ll gladly grade it again with a human grader – for $50.#STAAR#Texashttps://t.co/6Qr36uCYaU
— no, this is just soup for my family🐀 (@SeanxTyler) April 10, 2024
İnsan değerlendiriciler, bilgisayar tarafından puanlanan tüm sonuçların dörtte birini yeniden değerlendirecek. Ayrıca, argo veya İngilizce olmayan yanıtlar gibi yapay zeka puanlama sisteminin kafasını karıştırabilecek bazı yanıtlar insan değerlendiricilere aktarılacak.
TEA, geçici insan puanlayıcılara olan ihtiyacı azaltarak yılda 15-20 milyon dolar tasarruf edeceğini tahmin ediyor. İstatistiksel olarak konuşmak gerekirse, Teksas bu yıl 2,000’den az insan değerlendiriciyi işe almayı planlıyor. Lone Star Eyaleti 2023 yılında aynı sınav için yaklaşık 6.000 değerlendirici işe aldı. Bazı eğitimcilerin yeni değerlendirme tekniğiyle ilgili endişelerini dile getirdiklerini söylemeye gerek yok.
The digital era has dawned on the Texas #STAAR test. In December 2023, the results of the first computer-graded written responses came to light. With the new grading system, 79% of testers scored a zero. Only 8% of testers scored a zero in a previous test with human graders.#TxEd pic.twitter.com/Kwj7FYUh16
— RaiseYourHandTexas (@RYHTexas) April 10, 2024
Kaynak: Alap Naik Desai / Android Headliness
Yapayzeka.news’in hiçbir güncellemesini kaçırmamak için bizi Facebook, X (Twitter), Bluesky, LinkedIn, Instagram‘ ve Whatsapp Kanalımız‘dan takip edin.
 puanlama sisteminde Üretken Yapay Zekayı (Gen AI) test ediyor.){kind=link}