Token yerine bayt: Microsoft Research Asia, Çin Merkez Müzik Konservatuarı ve Tsinghua Üniversitesi araştırmacıları tarafından hazırlanan yeni bir makale, klasik token tahmini yerine bayt tahminine dayanan bir dönüştürücü modeli olan bGPT’yi tanıtıyor.
Benzer girişimler daha önce de yapılmıştı, ancak genellikle belirli formatlar ve görevlerle sınırlı olan diğer modellerin aksine, bGPT doğrudan yerel ikili verilerle çalışıyor. Bu nedenle, model çok çeşitli veri türlerini ele alabilir ve metin, ses ve görüntüler dahil olmak üzere dijital medya verilerinin üretken modellemesi ve sınıflandırması gibi görevleri yerine getirebilir.
Makalenin başlığı hedefi ifade etmektedir: “Dil Modellerinin Ötesinde: Bayt Modelleri Dijital Dünya Simülatörleridir.”
Bayt dizileri üzerinde eğitim alarak, model dijital sistemlerin kalıplarını öğrenmek ve böylece ikili verilerden karmaşık sistemleri yeniden yapılandırmak için tasarlanmıştır. Ayrıca, her şeyi bir bayt dizisi olarak ele alarak farklı veri türlerini tek bir çerçeveye entegre eder.
bGPT CPU durumlarını modeller, metin, görüntü ve ses üretir
Bayt düzeyinde işleme, bGPT’nin olağan uygulamalara ek olarak daha sıra dışı üretken yapay zeka uygulamaları için de kullanılmasına olanak tanır: Model, sembolik müzik verilerinin veri dönüşümünü neredeyse hatasız bir şekilde simüle etmiş ve ABC notasını MIDI formatına dönüştürürken bayt başına 0,0011 bit gibi düşük bir hata oranına ulaştı. CPU durumlarını tahmin ederek basit CPU’ların davranışını simüle ederken, bGPT veri kaydırma, mantıksal ve aritmetik işlemler gibi çeşitli işlemleri gerçekleştirmede %99,99’un üzerinde doğruluk elde etti. Ekibe göre bu, operasyonel verileri yorumlamak ve donanımdaki dijital aktiviteyi taklit etmek için yararlı olabilir.
Ancak bGPT metin, görüntü ve ses üretimi gibi görevler için de umut verici sonuçlar ortaya koydu. Metin için, 110 milyon parametreli model kabaca GPT-2’ye eşdeğerdir ve bazı avantajları var. Bununla birlikte, modelin metin üretiminde İngilizce olmayan terimlerle ilgili sorunlar ve bayt düzeyinde kodlamanın sıralı işlenmesi nedeniyle fark edilebilir yapaylıklar ve gürültü içeren görüntü üretimi gibi bazı sınırlamaları var. Bununla birlikte, araştırmacılar model boyutunun basit bir şekilde ölçeklendirilmesinin son teknoloji ürünü sonuçlara yol açabileceğine inanıyor.
Araştırmacılar bayt modellerine odaklanarak hesaplama maliyetlerini azaltmayı ve modelleri ve veri seti boyutlarını ölçeklenebilir hale getirmeyi umuyor. Bunun nedeni bayt modellerinin çok daha geniş bir yelpazedeki yerel ikili verileri işleyebilmesi.
Model, kod ve örnekler bGPT proje sayfasında bulunabilir.
Yapayzeka.news’in hiçbir güncellemesini kaçırmamak için bizi Facebook, X (Twitter), Bluesky, LinkedIn, Instagram‘ ve Whatsapp Kanalımız‘dan takip edin.
