GPT-4 ve diğer modeller transformatörlere dayanıyor; StripedHyena ile araştırmacılar yaygın olarak kullanılan mimariye bir alternatif sunmayı hedefliyor.
Together AI ekibi StripedHyena ile 7 milyar parametreye sahip bir dil modeli ailesi sunuyor. Onu özel kılan ne? StripedHyena, örneğin GPT-4’te yaygın olarak kullanılan transformatör mimarisine kıyasla eğitim ve çıkarım performansını artırmayı amaçlayan yeni bir dizi yapay zeka mimarisi kullanıyor.
Sürüm, bir temel model olan StripedHyena-Hessian-7B (SH 7B) ve bir sohbet modeli olan StripedHyena-Nous-7B’yi (SH-N 7B) içeriyor. Bu modeller daha hızlı, bellek açısından daha verimli ve 128.000 jetona kadar çok uzun bağlamları işleyebilecek şekilde tasarlandı. HazyResearch, hessian.AI, Nous Research, MILA, HuggingFace ve Alman Yapay Zeka Araştırma Merkezi’nden (DFKI) araştırmacılar yer alıyor.
StripedHyena: Transformatörlere verimli bir alternatif
Together AI’ya göre StripedHyena, en iyi açık kaynak dönüştürücülerle rekabet edebilen ilk alternatif model. Temel model, OpenLLM liderlik tablosu görevlerinde Llama-2, Yi ve Mistral 7B ile karşılaştırılabilir performans elde ediyor ve uzun bağlam özetlemede onlardan daha iyi performans gösteriyor.
StripedHyena modellerinin temel bileşeni bir durum-uzay modeli (SSM) katmanıdır. Geleneksel olarak SSM’ler karmaşık dizileri ve zaman serisi verilerini modellemek için kullanılıyor. Özellikle zamansal bağımlılıkların modellenmesi gereken görevler için kullanışlılar. Ancak son iki yılda araştırmacılar, dil ve diğer alanlara yönelik dizi modelleri için SSM’leri kullanmanın daha iyi ve daha iyi yollarını geliştirdiler. Bunun nedeni: Daha az hesaplama gücü gerektirmeleri.
Sonuç: StripedHyena 32.000 token, 64.000 token ve 128.000 token’lık dizilerin uçtan uca eğitiminde geleneksel dönüştürücülerden yüzde 30, yüzde 50 ve yüzde 100 daha hızlı.
StripedHyena modellerinin ana hedefi, mimari tasarımın sınırlarını transformatörlerin ötesine taşıyor. Araştırmacılar gelecekte daha uzun bağlamlara sahip daha büyük modelleri, çok modlu desteği, daha fazla performans optimizasyonunu ve daha uzun bağlamdan tam olarak yararlanmak için StripedHyena’nın erişim işlem hatlarına entegrasyonunu araştırmayı planlıyor.
Yapayzeka.news’in hiçbir güncellemesini kaçırmamak için bizi Facebook, Twitter, LinkedIn, Instagram‘ ve Whatsapp Kanalımız‘dan takip edin.
