Araştırmacılar, hem görüntüleri anlamada hem de oluşturmada en iyi performansı gösteren yeni bir yapay zeka modeli olan Janus’u sundu.
Bir araştırma ekibi, çok modlu anlayışı ve görsel üretimi tek bir sistemde birleştiren yenilikçi bir AI modeli olan Janus’u geliştirdi. Geliştiricilere göre Janus, görsel bilgileri işlemeye yönelik yeni bir yaklaşıma dayanan esnekliği ve performansıyla öne çıkıyor.
Janus’un temel özelliği, kavrama ve üretim görevleri için görsel kodlamanın ayrıştırılmasıdır. Janus’un mimarisi, otoregresif bir dönüştürücü modele dayanmaktadır. Ancak, karşılaştırılabilir modellerin aksine, Janus metin, kavrama için görüntüler ve üretim için görüntüler gibi farklı giriş türleri için ayrı kodlayıcılar kullanır. Bu kodlayıcılar, ham verileri daha sonra dönüştürücü tarafından işlenen özelliklere dönüştürüyor.
Araştırmacılara göre Janus, aynı boyuttaki modellerle karşılaştırıldığında çok modlu anlama ve görsel oluşturma için çeşitli ölçütlerde en iyi sonuçları elde ediyor. Çok modlu anlama görevlerinde Janus, yalnızca 1,3 milyar parametreyle önemli ölçüde daha fazla parametreye sahip bazı göreve özgü modellerden bile daha iyi performans gösteriyor.
Janus ayrıca görsel üretimde güçlü bir performans gösteriyor ve DALL-E 2 gibi bazı iyi bilinen modellerden daha iyi performans gösteriyor. Sonuçlar kalite açısından FLUX gibi mevcut en iyi modellerin çok gerisinde kalsa da, model önemli ölçüde daha küçüktür ve daha fazla ölçekleme daha iyi sonuçlar sağlamalıdır.
Esneklik temel bir özelliktir
Geliştiricilere göre, Janus’un özel bir avantajı esnekliği ve genişleme kolaylığıdır. Görsel kodlamayı ayırarak, uzlaşmaya varmadan anlama ve üretim görevleri için en uygun kodlayıcılar seçilebilir.
Model ayrıca 3B nokta bulutları, dokunsal veriler veya EEG sinyalleri gibi ek modaliteleri içerecek şekilde kolayca genişletilebilir. Araştırmacılar, bunun Janus’a daha da güçlü bir çok modlu genelci model olma potansiyeli verdiğini açıklıyor.
Geliştiricilere göre, güçlü performans, yüksek esneklik ve genişletilebilirliğin birleşimi, Janus’u gelecek nesil birleşik çok modlu modeller için umut vadeden bir aday haline getiriyor.
Daha fazla bilgi ve model GitHub’da bulunabilir.
Yapayzeka.news’in hiçbir güncellemesini kaçırmamak için bizi Facebook, X (Twitter), Bluesky, LinkedIn, Instagram ve Whatsapp Kanalımız‘dan takip edin.
