Yapay zeka destekli video ve ses yerelleştirme aracı Rask AI, yeni “Çoklu Konuşmacı Dudak Senkronizasyonu” özelliğinin piyasaya sürüldüğünü duyurdu. Yapay zeka destekli dudak senkronizasyonu sayesinde 750.000 kullanıcı, içeriklerini anadili İngilizce olan biri kadar akıcı olacak şekilde 130’dan fazla dile çevirebiliyor.
Dublajlı içeriklerde uzun süredir dudak hareketleri ile sesler arasında senkronizasyon eksikliği yaşanıyordu. Uzmanlar, İngilizce konuşulan ülkelerde dublajın nispeten popüler olmamasının nedenlerinden birinin de bu olduğuna inanıyor. Aslında dudak hareketleri, yerelleştirilmiş içeriği daha gerçekçi ve dolayısıyla izleyiciler için daha çekici hale getirir.
Dilbilim alanındaki çalışmalarıyla tanınan bir profesör olan Yukari Hirata’nın, jestlerden ziyade dudak hareketlerini izlemenin ikinci dildeki zor fonemik kontrastları algılamaya yardımcı olduğunu söyleyen bir çalışması var. Dudak okumak aynı zamanda genel olarak konuşmayı öğrenmenin yollarından biridir.
Bugün, Rask’ın yeni özelliği sayesinde yerelleştirilmiş içeriği yeni bir seviyeye taşıyarak dublajlı videoları daha doğal hale getirmek mümkün.
Yapay zeka, referanslara göre alt yüzü otomatik olarak yeniden yapılandırır. Nihai sonucu daha gerçekçi kılmak için konuşmacının nasıl göründüğünü ve ne söylediğini dikkate alır.
Nasıl çalışıyor?:
- Çerçevede bir veya daha fazla kişinin yer aldığı bir video yükleyin.
- Videoyu başka bir dile çevirin.
- ‘Dudak Senkronizasyonu Kontrolü’ düğmesine bastığınızda algoritma, videoyu dudak senkronizasyonu uyumluluğu açısından değerlendirecektir.
- Video kontrolü geçerse ‘Lip Sync’e basın ve sonucu bekleyin.
- Videoyu indirin.
Rask AI’nin kurucusu ve CEO’su Maria Chmir’e göre yeni özellik, içerik oluşturucuların hedef kitlelerini genişletmesine yardımcı olacak. Yapay zeka, bir karakterin dili anadili kadar akıcı bir şekilde konuşuyormuş gibi görünmesini sağlamak için dudak hareketlerini görsel olarak ayarlıyor.
Teknoloji, bir oluşturucu ve bir diskriminatörden oluşan Üretken Çekişmeli Ağ (Generative Adversarial Network – GAN) öğrenmesine dayanıyor. Hem oluşturucu hem de diskriminatör (ayrımcı) diğerinden bir adım önde olmak için birbirleriyle rekabet ediyor. Üretici net bir şekilde içerik (dudak hareketleri) üretirken, ayırıcı kalite kontrolünden sorumlu.
Beta sürümü tüm Rask aboneliği müşterilerine açık.
Yapayzeka.news’in hiçbir güncellemesini kaçırmamak için bizi Facebook, Twitter, LinkedIn, Instagram‘ ve Whatsapp Kanalımız‘dan takip edin.
