Streetscapes AI, sıfırdan tüm şehirlerin inanılmaz derecede gerçekçi Sokak Görünümü sahnelerini oluşturuyor

Stanford Üniversitesi ve Google araştırmacıları, tüm şehirlerin gerçekçi sokak görünümlerini oluşturabilen bir yapay zeka sistemi olan “Streetscapes”i tanıttı.

Stanford Üniversitesi ve Google Research’ten bir araştırma ekibi, tüm şehirlerin gerçekçi sokak görünümlerini oluşturabilen “Streetscapes” adlı yeni bir AI sistemi tanıttı. Sistem özellikle sanal bir şehirde sürüşü simüle eden uzun, sürekli video dizileri üretiyor. Bunlar ayrıca NeRF aracılığıyla 3B formatında da dışa aktarılabiliyor .

Streetscapes, görüntü ve video oluşturmada yaygın olarak kullanılan difüzyon modellerine dayanmaktadır. Sistem, tipik sokak sahnelerinin nasıl göründüğünü öğrenerek Google Street View’dan milyonlarca gerçek sokak görünümü üzerinde eğitildi.

Giriş olarak Streetscapes bir sokak haritası, binaların yükseklik haritası ve sanal şehirde istenen bir kamera yolu alır. Bundan, adım adım gerçekçi video dizileri oluşturur. Oluşturulan sokak görünümleri inanılmaz derecede gerçekçi görünür ve pencereler, parke taşları ve bitki örtüsü gibi birçok ayrıntı içerir. Işık ve gölgeler de doğal olarak oluşturulur.

Bir anahtar bileşen, ardışık görüntüler arasında hareket ve zamansal tutarlılık sağlayan bir “Hareket Modülü”. Ek olarak, her yeni görüntünün önceki görüntüler dikkate alınarak oluşturulduğu “Zamansal Yükleme” adı verilen yeni bir teknikle iyileştirilmiş zamansal tutarlılık sağlanıyor.

Bu, Streetscapes’in alternatif yaklaşımlara kıyasla daha uzun video dizileri üretmesine olanak tanıyor. 170 metreden daha uzun kamera hareketleriyle 100 kareye kadar. Streetscapes, o zamandan beri OpenAI’nin Sora’sı gibi diğer video üretim modelleri tarafından geride bırakılan bir mimari kullanıyor. Ekibe göre, temeldeki yayılma modeli kolayca değiştirilebilir, bu nedenle gelecekteki sürümler daha da iyi sonuçlar sunacak.

Sokak manzaraları metin komutlarıyla kontrol edilebilir

Streetscapes, sokak görünümleri oluşturmanın yanı sıra yaratıcı uygulamalara da olanak tanıyor. Oluşturulan şehrin görünümü metin açıklamaları aracılığıyla kontrol edilebilir, örneğin günün farklı saatleri veya hava koşulları oluşturulabilir. Şehir düzenlerini ve mimari stilleri karıştırmak da mümkündür; örneğin, sistem Paris sokaklarını New York City tarzında görselleştirebilir.

Araştırma ekibi, Streetscapes’i yalnızca bireysel nesneleri değil, aynı zamanda sınırsız sahnelerin tamamını gerçekçi bir şekilde üretebilen AI sistemlerine doğru önemli bir adım olarak görüyor. Gelecekte, arabalar gibi hareket eden nesneler üzerindeki kontrolü geliştirmeyi planlıyorlar. Ayrıca ardışık görüntüler arasındaki tutarlılığı daha da artırmak için çalışmak istiyorlar.

Daha fazla örneği proje sayfasında bulabilirsiniz.

Yapayzeka.news’in hiçbir güncellemesini kaçırmamak için bizi Facebook, X (Twitter), Bluesky, LinkedIn, Instagram ve Whatsapp Kanalımız‘dan takip edin.