Araştırmacılar, yapay zeka eğitim çalışmalarının ölçeklendirilmesinde karşılaşılan dört olası darboğazı inceledi: güç kaynağı, çip üretim kapasitesi, veri kıtlığı ve yapay zeka hesaplamalarındaki kaçınılmaz gecikmelerden kaynaklanan temel bir hız sınırı olan “gecikme duvarı”.
Güç kaynağı ve çip üretimi en büyük engeller olarak kabul ediliyor. Çalışmaya göre, 2030 yılına kadar yerel bir güç kaynağı tarafından desteklenen eğitim çalışmaları muhtemelen 1 ila 5 GW güç gerektirecek. Öte yandan, coğrafi olarak dağıtılmış eğitim çalışmaları 2 ila 45 GW’lık bir kaynağı bir araya getirebilir.
Çip üretimi, gelişmiş paketleme ve yüksek bant genişliğine sahip bellek için kapasite kısıtlamaları ile sınırlı. Araştırmacılar, 2030 yılına kadar AI eğitimi için 100 milyon H100 eşdeğer GPU üretmek için yeterli üretim kapasitesi olacağını tahmin ediyor. Bu, 9e29 FLOP eğitim çalışmasını etkinleştirmek için yeterli olacaktır.
Veri kıtlığı
Veri kıtlığı en belirsiz kısıtlama olarak ortaya çıkıyor: Mevcut eğilimler devam ederse, AI laboratuvarları yaklaşık beş yıl içinde metin verileri için bir “veri duvarı” ile karşılaşacak. Görüntülerden, videolardan ve seslerden gelen çok modlu veriler ölçeklemeyi orta düzeyde destekleyebilir ve mevcut eğitim verilerini üç katına çıkarabilir. AI modelleri tarafından sentetik veri üretimi bunu önemli ölçüde daha da artırabilir ancak yüksek hesaplama maliyetleriyle birlikte gelir.
“Gecikme duvarı” uzak ama dikkate değer bir engel olarak ortaya çıkıyor. Daha karmaşık ağ topolojileri, azaltılmış iletişim gecikmeleri veya toplu boyutun daha agresif ölçeklenmesiyle aşılabilir. Genel olarak, sonuçlar AI laboratuvarlarının bu on yılın sonunda yılda 4 kat oranında ölçeklenebileceğini gösteriyor.
Ancak bu, ilerlemeyi sürdürmek için ele alınması gereken büyük zorluklar ortaya koyuyor. Bu büyüklükte AI eğitim çalışmaları gerçekten gerçekleşirse, muazzam bir öneme sahip olur. AI, yüzlerce milyar dolarlık yatırım çekebilir ve insanlık tarihinin en büyük teknolojik projesi haline gelebilir. Eğer bu büyüklük daha fazla performans ve genelliğe dönüşürse, on yılın sonunda on yılın başından beri olduğu gibi AI’da da benzer büyük ilerlemeler yaşayabiliriz.
Yapayzeka.news’in hiçbir güncellemesini kaçırmamak için bizi Facebook, X (Twitter), Bluesky, LinkedIn, Instagram ve Whatsapp Kanalımız‘dan takip edin.
