Apple, verimlilik ve daha az eğitim verisiyle daha iyi performans için optimize edilmiş bir dizi açık kaynaklı dil modeli olan OpenELM’i yayınladı.
OpenELM (Açık Kaynak Verimli Dil Modelleri), üç milyara kadar parametreye sahip bir açık kaynak dil modelleri ailesidir. Araştırmacılar, modellerin parametreleri dönüştürücü model katmanları içinde daha verimli bir şekilde dağıtan katman bazlı bir ölçeklendirme stratejisi kullandığını belirtiyor. Sonuç olarak, OpenELM karşılaştırılabilir modellerden daha yüksek doğruluk elde ediyor.
OpenELM’in 1,1 milyar parametreli modeli, ön eğitim için yarısı kadar eğitim jetonu kullanmasına rağmen AI21 Labs’ın 1,2 milyar parametreli OLMo modelinden yüzde 2,36 daha iyi performans gösteriyor. Basitçe söylemek gerekirse, OpenELM daha az veri ve işlemle biraz daha iyi performans elde ediyor.
OpenELM modelleri dört boyutta sunulmaktadır: 270 milyon, 450 milyon, 1,1 milyar ve 3 milyar parametre. Tüm modeller, talimatlarla ince ayarlanmış bir versiyonda da mevcuttur. Github ve Huggingface’te mevcutturlar.
Apple tüm eğitim ve ince ayar çerçevesini açık kaynak olarak sunuyor. Buna eğitim protokolü, çoklu kontrol noktaları ve ön eğitim yapılandırması dahildir. Buna ek olarak Apple, Apple aygıtlarında çıkarım ve ayarlama yapabilmek için modelleri MLX kütüphanesine dönüştüren kodu da yayınlıyor.
Teknoloji şirketi eğitim için RefinedWeb, The PILE’ın tekilleştirilmiş sürümleri, RedPajama’nın bazı bölümleri ve Dolma 1.6 gibi halka açık veri kümelerini kullandı. Eğitim veri kümesi toplamda yaklaşık 1,8 trilyon token içeriyor.
Güvenli, özel, cihaz üzerinde
OpenELM muhtemelen Apple’ın gizlilik, verimlilik ve kontrole odaklanan yapay zeka stratejisinin bir başka yapı taşıdır.
Bu, Siri sesli asistanında iyileştirmeler ya da Mail veya News gibi uygulamalarda yeni üretken yapay zeka özellikleri anlamına gelebilir. Apple, kullanıcı verilerini kullanmadan lider yapay zeka sistemleri oluşturabileceğini göstermek istiyor.
Apple, gelişmiş bulut yapay zeka uygulamaları için Google, OpenAI ve diğerleriyle ortaklık kurabilir. Apple’ın jeneratif yapay zeka stratejisinin detaylarının 10 Haziran’da başlayacak WWDC geliştirici konferansında açıklanması bekleniyor.
Yapayzeka.news’in hiçbir güncellemesini kaçırmamak için bizi Facebook, X (Twitter), Bluesky, LinkedIn, Instagram ve Whatsapp Kanalımız‘dan takip edin.
