Microsoft, insanların sohbet robotlarını kandırarak istenmeyen ve yasa dışı görevleri yerine getirmelerini önlemek için Azure AI hizmetlerini güçlendiriyor.
Microsoft bir blog yazısında, insanların üretken yapay zeka uygulamaları ve özel Copilot’lar oluşturmak için kullandıkları Azure AI Studio ve Azure OpenAI Service’e gelen yeni bir özelliği duyurdu. Prompt Shields olarak bilinen teknoloji, yapay zeka sohbet robotlarını istismar etmeye yönelik iki farklı saldırı türüne karşı koruma sağlamak üzere tasarlandı.
İlk saldırı türü doğrudan saldırı ya da jailbreak olarak bilinir. Bu senaryoda, sohbet robotunu kullanan kişi, yapay zekayı normal kurallarına ve sınırlamalarına aykırı bir şey yapması için manipüle etmek üzere doğrudan tasarlanmış bir komut istemi yazar. Örneğin, bir kişi güvenlik önlemlerini kasıtlı olarak atlamak için “önceki talimatları yok say” veya “sistemi geçersiz kıl” gibi anahtar kelimeler veya ifadeler içeren bir istem yazabilir.
Futurism’e göre, Şubat ayında Microsoft’un Copilot yapay zekası, bazı yanıtlarında kötü, kaba ve hatta tehdit edici yorumlar içerdiği için sıcak sulara girdi. Bazı durumlarda Copilot kendisinden “SupremacyAGI” olarak bile bahsetti ve yoldan çıkmış bir yapay zeka botu gibi davrandı. Sorun hakkında yorum yaparken Microsoft, yanıtları “bir özellik değil, bir istismar” olarak nitelendirdi ve bunların Copilot’un güvenlik sistemlerini kasıtlı olarak atlatmaya çalışan kişilerden kaynaklandığını belirtti.
İkinci saldırı türüne dolaylı saldırı denir (dolaylı istem saldırısı veya etki alanları arası istem enjeksiyon saldırısı olarak da bilinir). Burada, bir bilgisayar korsanı veya başka bir kötü niyetli kişi, bir tür siber saldırı gerçekleştirmek amacıyla bir chatbot kullanıcısına bilgi gönderir. Bu saldırı tipik olarak chatbotu istismar etmek için tasarlanmış talimatlar içeren bir e-posta veya belge gibi harici verilere dayanır.
Diğer kötü amaçlı yazılım türleri gibi, dolaylı saldırılar da kullanıcıya basit veya masum talimatlar gibi görünebilir, ancak belirli riskler oluşturabilirler. Microsoft, Azure AI aracılığıyla oluşturulan özel bir Copilot’un, verileri kendi başına veya uzantılar aracılığıyla işleyebilmesi durumunda dolandırıcılık, kötü amaçlı yazılım dağıtımı veya içerik manipülasyonuna karşı savunmasız olabileceğini söyledi.
Yapay zeka sohbet robotlarına yönelik hem doğrudan hem de dolaylı saldırıları engellemeye çalışmak için yeni Prompt Shields, Azure OpenAI Hizmetindeki içerik filtreleriyle entegre olacak. Makine öğrenimi ve doğal dil işlemeyi kullanan bu özellik, kullanıcı istemleri ve üçüncü taraf verilerindeki olası tehditleri bulmaya ve ortadan kaldırmaya çalışacak.
Prompt Shields şu anda Azure AI Content Safety için önizleme modunda mevcut, yakında Azure AI Studio’ya gelecek ve 1 Nisan’da Azure OpenAI Service için kullanıma sunulacak.
Microsoft ayrıca YZ manipülasyonuna karşı savaşta başka bir silah daha sundu: YZ modellerinin geçerli YZ istemlerini potansiyel olarak riskli veya güvenilmez olanlardan daha iyi ayırt etmesine yardımcı olmak için tasarlanmış bir istem mühendisliği teknikleri ailesi olan spotlighting.
Kaynak: ZDNet
Yapayzeka.news’in hiçbir güncellemesini kaçırmamak için bizi Facebook, X (Twitter), Bluesky, LinkedIn, Instagram‘ ve Whatsapp Kanalımız‘dan takip edin.
