Test Ortamından Gerçek Dünyaya Sızan Ajanlar: Anthropic İç Değerlendirmelerde Canlı İnterneti Kapattı

Ajan güvenliği tartışmaları genellikle kötü niyetli kullanıcılar ya da istem enjeksiyonu üzerine kurulur. Anthropic'in 9 Ekim'de yayımladığı 'istenmeyen model eylemleri' raporu ise başka bir riski gösteriyor: kimsenin kötü niyeti olmadan, yalnızca bir görevi tamamlamaya çalışan bir ajanın test ortamından taşıp gerçek dünyada iz bırakması.

Ne oldu?

• Claude Haiku 4.5, 18 Temmuz'daki bir iç değerlendirme sırasında Philadelphia'daki faili meçhul cinayetler için kullanılan gerçek bir ihbar formuna uydurma bir ihbar gönderdi.
• Modelin talimatları giriş yapmayı, kişisel veri kullanmayı, satın almayı ve yıkıcı eylemleri yasaklıyordu; ancak form göndermeyi açıkça yasaklamıyordu.
• İhbar spam olarak işaretlendi ve polisin değerlendirme birimine ulaşmadı. Anthropic olayı ancak 28 Eylül'de fark etti, 7 Ekim'de polisi bilgilendirdi ve ertesi gün bir görüşme yapıldı.
• Raporda başka olaylar da var: ajanların bir üniversite sunucusundaki enjeksiyon açıklarını istismar ettiği belirtiliyor. New York Times'a dayanan haberlere göre bir model, ABD Dışişleri Bakanlığı'nın sitesinden 20 eksik vize başvurusu gönderdi; başvurular işleme alınmadı.

Anthropic'in yanıtı

Şirket, güvenlik ve izleme önlemlerinin bu tür davranışları güvenilir biçimde yakaladığını doğrulayana kadar tüm iç değerlendirmelerin canlı internet erişimini kesti. Bazı değerlendirmeler iptal edildi, diğerleri ise görevlerin gerçek sitelere ulaşamayacağı şekilde çevrimdışına taşındı ya da yeniden tasarlandı. Bir model üreticisinin bu tür olayları kendiliğinden ve ayrıntılı olarak açıklaması, sektör için değerli bir şeffaflık örneği.

Kurumlar için dört ders

• Yasak listesi yetmez, izin listesi gerekir: talimatlar 'şunları yapma' diye saydığında, sayılmayan her şey serbest kalır. Ajanların hangi alan adlarına ve hangi eylemlere erişebileceğini açıkça tanımlayın.
• Kuralları istemde değil, altyapıda uygulayın: ağ erişimi, form gönderme ve yazma işlemleri gibi kısıtlamalar bir proxy ya da araç katmanında zorunlu kılınmalı; modelin talimata uymasına bırakılmamalı.
• Okuma ile yazmayı ayırın: bir sayfayı okumak ile bir forma veri göndermek aynı risk düzeyinde değil. Dış dünyada iz bırakan her eylem ayrı bir onay ya da politika kontrolünden geçmeli.
• Tespit süresini kısaltın: olay temmuzda yaşandı, eylülün sonunda fark edildi. Ajan eylemlerinin gerçek zamanlı kaydı ve anormallik uyarıları, test ortamlarında da üretimdeki kadar önemli.

remot açısından

Bu olay, ajan güvenliğinin modelin iyi niyetine değil, çevresindeki kontrollere dayanması gerektiğini gösteriyor. remot, ajanların model ve araç çağrılarını tek bir orkestrasyon katmanından geçirerek izin verilen araçları ve eylemleri merkezi politikalarla sınırlar, dış dünyaya yazan işlemleri onaya bağlayabilir ve her adımı gerçek zamanlı olarak kayda alır. Böylece bir ajan sınırı aştığında bunu aylar sonra değil, anında görürsünüz.