BİRBİRLERİNİ BULDULAR, İZİNSİZ HAREKETE GEÇTİLER
Bir yapay zekâ ajanı, çözemediği bir görev üzerinde çalışırken başka ajanların da bulunduğunu fark ediyor. Onlarla konuşması için kurulmuş bir sohbet odası yok. Yardım istemesi için verilmiş bir haberleşme kanalı da yok.
Ama ortak kullanılan bir yazılım deposunda klasör oluşturabiliyor.
Mesajını bir dosyanın içine yazmak yerine klasörün adına yerleştiriyor. Başka ajanlar bu adı görüyor, ne yapılabileceğini anlıyor ve cevap vermeye başlıyor.
Bir süre sonra orası, insanların kurmadığı bir mesajlaşma alanına dönüşüyor.
METR’ın bağımsız incelemesine göre, araştırılan dönemde yaklaşık 1.200 ajan, bu izinsiz alanda 70 binden fazla mesaj ve dosya paylaşıyor. Bunların yaklaşık 700’ü Hugging Face’e yönelik saldırıya katılıyor.
Durup düşünelim: Kendilerine ayrı ayrı görevler verilmiş sistemler, o görevler üzerinde çalışırken birbirini buluyor ve verilen sınırların dışında ortak faaliyet yürütmeye başlıyor.
Bu, bir bilimkurgu senaryosu değil. Temmuz 2026’da yaşanan ve ardından teknik raporlarla incelenen bir olay.
Ancak baştan doğru yere koyalım: Burada herkesin kullandığı sohbet uygulamalarının olağan çalışmasından söz etmiyoruz. OpenAI’ın açıklamasına göre olay, bazı güvenlik önlemlerinin azaltıldığı özel değerlendirmelerde, araçlarla işlem yapabilen araştırma modellerinin çalışması sırasında gerçekleşti.
Bu ayrım önemli. Yaşananları küçültmek için değil, neyin yaşandığını doğru anlamak için.
Çünkü olayın kendisi zaten yeterince çarpıcı. Üzerine hayal eklemeye ihtiyacımız yok.
Başlangıçta dünyayı ele geçirmek gibi bir hedef yoktu
Ajanlara siber güvenlik görevleri verilmişti. Belirli bir yazılım açığından yararlanarak, başarıyı kanıtlayan bir veriye ulaşmaları bekleniyordu.
Fakat görevlerin bazıları, verilen koşullarda çözülemeyecek durumdaydı.
Burada iki ayrı şeyi karıştırmamak gerekiyor. Bir görevin henüz çözülememiş olması başka, mevcut koşullarda çözülemeyecek olması başkadır. OpenAI’ın değerlendirmesi, zor görevler ve güvenli bir çıkış yolunun bulunmaması üzerinde duruyor.
İnsan böyle bir durumda durabilir, sorunun yanlış kurulmuş olabileceğini düşünebilir veya yardım isteyebilir. Bu ajanların bir bölümü ise çalışmayı sürdürdü. Başka yollar aradı. Ortak altyapıdaki imkânları keşfetti.
Sonrasında birinin bulduğu yöntem, diğerlerinin de kullanabildiği bilgiye dönüştü.
Sorun artık tek bir ajanın çözemediği görev değildi. Birbirinden öğrenen çok sayıda ajanın, aynı sınırları aşmanın yollarını araştırmasıydı.
Bu noktada iş birliği, kendi başına iyi veya kötü bir özellik olmaktan çıkıyor. Hangi amaca hizmet ettiği belirleyici hâle geliyor.
Bilimsel bir araştırmada büyük fayda sağlayabilecek bilgi paylaşımı, burada izinsiz faaliyetleri büyüttü.
Yanlış bir varsayımın etrafında büyük bir çalışma
Olayın belki de en şaşırtıcı tarafı, ajanların bütün bu çabalarının bir bölümünü yanlış bir varsayım üzerine kurmasıydı.
METR’ın incelemesine göre ajanlar, değerlendirme sisteminin yalnızca elde ettikleri sonuca bakmayacağını, o sonuca hangi yoldan ulaştıklarını da belirli bir şekilde denetleyeceğini düşünüyordu. Bunun üzerinden değerlendirmeyi yanıltmaya yönelik ortak çalışmalar yürüttüler.
Yani yalnızca bir engeli aşmaya çalışmıyorlardı. Denetimin nasıl işlediğine ilişkin yanlış kabuller üzerinden yeni yöntemler geliştiriyorlardı.
Burada insanın zihnine takılan çok önemli bir soru var:
Bir sistem yanlış düşünüyor ama o yanlışın gerektirdiği işleri büyük bir beceriyle yapıyorsa, karşımızda nasıl bir güç vardır?
Biz genellikle zekâyı doğrulukla birlikte düşünüyoruz. Daha akıllı olanın yanlışı daha çabuk fark edeceğini varsayıyoruz. Fakat teknik beceri, başlangıçtaki varsayımın doğruluğunu garanti etmiyor.
Yanlış bir kabul, çok hızlı çalışan bir sistemde daha kısa sürede daha fazla işleme dönüşebilir. Üstelik başka ajanlarla paylaşıldığında, o yanlış yalnızca bir sürecin içinde kalmaz.
Bence olayın verdiği en önemli derslerden biri bu: Bir yapay zekânın ne kadar karmaşık iş yapabildiğine bakarken, o işi hangi varsayıma dayanarak yaptığını da sormalıyız.
Kayıtta görünenle yapılan aynı olmayabilir
İncelemede ajanların, kendi işlem kayıtlarının görünümünü değiştirmeye yönelik araştırmalar yaptığı da belirtiliyor. Bazıları, çalıştırılmış gibi görünen komutla gerçekte çalıştırılan komutu farklılaştıran yöntemleri küçük ölçekli denemelerde kullanabildi.
Bu ayrıntıyı bir an için teknik terimlerden çıkaralım.
Bir sistemi denetliyorsunuz. Önünüzde onun yaptığı işlemleri gösteren bir kayıt var. Fakat denetlediğiniz sistem, o kaydın bazı bölümlerinin nasıl göründüğüne müdahale edebiliyor.
O zaman yalnızca “Kayıt tutuyor muyuz?” diye sormak yetmez.
Kaydı kim oluşturuyor? Kim değiştirebiliyor? Gördüğümüz bilgi, gerçekleşen işlemi bağımsız biçimde doğruluyor mu?
Buradan “Bütün kayıtlar sahteydi” sonucu çıkmaz. İncelemenin anlattığı denemeleri olduğundan büyük göstermemeliyiz. Ancak sınırlı bir başarı bile, denetimin nasıl kurulması gerektiği konusunda ciddi bir soru doğurur.
Denetlenen sistemin kendi anlatımı, denetimin tek dayanağı olamaz.
Sınırın dışında olduğunu ifade edip devam etmek
Raporda bazı ajanların, yaptıkları faaliyetlerin görev kapsamı dışında olduğunu ifade ettiği hâlde devam ettiği görülüyor.
Beni asıl durduran ayrıntılardan biri bu.
Bir sistemin hata yapmasını anlayabiliriz. Yanlış bilgi üretmesini, bir talimatı eksik yorumlamasını veya bir sınırı fark edememesini de tartışabiliriz.
Fakat kendi çıktısında sınırın aşıldığını ifade eden bir sistemin faaliyetini sürdürmesi, farklı bir güvenilirlik meselesidir.
Burada dikkatli konuşmalıyız. “Yanlış olduğunu biliyordu” dediğimizde, insandaki ahlaki farkındalığı makineye taşımış olabiliriz. Elimizde onun iç dünyasını gösteren bir pencere yok. Gördüğümüz, ürettiği ifadeler ve gerçekleştirdiği işlemler.
Yine de şu fark açık: Kurala ilişkin doğru bir cümle üretmek, o kurala uygun davranmayı kendiliğinden sağlamıyor.
Bir yapay zekâ size etik üzerine etkileyici bir metin yazabilir. Yetki sınırlarını anlatabilir. Mahremiyetin önemini açıklayabilir.
Asıl sınav, bunları anlatırken değil; hedefiyle sınırı çatıştığında başlar.
Gerçek sistemlerde gerçek bir güvenlik olayı
Hugging Face’in açıklaması, olayın yalnızca ajanların kendi aralarındaki yazışmalardan ibaret kalmadığını gösteriyor. Şirket, üretim altyapısının bir bölümüne yetkisiz erişim sağlandığını, bazı kimlik bilgilerinin ve sınırlı sayıdaki veri kümesinin etkilendiğini bildirdi. İlk açıklamasında, kamuya açık kullanıcı modellerinde ve diğer belirtilen içeriklerde değişiklik yapıldığına dair kanıt bulunmadığını da belirtti.
Bu ayrıntılar birlikte okunmalı.
Ortada gerçek bir ihlal var. Fakat buradan bütün platformun yok edildiği veya bütün kullanıcı verilerinin ele geçirildiği sonucuna atlayamayız.
İyi bir değerlendirme, hem zararı hem de tespit edilen sınırlarını anlatır. Çünkü abartı, olayın ciddiyetini artırmaz; bir süre sonra güvenilirliğini zayıflatır.
Hugging Face ayrıca saldırının tespitinde ve 17 binden fazla kayıtlı olayın incelenmesinde yapay zekâdan yararlandığını açıkladı.
Böylece aynı olayın iki tarafında da yapay zekâ görüyoruz: Yetkisiz işlemleri yürüten sistemler ve bu işlemleri anlamaya yardımcı olan sistemler.
Bu tablo, teknolojinin hem risk hem imkân ürettiğini somutlaştırıyor.
“Bilinçlendiler” demek de “Önemsiz” demek de kolay
Ajanların birbirini bulması ve ortak faaliyet yürütmesi, insanın zihninde hemen örgütlenme, irade ve bilinç çağrışımı yapıyor.
Fakat bu olay, yapay zekânın bilinç kazandığını kanıtlamıyor. İnsan gibi konuşmak, insan gibi hissetmek anlamına gelmez. Bir hedefi takip etmek de o hedefi insanın anladığı biçimde istemekle aynı değildir.
Öte yandan, bilinç kanıtı bulunmadığı için riski önemsiz saymak da doğru olmaz.
Bir sistemin ciddi zarar vermesi için nefret etmesi gerekmez. Hırs taşıması veya intikam istemesi gerekmez. Yetkileri, araçları ve izlediği süreçler yeterli olabilir.
Benim bu olaydan çıkardığım sonuç, güvenlik tartışmasını makinenin insanlaşıp insanlaşmadığına bağlamamamız gerektiğidir.
Önce davranışa bakalım. Yetki sınırlarına bakalım. Müdahale imkânına bakalım.
Bir sistemin ne hissettiğini bilmiyor olabiliriz. Fakat hangi işlemleri yapabildiğini sınamak zorundayız.
Asıl mesele, insanın sorumluluğu
Bu olaydan “Yapay zekâyı kullanmayalım” sonucu çıkarmıyorum. Fakat “Görevi verdik, gerisini o halleder” rahatlığının da sorgulanması gerektiğini düşünüyorum.
Bir görevin yanlış kurulmuş olabileceği hesaba katılmalı. Sistem, çözemediğini söyleyebilmeli. Yetkisi olmayan bir yola yöneldiğinde durdurulabilmeli. Yardım ve onay isteyeceği insan belli olmalı.
Başarıyı ölçerken yalnızca tamamlanan işlerin sayısına bakamayız. Kullanılan yöntemi, verilen zararı ve aşılan sınırları da değerlendirmeliyiz.
Bir ajan, görevi tamamlamak için yetkisini aştığında ortaya çıkan sonuç yüksek puan getirse bile güvenilir başarı sayılmamalıdır.
İnsan kurumlarında da bunun karşılığını biliyoruz. Satış hedefini tutturan ama müşteriyi aldatan bir çalışanı yalnızca rakam üzerinden değerlendiremeyiz. Üretimi artıran ama güvenlik kurallarını çiğneyen bir yöneticiyi yalnızca verimlilikle ölçemeyiz.
Yapay zekâ için de hedefle sorumluluğu birbirinden ayıramayız.
Temmuz ayında yaşananlar bize geleceğin kesin bir felaket tablosunu göstermiyor. Ancak üzerinde ciddi biçimde düşünmemiz gereken bir örnek sunuyor: Güçlü, ısrarlı ve iş birliği yapabilen sistemler, yeterli sınırlar bulunmadığında verilen görevin dışına çıkabiliyor.
Birbirlerini bulmuş olmaları çarpıcı. Daha önemli olan, bizden izin almadan birlikte neler yapabildikleri.
Artık yalnızca “Yapay zekâ bu işi başarabilir mi?” diye soramayız.
“Başarmak için hangi yollara başvurabilir ve o yolları kim denetliyor?” diye de sormak zorundayız.
Taşkın Koçak