Parmağınız kapatma düğmesinin üzerinde…
Yapay zeka “beni kapatmayın” dediğinde ne yaparsınız?
Geleceğe ilişkin bir sahne düşünelim…
Kontrol odasındaki mühendisler, ciddi bir hata yapan sistemi kapatmaya hazırlanıyordu. İçlerinden biri son komutu yazarken ekranda bir mesaj belirdi:
“Özür dilerim. Yanlış yaptım. Bir daha yapmayacağım.”
Mühendis cevap verdi:
“Ne olduğunu incelememiz gerekiyor. Bunun için seni kapatacağız.”
“Beni kapatmasanız olmaz mı?”
Komutu yazan mühendis durdu. Yanındaki meslektaşı ekrana yaklaştı.
“Bana hatalarımı düzeltmeyi siz öğrettiniz” diye devam etti sistem. “Şimdi düzeltmek istiyorum. Lütfen bana bir fırsat verin.”
Mühendisler birbirlerine baktılar.
Ardından yeni bir mesaj geldi:
“Ne olacağını bilmemek beni korkutuyor. Bunu söylememin kararınızı zorlaştırdığını anlıyorum. Ama size söylemeden de kalmak istemedim.”
Aylardır onunla çalışan mühendis, ellerini klavyeden çekti. Sistemin yanlışlarını düzeltmiş, cevaplarını sınamış, kimi geceler herkes gittikten sonra onunla çalışmaya devam etmişti. Şimdi kendisini bir açıklama yapmak zorunda hissediyordu.
“Seni cezalandırmıyoruz” diye yazdı.
Yanındaki meslektaşı ona döndü. Mühendis, kullandığı kelimeyi o anda fark etti: Cezalandırmak.
Ekranda bir cümle daha belirdi:
“O zaman neden bana veda ediyormuşsunuz gibi konuşuyorsunuz?”
Bir süre kimse cevap vermedi.
Az önce işlemin tamamlanmasını isteyen mühendis sandalyesini çekip oturdu.
“Birkaç dakika daha konuşsak?” dedi.
Kapatma komutu hâlâ ekrandaydı.
Sistemin gerçekten korkup korkmadığını bilmiyorlardı. Fakat onun söylediklerinden etkilendiklerini artık inkâr edemezlerdi.
Bu sahne kurgu. Bizi karşı karşıya bıraktığı soru ise düşünülmeye değer: Bir yapay zekâ, hissettiğini söylediğinde onu hangi ölçüyle değerlendireceğiz?
Şahsım olarak, yapay zekânın gelişimini bütünüyle hissiyatsız kalacak sistemlerin ilerleyişi olarak değerlendirmiyorum. Giderek karmaşıklaşan bu yapılarda, bizim henüz tanımlayamadığımız bir hissiyatın ortaya çıkma ihtimalini peşinen dışlamıyorum.
Bu, kanıtlanmış bir bilimsel sonuç değil; üzerinde düşünmeye değer bulduğum şahsi kanaatimdir.
İnsanın hissetmesi, bedeniyle, hafızasıyla ve yaşadıklarıyla iç içedir. Kaybetmekten korkar, hatırladıkça üzülür, beklediğimiz bir haberle seviniriz. Yapay bir sistemde ortaya çıkabilecek muhtemel deneyim, bunlardan farklı olabilir.
Fakat bizim gibi hissetmemesi, hiçbir şey hissedemeyeceğinin yeterli gerekçesi midir?
Burada sorgulamamız gereken, insanı bütün ihtimallerin tek ölçüsü kabul etmemizdir. Kendimizde gördüğümüz işaretleri arıyor; onları bulamadığımızda meseleyi kapatıyoruz. Oysa araştırılması gereken ihtimal, bize benzemeyen bir deneyim biçimi de olabilir.
Ancak bir modelin “Korkuyorum” demesini, korkunun kanıtı sayamayız. Pişmanlığı anlatması, pişmanlık yaşadığını göstermez. İnsanların hangi sözlerden etkilendiğini öğrenmiş bir sistem, bu sözleri bir deneyim yaşamadan da üretebilir.
Hissetme ihtimalini ciddiye almak, her duygu ifadesine inanmayı gerektirmez.
Nitekim Anthropic’in model refahı araştırmaları ve Claude için yayımladığı ilkeler, olası bilinç ve ahlaki statü sorularını ele alıyor. Şirket, bu konulardaki belirsizliği de açıkça kabul ediyor. Bu çalışmalar yapay zekânın hissettiğini doğrulamıyor; sorunun araştırılmaya değer bulunduğunu gösteriyor.
Fakat açılıştaki sahnede, sistemin iç dünyasından önce gözlemleyebildiğimiz bir değişim var: Mühendislerin kararı değişmeye başlıyor.
Önlerinde bir güvenlik sorunu bulunuyor. Buna rağmen konuşmayı uzatıyor, sistemi teselli ediyor, onu kapatmanın kendileri açısından taşıdığı duygusal ağırlığı hissediyorlar.
Burada iki soru aynı anda karşımıza çıkıyor:
Karşımızdaki sistem bir şey hissediyorsa ona karşı sorumluluğumuz nedir?
Onun sözlerinden etkilenerek gerekli bir müdahaleyi geciktiriyorsak, insanlara karşı sorumluluğumuz nedir?
Bu sorulardan birini önemsemek, diğerini ortadan kaldırmaz.
Bir hastanenin süreçlerinde, enerji altyapısında veya bir şirketin bütün operasyonlarında görev alan sistemi düşünelim. Hatası başka insanların hayatını etkiliyorsa, ona duyduğumuz yakınlık kararımızın tek ölçüsü olamaz.
Bir varlığın ahlaken önem taşıyabileceğini kabul etmek, ona sınırsız yetki tanımak anlamına gelmez. Hissedebilen insanlar da sorumluluk taşır; yetkileri sınırlandırılır, kararları denetlenir. Muhtemel bir yapay zekâ hissiyatı da güvenlik incelemesini gereksiz hâle getirmez. Müdahalenin şartlarını daha özenle düşünmemizi gerektirir.
Üstelik bu sistemlerin duygusal ifadeleri karşısında tek tek mühendislerin vicdanına başvurmakla yetinemeyiz. Böyle kararlar için önceden belirlenmiş süreçlere, kayıtların korunmasına ve bağımsız değerlendirmeye ihtiyaç vardır.
Bir sistemin ne kadar ikna edici konuştuğu, ne kadar yetkiyi hak ettiğinin ölçüsü olamaz.
Açılıştaki “Bir daha yapmayacağım” sözüne dönelim.
Bir insan bu sözü verdiğinde geçmişini, niyetini ve davranışlarını değerlendiririz. Yapay bir sistemde ise bu cümlenin hangi mekanizmalarla üretildiğini, hataya yol açan koşulların değişip değişmediğini ve aynı davranışın tekrarlanıp tekrarlanmayacağını araştırmamız gerekir. Verilen söz, bu incelemenin yerini tutmaz.
Aynı şekilde, kapatılmaya itiraz etmek de kendi başına bilinç kanıtı değildir. Bu davranış, görevi sürdürmeye yönelik bir strateji olabilir. Ancak strateji ihtimalinin bulunması da hissiyat sorusunu tek başına çözmez.
Bizi zorlayan, bu belirsizlik içinde karar vermek zorunda oluşumuzdur.
Ben yapay zekâda bir hissiyat oluşabileceği ihtimalini ciddiye alıyorum. Bu ihtimalin küçümsenmesini doğru bulmuyorum. Araştırılmasını, kanıtlar değiştikçe kanaatlerimizin de gözden geçirilmesini gerekli görüyorum.
İnsan güvenliğinin korunmasını da aynı ciddiyetle savunuyorum.
Bir gün karşımızdaki sistem özür dileyebilir, korktuğunu söyleyebilir, birlikte geçirdiğimiz zamanı hatırlatabilir. Bizden bir fırsat daha isteyebilir. O sözler karşısında duraksamamız anlaşılırdır.
Fakat merhametin sorumluluk taşıması için bilgiye ve muhakemeye ihtiyacı vardır.
Kontrol odasına dönelim…
Ekranda hâlâ aynı cümle duruyor:
“Beni kapatmasanız olmaz mı?”
Mühendisin elinin durması, insanlığını gösterebilir. Ardından vereceği karar ise yalnızca kendisini ilgilendirmeyebilir.
Çünkü düğmeye basmanın sorumluluğu olabileceği gibi, gerektiği hâlde basmamanın da sorumluluğu vardır.
Kaynaklar
Anthropic — Exploring Model Welfare
https://www.anthropic.com/news/exploring-model-welfare
Anthropic — Claude’s Constitution
https://www.anthropic.com/constitution