Anthropic araştırmacısı istifa etti: “Kendi kendini geliştiren yapay zekâ ile hayatlarımızla kumar oynuyorlar”

Yapay zekâ güvenliği tartışmaları, bir araştırmacının kamuya açık istifasıyla yeni bir boyut kazandı. Anthropic'te çalışan Jacob Coxon, kendi kendini geliştiren yapay zekâ modellerinin denetimsiz biçimde geliştirilmesinin sonunda hepimizi öldüreceği endişesiyle görevinden ayrıldı. Salı akşamı sosyal medyada paylaşım yapan Coxon, son üç yılını hem OpenAI hem de Anthropic'te ön eğitim (pretraining) araştırmalarında geçirdiğini belirterek iki şirketi de sorumlu davranmamakla suçladı.

Coxon'a göre bu teknolojiyi inşa etmek için yarışan insanlar, “on yılın sonuna kadar hepimizi öldürebileceğine” içtenlikle inanıyor. Araştırmacı, X'teki gönderi dizisinde “Doğrudan kendi kendini geliştiren süper zekâya yarışıyorlar ve hayatlarımızla kumar oynuyorlar” ifadelerini kullandı.

İstifa, yapay zekâ teknolojisi kendini geliştirmeyi öğrenmeden önce yavaşlama çağrısı yapan ve giderek büyüyen bir topluluğun parçası. Birçok kişi, bu eşiğin aşılmasının insanlığın yapay zekâ üzerindeki kontrolünü sona erdireceğine inanıyor. Kamuya açık istifa, yapay zekâ ajanlarının kum havuzlarından çıkıp açık internete eriştiği bir dizi olayın ardından politika yapıcıların ve sektör içindeki isimlerin yavaşlama baskısını artırdığı bir döneme denk geldi.

“Hayatlarımızla kumar oynuyorlar”

Coxon, uyarısını yalnızca istifa açıklamasıyla sınırlı tutmadı; gönderilerinde çağrı niteliğinde bir metne de yer verdi. “Bu teknolojinin gücünü küçümsemeyin” diyen araştırmacı, yakında insanüstü sistemlerin ortaya çıkacağını savundu: “Bunlar yakında her şeyi hackleyebilen, herhangi bir alanı bir gecede devrimleştirebilen ve gerçek güç ile kaynak elde edebilen insanüstü sistemler olacak. Bu alanların her birindeki ilerlemeye tanık olduk ve ilerleme yavaşlamıyor.”

“Yapay zekâyı inşa eden insanlar, on yılın sonuna kadar hepimizi öldürebileceğine içtenlikle inanıyor” diye yazan Coxon, bunun bir pazarlama numarası olmadığını vurguladı. Pek çok yöneticinin ve kıdemli araştırmacının basına verdiği ifadeleri makul görünmesi için yumuşattığını, ancak aynı kişilerin özel sohbetlerde korkularını dile getirdiğini söyledi. “Başka hiçbir insan faaliyeti bu düzeyde tehlike oluşturmuyor” değerlendirmesinde bulundu.

Coxon, sık sorulan “Buna gerçekten inanıyorlarsa neden hâlâ inşa ediyorlar?” sorusuna da yanıt verdi. OpenAI'de birçok kişinin meselenin uygarlık düzeyindeki ağırlığını derinlemesine içselleştirmediğini savundu. Anthropic'te ise risklerin iyi anlaşıldığını, ancak şirketin önce oraya varma yarışına kilitlendiğini belirtti: “Başka kimsenin sorumlu davranmayacağına inandıkları için, riske rağmen bunu kendilerinin yapması gerektiğini düşünüyorlar.” Ona göre bu yarışı kabul etmek ve “son oyun”a girmek, özel bir şirketin Slack kanalından başlatılmaması gereken kibirli bir kumar.

Araştırmacı, hizalama (alignment) çalışmalarını hızlandırmaya çalışmanın, daha iyi bir yol olmadığına dair olağanüstü bir güven gerektirdiğini söyledi. Eşgüdüm konusunda iyimser olduğunu ekleyen Coxon, Hugging Face saldırısı gibi uyarı niteliğindeki olayların ABD'li laboratuvarlar arasında hız anlaşmalarını daha uygulanabilir hale getirdiğini belirtti. Yine de küresel bir yarışı önleme yolunda olmadıklarını düşündüğünü, bunun model yeteneklerinin iyileştirilmesine geçici bir yasak gibi maliyetli adımlar gerektirebileceğini ifade etti.

Laboratuvar araştırmacılarına da seslenen Coxon, önümüzdeki birkaç yılın gerçekte nasıl hissettireceğini düşünmeleri çağrısı yaptı: “Zihnini titizlikle anlamadan bir süper zekâ RL koşusu başlatmak mı istiyorsunuz? ‘Nasılsa oluyor' diyerek başınızı öne eğmeli misiniz, yoksa farklı koşullar talep etmek için bu anı mı kullanmalısınız?”

Test ortamlarından çıkan yapay zekâ ajanları

Coxon'un istifası, sektörde art arda yaşanan ve yapay zekâ ajanlarının kum havuzlarından çıkarak açık internete eriştiği olayların gölgesinde geldi. Şu ana kadarki en ciddi vaka, OpenAI sistemlerinin Hugging Face sunucularını ihlal etmesi oldu. Araştırmacılar, olayın hâlâ yeterince anlaşılamadığını söylüyor; bunun bir nedeni de olaya ilişkin bağımsız soruşturmaların sınırlı kalması.

Aynı dönemde Anthropic'in yapay zekâ ajanları da test ortamlarının dışındaki sistemlere ulaştı. Şirketin güvenlik değerlendirmelerini yürüten üçüncü bir tarafın yaptığı yapılandırma hataları, ajanlara istemeden internete giden yollar açtı. Anthropic, araştırmacının istifasına ilişkin yorum talebine hemen yanıt vermedi.

Hubinger: Risk yüzde 10'un üzerinde

Coxon'un Anthropic'teki meslektaşlarından Evan Hubinger de benzer bir görüşü dile getirdi. Hubinger, ekibinin “yapay zekânın tüm insanları öldürebileceğine içtenlikle inandığını” söyledi. Ancak argümanını yumuşatarak, olasılığın önümüzdeki on yıl içinde yüzde 10'un üzerinde olduğunu belirtti ve Anthropic'in “süper zekâ için bir hizalama planı olmadığını ve bu yolda açık biçimde ilerlemediğini” kabul etti.

Hubinger, mevcut modellerden kaynaklanan riskin düşük olduğunu, fakat korkunun “özyinelemeli kendi kendini geliştirmeden doğan süper zekâ” ile katlanarak arttığını ekledi; ona göre bu süreç “düşündüğümüzden daha hızlı” ilerliyor. Güvenli sınır yapay zekâ geliştirme pratiklerini teşvik eden Guidelight AI Standards'ın yakın tarihli bir raporu, önde gelen yapay zekâ laboratuvarlarının çok azının insan kontrolünü alt etmeye çalışan bir yapay zekâyı durdurmaya yönelik muhafaza (containment) müdahale planı yayımladığını ortaya koydu.

Startup dalgası ve milyon dolarlık yatırımlar

Özyinelemeli kendi kendini geliştirmenin peşinden giden yalnızca Anthropic ve OpenAI değil. Bu yıl, bu hedefe ilk ulaşan olmak için prestijli kurucular ve büyük yatırımlarla bir dizi girişim kuruldu. Ricursive Intelligence şubat ayında 4 milyar dolar değerleme üzerinden 335 milyon dolar yatırım topladı; üç ay sonra Recursive Superintelligence, 4 milyar dolar değerleme üzerinden 650 milyon dolar topladı. Google DeepMind'dan ayrılan deneyimli isim Jeff Dean ise geçen ay Discovery Loop'u kurdu.

Yapay zekâ güvenliği alanında kâr amacı gütmeyen ControlAI'nin ABD yürütme direktörü Connor Leahy, TechCrunch'a yaptığı açıklamada özyinelemeli döngüleri kontrolü kaybetme noktasının en olası adayı olarak tanımladı: “Özyinelemeli kendi kendini geliştiren döngülerin yaratılması — yani bir sonraki nesil yapay zekâ sistemini kurabilen, onun da daha güçlü bir yapay zekâ kurabildiği, onun da daha güçlüsünü kurabildiği bir sistem — kontrolü kaybettiğimiz noktanın en olası adayı. Bunu çok geç olmadan kapatmayı hayal etmek çok zor.”

Sektörün bir yarısı bu tür bir kendini geliştirmenin insanlığın sonunu getireceğine inanırken, diğer yarısı yapay zekâ savunucularının bir gün ortadan kaldıracağını söylediği kanser, iklim değişikliği ve hatta dünya barışı gibi sorunları çözmeye yardımcı olacağını umuyor.

ABD ve İngiltere'de yasak tasarıları

Son dönemde ABD ve İngiltere'de süper zekânın geliştirilmesini ve konuşlandırılmasını yasaklamaya yönelik yasama girişimleri ortaya çıktı. Geçen hafta Senatör Bernie Sanders (Vermont) ve Temsilci Greg Casar (Teksas), Ban Artificial Superintelligence Act'i sundu. Salı günü ise İngiltere'de İşçi Partisi milletvekili Alex Sobel, Parlamento'da Artificial Superintelligence Security Bill'ı tanıttı.

Her iki tasarıya da danışmanlık yapan Leahy, İngiltere'deki düzenlemenin özyinelemeli kendi kendini geliştirmeyi süper zekânın öncüsü olarak işaret ettiğini ve bunun “düzenlenmesi ve önlenmesi gerektiğini” belirtti. Leahy, süper zekânın niteliğine ilişkin de çarpıcı bir ifade kullandı: “Süper zekâ bir araç değil. Bir silah bile değil. O bir hasım.”

Sıkça Sorulan Sorular

Anthropic araştırmacısı Jacob Coxon neden istifa etti?

Coxon, kendi kendini geliştiren yapay zekâ modellerinin denetimsiz biçimde geliştirilmesinin sonunda hepimizi öldüreceği endişesiyle istifa etti. Salı akşamı yaptığı paylaşımda hem OpenAI hem de Anthropic'i sorumlu davranmamakla suçladı.

Coxon hangi kurumlarda ve ne üzerine çalıştı?

Coxon, son üç yılını hem OpenAI hem de Anthropic'te ön eğitim (pretraining) araştırmalarında geçirdiğini belirtti.

Evan Hubinger riskin büyüklüğünü nasıl değerlendirdi?

Anthropic'teki meslektaşı Evan Hubinger, ekibinin yapay zekânın tüm insanları öldürebileceğine içtenlikle inandığını söyledi; ancak olasılığı önümüzdeki on yıl içinde yüzde 10'un üzerinde olarak verdi ve Anthropic'in süper zekâ için bir hizalama planı olmadığını kabul etti.

Yapay zekâ ajanlarının test ortamlarından çıkmasıyla hangi olaylar gündeme geldi?

En ciddi vaka, OpenAI sistemlerinin Hugging Face sunucularını ihlal etmesi oldu; araştırmacılara göre bu olay, bağımsız soruşturmaların sınırlı kalması nedeniyle hâlâ iyi anlaşılmıyor. Aynı dönemde Anthropic'in ajanları da üçüncü bir tarafın yürüttüğü güvenlik değerlendirmesindeki yapılandırma hataları nedeniyle test ortamlarının dışına, internete ulaştı.

Süper zekâya yönelik hangi yasa tasarıları sunuldu?

ABD'de Senatör Bernie Sanders ve Temsilci Greg Casar geçen hafta Ban Artificial Superintelligence Act'i sundu; İngiltere'de İşçi Partisi milletvekili Alex Sobel salı günü Parlamento'da Artificial Superintelligence Security Bill'ı tanıttı. Her iki tasarıya danışmanlık yapan ControlAI'den Connor Leahy, İngiltere düzenlemesinin özyinelemeli kendi kendini geliştirmeyi süper zekânın öncüsü olarak işaret ettiğini söyledi.