Modern Yapay Zeka Ajanlarında Eksik Olan Katman

Modern yapay zeka sistemleri artık tek adımlı etkileşimlerle sınırlı değil. SWE-Bench, WebArena, OSWorld gibi kıyaslama testlerinde ve otonom kodlama ortamlarında, ajanlar bir hedefe ulaşmadan önce yüzlerce ardışık eylem gerçekleştirebilir. Bu, sorunun doğasını temelden değiştiriyor. 

Yürütme zincirleri uzadıkça, çeşitli kritik hata modları ortaya çıkar:

• Hata yayılımı: İşlemin başlarında yapılan küçük bir mantık hatası, sonraki onlarca adımda birikerek büyük sorunlara yol açabilir. Sistem, orijinal hedeften sapabilir, onarım döngülerine girebilir veya görevin tamamlandığı sonucuna yanlışlıkla varabilir.

• Eyalet Kayması: Uzun süreli çalışan ortamlarda dosyalar sürekli değişir, işlemler tamamlanır, API'ler gelişir ve kullanıcılar sistemle etkileşim kurar. Ancak, mevcut ajanların çoğu durumu dolaylı olarak komut istemi geçmişi ve belirteç bağlamı aracılığıyla korur. Zamanla bu durum şu iki unsur arasında farklılaşmaya yol açar:

• Hedef Sapması: Ajanlar sıklıkla alt görevlere aşırı odaklanarak asıl hedeften uzaklaşırlar. Görev derinliği arttıkça, sistemler yerel eylemleri optimize edebilir, gereksiz döngüleri tekrarlayabilir veya erken sonlanabilir.
• Bağlam Tükenmesi: Çoğu ajan sistemi, yürütme geçmişini tekrar tekrar model bağlam penceresine geri besler. Görevler uzadıkça: belirteç kullanımı patlar, gecikme artar, önemli ayrıntılar sıkıştırılır veya kaybolur.

Uzun süreli çalışan sistemler bu nedenle yalnızca mantıksal bir sorunla değil, aynı zamanda bellek mimarisi sorunuyla da karşı karşıya kalırlar.

İşte bu noktada planlama hayati önem kazanıyor. Bir planlayıcı, zamansal istikrar katmanı görevi görerek şunlardan sorumludur:

• dünya devletlerinin tutarlılığını korumak,

• uzun vadeli hedefleri takip etmek,

• Geçişleri doğrulamak,

• Bağımlılıkları yönetmek,

• ve sürekli olarak ilerlemeyi doğrulamak.

Görev ufukları genişledikçe, planlama basit bir optimizasyon problemi olmaktan çıkıp tutarlılık altyapısı problemine dönüşür. Ancak bu tutarlılığı sağlamak, sistemlerin yalnızca zamansal tutarlılığı değil, aynı zamanda operasyonel ortamın karmaşık kurallarını ve binlerce kısıtlamasını da yönetmesini gerektirir.

Modern ajan sistemlerinin en büyük zayıflıklarından biri kısıtlama patlamasıdır. Çoğu LLM tabanlı ajan, kısıtlamaları model bağlamı içinde örtük olarak "hatırlamaya" çalışır. Bu, basit iş akışları için işe yarayabilir.

Gerçek kurumsal ortamlar farklıdır. Operasyonel süreçler genellikle aynı anda binlerce kısıtlamayı içerir:

• AML kuralları,
• KYC prosedürleri,
• onay hiyerarşileri,
• yaptırım kısıtlamaları,
• yetki matrisleri,
• iç politikalar,
• zamansal bağımlılıklar.

Kısıtlama sayısı arttıkça, olasılıksal akıl yürütme giderek daha istikrarsız hale gelir.

Zorluk sadece kısıtlamaları hatırlamakla sınırlı değil.
Bu, aralarında tutarlılığı sağlamak anlamına geliyor.

Bir sistem, aşağıdaki durumlarda bile yerel olarak makul eylemler üretebilir:

• politikayı ihlal etmek,
• Onay emrini ihlal etmek,
• Otorite sınırlarını göz ardı ederek,
• veya geçersiz operasyonel durumlar oluşturmak.

Bu, kritik bir ayrımı ortaya koyuyor:

Sistemler daha otonom hale geldikçe, kısıtlama yönetimi artık komut istemlerinin içinde örtük olarak kalamaz. Güvenilir ajan sistemleri giderek daha fazla açık kısıtlama motorları, sembolik doğrulama, çözümleyici entegrasyonu ve biçimsel geçiş kontrolü gerektirmektedir. 

Planlama altyapısı kurulduktan sonra, planlama sadece görev sıralaması olmaktan çıkar. Planlama, sürekli kısıtlama doğrulama haline gelir. Ancak, sisteme birden fazla özerk aktör eklendiğinde bu zorluk katlanarak artar ve sürekli kısıtlama doğrulaması sistemik bir koordinasyon problemine dönüşür.

Modern yapay zekâda en yaygın varsayımlardan biri, daha fazla ajan eklemenin otomatik olarak daha fazla zekâ yaratacağıdır. Pratikte ise bunun tam tersi sıklıkla gerçekleşir. Ajan sayısı arttıkça, koordinasyon karmaşıklığı hızla artar; çelişen hedefler, tekrarlanan işler, tutarsız durum güncellemeleri, döngüsel yetki devri, kilitlenmeler ve yarış koşulları ortaya çıkmaya başlar.

Açık bir planlama katmanı olmadan, sistemler şu konularda zorluk yaşarlar: yürütmeyi senkronize etmek, rol sınırlarını uygulamak, bağımlılıkları yönetmek ve tutarlı örgütsel davranışı sürdürmek.

Sonuç olarak, ölçek büyüdükçe birçok çoklu ajan mimarisi operasyonel olarak istikrarsız hale gelir. İşte bu noktada planlama kritik önem kazanır. Bir planlayıcı şunları sağlar: yetki devri, bağımlılık sıralaması, senkronizasyon ve küresel görev koordinasyonu.

Bu tutarlı mimari içinde planlama, sadece görev ayrıştırması olmaktan çıkar. Birden fazla özerk aktör arasında sistem genelinde tutarlılığı koruyan mekanizma haline gelir. Bununla birlikte, bu örgütsel koordinasyonu ve uzun vadeli tutarlılığı sürdürmek, mevcut ajan sistemlerinin temel bir altyapısal zayıflığıyla, yani bellek mimarisiyle çatışır.

Modern dil modelleri öncelikle kelimeler üzerinden akıl yürütür. Organizasyonlar yapılar üzerinden faaliyet gösterir. Gerçek kurumsal ortamlar varlıklar, ilişkiler, yükümlülükler, mülkiyet yapıları, yetki zincirleri ve operasyonel bağımlılıklar üzerine kuruludur.

Örneğin, "Bu şirket riskli mi?" sorusu nadiren saf dil problemidir. Genellikle şu unsurları içeren bir grafik problemidir:

• hissedar ağları,
• tarihi olaylar,
• düzenleyici ilişkiler,
• bağlantılı kuruluşlar,
• ve üst düzey yönetici bağlantıları.

Bu durum temel bir boşluk yaratıyor:

Hukuk yüksek lisansları metin yorumlamada oldukça etkilidir.

Ancak kurumsal karar alma, yapılandırılmış operasyonel gerçeklik üzerinden akıl yürütmeyi gerektirir. Semantik temellendirme olmadan, ajan sistemleri organizasyonel bağlamı yanlış anlayabilir, gizli bağımlılıkları göz ardı edebilir, ilişkisel risk sinyallerini kaçırabilir veya bağlantılı varlıklar arasında tutarsız kararlar üretebilir.

Bu nedenle planlama, bilgi grafikleri, varlık ilişkileri, operasyonel ontolojiler ve grafik tabanlı akıl yürütme gibi yapılandırılmış anlamsal katmanlara giderek daha fazla ihtiyaç duymaktadır.

Sonuç olarak, planlama artık sadece yönlendirmelerle değil, kuruluşun fiili operasyonel yapısına dayalı olarak gerçekleşmektedir.

Modern ajan sistemlerinin en kritik zayıflıklarından biri doğrulama açığıdır. LLM'ler eylemler, yanıtlar ve planlar üretmede oldukça etkilidir. Ancak yalnızca üretim yeterli değildir. Çoğu sistemde hala güvenilir belirleme mekanizmaları eksiktir:

• bir eylemin gerçekten geçerli olup olmadığı,
• Kısıtlamaların ihlal edilip edilmediği,
• Hedefe gerçekten ulaşılıp ulaşılmadığı,
• veya ortaya çıkan durumun operasyonel olarak tutarlı kalıp kalmadığı.

Bu, temel bir ayrım yaratır:

Bir sistem, kuruluş politikasını ihlal ederken, bağımlılıkları çiğnerken, geçersiz geçişler oluştururken veya başarılı bir tamamlanma yanılsaması yaratırken bile makul çıktılar üretebilir.

Bu sorun, doğruluk zorunluluğunun olduğu finans, sağlık, enerji ve düzenlemeye tabi işletme faaliyetlerinde giderek daha tehlikeli hale geliyor.

Sistemler daha otonom hale geldikçe, doğrulama artık sonradan düşünülen bir şey olmaktan çıkıyor. Güvenilir ajan mimarileri giderek daha fazla biçimsel doğrulayıcılar, kısıtlama yayılımı, çözümleyici entegrasyonu, politika motorları ve yürütme doğrulama katmanları gerektiriyor.

Doğrulama öncelikli bir yaklaşımda, planlama sadece bir sonraki adımda ne yapılacağına karar vermekle ilgili değildir. Planlama, tüm süreç boyunca uygulamanın geçerliliğini sürekli olarak doğrulamakla ilgilidir.

Çoğu modern ajan sistemi, bireyler gibi akıl yürütür. Gerçek organizasyonlar bu şekilde çalışmaz. Kurumsal ortamlar, roller, yetki sınırları, yetki devri zincirleri, yükümlülükler, yetki yükseltme mekanizmaları ve onay hiyerarşileri etrafında yapılandırılmıştır.

Bir görev genellikle sadece "Ne yapılmalı?" sorusuyla değil, aynı zamanda "Kimin yapmasına izin veriliyor, hangi koşullar altında, hangi sırayla ve kimin onayıyla?" sorularıyla da tanımlanır.

Bu durum, mevcut birçok ajan mimarisi için önemli bir sınırlama oluşturmaktadır.

Örgütsel mantık olmaksızın, otonom sistemler yetki sınırlarını ihlal edebilir, onay akışlarını atlayabilir, çelişkili eylemler yaratabilir veya departmanlar ve aktörler arasında operasyonel tutarsızlıklar oluşturabilir.

Bu sorun, organizasyon yapısının kendisinin uyumluluğun bir parçası olduğu, düzenlemeye tabi kurumsal ortamlarda giderek daha da ciddi hale gelmektedir. Sonuç olarak, planlama artık sadece görevlere ve eylemlere odaklanamaz. Aynı zamanda organizasyonel roller, yetki modelleri, yetki devri kuralları ve kurumsal kısıtlamalar da dikkate alınmalıdır.

Örgütsel muhakemeyi desteklemek için planlama, yalnızca operasyonel koordinasyon değil, örgütsel koordinasyon haline gelir.

Çoğu modern ajan sistemi, belleği bir geri alma problemi olarak ele alır. Pratikte ise bellek çok daha karmaşıktır. Uzun süreli çalışan otonom sistemler, aynı anda birden fazla bellek türünü yönetmek zorundadır: epizodik bellek, semantik bellek, prosedürel bellek ve dünya durumu belleği.

Ancak, mevcut mimarilerin çoğu öncelikle vektör veritabanlarına, benzerlik aramasına ve sıkıştırılmış komut istemi geçmişine dayanmaktadır. Bu durum, yürütme zincirleri uzadıkça ciddi sınırlamalar yaratmaktadır.

Bir sistem, zamansal tutarlılığı kaybederken, önceki taahhütleri unuturken, eylemleri tekrarlarken veya güncelliğini yitirmiş dünya varsayımlarına göre çalışırken ilgili bilgileri geri alabilir. Sorun sadece bilgiyi hatırlamakla sınırlı değil.

Sorun, operasyonel sürekliliğin zaman içinde sağlanmasıdır.

Otonom sistemler geliştikçe, bellek artık pasif bir depolama katmanı olarak kalamaz. Aktif bir operasyonel yapı haline gelmelidir. İşte bu noktada planlama kritik önem kazanır. Bir planlayıcı, yapılandırılmış bir bellek tüketicisi olarak hareket eder ve şu yeteneklere sahiptir:

• kalıcı bir dünya devletini sürdürmek,
• uzun vadeli hedefleri takip etmek,
• İnfaz geçmişini korumak,
• ve zaman içinde gelişen bağlamı senkronize etmek.

Aktif bir operasyonel yapı olarak planlama ve hafıza, ayrı bileşenler olmaktan ziyade, birbirine derinlemesine bağlı altyapı katmanları haline gelir.

Ajan tabanlı yapay zekanın temel zorluğu genellikle bir zeka problemi olarak çerçevelenir.

Modeller daha iyi akıl yürütebilir mi?
Daha iyi planlar üretebilirler mi?
Daha özerk hale gelebilirler mi?

Ancak ajan sistemleri demo aşamasından gerçek operasyonel ortamlara geçtikçe farklı bir gerçeklik ortaya çıkıyor.

Başlıca darboğazlar giderek artıyor:

• tutarlılık,
• doğrulama,
• Koordinasyon,
• kısıtlama yönetimi,
• örgütsel akıl yürütme,
• ve uzun vadeli operasyonel istikrar.

Modern yapay zeka sistemleri halihazırda etkileyici yerel davranışlar üretebiliyor.

Hâlâ sürdürmekte zorlandıkları şey, zaman içinde küresel tutarlılığı sağlamaktır.