A hiányzó réteg a modern mesterséges intelligencia ágensekben

A modern mesterséges intelligencia rendszerek már nem korlátozódnak az egylépéses interakciókra. Az olyan benchmarkokban, mint az SWE-Bench, a WebArena, az OSWorld és az autonóm kódolási környezetekben az ágensek több száz egymást követő műveletet hajthatnak végre, mielőtt elérnék a céljukat. Ez alapvetően megváltoztatja a probléma jellegét. 

Ahogy a végrehajtási láncok hosszabbodnak, számos kritikus hibamód jelenik meg:

• Hiba terjedése: Egy apró érvelési hiba a végrehajtás elején több tucat későbbi lépésre vezethető vissza. A rendszer eltérhet az eredeti céltól, javítási ciklusokba kerülhet, vagy tévesen arra a következtetésre juthat, hogy a feladat befejeződött.

• Állami sodródás: A hosszú ideig futó környezetek folyamatosan változtatják a fájlokat, frissítik a tranzakciókat, az API-k fejlődnek, a felhasználók interakcióba lépnek a rendszerrel. A legtöbb jelenlegi ügynök azonban implicit módon, prompt előzményeken és token kontextuson keresztül tartja fenn az állapotát. Idővel ez eltérést okoz a következők között:

• Gól sodródás: Az ágensek gyakran túlságosan a részfeladatokra koncentrálnak, és elveszítik az eredeti céllal való összhangot. Ahogy a feladat mélysége növekszik, a rendszerek optimalizálhatják a helyi műveleteket, szükségtelen ciklusokat ismételhetnek, vagy idő előtt leállhatnak.
• Kontextus kimerülése: A legtöbb ágensrendszer ismételten visszatáplálja a végrehajtási előzményeket a modell kontextus ablakába. Ahogy a feladatok hosszabbodnak, a tokenek használata felrobban, a késleltetés megnő, fontos részletek tömörülnek vagy elvesznek.

A hosszú futású rendszerek ezért nemcsak az érvelési, hanem a memória-architektúra problémájával is szembesülnek.

Itt válik elengedhetetlenné a tervezés. A tervező időbeli stabilitási rétegként működik, és felelős a következőkért:

• a világállamok következetességének megőrzése,

• hosszú távú célok nyomon követése,

• átmenetek validálása,

• függőségek kezelése,

• és folyamatosan ellenőrzi a haladást.

Ahogy a feladathorizontok bővülnek, a tervezés már nem egyszerű optimalizálási probléma, hanem konzisztencia-infrastruktúra problémává válik. Ennek a konzisztenciának az eléréséhez azonban a rendszereknek nemcsak az időbeli koherenciát kell kezelniük, hanem a működési környezet összetett szabályait és ezernyi korlátját is.

A modern ágensrendszerek egyik legnagyobb gyengesége a kényszerrobbanás. A legtöbb LLM-alapú ágens implicit módon, a modell kontextusán belül próbálja „megjegyezni” a kényszereket. Ez egyszerű munkafolyamatok esetén működhet.

A valódi vállalati környezetek mások. A működési folyamatok gyakran több ezer korlátozást tartalmaznak egyszerre:

• AML szabályok,
• KYC eljárások,
• jóváhagyási hierarchiák,
• szankciós korlátozások,
• tekintélymátrixok,
• belső szabályzatok,
• időbeli függőségek.

Ahogy a kényszerek száma növekszik, a valószínűségi gondolkodás egyre instabilabbá válik.

A kihívás nem csak a korlátok megjegyzésében rejlik.
Ezáltal fenntartják a köztük lévő összhangot.

Egy rendszer lokálisan hihető műveleteket generálhat, miközben továbbra is:

• irányelveket sértő,
• jóváhagyási végzés megszegése,
• figyelmen kívül hagyva a hatalmi határokat,
• vagy érvénytelen működési állapotokat hoz létre.

Ez egy kritikus különbséget tár fel:

Ahogy a rendszerek egyre önállóbbá válnak, a korlátozások kezelése már nem maradhat implicit a promptokban. A megbízható ágensrendszerek egyre inkább explicit korlátozó motorokat, szimbolikus validációt, megoldóintegrációt és formális átmenet-ellenőrzést igényelnek. 

A meglévő tervezési infrastruktúrával a tervezés nem pusztán feladatsorrendet jelent. A tervezés folyamatos kényszerellenőrzéssé válik. Ez a kihívás azonban exponenciálisan növekszik, amikor több autonóm szereplőt adnak a rendszerhez, így a folyamatos kényszerellenőrzés rendszerszintű koordinációs problémává válik.

A modern mesterséges intelligencia egyik leggyakoribb feltételezése, hogy több ágens hozzáadása automatikusan nagyobb intelligenciát eredményez. A gyakorlatban gyakran az ellenkezője történik. Az ágensek számának növekedésével a koordináció komplexitása gyorsan növekszik, ütköző célok, duplikált munka, inkonzisztens állapotfrissítések, körkörös delegálás, patthelyzetek és versenyhelyzetek jelennek meg.

Explicit tervezési réteg nélkül a rendszerek nehezen tudják összehangolni a végrehajtást, betartatni a szerepköröket, kezelni a függőségeket és fenntartani a koherens szervezeti viselkedést.

Ennek eredményeként számos többügynökös architektúra működésileg instabillá válik a méretezés növekedésével. Itt válik kritikussá a tervezés. A tervező a következőket biztosítja: delegálási jogosultságok, függőségek rendezése, szinkronizáció és globális feladatkoordináció.

Ezen a koherens architektúrán belül a tervezés nem pusztán a feladatok lebontása. Ez az a mechanizmus, amely megőrzi a rendszer egészére kiterjedő koherenciát a több autonóm szereplő között. Azonban ennek a szervezeti koordinációnak és hosszú távú konzisztenciának a fenntartása ütközik a jelenlegi ágensrendszerek alapvető infrastrukturális gyengeségével: a memória-architektúrával.

A modern nyelvi modellek elsősorban szavak alapján érvelnek. A szervezetek struktúrák alapján működnek. A valódi vállalati környezetek entitásokra, kapcsolatokra, kötelezettségekre, tulajdonosi struktúrákra, jogosultsági láncokra és működési függőségekre épülnek.

Például a „Kockázatos ez a cég?” kérdés ritkán tisztán nyelvi probléma. Gyakran egy gráffeladat, amely a következőket foglalja magában:

• részvényesi hálózatok,
• történelmi események,
• szabályozási kapcsolatok,
• összekapcsolt szervezetek,
• és a vezetői kapcsolatok.

Ez egy alapvető szakadékot teremt:

Az LLM-ek rendkívül hatékonyak a szövegek értelmezésében,

A vállalati döntéshozatal azonban strukturált működési valóság feletti érvelést igényel. Szemantikai alapozás nélkül az ágensrendszerek félreérthetik a szervezeti kontextust, figyelmen kívül hagyhatják a rejtett függőségeket, elvéthetik a relációs kockázati jeleket, vagy következetlen döntéseket hozhatnak a kapcsolódó entitások között.

Ezért van az, hogy a tervezés egyre inkább strukturált szemantikai rétegeket igényel, mint például a tudásgráfok, az entitáskapcsolatok, az operatív ontológiák és a gráfalapú érvelés.

Következésképpen a tervezést már nem csak az utasítások vezérlik. A szervezet tényleges működési struktúrájában gyökerezik.

A modern ágensrendszerek egyik legkritikusabb gyengesége az ellenőrzési rés. Az LLM-ek rendkívül hatékonyak a műveletek, válaszok és tervek generálásában. De a generálás önmagában nem elég. A legtöbb rendszerben még mindig hiányoznak a megbízható mechanizmusok a következők meghatározására:

• hogy egy cselekedet valóban érvényes-e,
• hogy megsértették-e a korlátozásokat,
• hogy valóban sikerült-e elérni a célt,
• vagy hogy a kapott állapot működésileg konzisztens marad-e.

Ez egy alapvető különbséget hoz létre:

Egy rendszer hihető kimeneteket produkálhat, miközben továbbra is megszegi a szervezeti szabályzatot, megsérti a függőségeket, érvénytelen átmeneteket hoz létre, vagy a folyamat sikeres befejezését hallucinálja.

Ez a probléma egyre veszélyesebbé válik a pénzügy, az egészségügy, az energia és a szabályozott vállalati műveletek területén, ahol a helyesség nem opcionális.

Ahogy a rendszerek egyre autonómiábbá válnak, az ellenőrzés már nem maradhat másodlagos szempont. A megbízható ágensarchitektúrák egyre inkább formális validátorokat, korlátozás-terjesztést, megoldóintegrációt, szabálymotorokat és végrehajtás-ellenőrzési rétegeket igényelnek.

Az ellenőrzésen alapuló paradigma szerint a tervezés nem csak a következő lépés eldöntéséről szól. Arról is folyamatosan ellenőrizni kell, hogy a végrehajtás érvényes-e a teljes folyamat során.

A legtöbb modern ágensrendszer az egyénekhez hasonlóan gondolkodik. A valódi szervezetek nem így működnek. A vállalati környezetek szerepkörök, hatásköri határok, delegálási láncok, kötelezettségek, eszkalációs mechanizmusok és jóváhagyási hierarchiák köré épülnek.

Egy feladatot gyakran nem csak az határoz meg, hogy „Mit kell tenni?”, hanem az is, hogy kinek van joga azt elvégezni, milyen feltételek mellett, milyen sorrendben és kinek a jóváhagyásával.

Ez komoly korlátozást jelent számos jelenlegi ágensarchitektúra számára.

Szervezeti érvelés nélkül az autonóm rendszerek megsérthetik a hatáskörök határait, megkerülhetik a jóváhagyási folyamatokat, ütköző intézkedéseket hozhatnak létre, vagy működési következetlenségeket generálhatnak a részlegek és a szereplők között.

Ez a probléma egyre súlyosabbá válik a szabályozott vállalati környezetekben, ahol maga a szervezeti felépítés is a megfelelés része. Ennek eredményeként a tervezés már nem összpontosíthat csak a feladatokra és a cselekvésekre. A következőket is mérlegelnie kell: szervezeti szerepek, hatáskörök modelljei, delegálási szabályok és intézményi korlátok.

A szervezeti gondolkodás támogatása érdekében a tervezés nemcsak operatív koordinációvá, hanem szervezeti koordinációvá válik.

A legtöbb modern ágensrendszer a memóriát előhívási problémaként kezeli. A gyakorlatban az emlékezet sokkal összetettebb. A hosszú ideig futó autonóm rendszereknek egyszerre több memóriaformát kell kezelniük: epizodikus memóriát, szemantikus memóriát, procedurális memóriát és világállapot-memóriát.

Azonban számos jelenlegi architektúra elsősorban vektoros adatbázisokra, hasonlósági keresésre és tömörített prompt előzményekre támaszkodik. Ez komoly korlátozásokat okoz a végrehajtási láncok hosszabbodásával.

Egy rendszer úgy is visszakereshet releváns információkat, hogy közben elveszíti az időbeli konzisztenciát, elfelejti a korábbi kötelezettségvállalásokat, ismétli a műveleteket, vagy elavult világfeltevések alapján működik. A probléma nem csak az információk megjegyzésében rejlik.

A probléma a működési folytonosság időbeli fenntartása.

Az autonóm rendszerek fejlődésével a memória már nem maradhat passzív tárolási réteg. Aktív működési struktúrává kell válnia. Itt válik kritikussá a tervezés. A tervező strukturált memória-felhasználóként működik, amely képes a következőkre:

• a tartós világállam fenntartása,
• hosszú távú célok nyomon követése,
• a végrehajtási előzmények megőrzése,
• és az idő múlásával szinkronizálja a változó kontextust.

Aktív működési struktúraként a tervezés és a memória mélyen összekapcsolódó infrastruktúra rétegekké válnak, ahelyett, hogy különálló összetevőkké válnának.

Az ágentikus mesterséges intelligencia központi kihívását gyakran intelligenciaproblémaként fogalmazzák meg.

A modellek jobban tudnak érvelni?
Tudnak-e jobb terveket kidolgozni?
Lehetnek önállóbbak?

De ahogy az ágensrendszerek a demókból a valós működési környezetekbe lépnek, egy más valóság bontakozik ki.

A főbb szűk keresztmetszetek egyre inkább a következők:

• következetesség,
• igazolás,
• koordináció,
• korlátozáskezelés,
• szervezeti érvelés,
• és hosszú távú működési stabilitást biztosít.

A modern mesterséges intelligencia rendszerek már most is képesek lenyűgöző lokális viselkedést generálni.

Amit még mindig nehezen tudnak fenntartani, az a globális koherencia az idő múlásával.