Puuttuva kerros nykyaikaisissa tekoälyagenteissa

Nykyaikaiset tekoälyjärjestelmät eivät enää rajoitu yhden vaiheen vuorovaikutukseen. Vertailuissa, kuten SWE-Bench, WebArena, OSWorld ja autonomisissa koodausympäristöissä, agentit voivat suorittaa satoja peräkkäisiä toimintoja ennen tavoitteen saavuttamista. Tämä muuttaa perustavanlaatuisesti ongelman luonnetta. 

Suoritusketjujen pidentyessä syntyy useita kriittisiä vikaantumistyyppejä:

• Virheen eteneminen: Pieni päättelyvirhe suorituksen alkuvaiheessa voi kasaantua kymmeniin myöhempiin vaiheisiin. Järjestelmä voi ajautua pois alkuperäisestä tavoitteesta, ajautua korjaussilmukoihin tai virheellisesti päätellä tehtävän olevan valmis.

• Valtion ajautuminen: Pitkäkestoisissa ympäristöissä tiedostot muuttuvat jatkuvasti, päivitykset, tapahtumat valmistuvat, API:t kehittyvät ja käyttäjät ovat vuorovaikutuksessa järjestelmän kanssa. Useimmat nykyiset agentit kuitenkin ylläpitävät tilaansa implisiittisesti kehotehistorian ja token-kontekstin kautta. Ajan myötä tämä luo eroja seuraavien välille:

• Maalien nousu: Agentit keskittyvät usein liikaa osatehtäviin ja menettävät yhteyden alkuperäiseen tavoitteeseen. Tehtävien syvyyden kasvaessa järjestelmät saattavat optimoida paikallisia toimintoja, toistaa tarpeettomia silmukoita tai lopettaa työskentelyn ennenaikaisesti.
• Kontekstin tyhjentyminen: Useimmat agenttijärjestelmät syöttävät suoritushistoriaa toistuvasti takaisin mallikonteksti-ikkunaan. Tehtävien pidentyessä: tokenien käyttö räjähtää, latenssi kasvaa, tärkeitä tietoja pakataan tai katoaa.

Pitkäkestoiset järjestelmät kohtaavat siis paitsi päättelyongelman myös muistiarkkitehtuuriongelman.

Tässä kohtaa suunnittelusta tulee olennaista. Suunnittelija toimii ajallisena vakauttajana, joka on vastuussa seuraavista asioista:

• maailmanvaltioiden yhtenäisyyden säilyttäminen,

• pitkän aikavälin tavoitteiden seuranta,

• siirtymien validointi,

• riippuvuuksien hallinta,

• ja edistymisen jatkuvaa tarkistamista.

Tehtävähorisontin kasvaessa suunnittelu lakkaa olemasta pelkkä optimointiongelma ja siitä tulee johdonmukaisuusinfrastruktuuriongelma. Tämän johdonmukaisuuden saavuttaminen edellyttää kuitenkin järjestelmien hallitsevan paitsi ajallista johdonmukaisuutta myös toimintaympäristön monimutkaisia ​​sääntöjä ja tuhansia rajoituksia.

Yksi nykyaikaisten agenttijärjestelmien suurimmista heikkouksista on rajoitteiden räjähdys. Useimmat LLM-pohjaiset agentit yrittävät "muistaa" rajoitteet implisiittisesti mallikontekstin sisällä. Tämä voi toimia yksinkertaisissa työnkuluissa.

Todelliset yritysympäristöt ovat erilaisia. Toimintaprosesseihin liittyy usein tuhansia rajoitteita samanaikaisesti:

• AML-säännöt,
• KYC-menettelyt,
• hyväksymishierarkiat,
• pakoterajoitukset,
• auktoriteettimatriisit,
• sisäiset käytännöt,
• ajalliset riippuvuudet.

Rajoitusten määrän kasvaessa todennäköisyysperusteinen päättely muuttuu yhä epävakaammaksi.

Haaste ei ole vain rajoitusten muistaminen.
Se ylläpitää johdonmukaisuutta niiden välillä.

Järjestelmä voi tuottaa paikallisesti uskottavia toimintoja samalla, kun se:

• käytäntöjä rikkoen,
• hyväksymismääräyksen rikkominen,
• auktoriteettirajojen huomiotta jättäminen,
• tai luomalla virheellisiä toimintatiloja.

Tämä paljastaa kriittisen eron:

Järjestelmien autonomistuessa rajoitusten käsittely ei voi enää jäädä implisiittiseksi kehotteiden sisällä. Luotettavat agenttijärjestelmät vaativat yhä enemmän eksplisiittisiä rajoitejärjestelmiä, symbolista validointia, ratkaisijoiden integrointia ja muodollista siirtymätarkistusta. 

Kun suunnitteluinfrastruktuuri on käytössä, suunnittelu ei ole pelkkää tehtävien järjestelemistä. Suunnittelusta tulee jatkuvaa rajoitusten todentamista. Tämä haaste kuitenkin kasvaa eksponentiaalisesti, kun järjestelmään lisätään useita itsenäisiä toimijoita, mikä muuttaa jatkuvan rajoitusten todentamisen systeemiseksi koordinointiongelmaksi.

Yksi yleisimmistä oletuksista nykyaikaisessa tekoälyssä on, että useampien agenttien lisääminen luo automaattisesti enemmän älykkyyttä. Käytännössä tapahtuu usein päinvastoin. Agenttien määrän kasvaessa koordinoinnin monimutkaisuus kasvaa nopeasti, jolloin alkaa ilmetä ristiriitaisia ​​tavoitteita, päällekkäistä työtä, epäjohdonmukaisia ​​tilapäivityksiä, kehädelegointia, umpikujia ja kilpailutilanteita.

Ilman selkeää suunnittelukerrosta järjestelmillä on vaikeuksia synkronoida suoritusta, valvoa roolirajoja, hallita riippuvuuksia ja ylläpitää johdonmukaista organisaatiokäyttäytymistä.

Tämän seurauksena monet moniagenttiarkkitehtuurit muuttuvat toiminnallisesti epävakaiksi skaalautuessa. Tässä kohtaa suunnittelusta tulee kriittistä. Suunnittelija tarjoaa: delegointivaltuudet, riippuvuuksien järjestämisen, synkronoinnin ja globaalin tehtävien koordinoinnin.

Tässä yhtenäisessä arkkitehtuurissa suunnittelu ei ole pelkästään tehtävien osiin hajottamista. Siitä tulee mekanismi, joka säilyttää koko järjestelmän yhtenäisyyden useiden autonomisten toimijoiden välillä. Tämän organisaatiokoordinoinnin ja pitkän aikavälin johdonmukaisuuden ylläpitäminen on kuitenkin ristiriidassa nykyisten agenttijärjestelmien perustavanlaatuisen infrastruktuuriheikkouden, muistiarkkitehtuurin, kanssa.

Nykyaikaiset kielimallit päättelevät pääasiassa sanojen avulla. Organisaatiot toimivat rakenteiden avulla. Todelliset yritysympäristöt rakentuvat entiteettien, suhteiden, velvoitteiden, omistusrakenteiden, auktoriteettiketjujen ja toiminnallisten riippuvuuksien varaan.

Esimerkiksi kysymys: ”Onko tämä yritys riskialtis?” on harvoin puhdas kieliongelma. Usein se on graafiongelma, johon liittyy:

• osakkeenomistajaverkostot,
• historialliset tapahtumat,
• sääntelysuhteet,
• yhteydessä olevat organisaatiot,
• ja johtotehtävissä toimivien yhteyksiä.

Tämä luo perustavanlaatuisen kuilun:

LLM:t ovat erittäin tehokkaita tekstin tulkinnassa,

mutta yrityksen päätöksenteko vaatii päättelyä strukturoidun operatiivisen todellisuuden varassa. Ilman semanttista pohjaa agenttijärjestelmät saattavat ymmärtää organisaation kontekstin väärin, jättää huomiotta piilevät riippuvuudet, jättää huomiotta relaatioriskisignaalit tai tuottaa epäjohdonmukaisia ​​päätöksiä toisiinsa yhteydessä olevien yksiköiden välillä.

Siksi suunnittelussa tarvitaan yhä enemmän strukturoituja semanttisia kerroksia, kuten tietograafeja, entiteettisuhteita, toiminnallisia ontologioita ja graafipohjaista päättelyä.

Näin ollen suunnittelu ei enää perustu pelkästään kehotteisiin. Se perustuu itse organisaation todelliseen toimintarakenteeseen.

Yksi nykyaikaisten agenttijärjestelmien kriittisimmistä heikkouksista on todentamisaukko. LLM:t ovat erittäin tehokkaita toimien, vastausten ja suunnitelmien luomisessa. Mutta pelkkä luominen ei riitä. Useimmista järjestelmistä puuttuu edelleen luotettavia mekanismeja seuraavien määrittämiseksi:

• onko toimenpide todella pätevä,
• onko rajoituksia rikottu,
• saavutettiinko tavoite todella,
• vai pysyykö tuloksena oleva tila toiminnallisesti yhdenmukaisena.

Tämä luo perustavanlaatuisen eron:

Järjestelmä voi tuottaa uskottavia tuloksia rikkoen silti organisaation käytäntöjä, rikkoen riippuvuuksia, luoden virheellisiä siirtymiä tai hallusinoimalla onnistuneen suorituksen.

Tästä ongelmasta tulee yhä vaarallisempi rahoitus-, terveydenhuolto-, energia- ja säännellyissä yritystoiminnoissa, joissa oikeellisuus ei ole valinnaista.

Järjestelmien autonomistuessa todentaminen ei voi enää jäädä taka-alalle. Luotettavat agenttiarkkitehtuurit vaativat yhä enemmän muodollisia validoijia, rajoitteiden välittämistä, ratkaisijoiden integrointia, käytäntömoottoreita ja suorituksen varmennuskerroksia.

Varmennus ensin -paradigmassa suunnittelussa ei ole kyse pelkästään siitä, että päätetään, mitä seuraavaksi tehdään. Kyse on jatkuvasta sen tarkistamisesta, että toteutus pysyy pätevänä koko prosessin ajan.

Useimmat nykyaikaiset agenttijärjestelmät ajattelevat kuin yksilöt. Todelliset organisaatiot eivät toimi tällä tavalla. Yritysympäristöt on jäsennelty roolien, valtuusrajojen, delegointiketjujen, velvoitteiden, eskalointimekanismien ja hyväksymishierarkioiden ympärille.

Tehtävää ei usein määritellä pelkästään sillä, mitä pitäisi tehdä, vaan myös sillä, kuka saa sen tehdä, millä ehdoilla, missä järjestyksessä ja kenen hyväksynnällä.

Tämä luo merkittävän rajoituksen monille nykyisille agenttiarkkitehtuureille.

Ilman organisatorista päättelyä autonomiset järjestelmät voivat rikkoa auktoriteettirajoja, ohittaa hyväksyntävirrat, luoda ristiriitaisia ​​toimia tai aiheuttaa toiminnallisia epäjohdonmukaisuuksia osastojen ja toimijoiden välillä.

Tämä ongelma pahenee yhä enemmän säännellyissä yritysympäristöissä, joissa organisaatiorakenne itsessään on osa vaatimustenmukaisuutta. Tämän seurauksena suunnittelu ei voi enää keskittyä vain tehtäviin ja toimiin. Siinä on pohdittava myös organisaatiorooleja, valtuusmalleja, delegointisääntöjä ja institutionaalisia rajoituksia.

Organisaatiopäättelyn tukemiseksi suunnittelusta tulee paitsi operatiivista koordinointia, myös organisaation koordinointia.

Useimmat nykyaikaiset agenttijärjestelmät käsittelevät muistia hakuongelmana. Käytännössä muisti on paljon monimutkaisempaa. Pitkäkestoisten autonomisten järjestelmien on hallittava samanaikaisesti useita muistin muotoja: episodista muistia, semanttista muistia, proseduraalista muistia ja maailmantilamuistia.

Monet nykyiset arkkitehtuurit kuitenkin perustuvat ensisijaisesti vektoritietokantoihin, samankaltaisuushakuun ja pakattuun kehotehistoriaan. Tämä luo vakavia rajoituksia suoritusketjujen pidentyessä.

Järjestelmä voi hakea olennaista tietoa menettämättä silti ajallista johdonmukaisuutta, unohtaen aiempia sitoumuksia, toistaen toimia tai toimien vanhentuneiden oletusten perusteella. Ongelma ei ole pelkästään tiedon muistaminen.

Ongelmana on toiminnan jatkuvuuden ylläpitäminen ajassa.

Autonomisten järjestelmien kehittyessä muisti ei voi enää jäädä passiiviseksi tallennuskerrokseksi. Siitä on tultava aktiivinen operatiivinen rakenne. Tässä kohtaa suunnittelusta tulee ratkaisevan tärkeää. Suunnittelija toimii strukturoituna muistin kuluttajana, joka pystyy:

• ylläpitää pysyvää maailmanvaltiota,
• pitkän aikavälin tavoitteiden seuranta,
• teloitushistorian säilyttäminen
• ja synkronoimalla kehittyvää kontekstia ajan kuluessa.

Aktiivisena operatiivisena rakenteena suunnittelusta ja muistista tulee erillisten komponenttien sijaan syvästi toisiinsa liittyviä infrastruktuurikerroksia.

Agenttisen tekoälyn keskeinen haaste kehystetään usein älykkyysongelmaksi.

Voivatko mallit päätellä paremmin?
Voivatko he laatia parempia suunnitelmia?
Voivatko heistä tulla itsenäisempiä?

Mutta agenttijärjestelmien siirtyessä demoista todellisiin toimintaympäristöihin, syntyy erilainen todellisuus.

Suurimmat pullonkaulat ovat yhä enemmän:

• johdonmukaisuus,
• todentaminen,
• koordinointi,
• rajoitusten hallinta
• organisaatiopäättely,
• ja pitkän aikavälin toiminnan vakautta.

Nykyaikaiset tekoälyjärjestelmät voivat jo tuottaa vaikuttavaa paikallista käyttäytymistä.

Heidän on edelleen vaikea säilyttää globaalia yhtenäisyyttä ajan kuluessa.