Det manglende lag i moderne AI-agenter

Moderne AI-systemer er ikke længere begrænset til interaktioner i ét trin. I benchmarks som SWE-Bench, WebArena, OSWorld og autonome kodningsmiljøer kan agenter udføre hundredvis af sekventielle handlinger, før de når et mål. Dette ændrer fundamentalt problemets karakter. 

Efterhånden som udførelseskæderne bliver længere, opstår der flere kritiske fejltilstande:

• Fejludbredelse: En lille ræsonnementsfejl tidligt i udførelsen kan forværres på tværs af snesevis af senere trin. Systemet kan afvige fra det oprindelige mål, gå ind i reparationsløkker eller fejlagtigt konkludere, at opgaven er fuldført.

• Tilstandsdrift: Langtidskørende miljøer ændrer løbende filer, opdaterer, transaktioner fuldføres, API'er udvikler sig, og brugere interagerer med systemet. De fleste nuværende agenter opretholder dog tilstanden implicit gennem prompthistorik og tokenkontekst. Over tid skaber dette divergens mellem:

• Måldrift: Agenter fokuserer ofte for meget på delopgaver og mister overensstemmelse med det oprindelige mål. Efterhånden som opgavedybden øges, kan systemer optimere lokale handlinger, gentage unødvendige løkker eller afslutte for tidligt.
• Kontekstudmattelse: De fleste agentsystemer sender gentagne gange udførelseshistorikken tilbage til modellens kontekstvindue. Efterhånden som opgaverne bliver længere, eksploderer tokenbrugen, latenstiden øges, og vigtige detaljer komprimeres eller går tabt.

Langtidskørende systemer står derfor ikke kun over for et ræsonnementproblem, men også et hukommelsesarkitekturproblem.

Det er her, planlægning bliver afgørende. En planlægger fungerer som et tidsmæssigt stabilitetslag, der er ansvarlig for:

• bevarelse af konsistens mellem verdensstater,

• opfølgning på langsigtede mål,

• validering af overgange,

• håndtering af afhængigheder,

• og løbende verificerer fremskridt.

Efterhånden som opgavehorisonterne vokser, holder planlægning op med at være et simpelt optimeringsproblem og bliver til et problem med konsistensinfrastruktur. At opnå denne konsistens kræver dog, at systemer ikke kun håndterer tidsmæssig sammenhæng, men også de komplekse regler og tusindvis af begrænsninger i det operationelle miljø.

En af de største svagheder ved moderne agentsystemer er constraint explosion. De fleste LLM-baserede agenter forsøger at "huske" begrænsninger implicit i modelkonteksten. Dette kan fungere til simple arbejdsgange.

Virkelige virksomhedsmiljøer er anderledes. Driftsprocesser involverer ofte tusindvis af begrænsninger samtidigt:

• AML-regler,
• KYC-procedurer,
• godkendelseshierarkier,
• sanktionsrestriktioner,
• autoritetsmatricer,
• interne politikker,
• tidsmæssige afhængigheder.

Efterhånden som antallet af begrænsninger vokser, bliver probabilistisk ræsonnement mere og mere ustabil.

Udfordringen er ikke kun at huske begrænsninger.
Det handler om at opretholde sammenhængen mellem dem.

Et system kan generere lokalt plausible handlinger, mens det stadig:

• overtrædelse af politik,
• bryder godkendelsesordren,
• ignorerer autoritetsgrænser,
• eller oprettelse af ugyldige driftstilstande.

Dette afslører en kritisk forskel:

Efterhånden som systemer bliver mere autonome, kan håndtering af begrænsninger ikke længere forblive implicit i prompts. Pålidelige agentsystemer kræver i stigende grad eksplicitte begrænsningsmotorer, symbolsk validering, løsningsintegration og formel overgangskontrol. 

Med planlægningsinfrastrukturen på plads er planlægning ikke blot opgavesekvensering. Planlægning bliver kontinuerlig begrænsningsverifikation. Denne udfordring øges dog eksponentielt, når flere autonome aktører tilføjes til systemet, hvilket omdanner kontinuerlig begrænsningsverifikation til et systemisk koordineringsproblem.

En af de mest almindelige antagelser i moderne AI er, at tilføjelse af flere agenter automatisk skaber mere intelligens. I praksis sker det modsatte ofte. Efterhånden som antallet af agenter vokser, øges koordinationskompleksiteten hurtigt, og der begynder at opstå modstridende mål, dobbeltarbejde, inkonsistente tilstandsopdateringer, cirkulær delegering, fastlåste situationer og kapløbsforhold.

Uden et eksplicit planlægningslag har systemer svært ved at: synkronisere udførelse, håndhæve rollegrænser, administrere afhængigheder og opretholde sammenhængende organisatorisk adfærd.

Som følge heraf bliver mange multi-agent-arkitekturer operationelt ustabile, efterhånden som skalaen øges. Det er her, planlægning bliver afgørende. En planlægger sørger for: delegeringsmyndighed, afhængighedsrækkefølge, synkronisering og global opgavekoordinering.

Inden for denne sammenhængende arkitektur er planlægning ikke blot opgaveopdeling. Det bliver den mekanisme, der bevarer systemomfattende sammenhæng på tværs af flere autonome aktører. At opretholde denne organisatoriske koordinering og langsigtede konsistens kolliderer dog med en grundlæggende infrastrukturel svaghed i nuværende agentsystemer: hukommelsesarkitekturen.

Moderne sprogmodeller ræsonnerer primært ud fra ord. Organisationer opererer ud fra strukturer. Virkelige virksomhedsmiljøer er bygget på enheder, relationer, forpligtelser, ejerskabsstrukturer, autoritetskæder og operationelle afhængigheder.

For eksempel er spørgsmålet: "Er denne virksomhed risikabel?" sjældent et rent sprogproblem. Det er ofte et grafproblem, der involverer:

• aktionærnetværk,
• historiske begivenheder,
• regulatoriske forhold,
• forbundne organisationer,
• og forbindelser til ledelsen.

Dette skaber et fundamentalt hul:

LLM'er er yderst effektive til at fortolke tekst,

men beslutningstagning i virksomheder kræver ræsonnement ud fra en struktureret operationel virkelighed. Uden semantisk forankring kan agentsystemer misforstå den organisatoriske kontekst, ignorere skjulte afhængigheder, overse relationelle risikosignaler eller producere inkonsistente beslutninger på tværs af forbundne enheder.

Derfor kræver planlægning i stigende grad strukturerede semantiske lag såsom vidensgrafer, entitetsrelationer, operationelle ontologier og grafbaseret ræsonnement.

Derfor er planlægning ikke længere kun drevet af prompts. Den bliver forankret i selve organisationens operationelle struktur.

En af de mest kritiske svagheder ved moderne agentsystemer er verifikationskløften. LLM'er er yderst effektive til at generere handlinger, reaktioner og planer. Men generering alene er ikke nok. De fleste systemer mangler stadig pålidelige mekanismer til at bestemme:

• om en handling rent faktisk er gyldig,
• om begrænsninger blev overtrådt,
• om målet virkelig blev nået,
• eller om den resulterende tilstand forbliver operationelt konsistent.

Dette skaber en fundamental forskel:

Et system kan producere plausible output, samtidig med at det bryder organisationens politikker, overtræder afhængigheder, opretter ugyldige overgange eller hallucinerer om vellykket gennemførelse.

Dette problem bliver stadig farligere inden for finans, sundhedspleje, energi og regulerede virksomhedsdrift, hvor korrekthed ikke er valgfrit.

Efterhånden som systemer bliver mere autonome, kan verifikation ikke længere forblive en eftertanke. Pålidelige agentarkitekturer kræver i stigende grad formelle validatorer, begrænsningsudbredelse, løsningsintegration, politikmotorer og eksekveringsverifikationslag.

Under et verifikationsførst-paradigme handler planlægning ikke kun om at beslutte, hvad man skal gøre derefter. Det handler om løbende at verificere, om udførelsen forbliver gyldig gennem hele processen.

De fleste moderne agentsystemer ræsonnerer som individer. Rigtige organisationer fungerer ikke på den måde. Virksomhedsmiljøer er struktureret omkring roller, autoritetsgrænser, delegeringskæder, forpligtelser, eskaleringsmekanismer og godkendelseshierarkier.

En opgave defineres ofte ikke kun af: "Hvad skal gøres?", men også af: hvem har lov til at udføre den, under hvilke betingelser, i hvilken rækkefølge og med hvis godkendelse.

Dette skaber en væsentlig begrænsning for mange nuværende agentarkitekturer.

Uden organisatorisk ræsonnement kan autonome systemer overtræde autoritetsgrænser, omgå godkendelsesflows, skabe modstridende handlinger eller generere operationelle uoverensstemmelser mellem afdelinger og aktører.

Dette problem bliver stadig mere alvorligt i regulerede virksomhedsmiljøer, hvor organisationsstrukturen i sig selv er en del af compliance. Som følge heraf kan planlægning ikke længere kun fokusere på opgaver og handlinger. Den skal også ræsonnere over: organisatoriske roller, autoritetsmodeller, delegeringsregler og institutionelle begrænsninger.

For at understøtte organisatorisk ræsonnement bliver planlægning ikke kun operationel koordinering, men organisatorisk koordinering.

De fleste moderne agentsystemer behandler hukommelse som et hentningsproblem. I praksis er hukommelse langt mere kompleks. Langtidskørende autonome systemer skal håndtere flere former for hukommelse samtidigt: episodisk hukommelse, semantisk hukommelse, proceduremæssig hukommelse og verdenstilstandshukommelse.

Mange nuværende arkitekturer er dog primært afhængige af vektordatabaser, similaritetssøgning og komprimeret prompthistorik. Dette skaber alvorlige begrænsninger, efterhånden som udførelseskæderne bliver længere.

Et system kan hente relevante oplysninger, samtidig med at det mister tidsmæssig konsistens, glemmer tidligere forpligtelser, gentager handlinger eller opererer ud fra forældede antagelser om verden. Problemet er ikke kun at huske oplysninger.

Problemet er at opretholde driftskontinuitet over tid.

Efterhånden som autonome systemer udvikler sig, kan hukommelsen ikke længere forblive et passivt lagringslag. Den skal blive en aktiv operationel struktur. Det er her, planlægning bliver afgørende. En planlægger fungerer som en struktureret hukommelsesforbruger, der er i stand til at:

• opretholdelse af en vedvarende verdenstilstand,
• opfølgning på langsigtede mål,
• bevarelse af henrettelseshistorik,
• og synkroniserer udviklende kontekst over tid.

Som en aktiv operationel struktur bliver planlægning og hukommelse dybt sammenkoblede infrastrukturlag i stedet for separate komponenter.

Den centrale udfordring ved agentisk AI fremstilles ofte som et intelligensproblem.

Kan modeller ræsonnere bedre?
Kan de udarbejde bedre planer?
Kan de blive mere autonome?

Men i takt med at agentsystemer bevæger sig fra demoer til virkelige driftsmiljøer, opstår en anden virkelighed.

De største flaskehalse er i stigende grad:

• konsistens,
• verifikation,
• samordning,
• begrænsningsstyring,
• organisatorisk ræsonnement,
• og langsigtet driftsstabilitet.

Moderne AI-systemer kan allerede generere imponerende lokal adfærd.

Det, de stadig kæmper med at opretholde, er global sammenhæng over tid.