Det manglende laget i moderne AI-agenter

Moderne AI-systemer er ikke lenger begrenset til interaksjoner i ett trinn. I benchmarks som SWE-Bench, WebArena, OSWorld og autonome kodemiljøer kan agenter utføre hundrevis av sekvensielle handlinger før de når et mål. Dette endrer problemets natur fundamentalt. 

Etter hvert som utførelseskjedene blir lengre, dukker det opp flere kritiske feilmoduser:

• Feilforplantning: En liten resonneringsfeil tidlig i utførelsen kan forverres over dusinvis av senere trinn. Systemet kan avvike fra det opprinnelige målet, gå inn i reparasjonsløkker eller feilaktig konkludere med at oppgaven er fullført.

• Tilstandsdrift: Langvarige miljøer endrer kontinuerlig filer, oppdaterer, transaksjoner fullføres, API-er utvikler seg, og brukere samhandler med systemet. De fleste nåværende agenter opprettholder imidlertid tilstanden implisitt gjennom prompthistorikk og tokenkontekst. Over tid skaper dette avvik mellom:

• Måldrift: Agenter fokuserer ofte for mye på deloppgaver og mister samsvar med det opprinnelige målet. Etter hvert som oppgavedybden øker, kan systemer optimalisere lokale handlinger, gjenta unødvendige løkker eller avslutte for tidlig.
• Kontekstutmattelse: De fleste agentsystemer mater utførelseshistorikken gjentatte ganger tilbake til modellens kontekstvindu. Etter hvert som oppgavene blir lengre: tokenbruken eksploderer, latensen øker, og viktige detaljer komprimeres eller går tapt.

Langtidskjørende systemer står derfor overfor ikke bare et resonnementsproblem, men også et minnearkitekturproblem.

Det er her planlegging blir viktig. En planlegger fungerer som et tidsmessig stabilitetslag som er ansvarlig for:

• bevare konsistens mellom verdensstatene,

• sporing av langsiktige mål,

• validering av overganger,

• håndtering av avhengigheter,

• og kontinuerlig verifisere fremdriften.

Etter hvert som oppgavehorisonter vokser, slutter planlegging å være et enkelt optimaliseringsproblem og blir et konsistensinfrastrukturproblem. For å oppnå denne konsistensen kreves det imidlertid at systemer ikke bare håndterer tidsmessig koherens, men også de komplekse reglene og tusenvis av begrensningene i driftsmiljøet.

En av de største svakhetene ved moderne agentsystemer er begrensningseksplosjon. De fleste LLM-baserte agenter prøver å «huske» begrensninger implisitt i modellkonteksten. Dette kan fungere for enkle arbeidsflyter.

Ekte bedriftsmiljøer er annerledes. Driftsprosesser involverer ofte tusenvis av begrensninger samtidig:

• AML-regler,
• KYC-prosedyrer,
• godkjenningshierarkier,
• sanksjonsbegrensninger,
• autoritetsmatriser,
• interne retningslinjer,
• tidsmessige avhengigheter.

Etter hvert som antallet begrensninger øker, blir sannsynlighetsresonnement stadig mer ustabilt.

Utfordringen er ikke bare å huske begrensninger.
Det handler om å opprettholde konsistens mellom dem.

Et system kan generere lokalt plausible handlinger samtidig som det:

• brudd på retningslinjene,
• bryter godkjenningsordren,
• ignorerer autoritetsgrenser,
• eller oppretter ugyldige driftstilstander.

Dette avslører et kritisk skille:

Etter hvert som systemer blir mer autonome, kan ikke lenger håndtering av begrensninger forbli implisitt i ledetekster. Pålitelige agentsystemer krever i økende grad eksplisitte begrensningsmotorer, symbolsk validering, løsningsintegrasjon og formell overgangskontroll. 

Med planleggingsinfrastrukturen på plass er planlegging ikke bare oppgavesekvensering. Planlegging blir kontinuerlig begrensningsverifisering. Denne utfordringen øker imidlertid eksponentielt når flere autonome aktører legges til systemet, noe som forvandler kontinuerlig begrensningsverifisering til et systemisk koordineringsproblem.

En av de vanligste antagelsene i moderne AI er at det å legge til flere agenter automatisk skaper mer intelligens. I praksis skjer ofte det motsatte. Etter hvert som antallet agenter vokser, øker koordineringskompleksiteten raskt, og motstridende mål, duplisert arbeid, inkonsekvente tilstandsoppdateringer, sirkulær delegering, fastlåste situasjoner og kappløpsforhold begynner å dukke opp.

Uten et eksplisitt planleggingslag sliter systemer med å: synkronisere utførelse, håndheve rollegrenser, administrere avhengigheter og opprettholde sammenhengende organisasjonsatferd.

Som et resultat blir mange arkitekturer med flere agenter driftsmessig ustabile etter hvert som skalaen øker. Det er her planlegging blir kritisk. En planlegger sørger for: delegeringsmyndighet, avhengighetsrekkefølge, synkronisering og global oppgavekoordinering.

Innenfor denne sammenhengende arkitekturen er planlegging ikke bare oppgaveoppdeling. Det blir mekanismen som bevarer systemomfattende sammenheng på tvers av flere autonome aktører. Å opprettholde denne organisatoriske koordineringen og langsiktige konsistensen kolliderer imidlertid med en grunnleggende infrastrukturell svakhet ved nåværende agentsystemer: minnearkitekturen.

Moderne språkmodeller resonnerer primært over ord. Organisasjoner opererer over strukturer. Ekte bedriftsmiljøer er bygget på enheter, relasjoner, forpliktelser, eierstrukturer, autoritetskjeder og operasjonelle avhengigheter.

For eksempel er spørsmålet: «Er dette selskapet risikabelt?» sjelden et rent språkproblem. Det er ofte et grafproblem som involverer:

• aksjonærnettverk,
• historiske hendelser,
• regulatoriske forhold,
• tilknyttede organisasjoner,
• og lederforbindelser.

Dette skaper et grunnleggende gap:

LLM-er er svært effektive til å tolke tekst,

men beslutningstaking i bedrifter krever resonnement over strukturert operasjonell virkelighet. Uten semantisk forankring kan agentsystemer misforstå organisasjonens kontekst, ignorere skjulte avhengigheter, gå glipp av relasjonelle risikosignaler eller produsere inkonsistente beslutninger på tvers av tilkoblede enheter.

Dette er grunnen til at planlegging i økende grad krever strukturerte semantiske lag som kunnskapsgrafer, enhetsrelasjoner, operasjonelle ontologier og grafbasert resonnement.

Følgelig er planlegging ikke lenger bare drevet av påminnelser. Den blir forankret i selve organisasjonens driftsstruktur.

En av de mest kritiske svakhetene ved moderne agentsystemer er verifiseringsgapet. LLM-er er svært effektive til å generere handlinger, responser og planer. Men generering alene er ikke nok. De fleste systemer mangler fortsatt pålitelige mekanismer for å bestemme:

• om en handling faktisk er gyldig,
• om begrensningene ble brutt,
• om målet virkelig ble oppnådd,
• eller om den resulterende tilstanden forblir operasjonelt konsistent.

Dette skaper et grunnleggende skille:

Et system kan produsere plausible utganger samtidig som det bryter med organisasjonens policy, krenker avhengigheter, oppretter ugyldige overganger eller hallusinerer om vellykket fullføring.

Dette problemet blir stadig farligere innen finans, helsevesen, energi og regulert virksomhet, der korrekthet ikke er valgfritt.

Etter hvert som systemer blir mer autonome, kan ikke verifisering lenger forbli en ettertanke. Pålitelige agentarkitekturer krever i økende grad formelle validatorer, begrensningsforplantning, løsningsintegrasjon, policymotorer og lag med utførelsesverifisering.

Under et verifiseringsførst-paradigme handler planlegging ikke bare om å bestemme hva man skal gjøre videre. Det handler om kontinuerlig å verifisere om utførelsen forblir gyldig gjennom hele prosessen.

De fleste moderne agentsystemer resonnerer som individer. Ekte organisasjoner opererer ikke på den måten. Bedriftsmiljøer er strukturert rundt roller, autoritetsgrenser, delegeringskjeder, forpliktelser, eskaleringsmekanismer og godkjenningshierarkier.

En oppgave defineres ofte ikke bare av: «Hva bør gjøres?», men også av: hvem som har lov til å gjøre det, under hvilke betingelser, i hvilken rekkefølge og med hvis godkjenning.

Dette skaper en stor begrensning for mange nåværende agentarkitekturer.

Uten organisatorisk resonnement kan autonome systemer bryte autoritetsgrenser, omgå godkjenningsflyter, skape motstridende handlinger eller generere driftsmessige inkonsekvenser mellom avdelinger og aktører.

Dette problemet blir stadig mer alvorlig i regulerte bedriftsmiljøer der organisasjonsstrukturen i seg selv er en del av samsvar. Som et resultat kan planlegging ikke lenger bare fokusere på oppgaver og handlinger. Den må også resonnere rundt: organisatoriske roller, autoritetsmodeller, delegeringsregler og institusjonelle begrensninger.

For å støtte organisatorisk resonnement blir planlegging ikke bare operasjonell koordinering, men organisatorisk koordinering.

De fleste moderne agentsystemer behandler hukommelse som et gjenfinningsproblem. I praksis er hukommelse langt mer kompleks. Langtidskjørende autonome systemer må håndtere flere former for hukommelse samtidig – episodisk hukommelse, semantisk hukommelse, prosedyremessig hukommelse og verdenstilstandshukommelse.

Mange nåværende arkitekturer er imidlertid hovedsakelig avhengige av vektordatabaser, likhetssøk og komprimert prompthistorikk. Dette skaper alvorlige begrensninger etter hvert som utførelseskjedene blir lengre.

Et system kan hente relevant informasjon samtidig som det mister tidsmessig konsistens, glemmer tidligere forpliktelser, gjentar handlinger eller opererer ut fra utdaterte verdensantagelser. Problemet er ikke bare å huske informasjon.

Problemet er å opprettholde driftskontinuitet over tid.

Etter hvert som autonome systemer utvikler seg, kan ikke minnet lenger forbli et passivt lagringslag. Det må bli en aktiv driftsstruktur. Det er her planlegging blir kritisk. En planlegger fungerer som en strukturert minneforbruker som er i stand til å:

• opprettholdelse av en vedvarende verdensstat,
• oppfølging av langsiktige mål,
• bevare henrettelseshistorikk,
• og synkroniserer utviklende kontekst over tid.

Som en aktiv driftsstruktur blir planlegging og hukommelse dypt sammenkoblede infrastrukturlag i stedet for separate komponenter.

Den sentrale utfordringen med agentisk AI blir ofte innrammet som et intelligensproblem.

Kan modeller resonnere bedre?
Kan de lage bedre planer?
Kan de bli mer autonome?

Men etter hvert som agentsystemer går fra demonstrasjoner til reelle driftsmiljøer, dukker en annen virkelighet opp.

De viktigste flaskehalsene er i økende grad:

• konsistens,
• bekreftelse,
• koordinasjon,
• begrensningshåndtering,
• organisatorisk resonnement,
• og langsiktig driftsstabilitet.

Moderne AI-systemer kan allerede generere imponerende lokal atferd.

Det de fortsatt sliter med å opprettholde er global sammenheng over tid.