Дългосрочна стабилност, разсъждения с ограничения и организационен интелект в ерата на агентния изкуствен интелект.
През последните две години индустрията за изкуствен интелект е обсебена от един въпрос: Колко интелигентни могат да станат агентите с изкуствен интелект? Моделите с големи езици вече могат да пишат код, да използват инструменти, да сърфират в интернет, да изпълняват работни потоци, да се координират с API и все повече да работят автономно. Това доведе до появата на това, което сега се нарича агентен изкуствен интелект: системи, способни да предприемат действия, вместо просто да генерират отговори. В резултат на това екосистемата бързо се измести от чатботове към изкуствен интелект копилоти, автономни агенти, рамки за автоматизация на работни потоци, многоагентни системи и дългосрочни агентни системи.
На пръв поглед това изглежда като проблем с интелигентността. Могат ли моделите да станат достатъчно интелигентни, за да заменят човешките оператори? Но след като тези системи напуснат контролирани демонстрации и влязат в реални оперативни среди, се очертава различна реалност. Основният начин на неуспех на съвременните агенти често не е недостатъчният интелект. Това е неспособността да се поддържа последователност във времето.
Чатботът отговаря на въпрос. Автономен агент трябва да оцелее в даден процес. И тази разлика променя всичко. Съвременните агентски системи все по-често работят в:
стотици последователни действия,
променяща се среда,
динамични ограничения,
организационни структури,
йерархии на одобрение,
и дългосрочни вериги за изпълнение.
При тези условия много системи започват да се провалят по изненадващо предвидими начини:
дрейф на състоянието,
разпространение на грешки,
срив на координацията,
халюцинирано завършване,
нарушения на ограниченията,
и загуба на оперативна последователност.
Това не са просто проблеми, които подтикват. Това са инфраструктурни проблеми. Тази статия твърди, че липсващият слой в съвременния агентен ИИ не е поредният двигател за работен процес или рамка за оркестрация. Липсващият слой е планирането на инфраструктурата.
Дългосрочна стабилност
Съвременните системи с изкуствен интелект вече не са ограничени до едностъпкови взаимодействия. В бенчмаркове като SWE-Bench, WebArena, OSWorld и автономни среди за кодиране, агентите могат да изпълнят стотици последователни действия, преди да достигнат цел. Това коренно променя естеството на проблема.
С удължаването на веригите за изпълнение се появяват няколко критични режима на отказ:
Разпространение на грешката: Една малка грешка в разсъжденията в началото на изпълнението може да се натрупа в десетки по-късни стъпки. Системата може да се отклони от първоначалната цел, да влезе в цикли на възстановяване или погрешно да заключи, че задачата е завършена.
Дрифт на щата: Дълго работещите среди непрекъснато променят файловете, актуализират се транзакциите, API-тата се развиват, потребителите взаимодействат със системата. Повечето настоящи агенти обаче поддържат състоянието си имплицитно чрез история на подканите и контекст на токените. С течение на времето това създава разминаване между:
Дрейф на гола: Агентите често се префокусират върху подзадачи и губят съответствие с първоначалната цел. С увеличаване на дълбочината на задачата, системите могат да оптимизират локалните действия, да повтарят ненужни цикли или да прекратяват преждевременно.
Изчерпване на контекста: Повечето агентни системи многократно подават историята на изпълнението обратно в контекстния прозорец на модела. С удължаването на задачите: използването на токени се увеличава драстично, латентността се увеличава, важни детайли се компресират или губят.
Следователно, дълго работещите системи са изправени не само пред проблем с разсъжденията, но и пред проблем с архитектурата на паметта.
Тук планирането става от съществено значение. Планиращият действа като слой за времева стабилност, отговорен за:
запазване на съгласуваността между световните държави,
проследяване на дългосрочни цели,
валидиране на преходи,
управление на зависимости,
и непрекъснато проверяване на напредъка.
С нарастването на хоризонтите на задачите, планирането престава да бъде прост оптимизационен проблем и се превръща в проблем на инфраструктурата за съгласуваност. Постигането на тази съгласуваност обаче изисква системите да управляват не само времевата съгласуваност, но и сложните правила и хилядите ограничения на оперативната среда.
Експлозия на ограниченията
Една от най-големите слабости на съвременните агентни системи е експлозията на ограниченията. Повечето агенти, базирани на LLM, се опитват да „запомнят“ ограниченията имплицитно в контекста на модела. Това може да работи за прости работни потоци.
Реалните корпоративни среди са различни. Оперативните процеси често включват хиляди ограничения едновременно:
Правила за борба с изпирането на пари,
процедури за познай своя клиент (KYC),
йерархии на одобрение,
ограничения на санкциите,
матрици на авторитета,
вътрешни политики,
времеви зависимости.
С нарастването на броя на ограниченията, вероятностното разсъждение става все по-нестабилно.
Предизвикателството не е само в запомнянето на ограниченията. Това е поддържане на съгласуваност между тях.
Системата може да генерира локално правдоподобни действия, докато все още:
нарушаване на политиката,
нарушаване на заповедта за одобрение,
пренебрегване на границите на властта,
или създаване на невалидни оперативни състояния.
Това разкрива критично разграничение:
С нарастването на автономността на системите, обработката на ограниченията вече не може да остане имплицитна в подканите. Надеждните агентни системи все повече изискват явни механизми за ограничения, символна валидация, интеграция на решатели и формална проверка на преходите.
С наличната инфраструктура за планиране, планирането не е просто подреждане на задачите. Планирането се превръща в непрекъсната проверка на ограниченията. Това предизвикателство обаче се увеличава експоненциално, когато към системата се добавят множество автономни участници, превръщайки непрекъснатата проверка на ограниченията в проблем със системна координация.
Срив на координацията между множество агенти
Едно от най-често срещаните предположения в съвременния изкуствен интелект е, че добавянето на повече агенти автоматично създава повече интелигентност. На практика често се случва обратното. С нарастването на броя на агентите, сложността на координацията се увеличава бързо, което води до появата на конфликтни цели, дублиране на работа, непоследователни актуализации на състоянието, кръгово делегиране, безизходици и условия на състезание.
Без изрично разработен планов слой, системите се затрудняват да: синхронизират изпълнението, да наложат границите на ролите, да управляват зависимостите и да поддържат съгласувано организационно поведение.
В резултат на това много многоагентни архитектури стават оперативно нестабилни с увеличаване на мащаба. Тук планирането става критично важно. Планиращият осигурява: делегиране на правомощия, подреждане на зависимости, синхронизация и глобална координация на задачите.
В рамките на тази кохерентна архитектура, планирането не е просто разлагане на задачите. То се превръща в механизъм, който запазва системната съгласуваност между множество автономни участници. Поддържането на тази организационна координация и дългосрочна съгласуваност обаче се сблъсква с фундаментална инфраструктурна слабост на настоящите агентни системи: архитектурата на паметта.
Проблем със семантичното заземяване
Съвременните езикови модели разсъждават предимно върху думи. Организациите функционират върху структури. Реалните корпоративни среди са изградени върху обекти, взаимоотношения, задължения, структури на собственост, вериги от власт и оперативни зависимости.
Например, въпросът: „Тази компания рискована ли е?“ рядко е чисто езикова задача. Често е графова задача, включваща:
мрежи от акционери,
исторически събития,
регулаторни отношения,
свързани организации,
и връзки с изпълнителната власт.
Това създава фундаментална празнина:
Магистърските програми по право (LLM) са много ефективни при интерпретирането на текст,
Но вземането на решения в предприятието изисква разсъждения върху структурирана оперативна реалност. Без семантично обосноваване, агентните системи могат да разберат погрешно организационния контекст, да игнорират скрити зависимости, да пропуснат сигнали за релационен риск или да генерират противоречиви решения между свързани обекти.
Ето защо планирането все повече изисква структурирани семантични слоеве, като например графи на знания, взаимовръзки между обекти, оперативни онтологии и разсъждения, базирани на графи.
Следователно планирането вече не се ръководи само от подкани. То се основава на реалната оперативна структура на самата организация.
Пропуск във верификацията
Една от най-критичните слабости на съвременните агентни системи е липсата на проверка. LLM са високоефективни при генериране на действия, отговори и планове. Но самото генериране не е достатъчно. Повечето системи все още нямат надеждни механизми за определяне на:
дали дадено действие е действително валидно,
дали са били нарушени ограниченията,
дали целта е наистина постигната,
или дали полученото състояние остава оперативно съвместимо.
Това създава фундаментално разграничение:
Една система може да генерира правдоподобни резултати, като същевременно нарушава организационната политика, зависимости, създава невалидни преходи или халюцинира успешно завършване.
Този проблем става все по-опасен във финансите, здравеопазването, енергетиката и регулираните предприятия, където коректността не е по избор.
С нарастването на автономността на системите, проверката вече не може да бъде пренебрегвана. Надеждните агентни архитектури все повече изискват формални валидатори, разпространение на ограничения, интеграция на решатели, механизми за политики и слоеве за проверка на изпълнението.
При парадигмата, която поставя проверката на първо място, планирането не е само въпрос на вземане на решение какво да се прави по-нататък. То е свързано с непрекъсната проверка дали изпълнението остава валидно през целия процес.
Организационно разсъждение
Повечето съвременни агентни системи разсъждават като индивиди. Реалните организации не функционират по този начин. Корпоративните среди са структурирани около роли, граници на правомощия, вериги за делегиране, задължения, механизми за ескалация и йерархии на одобрение.
Една задача често не се определя само от: „Какво трябва да се направи?“, но и от: кой има право да я изпълни, при какви условия, в какъв ред и с чие одобрение.
Това създава сериозно ограничение за много от настоящите архитектури на агенти.
Без организационно мислене, автономните системи могат да нарушават границите на правомощията, да заобикалят потоците на одобрение, да създават противоречиви действия или да генерират оперативни несъответствия между отделите и участниците.
Този проблем става все по-сериозен в регулирани корпоративни среди, където самата организационна структура е част от съответствието. В резултат на това планирането вече не може да се фокусира само върху задачи и действия. То трябва да обмисля и: организационни роли, модели на власт, правила за делегиране и институционални ограничения.
В подкрепа на организационното мислене, планирането се превръща не само в оперативна координация, но и в организационна координация.
Криза на архитектурата на паметта
Повечето съвременни агентни системи третират паметта като проблем с извличането на данни. На практика паметта е много по-сложна. Дълго работещите автономни системи трябва да управляват едновременно множество форми на памет - епизодична памет, семантична памет, процедурна памет и памет за световни състояния.
Въпреки това, много от съвременните архитектури разчитат предимно на векторни бази данни, търсене по сходство и компресирана история на подканите. Това създава сериозни ограничения, тъй като веригите за изпълнение стават по-дълги.
Една система може да извлича релевантна информация, като същевременно губи времева последователност, забравя предишни ангажименти, повтаря действия или действа въз основа на остарели предположения. Проблемът не е само в запомнянето на информация.
Проблемът е в поддържането на оперативна непрекъснатост във времето.
С развитието на автономните системи, паметта вече не може да остане пасивен слой за съхранение. Тя трябва да се превърне в активна оперативна структура. Тук планирането става критично важно. Планиращият действа като структуриран потребител на памет, способен да:
поддържане на устойчива световна държава,
проследяване на дългосрочни цели,
запазване на историята на изпълнението,
и синхронизиране на променящия се контекст във времето.
Като активна оперативна структура, планирането и паметта се превръщат в дълбоко взаимосвързани инфраструктурни слоеве, а не в отделни компоненти.
Окончателен
Централното предизвикателство на агентния ИИ често се определя като проблем на разузнаването.
Могат ли моделите да разсъждават по-добре? Могат ли да генерират по-добри планове? Могат ли да станат по-автономни?
Но с преминаването на агентните системи от демонстрации в реални оперативни среди, се очертава различна реалност.
Основните пречки все повече се оказват:
последователност,
проверка,
координация,
управление на ограниченията,
организационно разсъждение,
и дългосрочна оперативна стабилност.
Съвременните системи с изкуствен интелект вече могат да генерират впечатляващо локално поведение.
Това, което все още се борят да поддържат, е глобалната съгласуваност във времето.
