Відсутній рівень у сучасних агентах штучного інтелекту

Сучасні системи штучного інтелекту більше не обмежуються однокроковими взаємодіями. У таких бенчмарках, як SWE-Bench, WebArena, OSWorld та середовищах автономного кодування, агенти можуть виконувати сотні послідовних дій, перш ніж досягти мети. Це докорінно змінює природу проблеми. 

Зі збільшенням довжини ланцюжків виконання виникає кілька критичних режимів відмови:

• Поширення помилки: Невелика помилка в міркуваннях на початку виконання може посилюватися на десятках наступних кроків. Система може відійти від початкової мети, увійти в цикл відновлення або помилково зробити висновок, що завдання виконано.

• Дрейф штату: Тривало працюючі середовища постійно змінюють файли, оновлюють транзакції, розвивають API, користувачі взаємодіють із системою. Однак більшість сучасних агентів неявно підтримують стан через історію запитів та контекст токенів. З часом це створює розбіжності між:

• Дрейф голу: Агенти часто надмірно зосереджуються на підзадачах і втрачають узгодженість з початковою метою. Зі збільшенням глибини завдання системи можуть оптимізувати локальні дії, повторювати непотрібні цикли або передчасно завершувати свою роботу.
• Вичерпання контексту: Більшість агентних систем неодноразово передають історію виконання назад у вікно контексту моделі. Зі збільшенням тривалості завдань різко зростає використання токенів, збільшується затримка, стискаються або втрачаються важливі деталі.

Таким чином, довгопрацюючі системи стикаються не лише з проблемою міркування, але й з проблемою архітектури пам'яті.

Саме тут планування стає надзвичайно важливим. Планувальник діє як рівень часової стабільності, що відповідає за:

• збереження узгодженості світових держав,

• відстеження довгострокових цілей,

• перевірка переходів,

• управління залежностями,

• та постійна перевірка прогресу.

Зі зростанням горизонтів завдань планування перестає бути простою проблемою оптимізації та перетворюється на проблему інфраструктури узгодженості. Однак досягнення цієї узгодженості вимагає від систем управління не лише часовою узгодженістю, але й складними правилами та тисячами обмежень операційного середовища.

Однією з найбільших слабкостей сучасних агентних систем є вибух обмежень. Більшість агентів на основі LLM намагаються неявно «запам'ятати» обмеження в контексті моделі. Це може спрацювати для простих робочих процесів.

Реальні корпоративні середовища відрізняються. Операційні процеси часто передбачають тисячі обмежень одночасно:

• Правила боротьби з відмиванням коштів,
• Процедури KYC (Знай свого клієнта),
• ієрархії затвердження,
• обмеження санкцій,
• матриці авторитетів,
• внутрішні політики,
• часові залежності.

Зі зростанням кількості обмежень, ймовірнісні міркування стають дедалі нестабільнішими.

Завдання полягає не лише в тому, щоб пам'ятати про обмеження.
Це підтримка узгодженості між ними.

Система може генерувати локально правдоподібні дії, водночас:

• порушення політики,
• порушення порядку затвердження,
• ігнорування меж влади,
• або створення недійсних операційних станів.

Це виявляє критичну відмінність:

Оскільки системи стають більш автономними, обробка обмежень більше не може залишатися неявною всередині підказок. Надійні агентні системи все частіше потребують явних механізмів обмежень, символьної перевірки, інтеграції розв'язувачів та формальної перевірки переходів. 

З наявною інфраструктурою планування планування — це не просто визначення послідовності завдань. Планування перетворюється на безперервну перевірку обмежень. Однак ця проблема експоненціально зростає, коли до системи додається кілька автономних учасників, перетворюючи безперервну перевірку обмежень на проблему системної координації.

Одне з найпоширеніших припущень у сучасному штучному інтелекті полягає в тому, що додавання більшої кількості агентів автоматично створює більше інтелекту. На практиці часто відбувається навпаки. Зі зростанням кількості агентів швидко зростає складність координації, що призводить до конфлікту цілей, дублювання роботи, невідповідних оновлень стану, циклічного делегування, глухих блокувань та умов гонки.

Без чіткого рівня планування системам важко: синхронізувати виконання, забезпечувати дотримання меж ролей, керувати залежностями та підтримувати узгоджену організаційну поведінку.

В результаті, багато мультиагентних архітектур стають операційно нестабільними зі збільшенням масштабу. Саме тут планування стає критично важливим. Планувальник забезпечує: повноваження делегування, упорядкування залежностей, синхронізацію та глобальну координацію завдань.

В рамках цієї узгодженої архітектури планування — це не просто декомпозиція завдань. Воно стає механізмом, який зберігає загальносистемну узгодженість між кількома автономними акторами. Однак підтримка цієї організаційної координації та довгострокової узгодженості стикається з фундаментальною інфраструктурною слабкістю сучасних агентних систем: архітектурою пам'яті.

Сучасні мовні моделі логічно обґрунтовують свої дії переважно словами. Організації функціонують на основі структур. Реальні корпоративні середовища побудовані на сутностях, зв'язках, зобов'язаннях, структурах власності, ланцюгах повноважень та операційних залежностях.

Наприклад, питання: «Чи є ця компанія ризикованою?» рідко є чисто мовною задачею. Часто це графова задача, що включає:

• мережі акціонерів,
• історичні події,
• регуляторні відносини,
• пов'язані організації,
• та зв'язки з виконавчою владою.

Це створює фундаментальний розрив:

LLM дуже ефективні в інтерпретації тексту,

але прийняття рішень на підприємстві вимагає обґрунтування структурованої операційної реальності. Без семантичного обґрунтування агентні системи можуть неправильно розуміти організаційний контекст, ігнорувати приховані залежності, пропускати сигнали реляційного ризику або приймати суперечливі рішення між пов'язаними об'єктами.

Ось чому планування дедалі більше вимагає структурованих семантичних шарів, таких як графи знань, зв'язки між сутностями, операційні онтології та мислення на основі графів.

Отже, планування більше не керується лише підказками. Воно ґрунтується на фактичній операційній структурі самої організації.

Однією з найкритичніших слабких сторін сучасних агентних систем є розрив у верифікації. LLM дуже ефективні для генерування дій, відповідей та планів. Але самої генерації недостатньо. Більшість систем досі не мають надійних механізмів для визначення:

• чи є дія насправді дійсною,
• чи були порушені обмеження,
• чи справді досягнуто мети,
• або чи залишається результуючий стан операційно несуперечливим.

Це створює фундаментальну відмінність:

Система може видавати правдоподібні результати, водночас порушуючи політику організації, порушуючи залежності, створюючи недійсні переходи або імітуючи успішне завершення.

Ця проблема стає дедалі небезпечнішою у фінансах, охороні здоров'я, енергетиці та регульованій діяльності підприємств, де правильність не є необов'язковою.

Оскільки системи стають більш автономними, верифікація більше не може залишатися другорядною думкою. Надійні архітектури агентів дедалі більше потребують формальних валідаторів, поширення обмежень, інтеграції розв'язувачів, механізмів політик та рівнів верифікації виконання.

Згідно з парадигмою, що орієнтована на перевірку, планування полягає не лише у вирішенні подальших дій. Йдеться про постійну перевірку того, чи залишається виконання дійсним протягом усього процесу.

Більшість сучасних агентних систем логічно обмірковують дії окремих осіб. Реальні організації функціонують інакше. Корпоративні середовища структуровані навколо ролей, меж повноважень, ланцюгів делегування, зобов'язань, механізмів ескалації та ієрархій затвердження.

Завдання часто визначається не лише питанням: «Що слід зробити?», але й тим, кому дозволено це робити, за яких умов, у якому порядку та з чиєї згоди.

Це створює суттєве обмеження для багатьох сучасних архітектур агентів.

Без організаційного обґрунтування автономні системи можуть порушувати межі повноважень, обходити потоки затверджень, створювати суперечливі дії або створювати операційні невідповідності між відділами та учасниками.

Ця проблема стає дедалі серйознішою в регульованому корпоративному середовищі, де сама організаційна структура є частиною дотримання вимог. Як наслідок, планування більше не може зосереджуватися лише на завданнях та діях. Воно також має враховувати: організаційні ролі, моделі повноважень, правила делегування та інституційні обмеження.

Для підтримки організаційного мислення планування стає не лише операційною координацією, а й організаційною координацією.

Більшість сучасних агентних систем розглядають пам'ять як проблему пошуку даних. На практиці пам'ять набагато складніша. Тривало працюючи автономні системи повинні одночасно керувати кількома формами пам'яті: епізодичною пам'яттю, семантичною пам'яттю, процедурною пам'яттю та пам'яттю світових станів.

Однак багато сучасних архітектур покладаються переважно на векторні бази даних, пошук за подібністю та стиснуту історію запитів. Це створює серйозні обмеження, оскільки ланцюжки виконання стають довшими.

Система може отримувати відповідну інформацію, водночас втрачаючи часову узгодженість, забуваючи попередні зобов'язання, повторюючи дії або оперуючи застарілими припущеннями. Проблема полягає не лише в запам'ятовуванні інформації.

Проблема полягає в підтримці безперервності роботи протягом усього часу.

З розвитком автономних систем пам'ять більше не може залишатися пасивним шаром зберігання. Вона повинна стати активною операційною структурою. Саме тут планування стає критично важливим. Планувальник діє як структурований споживач пам'яті, здатний:

• підтримка стійкої світової держави,
• відстеження довгострокових цілей,
• збереження історії виконання,
• та синхронізація контексту, що змінюється з часом.

Як активна операційна структура, планування та пам'ять стають тісно взаємопов'язаними шарами інфраструктури, а не окремими компонентами.

Центральну проблему агентного ШІ часто формулюють як проблему інтелекту.

Чи можуть моделі міркувати краще?
Чи можуть вони розробити кращі плани?
Чи можуть вони стати більш автономними?

Але оскільки агентні системи переходять від демонстраційних до реальних операційних середовищ, виникає інша реальність.

Основними вузькими місцями дедалі частіше стають:

• консистенція,
• перевірка,
• координація,
• управління обмеженнями,
• організаційне мислення,
• та довгострокову операційну стабільність.

Сучасні системи штучного інтелекту вже можуть генерувати вражаючу локальну поведінку.

Що їм досі важко підтримувати, так це глобальну узгодженість у часі.