에이전트형 AI에서 빠진 핵심 요소

현재 대부분의 에이전트 시스템은 컨텍스트를 주로 대화 기록, 검색된 문서 또는 벡터 유사도 결과로 처리합니다. 이러한 접근 방식은 대화형 작업에는 비교적 잘 작동하지만, 운영 시스템에는 근본적으로 다른 유형의 컨텍스트 관리가 필요합니다.

실제 환경에서 의사 결정은 검색된 정보뿐만 아니라 다음과 같은 요소에도 의존합니다.

• 엔티티 관계,
• 조직 구조,
• 시간적 사건들,
• 소유권 연쇄, 
• 이전 결정들,
• 활성 제약 조건,
• 그리고 지속적으로 진화하는 운영 상태[1]. 

고객은 단순한 문서가 아닙니다. 회사는 단순한 텍스트 덩어리가 아닙니다. 규제 관련 이벤트는 단순히 검색 결과 중 하나가 아닙니다. 운영 시스템은 지속적으로 진화하는 상태 모델을 필요로 합니다. 바로 이 지점에서 메모리와 운영 컨텍스트의 구분이 매우 중요해집니다.

메모리는 정보를 저장합니다. 운영 컨텍스트는 시스템 상태를 유지합니다.

실제로 이는 시스템이 엔티티, 관계, 시간적 이벤트 체인, 정책 바인딩 및 실행 기록과 같은 구조를 지속적으로 유지하고 업데이트해야 함을 의미합니다. 이것이 바로 그래프 기반 접근 방식이 에이전트 시스템에서 점점 더 중요해지는 이유 중 하나입니다.

그래프는 단순히 검색에만 유용한 것이 아닙니다. 그래프는 운영 상태를 런타임에 표현할 수 있도록 해줍니다. 시스템은 컨텍스트를 개별 텍스트 조각으로 취급하는 대신, 연결된 엔티티, 진화하는 관계, 시간적 종속성, 컨텍스트 전파 경로 등을 기반으로 추론할 수 있습니다. 이는 그래프의 역할을 완전히 바꿔놓습니다. 그래프는 더 이상 단순한 저장 계층이 아니라 다음과 같은 역할을 수행하게 됩니다.

• 맥락적 기억,
• 운영 상태 표현,

• 그리고 의사결정 시스템을 위한 실행 컨텍스트입니다.

  

  에이전트 시스템이 자율적인 운영으로 나아가면서 이러한 구분은 점점 더 중요해집니다. 자율적인 실행에는 정보 검색뿐만 아니라 지속적인 컨텍스트 상태 관리도 필요하기 때문입니다[4].

고객이 거래가 사기라고 주장하며 환불 요청을 처리하는 분쟁 해결 담당자를 상상해 보세요. 거래는 신뢰할 수 있는 기기에서 이루어졌고, 판매자의 위험 점수도 낮습니다. 겉보기에는 간단해 보입니다. 하지만 해당 거래는 평소와 다르게 비밀번호를 재설정한 직후에 발생했고, 고객은 최근에 기기를 변경했으며, 은행의 사기 방지 정책에 따라 짧은 시간 내에 여러 가지 미약한 징후가 동시에 나타날 경우 상위 부서로 보고해야 합니다.

이 시점에서 정책은 PDF 형태로만 남아있을 수 없습니다. 정책은 추론의 기반이 되어야 합니다.

운영 에이전트 시스템에서 정책은 LLM이 이미 답변을 형성한 후에 텍스트로만 검색되어서는 안 됩니다. 정책은 실행을 적극적으로 제한해야 합니다. 즉, 특정 작업을 차단하거나, 에스컬레이션을 트리거하거나, 승인 경로를 변경하거나, 추가 증거를 요구하거나, 자동 해결을 방지해야 합니다. 이러한 아이디어는 실행이 고립된 작업 완료 논리가 아니라 제약 조건, 목표 및 환경 조건에 의해 지속적으로 형성되는 초기 정책 기반 계획 접근 방식과 밀접하게 관련되어 있습니다[6].

바로 이 지점에서 그래프 기반 운영 컨텍스트가 매우 중요해집니다.

그래프는 분쟁 상태, 즉 고객, 계정, 거래, 판매자, 장치, 비밀번호 재설정 이벤트, 사기 지표, 이전 결정, 정책 규칙 및 실행 기록을 나타냅니다. 정책은 독립적인 문서가 아니라 실행 가능한 제약 조건으로 이 그래프에 연결됩니다. 여러 면에서 이는 지능형 개체가 고립된 메시지 교환이 아닌 지속적으로 공유되는 운영 상태를 통해 조정하는 다중 에이전트 실행 환경의 진화와 유사합니다[4].

추론 계층은 이전의 논리 프로그래밍 및 연역적 데이터베이스 시스템에서 파생된 규칙 기반 또는 논리 기반 메커니즘을 사용하여 이 그래프에서 작동할 수 있습니다[8]. 예를 들어, Datalog와 유사한 규칙은 분쟁 거래가 암호 재설정 후에 발생하고, 새 장치가 관련되고, 위험 임계값을 초과하는 경우 분쟁을 에스컬레이션해야 한다고 표현할 수 있습니다. 이는 고전적인 연역적 추론 시스템 및 데이터베이스 논리 엔진과 개념적으로 일치하는 접근 방식입니다[9].

LLM은 사례를 해석하고, 결정을 설명하고, 사용자와 상호 작용할 수 있지만, 정책 조건 자체는 그래프 상에서 결정론적으로 평가됩니다.

이 아키텍처에서 그래프 엔진은 운영 기반이 되고, 추론 계층은 현재 상태에 대한 제약 조건, 의무, 권한 및 종속성을 평가합니다. 확률적 추론과 제약 조건 기반 실행 간의 이러한 분리는 지능적인 행동이 목표뿐만 아니라 지속적으로 유지되는 신념, 의도, 의무 및 실행 제약 조건에서도 나타나는 초기 BDI 기반 에이전트 모델을 반영합니다(Rao & Georgeff, 1995).

키 변화 

이를 통해 자율적인 분쟁 해결 에이전트는 발생한 일뿐만 아니라 실행의 각 단계에서 허용되는 것, 요구되는 것, 차단되는 것 또는 확대되는 것에 대해서도 추론할 수 있습니다.

일단 상황이 지속적으로 진화하는 운영 상태가 되고 정책이 실행 가능한 제약 조건이 되면, 다음 과제는 바로 의사 결정 실행 그 자체입니다.

이 단계에서는 더 이상 컨텍스트 검색이 문제가 아닙니다. 실행 시간 내 의사 결정 제어가 핵심입니다. 현재 대부분의 에이전트 시스템은 여전히 ​​컨텍스트를 검색하고, 이를 바탕으로 추론하고, 행동을 생성하고, 결과를 실행하는 행동 생성 시스템으로 작동합니다. 그러나 실제 운영 시스템에서는 추론과 실행 사이에 추가적인 계층, 즉 제약 조건이 있는 의사 결정 파이프라인이 필요합니다.

이러한 구분은 매우 중요합니다. 왜냐하면 실제 운영 환경에는 유효한 행동이 하나만 존재하는 경우가 드물기 때문입니다. 오히려 실제 운영 환경에는 다음과 같은 요소들이 포함됩니다.

• 실행 가능한 조치,
• 금지된 행위,
• 강화된 조치,
• 지연된 조치,
• 그리고 조건부로 허용되는 동작들.

따라서 시스템의 역할은 단순히 액션을 생성하는 것뿐만 아니라 런타임 제약 조건 하에서 액션을 지속적으로 필터링하고 검증하는 것입니다. 간소화된 파이프라인은 점차 다음과 같은 형태를 띠게 됩니다. 

이로 인해 스택 내 여러 구성 요소의 역할이 바뀝니다. 그래프는 더 이상 단순히 검색 용도로만 사용되지 않고, 시스템의 런타임 운영 상태를 나타내는 도구가 됩니다. 

정책은 더 이상 정적인 문서가 아닙니다. 정책은 의사 결정 생성 과정에서 평가되는 실행 가능한 런타임 제약 조건이 됩니다. 계획기는 더 이상 단순히 작업 순서를 정하는 역할만 하는 것이 아니라, 활성 제약 조건 하에서 운영상 실행 가능한 조치를 생성하는 책임을 지게 됩니다.

이러한 구분은 중요합니다. 왜냐하면 많은 운영상의 실패는 정보 부족에서 비롯되는 것이 아니라, 변화하는 상황 속에서 부적절한 조치를 선택한 데서 비롯되기 때문입니다.

예 :

• 어떤 행동은 권한의 경계를 위반할 수 있습니다.
• 현행 규정 준수 규칙과의 충돌
• 잘못된 프로세스 시퀀스를 트리거합니다.
• 또는 하류 운영 위험을 초래할 수 있습니다.

이러한 경우 문제는 지능의 실패가 아니라 제약 조건의 실패입니다. 이것이 바로 자율 시스템에서 제약 조건 기반 계획 수립이 점점 더 중요해지는 이유입니다.

생성된 액션을 직접 실행하는 대신, 시스템은 다음을 수행해야 합니다.

• 실현 가능성을 평가하다
• 유효하지 않은 경로를 제거합니다.
• 런타임 제약 조건을 적용합니다.
• 충돌을 감지합니다.
• 필요한 경우 대체 실행 경로를 생성합니다.

개념적으로 볼 때, 이는 현대적인 에이전트 시스템을 기존의 대화형 AI 아키텍처보다 고전적인 계획 시스템에 더 가깝게 만듭니다.

다음과 같은 접근 방식:

• 그래프플랜,
• 제약 조건 만족 시스템,
• 휴리스틱 탐색,
• A* 변형,
• 그리고 동적 재계획 알고리즘

시스템이 지속적으로 변화하는 런타임 환경에서 작동하게 되면 다시 관련성을 갖게 됩니다.

하지만 고전적인 계획기와 달리 현대 운영 시스템은 확률적 의미 해석, 비정형 입력, 진화하는 그래프 컨텍스트 및 동적으로 변화하는 정책을 포함합니다.

결과적으로, 새롭게 등장하는 아키텍처는 순전히 기호적인 것도 아니고 순전히 확률적인 것도 아닙니다. 이는 LLM이 해석하고, 그래프가 운영 상태를 유지하며, 제약 조건이 실행 경계를 정의하고, 계획기가 해당 경계 내에서 실행 가능한 행동을 생성하는 하이브리드 실행 모델이 됩니다.

이러한 분리는 자율 시스템이 운영 제어권을 잃지 않으면서 유연성을 유지할 수 있도록 해주기 때문에 중요합니다. 목표는 확률적 지능을 제거하는 것이 아닙니다.

목표는 확률적 추론이 결정론적 검증 계층 없이 운영 실행을 직접적으로 제어하는 ​​것을 방지하는 것입니다.

운영 컨텍스트, 실행 제약 조건 및 제약 조건이 포함된 계획이 런타임 자체의 일부가 되면 자율 실행은 더 이상 단순한 오케스트레이션 문제가 아닙니다. 시스템은 지속적으로 변화하는 운영 상태를 기반으로 작동합니다. 즉, 엔티티가 진화하고, 관계가 변경되고, 제약 조건이 활성화되거나 만료되며, 실행 가능성이 시간에 따라 변동합니다.

이러한 상황에서는 실행이 더 이상 생성된 출력에만 의존할 수 없습니다. 시스템은 지속적으로 상황을 재평가하고, 제약 조건을 검증하고, 계획을 조정하고, 변화하는 환경 속에서도 운영 일관성을 유지해야 합니다.

에이전트 시스템이 단기 워크플로우에서 장기 실행 목표 지향적 작업으로 전환함에 따라 이러한 점은 더욱 중요해집니다. 이러한 환경에서는 목표가 지속되고, 여러 에이전트가 상호 작용하며, 조직 경계가 중요해지고, 실행 경로가 런타임 중에 동적으로 진화합니다.

결과적으로 계획 수립은 일회성 작업이 아니라 지속적인 운영 프로세스가 됩니다. 바로 이 지점에서 그래프 기반 운영 상태, 실행 가능한 정책, 제약 조건 인식 계획 수립이 자율 시스템을 위한 새로운 런타임 아키텍처로 수렴하기 시작합니다.

그리고 시간이 흐르면서 이러한 아키텍처는 새로운 세대의 운영 산출물을 도입할 가능성이 높습니다.

• KAOS[10]와 같은 목표 지향적 요구사항 엔지니어링 접근 방식에서 영감을 받은 지속적인 목표,
• Gaia의 다중 에이전트 시스템을 위한 역할 지향 조직 모델링과 유사한 실행 가능한 조직 역할 및 책임[11]
• MOISE+ [12]와 같은 조직 MAS 접근 방식을 닮은 적응형 조정 구조,
•  장기 다중 에이전트 시스템을 위한 런타임 조직 패턴은 조직 논리 및 적응형 다중 조직 시스템 연구에서 탐구되었습니다[13][14].

따라서 차세대 기업용 AI 시스템은 얼마나 많은 행동을 생성할 수 있느냐가 아니라, 끊임없이 변화하는 제약 조건 속에서 얼마나 안정적으로 목표 지향적인 조정된 행동을 유지할 수 있느냐로 정의될 수 있을 것이다.

1. Hogan, A., Blomqvist, E., Cochez, M., 외. 지식 그래프. ACM 컴퓨팅 서베이, 2021.

2. Edge, D., et al. 로컬에서 글로벌로: 쿼리 중심 요약을 위한 GraphRAG 접근 방식. arXiv, 2024.

3. Nii, HP 문제 해결의 칠판 모델과 칠판 아키텍처의 진화. AI Magazine, 1986.

4. Wooldridge, M. 다중 에이전트 시스템 개론. Wiley, 2009.

5. Ferber, J. 다중 에이전트 시스템: 분산 인공지능 입문. Addison-Wesley, 1999.

6. Myers, KL, 지속적인 계획 및 실행을 위한 프레임워크를 향하여. AAAI, 1999.

7. Rao, AS, Georgeff, MP BDI 에이전트: 이론에서 실천까지. ICMAS, 1995.

8. Ceri, S., Gottlob, G., Tanca, L. 논리 프로그래밍 및 데이터베이스. Springer, 1990.

9. Abiteboul, S., Hull, R., Vianu, V. 데이터베이스의 기초. Addison-Wesley, 1995.

[10]. van Lamsweerde, A. (2001). 목표 지향적 요구사항 엔지니어링: 안내 투어.

[11] Wooldridge, M., Jennings, NR, & Kinny, D. (2000). 에이전트 지향 분석 및 설계를 위한 Gaia 방법론.

[12] Hannoun, M., Sichman, JS, Boissier, O., & Sayettat, C. (2000). MOISE: 다중 에이전트 시스템을 위한 조직 모델.

[14] Dignum, V., & Dignum, F. (2018). 에이전트 시스템에서 조직 모델의 역할.

[15] Tamersoy, M., Ekinci, EE, Erdur, RC, & Dikenelli, O. (2017). 적응형 다중 조직 시스템을 위한 요구 사항 모델. SASO 2017.