Lớp còn thiếu trong các tác nhân AI hiện đại

Các hệ thống AI hiện đại không còn bị giới hạn ở các tương tác một bước. Trong các bài kiểm tra hiệu năng như SWE-Bench, WebArena, OSWorld và các môi trường lập trình tự động, các tác nhân có thể thực hiện hàng trăm hành động tuần tự trước khi đạt được mục tiêu. Điều này làm thay đổi căn bản bản chất của vấn đề. 

Khi chuỗi thực thi ngày càng dài, một số dạng lỗi nghiêm trọng sẽ xuất hiện:

• Sự truyền lỗi: Một sai sót nhỏ trong lập luận ở giai đoạn đầu thực thi có thể tích lũy qua hàng chục bước tiếp theo. Hệ thống có thể đi chệch khỏi mục tiêu ban đầu, rơi vào vòng lặp sửa lỗi hoặc kết luận sai rằng nhiệm vụ đã hoàn thành.

• Sự trôi dạt trạng thái: Môi trường hoạt động lâu dài liên tục thay đổi: các tập tin được cập nhật, giao dịch được hoàn tất, API phát triển, người dùng tương tác với hệ thống. Tuy nhiên, hầu hết các tác nhân hiện tại duy trì trạng thái một cách ngầm định thông qua lịch sử nhắc nhở và ngữ cảnh mã thông báo. Theo thời gian, điều này tạo ra sự khác biệt giữa:

• Mục tiêu lệch hướng: Các tác nhân thường quá tập trung vào các nhiệm vụ phụ và mất đi sự nhất quán với mục tiêu ban đầu. Khi độ phức tạp của nhiệm vụ tăng lên, hệ thống có thể tối ưu hóa các hành động cục bộ, lặp lại các vòng lặp không cần thiết hoặc kết thúc sớm.
• Sự cạn kiệt ngữ cảnh: Hầu hết các hệ thống tác nhân đều liên tục đưa lịch sử thực thi trở lại cửa sổ ngữ cảnh của mô hình. Khi các tác vụ trở nên dài hơn: mức sử dụng token tăng vọt, độ trễ tăng lên, các chi tiết quan trọng bị nén hoặc mất đi.

Do đó, các hệ thống hoạt động lâu dài không chỉ đối mặt với vấn đề về khả năng suy luận mà còn cả vấn đề về kiến ​​trúc bộ nhớ.

Đây là lúc việc lập kế hoạch trở nên thiết yếu. Người lập kế hoạch đóng vai trò như một lớp ổn định về mặt thời gian, chịu trách nhiệm cho:

• duy trì tính nhất quán của trạng thái thế giới,

• theo dõi các mục tiêu dài hạn,

• xác thực các chuyển đổi,

• quản lý các mối phụ thuộc,

• và liên tục kiểm tra tiến độ.

Khi phạm vi nhiệm vụ mở rộng, việc lập kế hoạch không còn là một bài toán tối ưu hóa đơn giản mà trở thành một bài toán về cơ sở hạ tầng nhất quán. Tuy nhiên, để đạt được sự nhất quán này, các hệ thống cần quản lý không chỉ sự nhất quán về mặt thời gian mà còn cả các quy tắc phức tạp và hàng ngàn ràng buộc của môi trường vận hành.

Một trong những điểm yếu lớn nhất của các hệ thống tác nhân hiện đại là sự bùng nổ ràng buộc. Hầu hết các tác nhân dựa trên LLM đều cố gắng "ghi nhớ" các ràng buộc một cách ngầm định trong ngữ cảnh mô hình. Điều này có thể hiệu quả đối với các quy trình công việc đơn giản.

Môi trường doanh nghiệp thực tế lại khác. Các quy trình vận hành thường liên quan đến hàng ngàn ràng buộc cùng một lúc:

• Các quy định về chống rửa tiền,
• Thủ tục KYC,
• hệ thống phân cấp phê duyệt,
• các hạn chế trừng phạt,
• ma trận quyền hạn,
• chính sách nội bộ,
• sự phụ thuộc về thời gian.

Khi số lượng ràng buộc tăng lên, suy luận xác suất trở nên ngày càng không ổn định.

Thách thức không chỉ nằm ở việc ghi nhớ các ràng buộc.
Điều đó giúp duy trì sự nhất quán giữa chúng.

Một hệ thống có thể tạo ra các hành động khả thi cục bộ trong khi vẫn:

• vi phạm chính sách,
• vi phạm lệnh phê duyệt,
• bỏ qua ranh giới quyền hạn,
• hoặc tạo ra các trạng thái hoạt động không hợp lệ.

Điều này cho thấy một sự khác biệt quan trọng:

Khi các hệ thống trở nên tự chủ hơn, việc xử lý ràng buộc không thể chỉ gói gọn trong các lời nhắc. Các hệ thống tác nhân đáng tin cậy ngày càng đòi hỏi các công cụ xử lý ràng buộc rõ ràng, xác thực ký hiệu, tích hợp bộ giải và kiểm tra chuyển đổi chính thức. 

Với cơ sở hạ tầng lập kế hoạch đã được thiết lập, việc lập kế hoạch không chỉ đơn thuần là sắp xếp thứ tự các nhiệm vụ. Lập kế hoạch trở thành việc xác minh ràng buộc liên tục. Tuy nhiên, thách thức này tăng lên theo cấp số nhân khi có thêm nhiều tác nhân tự chủ vào hệ thống, biến việc xác minh ràng buộc liên tục thành một vấn đề phối hợp hệ thống.

Một trong những giả định phổ biến nhất trong trí tuệ nhân tạo hiện đại là việc thêm nhiều tác nhân sẽ tự động tạo ra nhiều trí thông minh hơn. Trên thực tế, điều ngược lại thường xảy ra. Khi số lượng tác nhân tăng lên, độ phức tạp trong phối hợp tăng nhanh, dẫn đến các mục tiêu xung đột, công việc trùng lặp, cập nhật trạng thái không nhất quán, ủy quyền vòng tròn, bế tắc và điều kiện tranh chấp.

Nếu thiếu một lớp lập kế hoạch rõ ràng, các hệ thống sẽ gặp khó khăn trong việc: đồng bộ hóa quá trình thực thi, thực thi ranh giới vai trò, quản lý các mối phụ thuộc và duy trì hành vi tổ chức nhất quán.

Do đó, nhiều kiến ​​trúc đa tác nhân trở nên không ổn định về mặt vận hành khi quy mô tăng lên. Đây là lúc việc lập kế hoạch trở nên vô cùng quan trọng. Một công cụ lập kế hoạch cung cấp: quyền ủy quyền, thứ tự phụ thuộc, đồng bộ hóa và điều phối nhiệm vụ toàn cầu.

Trong kiến ​​trúc mạch lạc này, việc lập kế hoạch không chỉ đơn thuần là phân chia nhiệm vụ. Nó trở thành cơ chế duy trì sự mạch lạc trên toàn hệ thống giữa nhiều tác nhân tự chủ. Tuy nhiên, việc duy trì sự phối hợp tổ chức và tính nhất quán lâu dài này lại mâu thuẫn với một điểm yếu cơ bản về cơ sở hạ tầng của các hệ thống tác nhân hiện nay: kiến ​​trúc bộ nhớ.

Các mô hình ngôn ngữ hiện đại chủ yếu suy luận dựa trên từ ngữ. Các tổ chức hoạt động dựa trên cấu trúc. Môi trường doanh nghiệp thực tế được xây dựng trên các thực thể, mối quan hệ, nghĩa vụ, cấu trúc sở hữu, chuỗi quyền hạn và sự phụ thuộc hoạt động.

Ví dụ, câu hỏi: “Công ty này có rủi ro không?” hiếm khi chỉ là vấn đề ngôn ngữ thuần túy. Nó thường là vấn đề đồ thị liên quan đến:

• mạng lưới cổ đông,
• các sự kiện lịch sử,
• mối quan hệ pháp lý,
• các tổ chức liên kết,
• và các mối quan hệ cấp cao.

Điều này tạo ra một khoảng cách cơ bản:

Các chuyên gia LLM rất hiệu quả trong việc diễn giải văn bản.

Tuy nhiên, việc ra quyết định trong doanh nghiệp đòi hỏi phải suy luận dựa trên thực tế hoạt động có cấu trúc. Nếu thiếu nền tảng ngữ nghĩa, các hệ thống tác nhân có thể hiểu sai bối cảnh tổ chức, bỏ qua các mối quan hệ phụ thuộc tiềm ẩn, bỏ sót các tín hiệu rủi ro liên quan hoặc đưa ra các quyết định không nhất quán giữa các thực thể được kết nối.

Đây là lý do tại sao việc lập kế hoạch ngày càng đòi hỏi các lớp ngữ nghĩa có cấu trúc như đồ thị tri thức, mối quan hệ giữa các thực thể, hệ thống phân loại hoạt động và suy luận dựa trên đồ thị.

Do đó, việc lập kế hoạch không còn chỉ dựa trên các chỉ dẫn mà còn gắn liền với cấu trúc hoạt động thực tế của chính tổ chức.

Một trong những điểm yếu nghiêm trọng nhất của các hệ thống tác nhân hiện đại là khoảng cách xác thực. Mô hình học tập tuyến tính (LLM) rất hiệu quả trong việc tạo ra các hành động, phản hồi và kế hoạch. Nhưng chỉ tạo ra thôi là chưa đủ. Hầu hết các hệ thống vẫn thiếu các cơ chế đáng tin cậy để xác định:

• liệu một hành động có thực sự hợp lệ hay không,
• liệu các ràng buộc có bị vi phạm hay không,
• Liệu mục tiêu đó có thực sự đạt được hay không,
• hoặc liệu trạng thái kết quả có duy trì tính nhất quán về mặt vận hành hay không.

Điều này tạo ra một sự khác biệt cơ bản:

Một hệ thống có thể tạo ra các kết quả đầu ra hợp lý trong khi vẫn vi phạm chính sách của tổ chức, phá vỡ các ràng buộc, tạo ra các chuyển đổi không hợp lệ hoặc tạo ảo giác về việc hoàn thành thành công.

Vấn đề này ngày càng trở nên nguy hiểm trong lĩnh vực tài chính, y tế, năng lượng và hoạt động của các doanh nghiệp được quản lý chặt chẽ, nơi tính chính xác là điều bắt buộc.

Khi các hệ thống trở nên tự chủ hơn, việc xác thực không thể chỉ là một bước phụ. Kiến trúc tác nhân đáng tin cậy ngày càng đòi hỏi các trình xác thực hình thức, sự lan truyền ràng buộc, tích hợp bộ giải, công cụ chính sách và các lớp xác thực thực thi.

Theo mô hình ưu tiên xác minh, lập kế hoạch không chỉ đơn thuần là quyết định bước tiếp theo cần làm gì. Nó còn là việc liên tục xác minh xem quá trình thực hiện có còn hợp lệ trong suốt toàn bộ quy trình hay không.

Hầu hết các hệ thống tác nhân hiện đại suy luận như các cá nhân. Các tổ chức thực tế không hoạt động theo cách đó. Môi trường doanh nghiệp được cấu trúc dựa trên vai trò, ranh giới quyền hạn, chuỗi ủy quyền, nghĩa vụ, cơ chế leo thang và hệ thống phân cấp phê duyệt.

Một nhiệm vụ thường không chỉ được xác định bởi: “Việc cần làm là gì?” mà còn bởi: ai được phép làm, trong điều kiện nào, theo thứ tự nào và với sự chấp thuận của ai.

Điều này tạo ra một hạn chế lớn đối với nhiều kiến ​​trúc tác nhân hiện nay.

Nếu thiếu khả năng lập luận trong tổ chức, các hệ thống tự động có thể vi phạm ranh giới quyền hạn, bỏ qua quy trình phê duyệt, tạo ra các hành động mâu thuẫn hoặc gây ra sự không nhất quán trong hoạt động giữa các bộ phận và các bên liên quan.

Vấn đề này ngày càng trở nên nghiêm trọng trong môi trường doanh nghiệp được quản lý chặt chẽ, nơi cấu trúc tổ chức tự thân nó là một phần của việc tuân thủ. Do đó, việc lập kế hoạch không thể chỉ tập trung vào nhiệm vụ và hành động. Nó cũng phải tính đến: vai trò trong tổ chức, mô hình quyền hạn, quy tắc ủy quyền và các ràng buộc về mặt thể chế.

Để hỗ trợ tư duy tổ chức, việc lập kế hoạch không chỉ là sự phối hợp hoạt động mà còn là sự phối hợp tổ chức.

Hầu hết các hệ thống tác nhân hiện đại coi bộ nhớ như một vấn đề truy xuất. Trên thực tế, bộ nhớ phức tạp hơn nhiều. Các hệ thống tự động hoạt động lâu dài phải quản lý đồng thời nhiều dạng bộ nhớ: bộ nhớ sự kiện, bộ nhớ ngữ nghĩa, bộ nhớ thủ tục và bộ nhớ trạng thái thế giới.

Tuy nhiên, nhiều kiến ​​trúc hiện tại chủ yếu dựa vào cơ sở dữ liệu vector, tìm kiếm tương đồng và lịch sử lệnh được nén. Điều này tạo ra những hạn chế nghiêm trọng khi chuỗi thực thi ngày càng dài ra.

Một hệ thống có thể truy xuất thông tin liên quan nhưng vẫn mất tính nhất quán về mặt thời gian, quên các cam kết trước đó, lặp lại các hành động hoặc hoạt động dựa trên các giả định lỗi thời về thế giới. Vấn đề không chỉ nằm ở việc ghi nhớ thông tin.

Vấn đề nằm ở việc duy trì hoạt động liên tục theo thời gian.

Khi các hệ thống tự động phát triển, bộ nhớ không thể chỉ là một lớp lưu trữ thụ động nữa. Nó phải trở thành một cấu trúc hoạt động tích cực. Đây là lúc việc lập kế hoạch trở nên vô cùng quan trọng. Bộ lập kế hoạch hoạt động như một trình tiêu thụ bộ nhớ có cấu trúc, có khả năng:

• duy trì trạng thái thế giới bền vững,
• theo dõi các mục tiêu dài hạn,
• Bảo tồn lịch sử hành quyết,
• và đồng bộ hóa bối cảnh đang phát triển theo thời gian.

Với vai trò là một cấu trúc vận hành chủ động, lập kế hoạch và bộ nhớ trở thành các lớp cơ sở hạ tầng liên kết chặt chẽ với nhau chứ không phải là các thành phần riêng biệt.

Thách thức cốt lõi của trí tuệ nhân tạo dựa trên tác nhân thường được xem như một vấn đề về trí thông minh.

Liệu các mô hình có thể suy luận tốt hơn?
Liệu họ có thể lập ra những kế hoạch tốt hơn không?
Liệu chúng có thể trở nên tự chủ hơn không?

Nhưng khi các hệ thống tác nhân chuyển từ bản demo sang môi trường hoạt động thực tế, một thực tế khác sẽ xuất hiện.

Các điểm nghẽn chính ngày càng gia tăng:

• Tính nhất quán,
• xác minh,
• sự phối hợp,
• quản lý ràng buộc,
• lý luận tổ chức,
• và sự ổn định hoạt động lâu dài.

Các hệ thống trí tuệ nhân tạo hiện đại đã có thể tạo ra những hành vi cục bộ ấn tượng.

Điều mà họ vẫn đang phải vật lộn để duy trì là sự gắn kết toàn cầu theo thời gian.