องค์ประกอบที่ขาดหายไปในเอเจนต์ AI สมัยใหม่

ระบบ AI สมัยใหม่ไม่ได้จำกัดอยู่แค่การโต้ตอบแบบขั้นตอนเดียวอีกต่อไปแล้ว ในแบบทดสอบประสิทธิภาพ เช่น SWE-Bench, WebArena, OSWorld และสภาพแวดล้อมการเขียนโค้ดแบบอัตโนมัติ เอเจนต์อาจดำเนินการตามลำดับหลายร้อยครั้งก่อนที่จะบรรลุเป้าหมาย ซึ่งเป็นการเปลี่ยนแปลงลักษณะของปัญหาโดยพื้นฐาน 

เมื่อกระบวนการทำงานมีความยาวมากขึ้น จะเกิดความล้มเหลวที่สำคัญหลายประการ:

• การส่งต่อข้อผิดพลาด: ความผิดพลาดเล็กน้อยในการให้เหตุผลในช่วงเริ่มต้นของการทำงาน อาจส่งผลกระทบเป็นวงกว้างไปยังขั้นตอนต่อๆ ไปอีกหลายสิบขั้นตอน ระบบอาจเบี่ยงเบนไปจากเป้าหมายเดิม เข้าสู่ลูปการแก้ไข หรือสรุปผิดพลาดว่างานเสร็จสมบูรณ์แล้ว

• การเปลี่ยนแปลงสถานะ: สภาพแวดล้อมการทำงานระยะยาวมีการเปลี่ยนแปลงอย่างต่อเนื่อง ทั้งการอัปเดตไฟล์ การทำธุรกรรม การพัฒนา API และการโต้ตอบของผู้ใช้กับระบบ อย่างไรก็ตาม เอเจนต์ส่วนใหญ่ในปัจจุบันจะรักษาสถานะโดยปริยายผ่านประวัติการแจ้งเตือนและบริบทของโทเค็น เมื่อเวลาผ่านไป สิ่งนี้จะสร้างความแตกต่างระหว่าง:

• เป้าหมายเบี่ยงเบน: ตัวแทนมักให้ความสำคัญกับงานย่อยมากเกินไปและสูญเสียความสอดคล้องกับเป้าหมายหลัก เมื่อความซับซ้อนของงานเพิ่มขึ้น ระบบอาจปรับปรุงการทำงานเฉพาะส่วน ทำซ้ำลูปที่ไม่จำเป็น หรือยุติการทำงานก่อนกำหนด
• ความเหนื่อยล้าจากบริบท: ระบบเอเจนต์ส่วนใหญ่จะป้อนประวัติการทำงานกลับเข้าไปในหน้าต่างบริบทของโมเดลซ้ำๆ เมื่อภารกิจใช้เวลานานขึ้น การใช้โทเค็นก็จะเพิ่มขึ้นอย่างมาก ความหน่วงก็จะเพิ่มขึ้น รายละเอียดที่สำคัญก็จะถูกบีบอัดหรือสูญหายไป

ดังนั้น ระบบที่ทำงานต่อเนื่องเป็นเวลานานจึงไม่เพียงแต่เผชิญกับปัญหาด้านการประมวลผลข้อมูลเท่านั้น แต่ยังเผชิญกับปัญหาด้านสถาปัตยกรรมหน่วยความจำอีกด้วย

นี่คือจุดที่การวางแผนมีความสำคัญอย่างยิ่ง นักวางแผนทำหน้าที่เป็นเหมือนชั้นสร้างเสถียรภาพชั่วคราว โดยรับผิดชอบในเรื่องต่อไปนี้:

• การรักษาความสอดคล้องของสถานะโลก

• การติดตามเป้าหมายระยะยาว

• การตรวจสอบความถูกต้องของการเปลี่ยนผ่าน

• การจัดการความสัมพันธ์ระหว่างกัน

• และตรวจสอบความคืบหน้าอย่างต่อเนื่อง

เมื่อขอบเขตของงานขยายออกไป การวางแผนจะไม่ใช่แค่ปัญหาการหาค่าที่เหมาะสมที่สุดอีกต่อไป แต่จะกลายเป็นปัญหาโครงสร้างพื้นฐานด้านความสอดคล้อง อย่างไรก็ตาม การบรรลุความสอดคล้องนี้จำเป็นต้องมีระบบที่สามารถจัดการไม่เพียงแต่ความสอดคล้องในเชิงเวลาเท่านั้น แต่ยังรวมถึงกฎเกณฑ์ที่ซับซ้อนและข้อจำกัดนับพันของสภาพแวดล้อมการปฏิบัติงานด้วย

จุดอ่อนที่สำคัญที่สุดอย่างหนึ่งของระบบเอเจนต์สมัยใหม่คือ ปัญหาข้อจำกัดที่เพิ่มขึ้นอย่างมากมาย เอเจนต์ที่ใช้ LLM ส่วนใหญ่พยายาม "จดจำ" ข้อจำกัดต่างๆ โดยปริยายภายในบริบทของโมเดล ซึ่งอาจใช้ได้ผลกับเวิร์กโฟลว์ที่เรียบง่าย

สภาพแวดล้อมขององค์กรในโลกแห่งความเป็นจริงนั้นแตกต่างออกไป กระบวนการปฏิบัติงานมักเกี่ยวข้องกับข้อจำกัดนับพันรายการพร้อมกัน:

• กฎ AML
• ขั้นตอนการตรวจสอบตัวตน (KYC)
• ลำดับชั้นการอนุมัติ
• ข้อจำกัดการคว่ำบาตร
• เมทริกซ์อำนาจ
• นโยบายภายใน
• ความสัมพันธ์เชิงเวลา

เมื่อจำนวนข้อจำกัดเพิ่มขึ้น การให้เหตุผลเชิงความน่าจะเป็นก็จะยิ่งไม่เสถียรมากขึ้น

ความท้าทายไม่ได้อยู่ที่การจดจำข้อจำกัดเพียงอย่างเดียว
คือการรักษาความสอดคล้องระหว่างสิ่งเหล่านั้น

ระบบอาจสร้างการกระทำที่ดูสมเหตุสมผลในระดับท้องถิ่นได้ ในขณะเดียวกันก็ยังคง:

• ฝ่าฝืนนโยบาย
• ฝ่าฝืนคำสั่งอนุมัติ
• ไม่สนใจขอบเขตอำนาจ
• หรือสร้างสถานะการทำงานที่ไม่ถูกต้อง

สิ่งนี้เผยให้เห็นความแตกต่างที่สำคัญ:

เมื่อระบบมีความเป็นอิสระมากขึ้น การจัดการข้อจำกัดจึงไม่สามารถแฝงอยู่ภายในข้อความแจ้งเตือนได้อีกต่อไป ระบบเอเจนต์ที่เชื่อถือได้จึงต้องการกลไกการจัดการข้อจำกัดที่ชัดเจน การตรวจสอบความถูกต้องเชิงสัญลักษณ์ การบูรณาการตัวแก้ปัญหา และการตรวจสอบการเปลี่ยนสถานะอย่างเป็นทางการมากขึ้นเรื่อยๆ 

เมื่อมีโครงสร้างพื้นฐานด้านการวางแผนแล้ว การวางแผนจึงไม่ใช่แค่การจัดลำดับงานอีกต่อไป การวางแผนกลายเป็นการตรวจสอบข้อจำกัดอย่างต่อเนื่อง อย่างไรก็ตาม ความท้าทายนี้จะเพิ่มขึ้นอย่างทวีคูณเมื่อมีผู้มีส่วนร่วมอิสระหลายรายเพิ่มเข้ามาในระบบ ทำให้การตรวจสอบข้อจำกัดอย่างต่อเนื่องกลายเป็นปัญหาการประสานงานในระดับระบบ

หนึ่งในข้อสมมติฐานที่พบได้บ่อยที่สุดใน AI สมัยใหม่คือ การเพิ่มจำนวนเอเจนต์จะทำให้เกิดความฉลาดมากขึ้นโดยอัตโนมัติ แต่ในทางปฏิบัติ มักจะเกิดสิ่งที่ตรงกันข้าม เมื่อจำนวนเอเจนต์เพิ่มขึ้น ความซับซ้อนของการประสานงานก็จะเพิ่มขึ้นอย่างรวดเร็ว เป้าหมายที่ขัดแย้งกัน งานซ้ำซ้อน การอัปเดตสถานะที่ไม่สอดคล้องกัน การมอบหมายแบบวนซ้ำ การติดขัด และสภาวะการแข่งขันก็จะเริ่มปรากฏขึ้น

หากไม่มีชั้นการวางแผนที่ชัดเจน ระบบจะประสบปัญหาในการ: ประสานการทำงาน บังคับใช้ขอบเขตบทบาท จัดการความสัมพันธ์ระหว่างงาน และรักษาพฤติกรรมองค์กรที่สอดคล้องกัน

ด้วยเหตุนี้ สถาปัตยกรรมแบบหลายเอเจนต์จำนวนมากจึงไม่เสถียรในการปฏิบัติงานเมื่อขนาดเพิ่มขึ้น นี่คือจุดที่การวางแผนมีความสำคัญอย่างยิ่ง ผู้วางแผนจะให้สิทธิ์ในการมอบหมายงาน การจัดลำดับความสัมพันธ์ การซิงโครไนซ์ และการประสานงานภารกิจโดยรวม

ภายในโครงสร้างสถาปัตยกรรมที่สอดคล้องกันนี้ การวางแผนไม่ได้เป็นเพียงแค่การแบ่งงานออกเป็นส่วนย่อยๆ เท่านั้น แต่กลายเป็นกลไกที่รักษาความสอดคล้องกันทั่วทั้งระบบในบรรดาผู้กระทำอิสระหลายราย อย่างไรก็ตาม การรักษาการประสานงานเชิงองค์กรและความสม่ำเสมอในระยะยาวนี้ ขัดแย้งกับจุดอ่อนพื้นฐานของระบบเอเจนต์ในปัจจุบัน นั่นคือ สถาปัตยกรรมหน่วยความจำ

แบบจำลองภาษาสมัยใหม่ใช้เหตุผลบนพื้นฐานของคำเป็นหลัก ในขณะที่องค์กรดำเนินงานบนพื้นฐานของโครงสร้าง สภาพแวดล้อมขององค์กรในโลกแห่งความเป็นจริงนั้นสร้างขึ้นจากเอนทิตี ความสัมพันธ์ ข้อผูกพัน โครงสร้างการเป็นเจ้าของ สายโซ่อำนาจ และการพึ่งพาอาศัยกันในการดำเนินงาน

ตัวอย่างเช่น คำถามที่ว่า “บริษัทนี้มีความเสี่ยงหรือไม่?” นั้น แทบจะไม่ใช่ปัญหาทางภาษาล้วนๆ เลย ส่วนใหญ่มักเป็นปัญหาเกี่ยวกับกราฟ ซึ่งเกี่ยวข้องกับสิ่งต่อไปนี้:

• เครือข่ายผู้ถือหุ้น
• เหตุการณ์ทางประวัติศาสตร์
• ความสัมพันธ์ด้านกฎระเบียบ
• องค์กรที่เชื่อมโยงกัน
• และเครือข่ายผู้บริหาร

สิ่งนี้ก่อให้เกิดช่องว่างพื้นฐาน:

ผู้ที่จบปริญญาโทด้านกฎหมายจะมีความเชี่ยวชาญสูงในการตีความข้อความ

แต่การตัดสินใจในระดับองค์กรจำเป็นต้องใช้เหตุผลบนพื้นฐานของความเป็นจริงในการดำเนินงานที่มีโครงสร้าง หากปราศจากพื้นฐานทางความหมาย ระบบเอเจนต์อาจเข้าใจบริบทขององค์กรผิดพลาด เพิกเฉยต่อความสัมพันธ์ที่ซ่อนอยู่ พลาดสัญญาณความเสี่ยงเชิงสัมพันธ์ หรือสร้างการตัดสินใจที่ไม่สอดคล้องกันในหน่วยงานที่เชื่อมต่อกัน

ด้วยเหตุนี้ การวางแผนจึงต้องการโครงสร้างเชิงความหมายที่ซับซ้อนมากขึ้น เช่น กราฟความรู้ ความสัมพันธ์ระหว่างเอนทิตี ออนโทโลยีเชิงปฏิบัติการ และการให้เหตุผลโดยใช้กราฟ

ด้วยเหตุนี้ การวางแผนจึงไม่ได้ถูกขับเคลื่อนด้วยสิ่งกระตุ้นเพียงอย่างเดียวอีกต่อไป แต่จะวางรากฐานอยู่บนโครงสร้างการดำเนินงานที่แท้จริงขององค์กร

หนึ่งในจุดอ่อนที่สำคัญที่สุดของระบบเอเจนต์สมัยใหม่คือช่องว่างในการตรวจสอบ LLM มีประสิทธิภาพสูงในการสร้างการกระทำ การตอบสนอง และแผนการต่างๆ แต่การสร้างเพียงอย่างเดียวไม่เพียงพอ ระบบส่วนใหญ่ยังขาดกลไกที่เชื่อถือได้ในการกำหนด:

• ไม่ว่าการกระทำนั้นจะถูกต้องตามกฎหมายหรือไม่
• มีการละเมิดข้อจำกัดหรือไม่
• ไม่ว่าเป้าหมายจะบรรลุผลสำเร็จอย่างแท้จริงหรือไม่
• หรือว่าสถานะที่เกิดขึ้นนั้นยังคงสอดคล้องกับการดำเนินงานหรือไม่

นี่จึงก่อให้เกิดความแตกต่างพื้นฐาน:

ระบบอาจสร้างผลลัพธ์ที่ดูสมเหตุสมผล ในขณะเดียวกันก็อาจละเมิดนโยบายขององค์กร ละเมิดความสัมพันธ์ระหว่างส่วนต่างๆ สร้างการเปลี่ยนสถานะที่ไม่ถูกต้อง หรือสร้างภาพลวงตาว่ากระบวนการเสร็จสมบูรณ์อย่างราบรื่น

ปัญหานี้ทวีความอันตรายมากขึ้นในด้านการเงิน การดูแลสุขภาพ พลังงาน และการดำเนินงานขององค์กรที่อยู่ภายใต้การกำกับดูแล ซึ่งความถูกต้องเป็นสิ่งที่ไม่อาจเลือกได้

เมื่อระบบมีความเป็นอิสระมากขึ้น การตรวจสอบความถูกต้องจึงไม่ใช่สิ่งที่ควรมองข้ามอีกต่อไป สถาปัตยกรรมเอเจนต์ที่เชื่อถือได้จึงต้องการตัวตรวจสอบความถูกต้องอย่างเป็นทางการ การแพร่กระจายข้อจำกัด การบูรณาการตัวแก้ปัญหา กลไกการกำหนดนโยบาย และชั้นการตรวจสอบความถูกต้องของการดำเนินการมากขึ้นเรื่อยๆ

ภายใต้แนวคิดที่เน้นการตรวจสอบเป็นอันดับแรก การวางแผนไม่ได้หมายถึงเพียงแค่การตัดสินใจว่าจะทำอะไรต่อไป แต่ยังหมายถึงการตรวจสอบอย่างต่อเนื่องว่าการดำเนินการนั้นยังคงถูกต้องตลอดกระบวนการทั้งหมดด้วย

ระบบเอเจนต์สมัยใหม่ส่วนใหญ่คิดแบบบุคคล แต่ในโลกแห่งความเป็นจริงองค์กรไม่ได้ดำเนินงานแบบนั้น สภาพแวดล้อมขององค์กรนั้นมีโครงสร้างที่ประกอบด้วยบทบาท ขอบเขตอำนาจ การมอบหมายงาน หน้าที่ ความรับผิดชอบ กลไกการยกระดับ และลำดับชั้นการอนุมัติ

งานหนึ่งๆ ไม่ได้ถูกกำหนดเพียงแค่ว่า “ควรทำอะไร?” เท่านั้น แต่ยังถูกกำหนดด้วยว่า ใครได้รับอนุญาตให้ทำ ภายใต้เงื่อนไขใด ทำตามลำดับใด และต้องได้รับอนุมัติจากใครด้วย

สิ่งนี้สร้างข้อจำกัดที่สำคัญสำหรับสถาปัตยกรรมเอเจนต์ในปัจจุบันหลายๆ แบบ

หากปราศจากเหตุผลเชิงองค์กร ระบบอัตโนมัติอาจละเมิดขอบเขตอำนาจ ข้ามขั้นตอนการอนุมัติ สร้างการกระทำที่ขัดแย้ง หรือก่อให้เกิดความไม่สอดคล้องกันในการดำเนินงานระหว่างแผนกและผู้เกี่ยวข้อง

ปัญหาดังกล่าวทวีความรุนแรงมากขึ้นในสภาพแวดล้อมขององค์กรที่มีการกำกับดูแล ซึ่งโครงสร้างองค์กรเองก็เป็นส่วนหนึ่งของการปฏิบัติตามกฎระเบียบ ส่งผลให้การวางแผนไม่สามารถมุ่งเน้นเฉพาะงานและขั้นตอนต่างๆ ได้อีกต่อไป แต่ต้องพิจารณาถึงบทบาทในองค์กร รูปแบบอำนาจ กฎการมอบหมายงาน และข้อจำกัดของสถาบันด้วย

เพื่อสนับสนุนการใช้เหตุผลเชิงองค์กร การวางแผนจึงไม่ใช่แค่การประสานงานเชิงปฏิบัติการ แต่เป็นการประสานงานเชิงองค์กรด้วย

ระบบเอเจนต์สมัยใหม่ส่วนใหญ่ถือว่าหน่วยความจำเป็นปัญหาการดึงข้อมูล แต่ในทางปฏิบัติ หน่วยความจำมีความซับซ้อนมากกว่านั้นมาก ระบบอัตโนมัติที่ทำงานต่อเนื่องเป็นเวลานานต้องจัดการหน่วยความจำหลายรูปแบบพร้อมกัน ได้แก่ หน่วยความจำเหตุการณ์ หน่วยความจำความหมาย หน่วยความจำเชิงกระบวนการ และหน่วยความจำสถานะโลก

อย่างไรก็ตาม สถาปัตยกรรมปัจจุบันจำนวนมากพึ่งพาฐานข้อมูลเวกเตอร์ การค้นหาความคล้ายคลึง และประวัติข้อความแจ้งเตือนแบบบีบอัดเป็นหลัก ซึ่งก่อให้เกิดข้อจำกัดอย่างร้ายแรงเมื่อลำดับการทำงานยาวขึ้น

ระบบอาจดึงข้อมูลที่เกี่ยวข้องมาได้ แต่ยังคงสูญเสียความสอดคล้องทางเวลา ลืมข้อผูกพันก่อนหน้านี้ ทำซ้ำการกระทำ หรือทำงานบนสมมติฐานโลกที่ล้าสมัย ปัญหาไม่ได้อยู่ที่การจดจำข้อมูลเพียงอย่างเดียว

ปัญหาคือการรักษาความต่อเนื่องในการดำเนินงานตลอดเวลา

เมื่อระบบอัตโนมัติพัฒนาขึ้น หน่วยความจำไม่สามารถเป็นเพียงชั้นจัดเก็บข้อมูลแบบพาสซีฟได้อีกต่อไป มันต้องกลายเป็นโครงสร้างการทำงานแบบแอคทีฟ นี่คือจุดที่การวางแผนมีความสำคัญอย่างยิ่ง ผู้วางแผนทำหน้าที่เป็นผู้บริโภคหน่วยความจำที่มีโครงสร้างซึ่งสามารถ:

• การรักษาเสถียรภาพของสถานะโลกอย่างต่อเนื่อง
• การติดตามเป้าหมายระยะยาว
• การเก็บรักษาประวัติการดำเนินการ
• และการประสานบริบทที่เปลี่ยนแปลงไปตามกาลเวลา

ในฐานะโครงสร้างการทำงานเชิงรุก การวางแผนและหน่วยความจำจึงกลายเป็นชั้นโครงสร้างพื้นฐานที่เชื่อมโยงกันอย่างลึกซึ้ง แทนที่จะเป็นส่วนประกอบที่แยกจากกัน

ความท้าทายหลักของ AI ที่มีบทบาทเฉพาะ มักถูกมองว่าเป็นปัญหาด้านสติปัญญา

แบบจำลองสามารถให้เหตุผลได้ดีกว่าหรือไม่?
พวกเขาสามารถวางแผนที่ดีกว่านี้ได้หรือไม่?
พวกเขาสามารถมีความเป็นอิสระมากขึ้นได้หรือไม่?

แต่เมื่อระบบเอเจนต์เปลี่ยนจากการสาธิตไปสู่สภาพแวดล้อมการทำงานจริง ความเป็นจริงที่แตกต่างออกไปก็ปรากฏขึ้น

อุปสรรคสำคัญที่เพิ่มขึ้นเรื่อย ๆ ได้แก่:

• ความสม่ำเสมอ
• การตรวจสอบ
• การประสานงาน
• การจัดการข้อจำกัด
• การให้เหตุผลเชิงองค์กร
• และเสถียรภาพในการดำเนินงานในระยะยาว

ระบบ AI สมัยใหม่สามารถสร้างพฤติกรรมเฉพาะพื้นที่ที่น่าประทับใจได้แล้ว

สิ่งที่พวกเขายังคงพยายามรักษาไว้คือความสอดคล้องในระดับโลกในระยะยาว