השכבה החסרה בסוכני בינה מלאכותית מודרניים

מערכות בינה מלאכותית מודרניות אינן מוגבלות עוד לאינטראקציות בשלב אחד. במבחנים כמו SWE-Bench, WebArena, OSWorld וסביבות קידוד אוטונומיות, סוכנים עשויים לבצע מאות פעולות עוקבות לפני הגעה למטרה. זה משנה באופן מהותי את אופי הבעיה. 

ככל ששרשראות הביצוע מתארכות, צצים מספר מצבי כשל קריטיים:

• התפשטות שגיאות: טעות קטנה בחשיבה בשלב מוקדם של הביצוע יכולה להצטבר לאורך עשרות שלבים מאוחרים יותר. המערכת עלולה לסטות מהמטרה המקורית, להיכנס ללולאות תיקון, או להסיק באופן שגוי שהמשימה הושלמה.

• סחף מצב: סביבות ארוכות טווח משנות באופן רציף קבצים, מתעדכנות, עסקאות מושלמות, ממשקי API מתפתחים, משתמשים מקיימים אינטראקציה עם המערכת. עם זאת, רוב הסוכנים הנוכחיים שומרים על מצבם באופן מרומז באמצעות היסטוריית בקשות והקשר של אסימונים. עם הזמן, זה יוצר פער בין:

• סחף שערים: סוכנים לעיתים קרובות מתמקדים יתר על המידה בתתי-משימות ומאבדים את ההתאמה שלהם למטרה המקורית. ככל שעומק המשימה עולה, מערכות עשויות לייעל פעולות מקומיות, לחזור על לולאות מיותרות או להסתיים בטרם עת.
• תשישות הקשר: רוב מערכות הסוכנים מזינות שוב ושוב את היסטוריית הביצועים לחלון ההקשר של המודל. ככל שמשימות מתארכות: השימוש באסימונים מתפוצץ, ההשהיה גוברת, פרטים חשובים נדחסים או אובדים.

לכן, מערכות ארוכות טווח מתמודדות לא רק עם בעיית חשיבה, אלא גם עם בעיית ארכיטקטורת זיכרון.

כאן התכנון הופך חיוני. מתכנן משמש כשכבת יציבות זמנית האחראית על:

• שמירה על עקביות בין מדינות עולמיות,

• מעקב אחר יעדים ארוכי טווח,

• אימות מעברים,

• ניהול תלויות,

• ובודקים באופן רציף את ההתקדמות.

ככל שאופקי המשימות גדלים, תכנון מפסיק להיות בעיית אופטימיזציה פשוטה והופך לבעיית תשתית עקביות. עם זאת, השגת עקביות זו דורשת ממערכות לנהל לא רק קוהרנטיות זמנית, אלא גם את הכללים המורכבים ואלפי האילוצים של סביבת התפעול.

אחת החולשות הגדולות ביותר של מערכות סוכנים מודרניות היא פיצוץ אילוצים. רוב הסוכנים מבוססי LLM מנסים "לזכור" אילוצים באופן מרומז בתוך הקשר המודל. זה עשוי לעבוד עבור זרימות עבודה פשוטות.

סביבות ארגוניות אמיתיות שונות. תהליכים תפעוליים כוללים לעתים קרובות אלפי אילוצים בו זמנית:

• חוקי AML,
• נהלי KYC,
• היררכיות אישור,
• הגבלות סנקציות,
• מטריצות סמכות,
• מדיניות פנימית,
• תלויות זמניות.

ככל שמספר האילוצים גדל, הנמקה הסתברותית הופכת לבלתי יציבה יותר ויותר.

האתגר הוא לא רק לזכור אילוצים.
זה לשמור על עקביות ביניהם.

מערכת עשויה לייצר פעולות מקומיות סבירות ועדיין:

• הפרת מדיניות,
• הפרת צו אישור,
• התעלמות מגבולות הסמכות,
• או יצירת מצבי תפעול לא חוקיים.

זה מגלה הבחנה קריטית:

ככל שמערכות הופכות לאוטונומיות יותר, טיפול באילוצים אינו יכול עוד להישאר מרומז בתוך הנחיות. מערכות סוכן אמינות דורשות יותר ויותר מנועי אילוצים מפורשים, אימות סמלי, שילוב פותרים ובדיקת מעברים פורמלית. 

כאשר תשתית התכנון קיימת, תכנון אינו רק סידור משימות. תכנון הופך לאימות אילוצים מתמשך. עם זאת, אתגר זה גדל באופן אקספוננציאלי כאשר מספר שחקנים אוטונומיים מתווספים למערכת, מה שהופך את אימות האילוצים המתמשך לבעיית תיאום מערכתית.

אחת ההנחות הנפוצות ביותר בבינה מלאכותית מודרנית היא שהוספת סוכנים נוספים יוצרת באופן אוטומטי יותר אינטליגנציה. בפועל, לעתים קרובות קורה ההפך. ככל שמספר הסוכנים גדל, מורכבות התיאום עולה במהירות, ומתחילים להופיע מטרות סותרות, עבודה כפולה, עדכוני מצב לא עקביים, האצלת סמכויות מעגלית, מבוי סתום ותנאי מרוץ.

ללא שכבת תכנון מפורשת, מערכות מתקשות: לסנכרן את הביצוע, לאכוף גבולות תפקידים, לנהל תלויות ולשמור על התנהגות ארגונית קוהרנטית.

כתוצאה מכך, ארכיטקטורות מרובות סוכנים רבות הופכות לבלתי יציבות מבחינה תפעולית ככל שהקנה המידה גדל. כאן התכנון הופך קריטי. מתכנן מספק: סמכויות האצלה, סידור תלויות, סנכרון ותיאום משימות גלובלי.

בתוך ארכיטקטורה קוהרנטית זו, תכנון אינו רק פירוק משימות. הוא הופך למנגנון המשמר קוהרנטיות כלל-מערכתית בין גורמים אוטונומיים מרובים. עם זאת, שמירה על תיאום ארגוני ועקביות ארוכת טווח אלה מתנגשת עם חולשה תשתיתית בסיסית של מערכות סוכנים קיימות: ארכיטקטורת הזיכרון.

מודלים מודרניים של שפה מנסים להבין בעיקר באמצעות מילים. ארגונים פועלים באמצעות מבנים. סביבות ארגוניות אמיתיות בנויות על ישויות, קשרים, התחייבויות, מבני בעלות, שרשראות סמכות ותלות תפעולית.

לדוגמה, השאלה: "האם חברה זו מסוכנת?" היא לעיתים רחוקות בעיית שפה טהורה. לעתים קרובות זוהי בעיית גרף הכוללת:

• רשתות בעלי מניות,
• אירועים היסטוריים,
• יחסים רגולטוריים,
• ארגונים מחוברים,
• וקשרים ניהוליים.

זה יוצר פער מהותי:

תואר שני במשפטים (LLMs) יעיל מאוד בפירוש טקסט,

אבל קבלת החלטות ארגונית דורשת חשיבה על פני מציאות תפעולית מובנית. ללא בסיס סמנטי, מערכות סוכנים עלולות להבין לא נכון את ההקשר הארגוני, להתעלם מתלות נסתרות, לפספס אותות סיכון יחסיים או לייצר החלטות לא עקביות בין ישויות מחוברות.

זו הסיבה שתכנון דורש יותר ויותר שכבות סמנטיות מובנות כגון גרפי ידע, יחסי ישויות, אונטולוגיות אופרטיביות והיגיון מבוסס גרפים.

כתוצאה מכך, תכנון אינו מונע עוד רק על ידי הנחיות. הוא מעוגן במבנה התפעולי בפועל של הארגון עצמו.

אחת החולשות הקריטיות ביותר של מערכות סוכנים מודרניות היא פער האימות. תואר שני במשפטים יעיל ביותר ביצירת פעולות, תגובות ותוכניות. אבל יצירה לבדה אינה מספיקה. לרוב המערכות עדיין חסרים מנגנונים אמינים לקביעת:

• האם פעולה אכן תקפה,
• האם הופרו אילוצים,
• האם המטרה באמת הושגה,
• או האם המצב המתקבל נשאר עקבי מבחינה תפעולית.

זה יוצר הבחנה מהותית:

מערכת עשויה לייצר תוצאות סבירות ועדיין להפר את מדיניות הארגון, להפר תלויות, ליצור מעברים לא חוקיים או להזות השלמה מוצלחת.

בעיה זו הופכת מסוכנת יותר ויותר בתחומי הפיננסים, הבריאות, האנרגיה ופעילות ארגונית מפוקחת, שבהם נכונות אינה אופציונלית.

ככל שמערכות הופכות לאוטונומיות יותר, אימות אינו יכול עוד להישאר מחשבה שלאחר מעשה. ארכיטקטורות סוכנים אמינות דורשות יותר ויותר מאמתים פורמליים, הפצת אילוצים, שילוב פותרים, מנועי מדיניות ושכבות אימות ביצוע.

תחת פרדיגמה של אימות תחילה, תכנון אינו רק החלטה מה לעשות הלאה. מדובר באימות מתמיד האם הביצוע נותר תקף לאורך כל התהליך.

רוב מערכות הסוכנים המודרניות חושבות כמו אנשים פרטיים. ארגונים אמיתיים אינם פועלים כך. סביבות ארגוניות בנויות סביב תפקידים, גבולות סמכויות, שרשראות האצלה, התחייבויות, מנגנוני הסלמה והיררכיות אישור.

משימה מוגדרת לעתים קרובות לא רק על ידי: "מה צריך להיעשות?" אלא גם על ידי: מי רשאי לעשות אותה, באילו תנאים, באיזה סדר, ובאישור של מי.

זה יוצר מגבלה משמעותית עבור ארכיטקטורות סוכנים רבות כיום.

ללא חשיבה ארגונית, מערכות אוטונומיות עלולות להפר גבולות סמכות, לעקוף זרימות אישורים, ליצור פעולות סותרות או ליצור חוסר עקביות תפעולית בין מחלקות וגורמים.

בעיה זו מחמירה יותר ויותר בסביבות ארגוניות מוסדרות שבהן המבנה הארגוני עצמו הוא חלק מתאימות. כתוצאה מכך, התכנון אינו יכול עוד להתמקד רק במשימות ובפעולות. עליו גם לחשוב על: תפקידים ארגוניים, מודלים של סמכויות, כללי האצלה ואילוצים מוסדיים.

כדי לתמוך בחשיבה ארגונית, תכנון הופך לא רק לתיאום תפעולי, אלא לתיאום ארגוני.

רוב מערכות הסוכן המודרניות מתייחסות לזיכרון כבעיית אחזור. בפועל, הזיכרון מורכב הרבה יותר. מערכות אוטונומיות ארוכות טווח חייבות לנהל בו זמנית מספר צורות של זיכרון - זיכרון אפיזודי, זיכרון סמנטי, זיכרון פרוצדורלי וזיכרון מצב-עולם.

עם זאת, ארכיטקטורות נוכחיות רבות מסתמכות בעיקר על מסדי נתונים וקטוריים, חיפוש דמיון והיסטוריית הנחיות דחוסה. דבר זה יוצר מגבלות חמורות ככל ששרשראות הביצוע מתארכות.

מערכת עשויה לאחזר מידע רלוונטי ועדיין לאבד עקביות זמנית, לשכוח התחייבויות קודמות, לחזור על פעולות או לפעול על סמך הנחות עולם מיושנות. הבעיה אינה רק זכירת מידע.

הבעיה היא שמירה על רציפות תפעולית לאורך זמן.

ככל שמערכות אוטונומיות מתפתחות, הזיכרון אינו יכול עוד להישאר שכבת אחסון פסיבית. עליו להפוך למבנה תפעולי פעיל. כאן התכנון הופך קריטי. מתכנן פועל כצרכן זיכרון מובנה המסוגל:

• שמירה על מצב עולמי מתמשך,
• מעקב אחר יעדים ארוכי טווח,
• שימור היסטוריית ההוצאות להורג,
• וסנכרון ההקשר המתפתח לאורך זמן.

כמבנה תפעולי פעיל, תכנון וזיכרון הופכים לשכבות תשתית המחוברות זו לזו באופן עמוק ולא לרכיבים נפרדים.

האתגר המרכזי של בינה מלאכותית סוכנתית ממוסגר לעתים קרובות כבעיית מודיעין.

האם מודלים יכולים להסיק טוב יותר?
האם הם יכולים לייצר תוכניות טובות יותר?
האם הם יכולים להפוך לאוטונומיים יותר?

אבל ככל שמערכות סוכנים עוברות מהדגמות לסביבות תפעוליות אמיתיות, מצטיירת מציאות שונה.

צווארי הבקבוק העיקריים הם יותר ויותר:

• עֲקֵבִיוּת,
• אימות,
• תֵאוּם,
• ניהול אילוצים,
• חשיבה ארגונית,
• ויציבות תפעולית לטווח ארוך.

מערכות בינה מלאכותית מודרניות כבר יכולות לייצר התנהגות מקומית מרשימה.

מה שהם עדיין מתקשים לשמור עליו הוא קוהרנטיות עולמית לאורך זמן.