גישה מאוחדת לווקטורים בין ארגונים ו-OPA: בארגונים גדולים, נתונים מאוחסנים בדרך כלל במחלקות שונות או בחברות שותפות, בבסיסי נתונים וקטוריים שונים. איסוף נתונים אלה במרכז אחד קשה עקב תאימות לחוק, אבטחת נתונים וזכויות בעלות. המצגת שואפת לספק "אינטגרציה וירטואלית" מבלי להעתיק את הנתונים.
- vLLM: משמש להמרת מטא-נתונים מורכבים ממקורות נתונים לסיכומים קצרים ומשמעותיים בשפה טבעית. הוא גם ממלא תפקיד כמנוע הסקה בעל ביצועים גבוהים בתהליכי הבנת שאילתות משתמשים ועיבוד תוצאות.
- החלטות מדיניות: אחראי על ניהול והרשאת נתונים. כאשר משתמש יוזם שאילתה, OPA בודק בזמן ריצה האם למשתמש יש הרשאה לגשת למקור נתונים זה.
- פרטים על מילבוס: פועל כ"קטלוג סמנטי". הוא מאחסן את המטא-דאטה הטכני והעסקי של מקורות נתונים בכל הארגונים בצורה וקטורית. כאשר מגיעה שאילתה, הוא מבצע את שלב החיפוש הראשון כדי לקבוע לאיזה ארגון עשויים להיות הנתונים הרלוונטיים.
מצגת זו מוכיחה כיצד ניתן להקים תשתית חיפוש מאובטחת ו"חכמה" בין ארגונים מבלי להעביר נתונים למיקום מרכזי, על ידי שילוב יכולת החיפוש הניתנת להרחבה של Milvus, כוח עיבוד השפה של vLLM ומדיניות האבטחה הגמישה של OPA.6
הנדסת הקשר: הדובר קווין נואל טוען כי עידן "כתיבת הנחיה והמתנה לתשובה" הסתיים, ובמקום זאת, נכנסנו לעידן הנדסת ההקשר.
- תואר שני במשפטים (LLM) הוא חסר מדינה: דוגמנים לא זוכרים אפילו את המשפט הקודם אלא אם כן מזכירים להם.
- הקמת מדינה: כדי שבינה מלאכותית תיתן את התשובה הנכונה, עליכם להציג לה הכל בצורה נכונה באותו "רגע" (בדיוק בזמן). זוהי אמנות האיחוד של שיחות קודמות, מידע ממסמכים ופלט של כלים.
המצגת מראה כי יש לשלב את החלקים הבאים לצורך תגובה מוצלחת של בינה מלאכותית:
- מידע רלוונטי (RAG): מידע שנאסף ממסמכים או מאגרי מידע פנימיים.
- ניהול זיכרון: העדפות קודמות של המשתמש והיסטוריית שיחות לטווח קצר.
- כלים חיצוניים: נתונים המגיעים מ-API או מכלי חישוב.
- פקודות מערכת: כללים עיקריים הקובעים את אופייה ומשימתה של הבינה המלאכותית.
אי אפשר לבדוק ידנית מבנה מורכב שכזה (RAG + זיכרון + כלים). הדובר מציע את הפתרון הבא:
- הערכה אוטומטית: אנחנו חייבים שבינה מלאכותית תייצר אלפי זוגות של "שאלה-תשובה" (נתונים סינתטיים) באמצעות הנתונים שיש לנו.
- תרחישים מציאותיים: עלינו למדוד את חוסנה של המערכת על ידי יצירת משתמשים סינתטיים ששואלים שאלות שגויות או לא שלמות כמו משתמשים אמיתיים.
עלות ומהירות: אנו יכולים לדרג את הצלחת המערכת (דיוק, חוסר רלוונטיות, הזיות) תוך דקות בעזרת מערכי נתונים סינתטיים, במקום בדיקות שייקחו שבועות עבור בני אדם. 10
