การเข้าถึงเวกเตอร์แบบรวมศูนย์ข้ามองค์กรและ OPA: ในองค์กรขนาดใหญ่ ข้อมูลมักถูกจัดเก็บไว้ในแผนกต่างๆ หรือบริษัทคู่ค้า ในฐานข้อมูลเวกเตอร์ที่แตกต่างกัน การรวบรวมข้อมูลเหล่านี้ไว้ในศูนย์กลางเดียวทำได้ยากเนื่องจากข้อกำหนดทางกฎหมาย ความปลอดภัยของข้อมูล และสิทธิ์ความเป็นเจ้าของ การนำเสนอครั้งนี้มีจุดมุ่งหมายเพื่อสร้าง "การบูรณาการเสมือน" โดยไม่ต้องคัดลอกข้อมูล
- วีแอลแอลเอ็ม: ใช้ในการแปลงเมตาเดตาที่ซับซ้อนจากแหล่งข้อมูลให้เป็นบทสรุปภาษาธรรมชาติที่กระชับและมีความหมาย นอกจากนี้ยังทำหน้าที่เป็นเครื่องมืออนุมานประสิทธิภาพสูงในกระบวนการทำความเข้าใจคำถามของผู้ใช้และการประมวลผลผลลัพธ์
- การตัดสินใจเชิงนโยบาย: รับผิดชอบด้านการกำกับดูแลข้อมูลและการอนุญาต เมื่อผู้ใช้เริ่มการสืบค้นข้อมูล OPA จะตรวจสอบในระหว่างการทำงานว่าผู้ใช้มีสิทธิ์เข้าถึงแหล่งข้อมูลนั้นหรือไม่
- รายละเอียดเกี่ยวกับมิลวุส: ทำหน้าที่เป็น "แคตตาล็อกเชิงความหมาย" โดยจะจัดเก็บข้อมูลเมตาทางเทคนิคและธุรกิจของแหล่งข้อมูลในทุกองค์กรในรูปแบบเวกเตอร์ เมื่อมีการส่งคำค้นหาเข้ามา ระบบจะทำการค้นหาในขั้นตอนแรกเพื่อพิจารณาว่าองค์กรใดอาจมีข้อมูลที่เกี่ยวข้อง
การนำเสนอครั้งนี้พิสูจน์ให้เห็นว่าสามารถสร้างโครงสร้างพื้นฐานการค้นหาที่ปลอดภัยและ "ชาญฉลาด" ระหว่างองค์กรต่างๆ ได้อย่างไร โดยไม่ต้องย้ายข้อมูลไปยังตำแหน่งส่วนกลาง ด้วยการผสานรวมความสามารถในการค้นหาที่ปรับขนาดได้ของ Milvus พลังการประมวลผลภาษาของ vLLM และนโยบายความปลอดภัยที่ยืดหยุ่นของ OPA6
วิศวกรรมบริบท: เควิน โนเอล วิทยากรกล่าวว่า ยุคของการ "เขียนโจทย์แล้วรอคำตอบ" นั้นได้สิ้นสุดลงแล้ว และเราได้เข้าสู่ยุคของการสร้างบริบทแทน
- หลักสูตร LLM ไม่มีรัฐ: นางแบบจะไม่จำแม้แต่ประโยคก่อนหน้า เว้นแต่คุณจะเตือนพวกเธอ
- การก่อตั้งรัฐ: เพื่อให้ปัญญาประดิษฐ์ให้คำตอบที่ถูกต้อง คุณจำเป็นต้องนำเสนอทุกอย่างให้มันอย่างถูกต้องใน "ขณะนั้น" (ทันเวลาพอดี) นี่คือศิลปะของการนำบทสนทนาในอดีต ข้อมูลจากเอกสาร และผลลัพธ์จากเครื่องมือต่างๆ มาผสานรวมกัน
การนำเสนอแสดงให้เห็นว่าส่วนประกอบต่อไปนี้ต้องนำมาประกอบกันเพื่อให้ปัญญาประดิษฐ์ตอบสนองได้อย่างประสบความสำเร็จ:
- RAG (ข้อมูลที่เกี่ยวข้อง): ข้อมูลที่ดึงมาจากเอกสารหรือฐานข้อมูลภายในองค์กร
- การจัดการหน่วยความจำ: การตั้งค่าในอดีตของผู้ใช้และประวัติการสนทนาระยะสั้น
- เครื่องมือภายนอก: ข้อมูลที่มาจาก API หรือเครื่องมือคำนวณ
- คำสั่งระบบ: กฎหลักที่กำหนดลักษณะและภารกิจของปัญญาประดิษฐ์
การทดสอบโครงสร้างที่ซับซ้อนเช่นนี้ (RAG + หน่วยความจำ + เครื่องมือ) ด้วยตนเองเป็นไปไม่ได้ ผู้บรรยายจึงเสนอวิธีแก้ปัญหาดังต่อไปนี้:
- การประเมินผลอัตโนมัติ: เราต้องใช้ปัญญาประดิษฐ์สร้างคู่ "คำถาม-คำตอบ" นับพันคู่ (ข้อมูลสังเคราะห์) โดยใช้ข้อมูลที่เรามีอยู่
- สถานการณ์ที่สมจริง: เราต้องวัดความแข็งแกร่งของระบบโดยการสร้างผู้ใช้จำลองที่ถามคำถามที่ไม่ถูกต้องหรือไม่ครบถ้วนเหมือนกับผู้ใช้จริง
ต้นทุนและความเร็ว: เราสามารถประเมินความสำเร็จของระบบ (ความแม่นยำ ความไม่เกี่ยวข้อง การหลอกลวง) ได้ภายในไม่กี่นาทีด้วยชุดข้อมูลสังเคราะห์ แทนที่จะทำการทดสอบที่ต้องใช้เวลาหลายสัปดาห์สำหรับมนุษย์ 10