Enhetlig vektoråtkomst mellan organisationer och OPA: I stora organisationer lagras data vanligtvis på olika avdelningar eller hos partnerföretag, i olika vektordatabaser. Att samla in dessa data på ett enda center är svårt på grund av lagefterlevnad, datasäkerhet och äganderätt. Presentationen syftar till att tillhandahålla en "virtuell integration" utan att kopiera data.
- vLLM: Används för att omvandla komplexa metadata från datakällor till meningsfulla och korta sammanfattningar i naturligt språk. Den spelar också en roll som en högpresterande inferensmotor i processerna för att förstå användarfrågor och bearbeta resultat.
- Policybeslut: Ansvarig för datastyrning och auktorisering. När en användare initierar en fråga kontrollerar OPA vid körning om användaren har behörighet att komma åt den datakällan.
- Milvus-detaljer: Fungerar som en "semantisk katalog". Den lagrar tekniska och affärsmässiga metadata för datakällor i alla organisationer i vektorform. När en fråga kommer utför den det första sökningssteget för att avgöra vilken organisation som kan ha relevant information.
Denna presentation visar hur en säker och "smart" sökinfrastruktur kan etableras mellan organisationer utan att flytta data till en central plats genom att kombinera Milvus skalbara sökfunktion, vLLMs språkbehandlingskraft och OPAs flexibla säkerhetspolicyer.6
Kontextteknik: Talaren Kevin Noel menar att eran av att helt enkelt "skriva en prompt och vänta på ett svar" är över, och istället har vi gått in i eran av kontextutveckling.
- LLM:er är statslösa: Modeller kommer inte ihåg ens föregående mening om du inte påminner dem om det.
- Statsskapande: För att en artificiell intelligens ska kunna ge rätt svar måste du presentera allt korrekt för den i just det "ögonblicket" (just-in-time). Detta är konsten att sammanföra tidigare samtal, information från dokument och verktygsresultat.
Presentationen visar att följande delar måste kombineras för en framgångsrik respons på artificiell intelligens:
- Relevant information (RAG): Information hämtad från interna dokument eller databaser.
- Minneshantering: Användarens tidigare preferenser och kortsiktiga konversationshistorik.
- Externa verktyg: Data som kommer från API:er eller beräkningsverktyg.
- Systemkommandon: Huvudregler som bestämmer den artificiella intelligensens karaktär och uppgift.
Det är omöjligt att manuellt testa en så komplex struktur (RAG + Minne + Verktyg). Talaren erbjuder följande lösning:
- Automatisk utvärdering: Vi måste låta artificiell intelligens producera tusentals "fråga-svar"-par (syntetisk data) med hjälp av den data vi har.
- Realistiska scenarier: Vi måste mäta systemets robusthet genom att skapa syntetiska användare som ställer felaktiga eller ofullständiga frågor likt riktiga användare.
Kostnad och hastighet: Vi kan bedöma systemets framgång (noggrannhet, irrelevans, hallucinationer) på några minuter med syntetiska datamängder, istället för tester som skulle ta veckor för människor. 10
