組織全体およびOPAにおける統合ベクターアクセス: 大規模組織では、データは通常、異なる部門や提携企業、あるいは異なるベクターデータベースに保存されています。法的コンプライアンス、データセキュリティ、所有権といった問題から、これらのデータを単一のセンターに集約することは困難です。本プレゼンテーションでは、データをコピーすることなく「仮想的な統合」を実現する方法を提案します。
- vLLM: データソースから複雑なメタデータを取得し、意味のある簡潔な自然言語による要約に変換するために使用されます。また、ユーザーのクエリを理解し、結果を処理するプロセスにおいて、高性能な推論エンジンとしても機能します。
- 政策決定: データガバナンスと認証を担当します。ユーザーがクエリを開始すると、OPAは実行時に、ユーザーがそのデータソースにアクセスする権限を持っているかどうかを確認します。
- ミルバスの詳細: 「セマンティックカタログ」として機能します。すべての組織のデータソースの技術的およびビジネス上のメタデータをベクトル形式で格納します。クエリが送信されると、最初の段階の検索を実行して、関連データが存在する可能性のある組織を特定します。
このプレゼンテーションでは、Milvusのスケーラブルな検索機能、vLLMの言語処理能力、およびOPAの柔軟なセキュリティポリシーを組み合わせることで、データを中央の場所に移動することなく、組織間で安全かつ「スマートな」検索インフラストラクチャを構築できることを示します。6
コンテキストエンジニアリング: 講演者のケビン・ノエル氏は、「単に質問を書いて回答を待つ」時代は終わり、代わりにコンテキストエンジニアリングの時代に突入したと主張する。
- LLMは無国籍である。 モデルは、あなたが思い出させない限り、前の文さえ覚えていません。
- 状態生成: 人工知能が正しい答えを出すためには、必要な情報をその「瞬間」(ジャストインタイム)に正確に提示する必要があります。これは、過去の会話、文書からの情報、ツールの出力などを統合する技術です。
このプレゼンテーションでは、人工知能による応答を成功させるためには、以下の要素を組み合わせる必要があることが示されています。
- RAG(関連情報): 社内文書またはデータベースから取得した情報。
- メモリ管理: ユーザーの過去の好みと短期的な会話履歴。
- 外部ツール: APIまたは計算ツールから取得したデータ。
- システムコマンド: 人工知能の特性と役割を決定づける主要なルール。
このような複雑な構造(RAG + メモリ + ツール)を手動でテストすることは不可能です。講演者は以下の解決策を提案します。
- 自動評価: 我々は、手持ちのデータを用いて、人工知能に何千もの「質問と回答」のペア(合成データ)を生成させる必要がある。
- 現実的なシナリオ: システムの堅牢性を測定するためには、実際のユーザーと同様に不正確または不完全な質問をする合成ユーザーを作成する必要がある。
コストとスピード:人間が行うと数週間かかるテストの代わりに、合成データセットを使用すれば、システムの成功度(正確性、無関係性、幻覚性)を数分で評価できます。 10