Acceso unificado a vectores en todas las organizaciones y OPA: En las grandes organizaciones, los datos suelen almacenarse en distintos departamentos o empresas asociadas, en diferentes bases de datos vectoriales. Recopilar estos datos en un único centro resulta complejo debido al cumplimiento de la normativa legal, la seguridad de los datos y los derechos de propiedad. Esta presentación tiene como objetivo proporcionar una «integración virtual» sin necesidad de copiar los datos.
- vLLM: Se utiliza para transformar metadatos complejos de diversas fuentes de datos en resúmenes concisos y significativos en lenguaje natural. Además, funciona como un motor de inferencia de alto rendimiento en los procesos de comprensión de las consultas de los usuarios y el procesamiento de los resultados.
- Decisiones de política: Responsable de la gobernanza y autorización de datos. Cuando un usuario inicia una consulta, OPA comprueba en tiempo de ejecución si el usuario tiene permiso para acceder a esa fuente de datos.
- Detalle de Milvus: Funciona como un "catálogo semántico". Almacena los metadatos técnicos y comerciales de las fuentes de datos de todas las organizaciones en formato vectorial. Cuando se recibe una consulta, realiza una primera búsqueda para determinar qué organización podría tener los datos relevantes.
Esta presentación demuestra cómo se puede establecer una infraestructura de búsqueda segura e "inteligente" entre organizaciones sin trasladar los datos a una ubicación central, combinando la capacidad de búsqueda escalable de Milvus, la potencia de procesamiento del lenguaje de vLLM y las políticas de seguridad flexibles de OPA.6
Ingeniería de contexto: El orador Kevin Noel argumenta que la era de simplemente "escribir una pregunta y esperar una respuesta" ha terminado, y que, en cambio, hemos entrado en la era de la ingeniería de contexto.
- Los másteres en Derecho (LLM) no tienen Estado: Los modelos no recuerdan ni siquiera la frase anterior a menos que se lo recuerdes.
- Creación de estado: Para que una inteligencia artificial dé la respuesta correcta, es necesario presentarle toda la información de forma precisa en ese preciso instante (justo a tiempo). Este es el arte de combinar conversaciones previas, información de documentos y resultados de herramientas.
La presentación muestra que para obtener una respuesta de inteligencia artificial exitosa, deben combinarse las siguientes partes:
- RAG (Información relevante): Información extraída de documentos o bases de datos internas.
- Gestión de la memoria: Preferencias anteriores del usuario e historial de conversaciones a corto plazo.
- Herramientas externas: Datos procedentes de API o herramientas de cálculo.
- Comandos del sistema: Reglas principales que determinan el carácter y la función de la inteligencia artificial.
Es imposible probar manualmente una estructura tan compleja (RAG + Memoria + Herramientas). El ponente propone la siguiente solución:
- Evaluación automática: Debemos lograr que la inteligencia artificial genere miles de pares de "preguntas y respuestas" (datos sintéticos) utilizando los datos que tenemos.
- Escenarios realistas: Debemos medir la robustez del sistema creando usuarios sintéticos que formulen preguntas incorrectas o incompletas, al igual que los usuarios reales.
Coste y velocidad: Podemos evaluar el éxito del sistema (precisión, irrelevancia, alucinaciones) en minutos con conjuntos de datos sintéticos, en lugar de realizar pruebas que llevarían semanas a los humanos. 10
