超越传统RAG：关系型上下文引擎如何削减50%Token消耗

¿Estamos al aire? Bien. Te oigo perfectamente desde aquí. ¿Sí? ¿Están todos bien? Bien. Pasaremos revisión rápida, porque en Solo tenemos 20 minutos, pero Soy Peter de Unblocked. EN Creamos Unblocked motor contextual. Así que te lo mostraré algunas cosas. Discurso se dividirá en dos partes. Te lo mostraré ¿Qué es contextual el transportista y cómo puede ser útil para su organización y entonces crearemos componente de tal mudanza, y te mostraré varios proyectos de código abierto, con que puedes trabajar después este. Este es nuestro plan. ¿Qué es contextual ¿hélice? ¿Cómo crea ¿valor? Y luego nosotros Comencemos a construir. Volvamos atrás. Hace unos años, en los días previos al advenimiento de la IA-agentes. En aquellos días fuiste tú nivel contextual. Imagina que eres nuevo empleado en organizaciones y intentando entender que Está sucediendo. Normalmente tú tiene que mirar a través de un montón código, hojear documentación, simplemente tratando de encontrar información, necesario para el trabajo. Por no mencionar todo la historia que acumulado años en la organización, sobre incidentes y experiencia adquirida. Motor contextual recopila todos estos conocimiento corporativo juntos. Tú obtienes contexto dispar, que cae en el motor y en la salida tener un orden contexto donde todos los datos interconectados. Él tiene en cuenta las intenciones. Él personalizado. Y él tiene en cuenta los derechos acceso. Ahora yo Te mostraré exactamente qué es Quiero decir.

Imaginemos, que me voy a cambiar a Claude. Te mostraré algunos sesiones interesantes que Yo estaba allí. Yo pregunté Claude, sin conexión motor de contexto, crear un plan mejoramiento componente en nuestro niveles llamados Fuente Motor de marca. Estoy seguro de que Ya sabes lo que hace Claude, ¿Cuándo empieza uno nuevo? tarea. Él es como nuevo empleado. Él no sabe nada sobre tu código o organización. Entonces lo primero que hace— Esto está pasando por tu base de código, intentando para averiguar qué es qué. Entonces, puedes Míralo aquí. Y ya sabes, después de todo él entiende, o, al menos, seguro demuestra que Lo averigüé. Entonces él me da algo para como una recomendación. Pero ahora te lo mostraré. ¿Cómo te ves? cuando te conectas motor contextual para backend. Ahora él causas contextuales Desbloquear el motor y Desbloquear proporciona una muy completa, pero específico de este conjunto de tareas contexto. Y tú puedes ver que Él no se refiere a solo en el código fuente, pero también en documentos en Notion sobre arquitectura, solicitudes de extracción solicitudes) y discusión en Slack respecto a optimizar esto específico componente. EN como resultado usted te pones muy juego completo contexto con todo estos enlaces. Entonces Ahora, si, ya sabes, Claude quiere regresar y obtener más información. Él tiene todos estos puntos geniales para la transición. Pero Lo más interesante es esto. Aquí pasé, digamos $1.29, y tomó aproximadamente treinta minutos artículos de segunda clase. Fue de motor contextual y Sin ello desperdicio hasta $2.60 y tres minutos. Entonces, tú ver una disminución los costos en un 50%, lo que Simplemente increíble. Ahora quiero mostrar otro interesante para ti demostración. Él una sesión interesante que mi colega...oh, lo siento. Lo traeré aquí. Él una sesión interesante que mi colega pasó con Desbloqueado la semana pasada. Tenemos También hay un producto para revisión de código. Y Richie está trabajando en ello. Descubrió que número de problemas, que el producto detectó para ver el código, comenzó a disminuir. Así que él simplemente preguntó Desbloqueado, y Desbloqueado pude conseguir esto información. Y rápidamente acota tu búsqueda a la causa probable, es decir, la transición de Opus 4.6 a Opus 4.8. Y características comportamiento según entre bastidores provocó una disminución el número de estos problemas. Entonces él Acabo de pedir Desbloqueado Arréglalo. Y ahora Unblocked pudo crear PR entre bastidores. EN él tiene todo esto contexto, y él lo sabe, ¿Qué hacer? Pero Lo más genial es que tú puedes ver cómo Él creó esta descripción, Y es simplemente asombroso. Como que él, eh, lo entendió. solicitud de extracto (PR), lo cual causó regresión del principio. Y entonces encontré discusión en Slack, donde Esto fue discutido y pieza usada datos de allí a ayuda con corrección que Simplemente una locura.

Así que volveré a... Oh, creo que sí. perdí el mío Presentación principal. Ahora veamos. Aquí ella. Entonces, tienes y el problema en sí agentes, ¿verdad? Oh, Lo siento, esa no es. presentación. Esto no es esa conferencia magistral. Ahora bien. Así que ahora, yo Creo que simplemente Vamos directamente a creación, porque tenemos muy pocos hoy en día tiempo. Así que yo solo Lo resumiré. Tienes contexto disperso en cualquier lugar. Tiene contexto en relaciones públicas, reseñas, comentarios, problemas y tickets, documentación, conversaciones. Y todo esto semánticamente solicitado, pero simultáneamente estructurado. Y RAG lo están haciendo muy bien con parte del contenido. Puede manejar pregunta sobre contenido, encontrar código, PR, que es cambiado, rama de Slack, donde Esto se está debatiendo. Y si envuelves esto en el ciclo de la agencia, él puede venir muy lejos. Si usted proporcionar la agencia herramientas de ciclismo para buscar archivos Después de eso, será muy poderoso. Pero él no maneja otros tipos cuestiones estructurales, por ejemplo, PR que yo unieron el pasado semana. ¿Quién es el más ¿Has comprobado los pagos? Abrir PRs, etc. Y esto peticiones. Esto no es búsqueda semántica. Así que quise hacerlo de nuevo. para mostrarte, regresar a ejemplo de Richie, que él inició una conversación con Desbloquea colocando preguntas basadas en solicitud, porque aquí Hay un factor tiempo. O ¿Puedes mostrarlo? dame un horario probabilidades cada semana ¿A partir del 1 de enero? Bueno, entonces para hacer esto, él no puedo simplemente Saca esto información de almacenamiento vectorial, porque existe esto La información no es codificado. Por lo tanto, él tendrá que hacerlo Esto se debe a algunos mecanismo de consulta. Y ya sabes, la búsqueda tiene que esencialmente dos mitades. EN somos semánticos buscar, y puede para hacer frente a tales tipos semánticos preguntas. Pero hoy Trabajaremos en por la presente. Estructural parte. Nosotros transformémonos consultas estructurales o consultas naturales lenguaje en estructura peticiones. Pero la creación solicitudes—esto muy fácil parte. Pesado parte es un marco, ¿Cuál está por aquí? bajo construcción. Así que tú necesito hacer esto cosas como entender planes para que puedas para aprobar su LLM, y ella generado claramente solicitud limitada. También necesitas poder comparar identificadores. Si Voy a hacer una pregunta, por ejemplo, "abrir Relaciones públicas de Rashin". Él no es sabrá quién es Rashin, porque su ID de GitHub tal vez no en absoluto a otros. Entonces, nosotros De alguna manera debo hacer esto comparar. Y cuando tú usted recibe una solicitud de LLM no es fiable. Puede contener operaciones peligrosas. Él puede romper límites de inquilinos. Atrás debes tener una forma de comprobar si ¿La consulta es correcta? seguro. Y finalmente, incluso si tú ¿Mantendrás tal cosa? verificación, puede Pueden producirse errores. Y cuando realmente Estás haciendo una solicitud para bases de datos, también allí Puede haber errores. Así que podemos forzar Intentar con LLM Corríjase si surgirá tal situación. Eso es lo que Nos estamos esforzando aquí. Nosotros queremos ir a este. Queremos tener oportunidad de decir algo así como "Relaciones públicas abiertas de Rashin". Y luego queremos recibir dicha solicitud en respuesta. Vamos Veamos esto un minuto. Él repositorio con código abierto, en sobre la base de la cual nosotros construiremos sistema. Y yo inmediatamente Te mostraré cómo. Parece que en la práctica. Aquí está. repositorio. Él se llama mecanismo de consulta a los documentos. Quiero Te mostraré cómo es mira al principio lanzamiento. Entonces, puedo digamos, por ejemplo, "PR de Peter". Oh, en realidad, nosotros él No vamos a lanzar nada ahora. Así que volveré. . Empecemos por el principio. Vamos a lanzarlo. Ahora Yo puedo poner el mío pregunta. Entonces, cuando tú empiezas, él No está configurado en absoluto. No revelará nada. . Así que lo haremos crear gradualmente ¿Este sistema, de acuerdo? Lo primero de lo que estamos hablando es Hablemos, eso es todo. automático detección de esquemas. Él totalmente dinámico proceso. [ __ ] no tiene esquema fijo. No Todas las bases de datos son así, pero el mismo principio se puede aplicar a muchos. Puede detección dinámica plan durante implementación. Maquinaria consta de una muestra muchos documentos en almacenamiento y luego en la salida del circuito en basado en esto. Y yo quiero te mostraré uno la parte difícil de este proceso— definición de listas (enumeraciones). Resultado Eres tu puede usar LLM como herramienta poderosa, y él es genial se enfrenta tarea. Pero En realidad, puedes ir muy, muy lejos, solo usando tradicional métodos procedimentales. Así que puedes, ya sabes, no siempre se aplican para realizar el LLM tal trabajo, que parece no determinista. En realidad, con eso basta. determinista, ese tipo de cosas. Entonces, ahora que tenemos Descubrí el plan, yo Te voy a enseñar cómo. Este se parece al nuestro. manifestaciones. Oh. Primero nosotros necesito ir a siguiente nivel. Y entonces corre. Por lo tanto, ahora hemos descubierto esquema de nuestro Colecciones de GitHub. Y esto solo solicitudes de fusión (solicitudes de extracción). ¿DE ACUERDO? Aquí No solo hay un plan, sino y los índices que ayudará a aumentar productividad peticiones. Próximo el paso es reconocimiento personalidad. Esto es lo que ¿De qué estaba hablando, con respecto a? comparación usuarios de real identificadores. Y Nuevamente, es posible decidir por con la ayuda de sencillos trucos de procedimiento. Así que esto es en realidad más -menos es como lo hacemos hacemos "debajo del capó" en Desbloquea. Cuando tomamos nombres de usuario o identificadores de diferentes sistemas y los comparamos, podemos usar búsqueda difusa pareo). Y luego, después de todo, si si lo necesitas, puedes pasar una lista de nombres a LLM para que ella actuó como árbitro. Y Finalmente, el último paso antes de que podremos demostrarlo Lo interesante es esto. Él etapa de síntesis. Y, aproximadamente diciendo, realmente lo es La parte más fácil. Simplemente tomamos el plan que nosotros determinado dinámicamente más temprano. Tomamos Fecha y hora actuales. Tal vez un poco información sobre usuario que hace una pregunta, para que el sistema pueda fácil de distinguir consultas como "mi Relaciones públicas", no solo "relaciones públicas" De Pedro. Y luego nosotros Le pasamos esto a LLM y complacerla sintetizar consulta para nosotros. Resultado se verá como aproximadamente así. Pasemos a esto. Entonces, ahora puedo regresar a su propio Muévete e intenta ejecutar esta consulta de nuevo. Y ahora está mostrará los documentos para mí y generará esta solicitud.

Ahora, el siguiente paso, sobre de lo que hablé es validación. De hecho Esto es lo más importante. Su solicitud puede contienen realmente operadores peligrosos, por ejemplo, operador funciones realizadas JavaScript puro en servidor de base de datos, lo cual definitivamente no es deseable. Pero puedes querer hacer con esto y otras cosas. Por ejemplo, tienes puede ser campos ocultos que no quieres mostrar LLM o LLM podría conseguirlos y ejecutar. Si en tienes campos de metadatos, por ejemplo, que contiene identificadores inquilinos y usted ¿Quieres aislarte? cada solicitud de inquilino específico Mejor no en absoluto para permitir LLM interactuar con estos campos, y limitarlos trabajar al nivel sistemas. Puede insertar estos campos oculto. Así es como es se ve aproximadamente. Así que, de nuevo, nosotros lo mostraremos rápidamente resultado y cómo es aspecto. Sigamos adelante. a nuestro escenario cheques. Oh. Vamos a ejecutarlo de nuevo. Entonces, si lo pongo ahora preguntas como esto: PR de autenticación en encabezamiento. Él, probablemente causará algunos regulares expresión. Y aquí está. DE ACUERDO. Entonces, nuestro mecanismo de verificación dijo: "Disculpe, expresiones regulares prohibido. Tú rechazado. Y ahora no tenemos que hacer esto permitido. Por lo tanto, La validación es genial. Pero, ¿qué hacemos con esto? ¿hacer? Recibimos error. Pero nosotros podemos simplemente tomar este error, devolver su regreso al LLM y permitir modelos corregirse a uno mismo independientemente. Esto es en realidad Y eso es todo. Desde el punto de vista técnico punto de vista es Se ve exactamente así. Él solo un bucle con un cierto máximo número de intentos. Y así que si lo intento Nuevamente, aumentaré número de intentos y Yo empezaré. Ahora bien, si Intentaré esta consulta. Otra vez, oh, este no es. Probemos con este. Ahora ya ves eso tomó algunos intentos. Pero al final- Por fin hemos llegado al final. resultado. Sin embargo, nosotros lo restringió usando coincidencia. En Lo siento, eso no es exacto. combate por el título. Tenemos No hay relaciones públicas con esto. el nombre exacto. Entonces necesitamos algo más, a saber- búsqueda de texto completo. Entonces, si añadimos búsqueda de texto completo a nuestro motor, esperamos que obtendremos el resultado, similar a este. Intentémoslo de nuevo. Perfectamente. Eso es todo. Nosotros fue desde De principio a fin. Él proyecto de código abierto código, para que puedas para ver cómo está implementado y intentar independientemente. Eso es lo que somos. creado. Aquello que eficazmente se enfrenta a otro La mitad de RAG. Todo lo que preocupaciones datos estructurados. Puede usar filtros, agregaciones, limitaciones de tiempo. Y él autocorrectivo. Pero lo más genial es que esto también proporciona Trabajo de agente de chat. Entonces, si voy más allá Aquí y diré algo como: "Hmm, sobre cuál preguntas, relacionado con autenticación, nosotros trabajó en el pasado ¿semana? Ahora tu ves todo eso muestra que es él realiza, todas las solicitudes, que él crea. Y aquí está Él tiene los datos, solo los procesa en al fondo, y Eso es todo. Muy pronunciadamente. Así que aquí está... estructurado contexto disponible para consultas como agentes, así como para gente. Permaneció solo una última cosa. Eh, en la descripción que usted, Probablemente viste que nosotros simulador prometido motor de contexto. Si no quieres Conectar Desbloqueado inmediatamente después de ciertos limitaciones en su entorno, tenemos proyecto de código abierto código que permitirá tú lo haces completamente local. La idea es que él crea un contexto paquete para todos una tarea separada y luego utiliza este paquete para conducción de audio/video probando eso la tarea en sí, demostrando ventajas de tener tal contexto bajo mano para tu agentes. Aquí está el código QR para esto, si es para ti necesario. DE ACUERDO. Y la última: Si quieres cocos, ven a nuestro pararse. Gracias.