Veredicto.
Si el examen es siempre el mismo, cada calificación nueva te dice si el buscador mejoró o empeoró.
- Evaluación de búsqueda
- 2 min
- Demo en vivo
La analogía
Una maestra que pone el mismo examen cada semestre puede saber si el grupo mejoró. Si cambia las preguntas cada vez, una buena calificación podría ser solo un examen más fácil.
Aquí el alumno es un buscador y el examen son 24 preguntas fijas cuyos pasajes correctos ya se conocen. El slider decide cuántos pasajes lee el buscador por pregunta antes de responder.
En el diagrama de abajo
- el examen
- 24 preguntas fijas
- el alumno
- el buscador
- las páginas que lee
- pasajes leídos por pregunta
- una pregunta fuera del temario
- una sin respuesta en los documentos
Pruébalo
Veinticuatro preguntas sobre un conjunto de documentos de políticas. Veintiuna tienen su respuesta en algún documento; tres no.
Tu turno / Predice y prueba
Antes de correrlo, apuesta: leyendo 3 pasajes por pregunta, ¿las 21 preguntas con respuesta encuentran su evidencia?
Elige tu predicción, ejecuta el experimento y revela el resultado. También puedes explorar sin predecir.
Cada renglón de la hoja es una pregunta del examen, en orden. Si lee más pasajes, el buscador encuentra más, pero también le pasa más texto a quien lee la respuesta.
Haz tu apuesta y presiona Correr.
Tu ajuste o leer 8
Mismo examen, mismo buscador. Lo único que cambia es cuántos pasajes lee por pregunta.
¿Dónde sirve ?
Vale la pena
Antes de cambiar cualquier cosa en un buscador que da respuestas a clientes o empleados. Pienso en una mesa de ayuda interna que responde con manuales de políticas.
No hace falta
En un prototipo de una sola vez del que nadie depende todavía, o cuando nadie puede decir cuáles son los pasajes correctos de cada pregunta.
Lo que demuestra
No me fié de un buen resultado en una pregunta. Primero armé un examen fijo, para medir cada cambio al buscador con la misma regla.
Para ingenieros
- Búsqueda híbrida: BM25 y TF-IDF combinados con reciprocal rank fusion sobre un corpus de 16 pasajes. Una pregunta pasa cuando el recall en k es 0.5 o más.
- Tres preguntas no tienen evidencia etiquetada y a propósito no se califican, para que el examen no premie una respuesta que no está en los documentos.
- Recall, comparación de corridas, acuerdo del juez y calibración se comparten con el backend en Python; los buscadores y esta corrida del examen son solo TypeScript.
- Stack: Next.js 16, TypeScript, Python, Vitest, pytest.