Resumen
BRIGHT, un benchmark de busqueda que exige razonamiento, se ha sumado a las clasificaciones oficiales de benchmarks de Hugging Face. FINAL-Bench/Darwin-BRIGHT-Retriever, de VIDRAFT, ocupa el primer puesto con 0.307 nDCG@10. El segundo puesto es BM25, la busqueda clasica por palabras clave, con 0.11. Con este resultado, VIDRAFT es #1 en 12 de las 52 clasificaciones oficiales de Hugging Face.
- Benchmark: https://huggingface.co/datasets/mteb/BRIGHT
- Nuestro modelo: https://huggingface.co/FINAL-Bench/Darwin-BRIGHT-Retriever
Que es la busqueda con razonamiento?
La busqueda normal encuentra documentos que contienen las palabras de la pregunta. En BRIGHT, la pregunta y el documento correcto casi no comparten palabras. El sistema primero debe deducir que necesita la pregunta.
| Pregunta | Busqueda por palabras | Busqueda con razonamiento |
|---|---|---|
| "Tengo ganas de vomitar y me duele el estomago." | Busca "vomitar" y "estomago" y devuelve paginas equivocadas | Deduce "parece una intoxicacion alimentaria" y devuelve primeros auxilios para intoxicacion |
Que tan dificil es?
| Puesto | Sistema | nDCG@10 |
|---|---|---|
| 1 | FINAL-Bench/Darwin-BRIGHT-Retriever | 0.307 |
| 2 | BM25 | 0.11 |
La puntuacion maxima es 1.0. Incluso en el primer puesto, el resultado es de unos 31 sobre 100, 2.8 veces el de la busqueda por palabras clave. El resultado se obtuvo con MTEB.
Por que importa para RAG?
Muchos sistemas RAG fallan antes de que el modelo de lenguaje vea nada: el buscador devuelve documentos equivocados. Los usuarios describen sintomas, errores o situaciones, no el nombre del concepto que los resuelve. Un buscador que razona sobre la pregunta encuentra lo que la busqueda por palabras pierde.
Preguntas frecuentes
Que es BRIGHT? Un benchmark de busqueda donde la pregunta y el documento relevante comparten pocas palabras.
Que puntuacion obtuvo VIDRAFT? 0.307 nDCG@10, primer puesto. BM25 queda segundo con 0.11.
Esta verificado por Hugging Face? No. Como todas las entradas de estas clasificaciones, lo informa el propio publicador. Se obtuvo con MTEB.
Publicado originalmente en VIDRAFT AI Media.
