Benchmarks WeKnora · Chat / Embed / Rerank

LLM

Recherche et rerank fixes — seul le modèle Chat varie

Raisonnement agent

Tri : score composite 6:3:1

#	Chat	Think Effort	Score composite	correctness	completeness	constraint	Taux hit corpus	Corpus moy.	P50 itérations	P50 tokens
1	Grok 4.7	défaut (high)	4.23	4.04	4.41	4.80	95.19%	3.69	4	344
2	GPT-6 Astra	défaut (medium)	4.04	3.95	3.93	4.88	85.19%	1.76	4	217
3	Claude Opus 5	défaut (high)	3.89	3.57	4.42	4.16	94.09%	4.70	6	702
4	GLM-5.3	high	3.85	3.50	4.26	4.70	90.92%	2.64	4	475
5	DeepSeek-V4.1-Flash	défaut (high)	3.78	3.45	4.30	4.15	92.93%	3.26	4	654
6	GLM-5.3-Flash	high	3.75	3.35	4.26	4.61	87.81%	2.47	4	507
7	Hunyuan-3	défaut (high)	3.74	3.39	4.19	4.55	88.30%	2.74	4	574
8	Hunyuan-4-preview	défaut (high)	3.72	3.30	4.39	4.22	94.82%	4.04	8	696
9	Qwen3.8-Flash-Next	défaut (xhigh)	3.69	3.30	4.29	4.26	92.81%	3.69	6	601
10	Gemini-3.8-Flash	défaut (medium)	3.62	3.23	4.05	4.72	86.17%	2.08	3	391
11	GPT-5.6 Sol	défaut (medium)	3.59	3.26	3.81	4.89	85.37%	2.00	4	225

Recommandations

Qualité : Grok 4.7 — meilleur score composite, réponses plus fidèles à la base.
Open source : GLM-5.3 — 4ᵉ au composite, peu d’itérations et volume de tokens modéré.

correctness: Les affirmations sont-elles étayées par les preuves ?
completeness: Les sous-questions clés sont-elles couvertes ?
constraint: Les contraintes explicites sont-elles respectées ?
Jeu de données: Benchmark WeKnora
Modèle juge: GPT-6 Astra
Découpage: chunk_size=1000, chunk_overlap=200
Embed: nvidia/Nemotron-3-Embed-8B-BF16
Rerank: Qwen/Qwen3-Reranker-8B
Paramètres de recherche: embedding_top_k=50, vector_threshold=0.27, rerank_top_k=8, rerank_threshold=0.3, keyword_threshold=0.3

Q&R rapide

Tri : score composite 6:3:1

#	Chat	Think	Score composite	correctness	completeness	constraint	P50 tokens
1	GPT-6 Astra	défaut (medium)	4.20	4.37	3.75	4.50	186
2	GPT-5.6 Sol	défaut (medium)	3.99	4.03	3.74	4.55	154
3	Gemini-3.8-Flash	défaut (medium)	3.98	4.00	3.78	4.45	250
4	Hunyuan-3	défaut (high)	3.96	4.00	3.76	4.32	357
5	DeepSeek-V4.1-Flash	défaut (high)	3.93	3.94	3.79	4.26	378
6	Hunyuan-4-preview	défaut (high)	3.93	3.98	3.80	4.02	589
7	Qwen3.8-Flash-Next	défaut (xhigh)	3.88	3.86	3.75	4.35	293
8	GLM-5.3-Flash	high	3.85	3.76	3.84	4.38	375
9	GLM-5.3	high	3.83	3.74	3.84	4.38	391
10	Grok 4.7	défaut (high)	3.82	3.80	3.71	4.25	270
11	Claude Opus 5	défaut (high)	3.73	3.61	3.88	3.98	604

Recommandations

Qualité : GPT-6 Astra — 1ᵉʳ au score composite.
Open source : Hunyuan-3 — dans le second peloton au composite.

correctness: Les affirmations sont-elles étayées par les preuves ?
completeness: Les sous-questions clés sont-elles couvertes ?
constraint: Les contraintes explicites sont-elles respectées ?
Jeu de données: Benchmark WeKnora
Modèle juge: GPT-6 Astra
Découpage: chunk_size=1000, chunk_overlap=200
Embed: nvidia/Nemotron-3-Embed-8B-BF16
Rerank: Qwen/Qwen3-Reranker-8B
Paramètres de recherche: embedding_top_k=50, vector_threshold=0.27, rerank_top_k=8, rerank_threshold=0.3, keyword_threshold=0.3

Lecture du classement

Leader en agent ≠ leader en Q&R rapide: La Q&R rapide génère une réponse dans un contexte fixe ; le raisonnement agent teste aussi la planification de recherche, les outils et la fusion des preuves. Les deux modes se complètent : agent pour les questions complexes, Q&R rapide pour les simples.

Biais d’auto-évaluation: L’auto-évaluation par GPT-6 Astra favorise ce modèle, mais une re-notation par Qwen3.8-27B reste corrélée (0,80 en Q&R rapide, 0,89 en agent). Le classement indique les pelotons et écarts nets ; les petits écarts de rang méritent plusieurs juges ou une revue aveugle.

Intensité de réflexion: Privilégier la configuration par défaut de l’API. Pour GLM, le défaut « max » dépasse souvent la limite de contexte (16 384) — nous avons abaissé d’un cran.

Embed

Recherche vectorielle

Rappel

Tri : Recall@100Cas : embed puis rerank — produit avec modèle de rerank

#	Modèle	Recall@100	Recall@50	Recall@10	retrieve k	rerank / LLM k	vector_threshold
1	nvidia/Nemotron-3-Embed-8B-BF16	0.92877	0.91302	0.85027	50	8	0.27
2	tencent/KaLM-Embedding-Gemma3-12B-2511	0.92682	0.90775	0.82704	50	8	0.45
3	BAAI/bge-multilingual-gemma2	0.92134	0.89952	0.83392	50	8	0.25
4	nvidia/llama-embed-nemotron-8b	0.91899	0.90133	0.83465	50	8	0.28
5	Qwen/Qwen3-Embedding-8B	0.91704	0.89429	0.81379	50–100	8	0.44
6	infly/inf-retriever-v1	0.91663	0.89984	0.82624	50	8	0.52
7	Octen/Octen-Embedding-8B	0.91484	0.89263	0.81285	50	8	0.38
8	microsoft/harrier-oss-v1-27b	0.91351	0.89578	0.81882	50	8	Désactivé / ≤0.50
9	tencent/WeMM-Embedding-9B	0.91289	0.89092	0.80677	50	8	0.41
10	tencent/WeMM-Embedding-4B	0.91271	0.88344	0.80074	50	8	0.41
11	infly/inf-retriever-v1-1.5b	0.91175	0.88785	0.81424	50	8	Désactivé / ≤0.60
12	Alibaba-NLP/gte-Qwen2-7B-instruct	0.90712	0.87931	0.80102	50	8–10	0.44
13	Qwen/Qwen3-Embedding-4B	0.90702	0.88952	0.81706	50	8	0.45
14	google/embeddinggemma-300m	0.90589	0.88321	0.81084	50	8	0.37
15	codefuse-ai/F2LLM-v2-8B	0.90563	0.88692	0.79745	50	10	0.26
16	microsoft/harrier-oss-v1-0.6b	0.89011	0.86811	0.78097	100	10	0.49
17	BAAI/bge-m3	0.88338	0.85892	0.77859	100	10	0.47
18	Linq-AI-Research/Linq-Embed-Mistral	0.87430	0.84657	0.75117	100	10	0.45
19	jinaai/jina-embeddings-v5-text-small	0.86547	0.84293	0.76437	100	10	0.40
20	intfloat/multilingual-e5-large-instruct	0.83219	0.80373	0.71529	100	10	Désactivé

Recommandations

nvidia/Nemotron-3-Embed-8B-BF16 — meilleure couverture de rappel, utilisable en recherche directe ou avant rerank.
tencent/KaLM-Embedding-Gemma3-12B-2511 — couverture proche ; retrieve 50 puis rerank.

Classement du rappel

Tri : NDCG@10Cas : top-k vecteur envoyé directement au LLM, sans rerank

#	Modèle	NDCG@10	Recall@10	P@1	embedding_top_k	vector_threshold
1	nvidia/Nemotron-3-Embed-8B-BF16	0.80114	0.85027	0.76872	5–8	0.27
2	nvidia/llama-embed-nemotron-8b	0.77419	0.83465	0.73281	5–8	0.28
3	BAAI/bge-multilingual-gemma2	0.77355	0.83392	0.72855	5–8	0.25
4	infly/inf-retriever-v1	0.76031	0.82624	0.71333	8	0.52
5	microsoft/harrier-oss-v1-27b	0.75208	0.81882	0.70907	8	Désactivé / ≤0.50
6	tencent/KaLM-Embedding-Gemma3-12B-2511	0.75097	0.82704	0.69324	8	0.45
7	Qwen/Qwen3-Embedding-4B	0.75008	0.81706	0.70481	8	0.45
8	google/embeddinggemma-300m	0.75005	0.81084	0.70724	8	0.37
9	Octen/Octen-Embedding-8B	0.74746	0.81285	0.70542	8	0.38
10	infly/inf-retriever-v1-1.5b	0.74626	0.81424	0.69629	8	Désactivé / ≤0.60
11	Qwen/Qwen3-Embedding-8B	0.74496	0.81379	0.69324	8–10	0.44
12	tencent/WeMM-Embedding-9B	0.73072	0.80677	0.67438	10	0.41
13	tencent/WeMM-Embedding-4B	0.72771	0.80074	0.67498	10	0.41
14	Alibaba-NLP/gte-Qwen2-7B-instruct	0.72140	0.80102	0.66951	10	0.44
15	codefuse-ai/F2LLM-v2-8B	0.71855	0.79745	0.66525	10	0.26
16	BAAI/bge-m3	0.70954	0.77859	0.65673	10	0.47
17	microsoft/harrier-oss-v1-0.6b	0.70865	0.78097	0.65307	10	0.49
18	jinaai/jina-embeddings-v5-text-small	0.69806	0.76437	0.64820	10	0.40
19	Linq-AI-Research/Linq-Embed-Mistral	0.66628	0.75117	0.60316	10	0.45
20	intfloat/multilingual-e5-large-instruct	0.63496	0.71529	0.57091	10	Désactivé

Recommandations

nvidia/Nemotron-3-Embed-8B-BF16 — meilleure qualité en tête ; top 5–8 vers le LLM.
google/embeddinggemma-300m si ressources limitées — 300M param., NDCG@10 proche de Qwen3-4B.

Rerank

100 candidats du rappel vectoriel fixe — comparaison des modèles de rerank

Modèles de rerank

Tri : NDCG@10

#	Modèle	NDCG@10	P@1	MRR@10	Recall@10
1	Qwen/Qwen3-Reranker-8B	0.83609	0.81984	0.87762	0.87138
2	jinaai/jina-reranker-v3.5	0.83271	0.83019	0.87968	0.85638
3	nvidia/llama-nemotron-rerank-1b-v2	0.82449	0.81010	0.87286	0.86411
4	BAAI/bge-reranker-v2-gemma	0.81764	0.79732	0.85972	0.85650
5	Qwen/Qwen3-Reranker-0.6B	0.81003	0.78211	0.84985	0.85363
6	BAAI/bge-reranker-v2-m3	0.80751	0.79245	0.84903	0.84452
7	mixedbread-ai/mxbai-rerank-base-v2	0.80574	0.78515	0.84358	0.84680
8	zeroentropy/zerank-2-reranker	0.79841	0.77115	0.83475	0.84777
9	Alibaba-NLP/gte-multilingual-reranker-base	0.78978	0.76019	0.82483	0.83848
10	jinaai/jina-reranker-v2-base-multilingual	0.78093	0.75593	0.82146	0.82864
11	Alibaba-NLP/gte-reranker-modernbert-base	0.71176	0.66586	0.74086	0.77675
12	Qwen/Qwen3-Reranker-4B	0.70408	0.64760	0.73794	0.77447

Recommandations

Qwen/Qwen3-Reranker-8B — meilleure qualité de classement pour le rerank.
jinaai/jina-reranker-v3.5 si ressources limitées — 0,6B param., NDCG proche du leader, bon P@1.

Embed fixe: nvidia/Nemotron-3-Embed-8B-BF16
Pool de candidats: Top 100 Nemotron-3-Embed
Recall@100: 0.92877

Jeu de données

Types de questions et corpus

Volume: 1,6K paires Q/R, 40K segments de corpus
Types de questions: Compétences de base
Détails précis
Raisonnement multi-sauts
Contre-intuitif
Sans réponse
Négatifs distracteurs
Versions multiples
Extraction structurée
Types de corpus: Encyclopédies
Livres
Actualités
Vulgarisation
FAQ
Articles WeChat
et autres sources

Données et protocole bientôt open sourceJeu de benchmark, pipeline d’évaluation et résultats additionnels sont en cours de publication ; dépôt et liens de téléchargement seront ajoutés ici.