Nouveautés
Benchmark public · reproductible

ChaserBench

Le gain de coût de Chaser, mesuré comme un résultat de recherche : corpus gelé lié par une empreinte SHA-256, deux bras appariés (cascade Chaser vs modèle direct), et des bornes de confiance anytime-valid (empirical-Bernstein). Aucun chiffre n'est affirmé sans son intervalle.

−58 %
coût à tâche égale, en agrégé (gain prouvé, borne > 0) — médiane −62 % par tâche
30
tâches vérifiables (10 triviales / 10 moyennes / 10 complexes)
≈0
écart de qualité (IC contient 0)

Résultat du dernier run — 31/07/2026 (API réelle, seed 42, corpus v2)

MétriqueRéférence (Sonnet direct)Chaser (cascade)
Coût total (30 tâches)0,1033 $0,0434 $
Réussite (oracle)29 / 3029 / 30
Latence médiane3,99 s2,02 s

Gain de coût relatif apparié : moyenne 0,641, borne basse empirical-Bernstein 0,140 > 0 → la réduction de coût est statistiquement prouvée. Les trois lectures du même run, publiées ensemble : agrégat −58 % (coût total contre coût total), médiane par tâche −61,7 %, moyenne par tâche −64,1 %. Nous annonçons l'agrégat, le plus prudent des trois.
Écart de qualité (réf − Chaser) : 0,000, intervalle anytime-valid [−0,51 ; +0,51] contenant 0 → qualité préservée (même score d'oracle des deux côtés sur ce run).

✓ corpus SHA-256 31c19ebe… · résultat scellé au journal Merkle

Données brutes machine-lisibles : /bench/index.json · run complet par tâche · corpus gelé. Les runs antérieurs restent en ligne dans l'index : nous ne retirons pas un résultat parce qu'un plus récent nous arrange mieux.

Pourquoi ce banc est crédible

  1. Appariement : chaque tâche est jouée par les deux bras, donc le delta de coût et de qualité est mesuré sur la même tâche — pas deux populations différentes.
  2. Corpus gelé + SHA-256 : la moindre modification du corpus change l'empreinte ; une reproduction échoue fail-closed si son corpus ne correspond pas à celui publié.
  3. Bornes anytime-valid : on peut relancer le banc à chaque tâche et s'arrêter dès qu'une borne exclut 0 — la garantie de couverture tient malgré le peeking (Waudby-Smith & Ramdas, 2024).
  4. Scellé : chaque run émet une empreinte dans le journal Merkle inviolable — le résultat n'est pas réécrivable après coup.

Vérifier sans nous faire confiance

Le moteur Chaser est fermé. Vous n'avez donc aucune raison de nous croire sur parole — alors voici de quoi nous contredire. Ce vérificateur est autonome : bibliothèque standard Python uniquement, aucun compte, aucun appel réseau, et il recalcule nos statistiques par sa propre implémentation (empirical-Bernstein) au lieu de recopier nos agrégats.

curl -O https://chaser-orchestrator.com/telechargements/chaserbench-verification.zip
unzip chaserbench-verification.zip   # vérificateur + tous les runs + corpus gelé
python verifier_bench.py             # 11 contrôles → CONFORME ou ÉCART (code de sortie 1)
python verifier_bench.py test        # l'auto-test : 6 falsifications, toutes attrapées

Le pack est reproductible bit à bit (horodatages figés) : sa refabrication doit rendre l'empreinte publiée dans chaserbench-verification.zip.sha256. Il ne contient aucun binaire — un pack d'audit dont on ne peut pas lire une pièce n'en est pas un. Fichiers nus si vous préférez : verifier_bench.py · corpus_v2_2026Q3.jsonl.

Il vérifie que l'empreinte SHA-256 du corpus est bien celle annoncée, que les coûts, réussites et latences publiés se recalculent depuis les 30 lignes par tâche, que les bornes anytime-valid sont correctes, et que l'agrégat, la médiane et la moyenne sont tous les trois affichés. Il refuse fail-closed au moindre écart : son propre auto-test lui soumet six versions truquées de nos chiffres (coût gonflé, gain exagéré, borne élargie, latence embellie, tâche retirée, réussite embellie) et exige qu'il les attrape toutes.

Ce que ce banc ne prouve pas

Dit franchement, parce qu'un banc qui ne peut que flatter son auteur ne prouve rien :

  1. Le rejeu des appels API n'est pas tiers. Le vérificateur prouve que nos chiffres publiés sont fidèles à nos données publiées et que nos statistiques tiennent ; il ne prouve pas que les réponses des modèles ont été obtenues comme décrit. Pour ça il faut un run avec vos propres clés.
  2. C'est notre corpus. 30 tâches vérifiables en un tour, gelées. Vos sessions agentiques longues, multi-fichiers, riches en outils, peuvent donner un gain différent — en mieux ou en moins bien. Le seul chiffre qui vous engage est celui mesuré sur votre trafic : c'est exactement ce que fait Chaser Check (gratuit) sur vos propres journaux, et c'est la démarche que nous recommandons avant tout achat.
  3. Portée v1 : coût, qualité et latence sur tâches vérifiables en un tour. La réduction des tool calls est mesurée séparément par l'outil attester (jusqu'à −98,8 % sur des schémas verbeux, hors périmètre de ce banc) ; son intégration en sessions agentiques appariées est la version 2.

Pour l'équipe (dépôt complet) : python moteur/chaserbench.py --dry (harnais, 0 $), --api --seed 42 (run réel, garde-fou ≤ 0,50 $), --api --attendu 31c19ebe… (fail-closed si le corpus diffère).