La page d'accueil ne porte qu'un seul chiffre. Pas parce que les autres seraient moins bons — parce qu'un site qui aligne quinze pourcentages ne prouve rien, il donne l'impression de choisir ceux qui l'arrangent. Ils sont donc tous ici, chacun avec ce qu'il mesure exactement, sur quel échantillon, et où aller vérifier la donnée brute.
Le chiffre de tête : coût à tâche égale. Banc public apparié, corpus gelé (lié par SHA-256), notation par exécution du code — pas par un juge qui donne son avis. Qualité strictement identique entre les deux bras (0,0 d'écart exactement, 29/30 des deux côtés), borne basse empirical-Bernstein 0,14 > 0.
C'est le plus défendable de nos chiffres parce que c'est le plus dur à obtenir : qualité égale prouvée, pas supposée. Rejouez le banc — le vérificateur et le corpus sont publiés.
| Mesure | Ce qu'elle mesure exactement | Vérifier |
|---|---|---|
| −58 % | ChaserBench v2, banc apparié, corpus gelé, notation par exécution du code, borne basse > 0. | /bench |
| −62 % | La médiane du même run que le −58 % (−61,7 % exactement, 30 tâches). L'agrégat pondère par le coût : les tâches chères économisent moins (quartile haut −52 %, pire cas −29,6 %). La médiane décrit la tâche typique, l'agrégat décrit la facture. Nous publions l'agrégat en tête parce qu'il est le plus bas des deux. | /bench |
| −57 % | L'agrégat du run précédent (17/07, −57,3 %), noté par oracle regex au lieu de l'exécution du code. Même verdict — c'est ce qui compte : changer d'oracle ne change pas la conclusion. | /bench |
| −63,5 % | Une moyenne, et c'est le seul de nos chiffres qui en soit une : moyenne des gains relatifs par tâche du run du 17/07 (appels API réels sur le corpus gelé). Sur ce même run, la médiane vaut −61,6 % et l'agrégat −57,3 % — une moyenne est toujours la plus flatteuse des trois quand quelques tâches économisent beaucoup. | /bench |
| −52,5 % | AI-Scientist-v2, session S3 : un fork non modifié de l'agent de SakanaAI, routé par Chaser. 0,0612 $ contre 0,1288 $ en baseline. Trois signatures indépendantes : intégrité Merkle + Ed25519, replay attesté, et le verdict d'un Skeptic adversarial. | le rapport à trois signatures |
| −80 % | Un run précis, tracé : 5 posts LinkedIn à 0,0117 $ au lieu de 0,0584 $ si tout avait tourné sur Opus. Un exemple, pas une moyenne. | trace JSON du run |
| Mesure | Ce qu'elle mesure exactement | Vérifier |
|---|---|---|
| 71,7 % | Compression, mode max — médiane sur 123 observations réelles. Jamais une moyenne : une moyenne se laisse tirer par quelques cas extrêmes. Chaque mesure est scellée dans un journal Merkle append-only de 13 000+ entrées. | vérifiez une entrée réelle |
| 64,8 % | Élagage relais, médiane sur 72 observations. | journal scellé |
| −82 % | Réduction de contexte, un exemple mesuré : 66 000 tokens ramenés à 12 000. | exemple documenté |
| jusqu'à −98,8 % | Un plafond, pas un cas typique. Tool calling : N outils remplacés par 2 méta-outils. Ce chiffre suppose des schémas très verbeux ; sur un petit jeu d'outils courts, c'est plutôt −55 à −65 %. Attesté sur vos propres outils et scellé. | outil MCP attester |
| Mesure | Ce qu'elle mesure exactement | Vérifier |
|---|---|---|
| 89 % | Taux d'acceptation de la cascade auto-vérifiée sur 195 décisions réelles, borne basse > 0 (anytime-valid). Ce n'est pas une économie : c'est la part des essais bon marché qui ont suffi. | journal scellé |
| 56,9 % borne 43,6 % |
Réduction mesurée par la couche d'expérimentation (intervalles anytime-valid, réduction de variance CUPED). La borne basse compte autant que le point : c'est elle qui tient si l'échantillon grandit. | export OpenTelemetry |
Deux catégories de chiffres circulent sur le site sans être des mesures. Les distinguer est le minimum honnête.
| Chiffre | Nature |
|---|---|
| fourchette estimée historique | Estimation, pas mesure : l'ancienne projection de coûts API (routage + Batch API + prompt caching). Elle n'est scellée dans aucun journal, ne décrit aucun run réel, et a été retirée de la page de vente (gel produit du 14/08/2026 : le compteur intégré affiche votre ratio mesuré, borne basse). |
| 30 % · 60 % | Parts de trafic, pas économies : les scénarios entreprise supposent qu'une fraction du trafic passe par Chaser. Un lecteur pressé les compte comme des pourcentages d'économies — ils n'en sont pas. |
Note explicative, non contractuelle. Les conditions du Savings SLA figurent aux CGV §6 bis ; cette note explique le raisonnement, elle n'y ajoute rien et ne s'y substitue pas.
Le SLA se déclenche sur une médiane. Une médiane calculée sur trop peu d'observations n'est pas une mesure prudente : c'est du bruit, dans les deux sens — elle peut nous faire rembourser à tort comme elle peut nous éviter un remboursement dû.
| Orchestrations éligibles | Intervalle de confiance à 95 % de la médiane sans aucune hypothèse sur la distribution |
|---|---|
| 5 | Aucun. Même l'intervalle allant du minimum au maximum observé n'atteint pas 95 % de couverture. |
| 6 à 8 | Du minimum au maximum : une seule orchestration atypique définit la borne. |
| 10 | Écarte 1 valeur extrême de chaque côté. |
| 20 | Écarte 5 valeurs de chaque côté — aucune orchestration isolée ne peut plus déterminer le résultat. |
| 30 | Écarte 9 valeurs de chaque côté. |
Vérification sur nos propres données, par rééchantillonnage de nos 49 orchestrations éligibles (médiane réelle 67,2 %), 4 000 tirages : à 5 observations, la médiane obtenue s'étale de 62,9 % à 80,0 % ; à 20, de 66,5 % à 71,4 %. Le bruit passe de ±12,8 points à ±4,1 points.
Vingt est donc le plus petit effectif où le verdict ne dépend plus d'un run. Il reste atteignable : notre propre dépôt en a produit 49 en usage normal. Un pilote qui n'en produit pas vingt n'a pas mesuré l'usage réel du client — et dans ce cas les CGV prévoient une prolongation, puis le remboursement au choix de l'acheteur.
Parce qu'ils mesurent des choses différentes : un coût à tâche égale, une réduction de tokens, un taux d'acceptation et une part de trafic ne sont pas comparables entre eux. Les empiler sur une page d'accueil ne rend pas la preuve plus forte, il la rend illisible — et donne au lecteur la seule impression qu'on cherche à éviter : celle du chiffre choisi après coup.
D'où la règle qu'on s'impose : un seul chiffre en page d'accueil, le plus défendable, et tous les autres ici avec leur protocole. Les comptes du produit (défauts, suites de tests, modules, composants) sont eux recalculés depuis leurs sources à chaque livraison, et un déploiement est refusé s'ils dérivent — voir la page transparence.