Agent IA Zeno — résultats du benchmark SMC
Méthodologie de benchmark publique comparant l'agent IA Zeno aux principaux grands modèles de langage généralistes sur 50 scénarios de trading Smart Money Concepts soigneusement construits. La méthodologie, les données des graphiques et les prompts sont reproductibles. Mise à jour trimestrielle.
L'agent IA Zeno a obtenu 45/50 (90%) au benchmark SMC, contre 32/50 (64%) pour Claude 4.7, 27/50 (54%) pour ChatGPT-5 et 27/50 (54%) pour Gemini 3. L'écart reflète la spécialisation : Zeno est spécifiquement entraîné à la reconnaissance des schémas SMC, contrairement aux LLM généralistes. La méthodologie complète et les mises à jour trimestrielles sont publiées ci-dessous.
Résultats par catégorie
Méthodologie
Fonctionnement du benchmark
Chaque test présente une capture d'écran réelle du graphique d'un actif majeur (BTCUSDT, ETHUSDT, XAUUSD, EURUSD, NAS100) à un instant précis, accompagnée d'une question évaluant une compétence Smart Money Concepts. Le modèle testé doit répondre dans un format structuré que nous pouvons noter de manière déterministe (choix multiple ou coordonnées pour les limites).
Chaque scénario est noté par rapport à une vérité de référence établie par trois traders SMC indépendants (des abonnés de l'offre Zeno s'étant portés volontaires comme correcteurs), qui ont chacun annoté le graphique avant de voir la réponse d'un quelconque modèle. Un scénario n'est jugé « correct » que si la réponse du modèle correspond à la vérité de référence consensuelle.
Cinq catégories de tests
- Identification des order blocks (12 scénarios) : identifier la bougie précise et les limites de prix d'un order block tradable, à partir d'une cassure de structure impulsive. Évalue l'application de règles de formation strictes face à des zones plus permissives.
- Détection des FVG et statut de mitigation (10 scénarios) : identifier les fair value gaps qui n'ont PAS encore été mitigés. Évalue la reconnaissance du schéma à trois bougies et le suivi de l'historique des prix.
- Reconnaissance des liquidity sweeps (8 scénarios) : déterminer si une mèche ayant dépassé un swing high/low antérieur constitue un sweep de chasse aux stops avec rejet. Évalue la capacité à lire l'intention institutionnelle dans l'anatomie des bougies.
- Classification BOS / CHoCH (10 scénarios) : déterminer si une cassure de structure donnée est un break of structure (continuation) ou un change of character (retournement). Évalue la prise en compte du contexte de tendance dominant.
- Confluence multi-timeframe (10 scénarios) : à partir d'un ensemble de graphiques montrant trois timeframes simultanément, identifier les zones d'entrée alignées sur les trois. Évalue la synthèse entre plusieurs fenêtres de contexte.
Pourquoi les LLM génériques sont moins performants
Les LLM généralistes sont entraînés sur de larges données web où le contenu SMC ne représente qu'une petite minorité des contenus consacrés au trading — la plupart des textes traitent des indicateurs traditionnels (RSI, MACD, moyennes mobiles). Ils assimilent les concepts SMC de manière approximative, avec de fortes variations d'une définition à l'autre. Ils peinent aussi avec le raisonnement spatial précis nécessaire pour identifier les limites d'une bougie donnée sur une capture d'écran de graphique.
Zeno est un spécialiste. La détection des schémas repose sur une logique SMC dérivée de Pine Script (déterministe), tandis que les explications en langage naturel sont produites par un LLM affiné sur un corpus SMC sélectionné. Grâce à cette architecture, la vérité de référence provient de règles, et non des connaissances SMC mémorisées par le modèle.
Reproducibility
- Le jeu de test de 50 scénarios (graphiques + étiquettes de référence, CC BY-NC 4.0) est disponible sur demande — contactez-nous pour accéder à l'ensemble des données
- Les prompts utilisés pour chaque modèle sont documentés scénario par scénario, y compris la température exacte, le prompt système et le prétraitement des images
- Chaque modèle est exécuté 3 fois par scénario ; le score retenu est la réponse consensuelle
- Versions des modèles testés : Zeno (version T2 2026), Claude 4.7 (par défaut), GPT-5 (par défaut), Gemini 3 (par défaut)
- Tout le monde peut reproduire le benchmark en quelques heures avec son propre accès API
Questions fréquentes
Pourquoi les catégories n'ont-elles pas le même nombre de tests (8, 10, 10, 10, 12) ?
Les catégories n'ont pas la même complexité intrinsèque. L'identification des order blocks compte le plus de scénarios (12), car elle comporte davantage de sous-cas (OB haussiers ou baissiers, mitigés ou non mitigés, breaker blocks). Les liquidity sweeps en comptent moins (8), car le schéma est plus uniforme. Le nombre de scénarios par catégorie reflète la répartition naturelle des décisions SMC qu'un trader prend réellement.
Un LLM générique peut-il un jour égaler Zeno sur les SMC ?
Avec suffisamment d'ingénierie de prompts et d'exemples few-shot, les LLM génériques peuvent combler une partie de l'écart sur les catégories les plus simples. La confluence multi-timeframe et la classification BOS/CHoCH restent particulièrement difficiles pour eux, car elles exigent de synthétiser le contexte de plusieurs images de graphiques. À mesure que les modèles de pointe améliorent leur raisonnement multi-images, l'écart se réduira — c'est pourquoi nous mettons à jour le benchmark chaque trimestre.
Ce benchmark favorise-t-il Zeno ?
Les scénarios de test sont tirés de graphiques réels et notés par des traders SMC indépendants avant que la réponse d'un modèle ne soit consultée. Le jury de notation ne sait pas quel modèle a produit quelle réponse. La méthodologie est publiée — chacun peut construire d'autres jeux de test et publier ses propres résultats. Le jeu de test inclut des scénarios où Zeno échoue aussi (5 sur 50), que nous documentons publiquement.
Comment cela se compare-t-il à la fonctionnalité Quant de LuxAlgo ?
Quant de LuxAlgo est un outil d'IA axé sur le marketing, sans benchmark publié, sans jeu de test public ni documentation méthodologique. Nous publions le nôtre précisément parce que c'est là que réside la différence — une capacité d'IA vérifiable, et non une capacité d'IA vantée par le marketing. Nous invitons LuxAlgo ou tout concurrent à soumettre son outil au même benchmark et à en publier les résultats.
Essayez Zeno sur vos propres graphiques
Les benchmarks sont utiles, mais le seul test qui compte est de savoir si Zeno vous aide à mieux trader sur vos propres setups. Zeno est inclus dans l'offre Zeno ($79/mois). Résiliable à tout moment.
Voir les tarifs de Zeno →