Zeno AI Agent — resultados do benchmark de SMC
Metodologia de benchmark pública que compara o Zeno AI Agent com os principais modelos de linguagem de uso geral em 50 cenários de trading com Smart Money Concepts cuidadosamente construídos. A metodologia, os dados de gráfico e os prompts são reproduzíveis. Atualizado trimestralmente.
O Zeno AI Agent fez 45/50 (90%) no benchmark de SMC, contra 32/50 (64%) do Claude 4.7, 27/50 (54%) do ChatGPT-5 e 27/50 (54%) do Gemini 3. A diferença reflete a especialização no domínio — o Zeno é treinado especificamente para reconhecimento de padrões de SMC, e os LLMs gerais não. A metodologia completa e as atualizações trimestrais estão publicadas abaixo.
Resultados por categoria
Metodologia
Como o benchmark funciona
Cada teste apresenta uma captura de tela real do gráfico de um ativo importante (BTCUSDT, ETHUSDT, XAUUSD, EURUSD, NAS100) em um momento específico, junto com uma pergunta que testa uma habilidade de Smart Money Concepts. O modelo testado precisa responder em um formato estruturado que possamos pontuar de forma determinística (múltipla escolha ou saída de coordenadas para os limites).
Cada cenário é avaliado em relação a um gabarito estabelecido por três traders de SMC independentes (assinantes do plano Zeno que se ofereceram como avaliadores), cada um dos quais marcou o gráfico antes de ver a resposta de qualquer modelo. Um cenário só é considerado "correto" quando a resposta do modelo coincide com o gabarito de consenso.
Cinco categorias de teste
- Identificação de order blocks (12 cenários): identificar o candle exato e os limites de preço de um order block operável, dado um rompimento de estrutura impulsivo. Testa regras estritas de formação vs zonas permissivas.
- Detecção e status de mitigação de FVG (10 cenários): identificar Fair Value Gaps que AINDA NÃO foram mitigados. Testa o reconhecimento do padrão de três candles e o acompanhamento do histórico de preço.
- Reconhecimento de liquidity sweep (8 cenários): identificar se um pavio que ultrapassou um swing high/low anterior se qualifica como um sweep de caça a stops com rejeição. Testa a leitura da intenção institucional a partir da anatomia do candle.
- Classificação BOS / CHoCH (10 cenários): determinar se um rompimento de estrutura específico é um Break of Structure (continuação) ou um Change of Character (reversão). Testa o contexto da tendência predominante.
- Confluência multi-timeframe (10 cenários): dado um conjunto de gráficos que mostra três timeframes simultaneamente, identificar quais zonas de entrada estão alinhadas nos três. Testa a síntese entre janelas de contexto.
Por que os LLMs genéricos têm desempenho inferior
Os LLMs de uso geral são treinados com dados amplos da web, nos quais o conteúdo de SMC é uma pequena minoria do material de trading — a maior parte dos textos trata de indicadores tradicionais (RSI, MACD, médias móveis). Eles aprendem os conceitos de SMC de forma aproximada, com variação significativa entre definições. Também têm dificuldade com o raciocínio espacial preciso necessário para identificar os limites de um candle específico em uma captura de tela de gráfico.
O Zeno é um especialista. A detecção de padrões passa por uma lógica de SMC derivada de Pine Script (determinística), enquanto as explicações em linguagem natural são produzidas por um LLM ajustado (fine-tuned) com um corpus curado de SMC. A arquitetura faz com que o gabarito venha de regras, não do conhecimento de SMC memorizado pelo modelo.
Reproducibility
- O conjunto de 50 cenários de teste (gráficos + rótulos de gabarito, CC BY-NC 4.0) está disponível mediante solicitação — entre em contato para ter acesso ao conjunto de dados completo
- Os prompts usados em cada modelo estão documentados por cenário, incluindo a temperatura exata, o system prompt e o pré-processamento das imagens
- Cada modelo é executado 3 vezes por cenário; a pontuação é a resposta de consenso
- Versões dos modelos testados: Zeno (versão do 2º tri. de 2026), Claude 4.7 (padrão), GPT-5 (padrão), Gemini 3 (padrão)
- Qualquer pessoa pode reproduzir o benchmark em poucas horas usando seu próprio acesso à API
Perguntas frequentes
Por que os tamanhos dos testes são desiguais (8, 10, 10, 10, 12)?
As categorias têm complexidades intrínsecas diferentes. A identificação de order blocks tem mais cenários (12) porque há mais subcasos (OBs de alta vs de baixa, mitigados vs não mitigados, breaker blocks). Os liquidity sweeps têm menos (8) porque o padrão é mais uniforme. A quantidade por categoria reflete a distribuição natural das decisões de SMC que um trader realmente toma.
Um LLM genérico pode um dia igualar o Zeno em SMC?
Com engenharia de prompt suficiente e exemplos few-shot, os LLMs genéricos conseguem reduzir parte da diferença nas categorias mais simples. A confluência multi-timeframe e a classificação BOS/CHoCH continuam particularmente difíceis para eles, porque exigem sintetizar o contexto de várias imagens de gráfico. À medida que os modelos de fronteira melhorarem o raciocínio com múltiplas imagens, a diferença vai diminuir — é por isso que atualizamos trimestralmente.
Este benchmark é tendencioso a favor do Zeno?
Os cenários de teste são tirados de gráficos reais e avaliados por traders de SMC independentes antes de qualquer resposta de modelo ser vista. O painel de avaliação não sabe qual modelo produziu qual resposta. A metodologia é pública — qualquer pessoa pode montar conjuntos de teste alternativos e divulgar os próprios resultados. O conjunto de teste inclui cenários em que o Zeno também erra (5 de 50), que documentamos publicamente.
Como isso se compara ao recurso Quant da LuxAlgo?
O Quant da LuxAlgo é uma ferramenta de IA voltada ao marketing, sem benchmarks publicados, sem conjunto de teste público e sem documentação de metodologia. Publicamos o nosso justamente porque esse é o diferencial — capacidade de IA verificável, não capacidade de IA anunciada. Convidamos a LuxAlgo ou qualquer concorrente a rodar o mesmo benchmark na sua ferramenta e publicar os resultados.
Teste o Zeno nos seus próprios gráficos
Benchmarks são úteis, mas o único teste que importa é se o Zeno ajuda você a operar melhor nos seus próprios setups. O Zeno está incluído no plano Zeno ($79/mês). Cancele quando quiser.
Ver preços do Zeno →