Zeno AI Agent: resultados del benchmark SMC
Metodología pública de benchmark que compara Zeno AI Agent con los principales modelos de lenguaje de propósito general en 50 escenarios de trading con Smart Money Concepts construidos con rigor. La metodología, los datos de los gráficos y los prompts son reproducibles. Se actualiza cada trimestre.
Zeno AI Agent obtuvo 45/50 (90%) en el benchmark SMC, frente a Claude 4.7 con 32/50 (64%), ChatGPT-5 con 27/50 (54%) y Gemini 3 con 27/50 (54%). La diferencia refleja la especialización en el dominio: Zeno está entrenado específicamente para reconocer patrones SMC, algo que los LLM generales no están. Más abajo publicamos la metodología completa y las actualizaciones trimestrales.
Resultados por categoría
Metodología
Cómo funciona el benchmark
Cada prueba presenta una captura real del gráfico de un activo importante (BTCUSDT, ETHUSDT, XAUUSD, EURUSD, NAS100) en un momento concreto, junto con una pregunta que evalúa una habilidad de Smart Money Concepts. El modelo evaluado debe responder en un formato estructurado que podamos puntuar de forma determinista (opción múltiple o coordenadas para los límites).
Cada escenario se califica frente a una referencia correcta establecida por tres traders SMC independientes (suscriptores del nivel Zeno que se ofrecieron como evaluadores), y cada uno marcó el gráfico antes de ver la respuesta de cualquier modelo. Un escenario solo se considera "correcto" cuando la respuesta del modelo coincide con la referencia de consenso.
Cinco categorías de prueba
- Identificación de order blocks (12 escenarios): identificar la vela exacta y los límites de precio de un order block operable, dada una ruptura de estructura impulsiva. Evalúa reglas de formación estrictas frente a zonas permisivas.
- Detección de FVG y estado de mitigación (10 escenarios): identificar los fair value gaps que aún NO se han mitigado. Evalúa el reconocimiento del patrón de tres velas y el seguimiento histórico del precio.
- Reconocimiento de liquidity sweeps (8 escenarios): determinar si una mecha que superó un swing high/low previo cuenta como un sweep de caza de stops con rechazo. Evalúa la lectura de la intención institucional a partir de la anatomía de la vela.
- Clasificación BOS / CHoCH (10 escenarios): determinar si una ruptura de estructura concreta es un break of structure (continuación) o un change of character (giro). Evalúa el contexto de la tendencia dominante.
- Confluencia multitemporal (10 escenarios): a partir de un conjunto de gráficos que muestra tres temporalidades a la vez, identificar qué zonas de entrada están alineadas en las tres. Evalúa la síntesis entre ventanas de contexto.
Por qué los LLM genéricos rinden menos
Los LLM de propósito general se entrenan con datos amplios de la web, donde el contenido SMC es una pequeña minoría del material sobre trading: la mayoría de los textos tratan indicadores tradicionales (RSI, MACD, medias móviles). Aprenden los conceptos SMC de forma aproximada, con una variación considerable entre definiciones. Además, les cuesta el razonamiento espacial preciso necesario para identificar los límites de una vela concreta en una captura de gráfico.
Zeno es un especialista. La detección de patrones se ejecuta mediante lógica SMC derivada de Pine Script (determinista), mientras que las explicaciones en lenguaje natural las genera un LLM ajustado con un corpus SMC seleccionado. Gracias a esta arquitectura, la referencia correcta proviene de reglas, no del conocimiento SMC memorizado por el modelo.
Reproducibilidad
- El conjunto de prueba de 50 escenarios (gráficos + etiquetas de referencia, CC BY-NC 4.0) está disponible bajo petición: contáctanos para acceder al conjunto de datos completo
- Los prompts usados con cada modelo están documentados por escenario, incluida la temperatura exacta, el prompt de sistema y el preprocesamiento de imágenes
- Cada modelo se ejecuta 3 veces por escenario; la puntuación corresponde a la respuesta de consenso
- Versiones de los modelos evaluados: Zeno (versión del Q2 2026), Claude 4.7 (por defecto), GPT-5 (por defecto), Gemini 3 (por defecto)
- Cualquiera puede reproducir el benchmark en unas pocas horas con su propio acceso a la API
Preguntas frecuentes
¿Por qué los tamaños de las pruebas son desiguales (8, 10, 10, 10, 12)?
Las categorías tienen una complejidad intrínseca distinta. La identificación de order blocks tiene más escenarios (12) porque hay más subcasos (OB alcistas frente a bajistas, mitigados frente a no mitigados, breaker blocks). Los liquidity sweeps tienen menos (8) porque el patrón es más uniforme. El número de escenarios por categoría refleja la distribución natural de las decisiones SMC que un trader toma en la práctica.
¿Puede un LLM genérico igualar alguna vez a Zeno en SMC?
Con suficiente ingeniería de prompts y ejemplos few-shot, los LLM genéricos pueden reducir parte de la diferencia en las categorías más sencillas. La confluencia multitemporal y la clasificación BOS/CHoCH siguen siendo especialmente difíciles para ellos, porque exigen sintetizar el contexto de varias imágenes de gráficos. A medida que los modelos punteros mejoren su razonamiento con varias imágenes, la diferencia se reducirá; por eso actualizamos cada trimestre.
¿Está este benchmark sesgado a favor de Zeno?
Los escenarios de prueba se extraen de gráficos reales y los califican traders SMC independientes antes de ver la respuesta de cualquier modelo. El panel evaluador no sabe qué modelo dio cada respuesta. La metodología es pública: cualquiera puede crear conjuntos de prueba alternativos y publicar sus propios resultados. El conjunto de prueba incluye escenarios en los que Zeno también falla (5 de 50), que documentamos públicamente.
¿Cómo se compara con la función Quant de LuxAlgo?
Quant de LuxAlgo es una herramienta de IA impulsada por el marketing, sin benchmarks publicados, sin conjunto de prueba público y sin documentación de metodología. Nosotros publicamos los nuestros precisamente porque esa es la diferencia: capacidad de IA verificable, no capacidad de IA publicitada. Invitamos a LuxAlgo o a cualquier competidor a ejecutar el mismo benchmark con su herramienta y publicar los resultados.
Prueba Zeno en tus propios gráficos
Los benchmarks son útiles, pero la única prueba que importa es si Zeno te ayuda a operar mejor en tus propios setups. Zeno está incluido en el nivel Zeno ($79/mes). Cancela cuando quieras.
Ver precios de Zeno →