Saltar al contenido

Backtesting y validación

Backtesting: qué es, cómo hacerlo y qué errores evitar

El backtesting aplica reglas definidas a datos históricos. Muestra cómo se habría comportado una estrategia; no garantiza resultados futuros.

El backtesting aplica reglas definidas a datos históricos. Muestra cómo se habría comportado una estrategia; no garantiza resultados futuros. El resultado depende de las reglas, los datos y los supuestos de ejecución. Estas páginas explican qué conviene definir antes de calcular, cómo se encadenan la información y la orden, y qué errores distorsionan el resultado.

Dentro de las estrategias cuantitativas, esta es la prueba histórica.

Qué pregunta responde un backtest

La pregunta es esta: si unas reglas concretas se hubieran aplicado a un histórico, con un universo, un intervalo y unos costes declarados, qué operaciones habrían quedado y cómo habría evolucionado el capital simulado.

TradingView llama backtesting a recrear la estrategia sobre datos históricos, y forwardtesting a seguirla mientras llegan datos nuevos y el informe se actualiza. En este artículo, ese segundo ejercicio se llama seguimiento posterior. Releer un archivo cerrado y observar barras que aún no existían son evidencias distintas.

AmiBroker plantea el backtest como una forma de estudiar la regla antes de usar dinero real. Hace falta una entrada y una salida objetivas, y el informe describe el comportamiento bajo los ajustes elegidos.

Qué hay que definir antes

Una impresión que otra persona no puede repetir no es una regla. La guía de AmiBroker pide reglas objetivas, o mecánicas, de entrada y de salida.

Antes de calcular hay que fijar:

  • la entrada, la salida y el tamaño de la posición;
  • el universo, y si la lista es la de hoy o la que existía en cada fecha;
  • el periodo y la periodicidad de las barras;
  • el capital de partida y el trato del dinero que no está invertido;
  • las comisiones;
  • el precio de ejecución y el retraso entre la señal y la orden.

Si cambia un supuesto, el cálculo anterior deja de servir y hay que repetirlo.

De la información a la ejecución

Cada decisión solo puede usar la información que ya existiría. Lo demás es futuro, aunque la base de datos ya lo guarde.

Los tres pasos son la información disponible, la señal que esa información permite y la ejecución que se simula a continuación.

En este ejemplo, la señal se calcula una vez conocido el cierre y la ejecución se simula en la apertura siguiente. Es una convención del ejemplo, no una regla universal. Usar el cierre definitivo para decidir y suponer una ejecución a ese mismo precio puede introducir anticipación o una ejecución imposible. Otros modelos —órdenes al cierre, limitadas o stop— requieren justificar cuándo se envía la orden, qué información utiliza y cómo se simula su ejecución.

Cronología de entrada: cierre conocido, cálculo de la señal y ejecución simulada en la apertura de la sesión siguiente.
Figura 1. Ejemplo de entrada: la señal utiliza el cierre definitivo de una sesión y la ejecución se simula en la apertura de la siguiente. Ese precio de apertura todavía no se conoce al calcular la señal. Es una convención del ejemplo, no una regla universal ni una garantía de ejecución.

Los datos de una barra no siempre permiten conocer el orden de los movimientos dentro de ella. Si una entrada y una salida pueden ocurrir en la misma barra, la simulación debe explicitar qué secuencia supone y si los datos disponibles permiten sostenerla.

Errores que cambian el resultado

Anticipación. El sesgo de anticipación aparece cuando una decisión utiliza información que todavía no estaba disponible. Un problema distinto, aunque relacionado, es suponer una ejecución que no habría sido posible. Por ejemplo, conocer el cierre definitivo no garantiza poder negociar después a ese mismo precio.

Supervivencia. El sesgo de supervivencia aparece cuando la muestra conserva solo los activos o fondos que han llegado hasta hoy. Además, un histórico puede incluir un valor desaparecido y, aun así, omitir parte de su pérdida final. Por eso conviene comprobar tanto la composición histórica del universo como el tratamiento de las exclusiones de cotización.

Selección. El sesgo de selección aparece cuando se presenta la variante que mejor quedó después de probar varias. También cuando el periodo, el universo o un detalle de la regla se escogen porque mejoran la historia ya vista. El resultado mide entonces la búsqueda, no una idea fijada de antemano.

Sobreajuste. Hay sobreajuste cuando las reglas o sus parámetros describen los accidentes de un tramo. Un encaje muy fino, conseguido tras muchos intentos sobre los mismos datos, pide más reserva.

Costes y ejecución. Sin comisiones, o con otro precio de ejecución, la pregunta ya no es la misma. Simular la orden al cierre, simularla en la apertura siguiente o aceptar un tamaño mayor que el volumen negociado son supuestos distintos. La diferencia entre el precio deseado y el precio negociable depende del mercado, del tamaño y de la regla; este artículo no le asigna una cifra.

Qué mirar en el resultado

El beneficio final comprime ganancias y pérdidas en una sola cifra. Para leer la prueba hace falta el camino.

La curva de capital, también llamada curva de equity, es la serie del valor simulado de la cuenta en el tiempo. El drawdown mide cuánto ha caído el capital respecto de su máximo acumulado hasta cada momento. El máximo drawdown es la mayor de esas caídas durante el periodo analizado. Puede expresarse en importe o en porcentaje.

Curva de capital en base 100 y drawdown de REVERTIUM500 en AmiBroker, con separación de los tramos IS y OOS.
Figura 2. Ejemplo de curva de capital y drawdown de un backtest en AmiBroker con la plantilla de SMQuantum. Simulación histórica sobre el índice S&P 500, con datos de Norgate Data y sin deslizamiento; no representa resultados de una cuenta real.

Para interpretar la figura hay que saber qué representa el capital —incluida o no la liquidez— y con qué frecuencia se valora. Una curva calculada al cierre no describe necesariamente todas las pérdidas que pudieron producirse dentro de cada sesión.

La exposición ayuda a entender cuánto capital y durante cuánto tiempo estuvo comprometido en el mercado. Su definición debe indicarse, porque distintas métricas resumen aspectos diferentes. El número de operaciones completa la lectura: con muy pocas, cuesta separar la regla de un puñado de aciertos. Este texto no fija un mínimo de operaciones, un máximo drawdown aceptable ni una rentabilidad objetivo.

Dentro de la muestra y después de la prueba

La muestra de trabajo es el tramo usado para diseñar o elegir la regla. Un tramo que no participó en esa elección sigue siendo historia, y puede servir para evaluar lo ya definido.

Reservar datos fuera de muestra ayuda a separar el desarrollo de la evaluación. Esa separación pierde valor si el resultado se consulta repetidamente para modificar la estrategia o elegir entre muchas variantes. Deben registrarse tanto las pruebas realizadas como los cambios introducidos. Bailey, Borwein, López de Prado y Zhu estudian este problema cuando la simulación histórica sirve para elegir estrategias. Aquí no se reproduce su procedimiento ni se da por aplicado.

El seguimiento posterior aplica las reglas a barras que, al empezar, no estaban en el archivo. TradingView llama forwardtesting a la actualización del informe conforme llegan esos datos. Costes, precios y tamaño siguen declarados. Un seguimiento corto es una observación más.

Una lista para revisar la prueba

La lista comprueba si la prueba está descrita. No acredita la estrategia ni certifica rentabilidad.

  1. La entrada, la salida y el tamaño quedaron fijados antes de ver el resultado.
  2. El universo, el periodo y la periodicidad están declarados, incluida la situación de los valores que dejan de cotizar.
  3. Cada señal usa solo información que ya existía en ese momento.
  4. Queda declarado cuándo se envía la orden, con qué información y cómo se simula su ejecución. Conocer un precio no basta para dar esa ejecución por hecha.
  5. Las comisiones y el tamaño negociable de la orden forman parte del supuesto.
  6. Junto al resultado se han mirado el drawdown, el máximo drawdown, el número de operaciones y la exposición, con la definición que usa el informe.
  7. Constan las variantes probadas y los cambios introducidos al ver los resultados.
  8. Se distinguen el tramo usado para elegir la regla, un tramo no usado para elegirla y, si existe, el seguimiento con datos posteriores.
  9. Otra persona podría repetir la prueba con los mismos datos y los mismos supuestos.

Si falta alguno de estos datos, será más difícil interpretar o reproducir el resultado. Para conocer el entorno de trabajo utilizado en estos ejemplos, consulta la introducción a AmiBroker y AFL.

Fuentes y lecturas de apoyo

SMQuantum publica contenido formativo, informativo y de investigación cuantitativa. SMQuantum no presta asesoramiento de inversión personalizado: no formula recomendaciones adaptadas a tu situación financiera, tu cartera, tu perfil de riesgo, tus objetivos o tus circunstancias personales. Las decisiones de inversión que tomes son tuyas. Invertir y operar en los mercados financieros implica riesgo y puede producir pérdidas. Los resultados históricos, simulados o de backtest no garantizan resultados futuros. Más información en el Aviso legal.