Valida una estrategia sin sesgo retrospectivo · 5 / 5
Reserva datos de prueba sin filtrar resultados futuros
Un archivo llamado holdout no está intacto si sus resultados influyeron en la estrategia. Registra cuándo estuvo disponible cada dato y resultado, no solo el mes que etiqueta la fila.
Athenum8 minActualizado:
Fija la regla y el protocolo de evaluación
En este calendario hipotético, usa enero–marzo para desarrollar, abril para seleccionar y mayo–junio para la evaluación final. Al terminar abril, fija reglas, universo de activos, parámetros, costes, supuestos de ejecución y criterios de aceptación. Una media móvil puede usar precios históricos anteriores; la restricción afecta a la información futura, no obliga a olvidar el pasado.
Una operación de desarrollo abierta el 31 de marzo y cerrada el 2 de abril aún no tiene resultado realizado disponible al final de marzo. Ajustar el modelo con ese resultado y evaluarlo desde el 1 de abril como si ya estuviera fijado filtra información. Define previamente si excluirás del ajuste las etiquetas de resultado que se solapan o retrasarás la evaluación hasta conocerlas. La exclusión depende del horizonte real del resultado.
El preprocesamiento también tiene fecha de disponibilidad
Un escalador aprendido, la selección de variables o un modelo para completar datos faltantes deben ajustarse solo con las observaciones permitidas. Calcular sus parámetros sobre todo enero–junio antes de dividir puede introducir información de distribuciones futuras en decisiones anteriores. Aplica las transformaciones fijadas a observaciones posteriores. Una conversión determinista mediante una constante conocida es distinta.
Después de inspeccionar la prueba reservada, cualquier modificación inicia un nuevo ciclo de investigación. Si mayo influyó en un cambio del stop, mayo pasa a ser desarrollo o selección para esa regla revisada. Junio solo puede servir como una nueva prueba más corta si no ha influido directa ni indirectamente en las decisiones. En caso contrario, necesitas un periodo de evaluación realmente nuevo.
Un total combinado positivo no rescata una prueba final perdedora
Supón +12R en desarrollo, +3R en selección y −2R en la evaluación final, después de los costes declarados. El total combinado es +13R, pero el resultado de la prueba reservada sigue siendo −2R. Preséntalo por separado, con número de operaciones, condiciones e incertidumbre. Esta muestra no respalda la afirmación prevista de rendimiento positivo.
Si fijas el modelo al cierre del 30 de abril, los precios históricos y los resultados de abril ya completados pueden influir en la selección. Una operación abierta el 30 de abril y cerrada el 2 de mayo aún no tiene un resultado realizado conocido. Su desenlace posterior no puede introducirse silenciosamente en el ajuste anterior.
| Etapa | Periodo | Total neto | Función |
|---|---|---|---|
| Desarrollo | Enero–marzo | +12R | Construir reglas candidatas |
| Selección | Abril | +3R | Elegir y fijar una regla |
| Prueba reservada | Mayo–junio | −2R | Evaluar la regla fijada |
- Desarrollo
- 12 R
- Selección
- 3 R
- Prueba reservada
- -2 R
Un hueco arbitrario puede no eliminar el solapamiento
Omitir una vela alrededor del corte temporal no elimina automáticamente la filtración de una etiqueta cuyo desenlace abarca varios días. Audita cuándo estuvo disponible el objetivo o resultado realmente usado para ajustar. No elijas la longitud de exclusión después de ver qué configuración vuelve rentable la prueba reservada.
Antes de actuar
- Registra cuándo se fija el modelo y los criterios de aceptación.
- Audita la disponibilidad de resultados en cada corte.
- Ajusta el preprocesamiento aprendido solo con datos permitidos.
- Registra cada inspección y revisión de reglas.
- Presenta las pruebas fallidas separadas del desarrollo.
Comprueba lo aprendido
Un investigador ajusta la media y varianza de un escalador con enero–junio, entrena con enero–marzo y prueba con mayo–junio. ¿Dividir después de escalar mantiene intacta la prueba reservada?
Ver la respuesta explicada
No. La información de distribuciones futuras ya entró en el escalador. Ajusta el preprocesamiento aprendido con los datos permitidos, fíjalo y aplícalo a las observaciones posteriores. Después repite la evaluación con un protocolo que registre qué datos ya han sido inspeccionados.