Backtesting w praktyce — proces walidacji krok po kroku

Backtest robi prawie każdy, kto poważnie podchodzi do strategii — ale uczciwy proces walidacji jest rzadkością i to on odróżnia konto, które przeżyje pierwszy rok, od konta wymiecionego w trzecim miesiącu. W tym tekście pokazuję, jak ustawić cały tor: od spisania reguł, przez wybór historii i podział danych, walk-forward, demo, aż do pierwszego mikro-lota live. To nie instrukcja jednego testu, lecz dyscyplina prowadzenia strategii od pomysłu do rachunku.

Po co zamieniać backtest w wieloetapowy proces

Pojedynczy backtest pokazuje liczbę, której nie znasz. Strategia zarobiła trzydzieści procent — złapała przewagę, czy trzysta razy ją optymalizowałeś, aż jedna kombinacja parametrów dopasowała się do szumu? Sam wynik nie odpowiada. Daje to proces, który odbiera traderowi możliwość uczenia się danych, na których strategia będzie oceniana. Każdy następny etap jest sitem o coraz mniejszych oczkach. Rzemiosło pojedynczego testu opisałem w artykule o poprawnym backteście strategii; tutaj koncentruję się na całej dyscyplinie, która zaczyna się długo przed pierwszym kliknięciem „Start" i kończy długo po nim.

Reguły na papierze, bez interpretacji

Strategia, której nie da się przepisać na język programowania lub dokładną kartkę reguł, nie jest gotowa do testowania. Pierwszy krok to spisanie warunków wejścia, wyjścia, stop lossa, take profita i wielkości pozycji tak, by drugi człowiek czytający ten sam dokument zawarł identyczne transakcje. „Wchodzę, gdy widzę trend" to nie reguła, lecz wrażenie. Sprawdzalna wersja brzmi: „kupuję na zamknięciu świecy dziennej, gdy EMA z pięćdziesięciu sesji jest powyżej EMA z dwustu, RSI(14) poniżej siedemdziesięciu, a cena dotyka średniej z dwudziestu sesji od góry; stop loss 1,5 ATR(14) poniżej wejścia, cel 2,5 ATR powyżej; ryzyko jeden procent rachunku". Sama dyscyplina spisywania odsiewa większość pomysłów przed testem.

Okno danych musi przykryć więcej niż jeden reżim

Drugim filtrem jest historia. Reguła, której się trzymam: dla strategii dziennych minimum dziesięć lat, dla daytradingu na M30 i M15 pięć, dla scalpingu minimum dwa lata z prawdziwych tików, nie z syntetycznej historii brokera. W ostatniej dekadzie zmieściły się długie trendy na DXY (2014–2017), szoki zmienności (marzec 2020), cykl podwyżek stóp (2022–2023) i powrót do konsolidacji (2024). Strategia działająca tylko w jednym z tych światów nie jest strategią, lecz złudzeniem dopasowanym do epoki. Mniej niż sto transakcji na pięciu latach to próba za mała — sto to dolny próg istotności, profesjonaliści celują w trzysta.

Podział na in-sample i out-of-sample

Trzeci etap to świadome odebranie sobie części danych. Dzielisz historię na dwa bloki: siedemdziesiąt procent in-sample, na którym wolno optymalizować, oraz dwadzieścia pięć do trzydziestu procent out-of-sample, którego nie wolno dotknąć aż do końca optymalizacji. Out-of-sample to sito uczciwości — pokazuje, czy parametry znalezione na danych treningowych mają jakąkolwiek wartość poza nimi. Jeżeli na IS masz osiemdziesiąt procent skuteczności i profit factor 2,4, a na OOS pięćdziesiąt procent i profit factor 1,1 — właśnie złapałeś samego siebie na curve-fittingu. Strategia z dwunastoma procentami rocznie na IS i jedenastoma na OOS jest realnie lepsza niż ta z trzydziestoma na IS i ośmioma na OOS. Szukasz spójności, nie maksimum.

Walk-forward jako sito o najmniejszych oczkach

Pojedyncze rozcięcie IS i OOS daje tylko jedną liczbę. Walk-forward powtarza go pięć–siedem razy z różnymi punktami startu: pierwszy in-sample to 2018–2021, out-of-sample 2022; drugi przesuwa się do 2019–2022 i OOS 2023; i tak dalej. Dla każdego okna optymalizujesz na nowo, zamrażasz zwycięskie parametry, testujesz na out-of-sample, zapisujesz wynik, przesuwasz okno. Po pięciu–siedmiu cyklach średnia OOS jest najuczciwszym przybliżeniem tego, co da rachunek live. WFE w przedziale 0,5–0,75 sygnalizuje strategię nadającą się do wdrożenia; poniżej 0,3 to dowód curve-fittingu i sygnał, żeby uprościć logikę. Mechanikę toczącego się okna oraz różnicę między kroczącym a zakotwiczonym opisałem w artykule o analizie walk-forward; szerszy kontekst — w sekcji backtesting i forward testing na MyBank.pl.

„Test poza próbą jest jedyną prawdziwą miarą jakości strategii. Jeżeli system nie utrzymuje przewagi na danych, których nie widział podczas optymalizacji, znaczy to, że został dopasowany do historii, a nie do rynku." — Robert Pardo, The Evaluation and Optimization of Trading Strategies, Wiley, 2008

Demo i mikro-lot live — etapy, w których strategia spotyka rzeczywistość

Strategia, która przeszła walk-forward, jest gotowa na demo, nie na pieniądze. Trzy do sześciu miesięcy forward testingu z parametrami zamrożonymi po ostatniej iteracji jest pierwszym testem w czasie rzeczywistym: na żywych spreadach, z prawdziwą sekwencją publikacji makro, z luką niedzieli wieczorem i godzinami płynności innymi niż w archiwum. Demo wyciąga rzeczy, których backtest nigdy nie pokazuje. Strategia uznana na historii za płynną może okazać się trudna do realizacji, bo sygnały występują w godzinach, w których śpisz albo jesteś w pracy. To nie są problemy danych — to problemy ciebie i twojego rynku w tym kwartale.

Po forward testingu nie wpuszczasz strategii od razu z pełną pozycją. Wpuszczasz ją z mikro-lotem — jedną dziesiątą docelowej wielkości — przez trzy do sześciu miesięcy obserwacji na żywych pieniądzach. Cel jest informacyjny: chcesz zobaczyć, jak różni się rzeczywista realizacja od demo, ile wynosi prawdziwy poślizg, jak broker zachowuje się przy publikacji NFP i jak ty reagujesz na realne, choć niewielkie straty. Tabela prowadzona przez wszystkie etapy ma cztery kolumny: in-sample, out-of-sample, demo, mikro-lot live. Im bliżej siebie liczby w czterech kolumnach, tym mniejsze ryzyko, że żyjesz w iluzji. Większy rozjazd to sygnał, żeby cofnąć się o etap, a nie skalować pozycję.

Hipotetyczny przykład — pełna ścieżka strategii breakoutowej

Strategia breakoutowa na EUR/USD, M30, z wejściem na wybiciu maksimum z dwudziestu świec i wyjściem na minimum z dziesięciu. Historia 2014–2023, in-sample 2014–2020, out-of-sample 2021–2023. Optymalizacja na IS: dwadzieścia trzy świece dla maksimum, jedenaście dla minimum, stop loss 1,4 ATR, skuteczność 58 procent, profit factor 1,72, zwrot dwadzieścia dwa procent rocznie. Te same parametry na OOS: skuteczność 54 procent, profit factor 1,51, zwrot osiemnaście procent rocznie. Pięć iteracji walk-forwardu daje WFE 0,71. Cztery miesiące dema potwierdzają poślizg pół pipsa większy od założonego. Mikro-lot live od stycznia daje skuteczność 51 procent po trzech miesiącach — niżej niż backtest, ale zysk netto pozostaje dodatni. W trzecim kwartale decyzja: skalujesz lub czekasz, jeżeli zmienność odbiega od historycznej. Liczby są ilustracyjne.

Co zrobić jutro

1. Spisz reguły strategii w pliku tekstowym z taką precyzją, by drugi człowiek czytający ten sam dokument zawarł identyczne transakcje — bez interpretacji, z dokładnymi wartościami parametrów, formułą stop lossa i take profita oraz wielkością pozycji wyrażoną jako procent rachunku.
2. Pobierz dane historyczne dla pary, którą faktycznie handlujesz: minimum dziesięć lat dla świec dziennych, pięć dla M30 i M15 oraz dwa z prawdziwych tików dla scalpingu; sprawdź, czy próba zawiera różne reżimy — trend, konsolidację, szoki zmienności i cykle stóp procentowych.
3. Podziel dane na siedemdziesiąt procent in-sample i dwadzieścia pięć do trzydziestu procent out-of-sample, nie ruszaj bloku OOS aż do końca optymalizacji, a następnie uruchom pięć–siedem iteracji walk-forwardu; jeżeli średnie WFE wychodzi poniżej 0,5 lub parametry skaczą o więcej niż pięćdziesiąt procent, uprość logikę zamiast szukać kolejnego testu.
4. Dla strategii, która przeszła walk-forward, uruchom trzy do sześciu miesięcy forward testingu na koncie demo z parametrami zamrożonymi po ostatniej iteracji, a potem kolejne trzy do sześciu miesięcy z mikro-lotem live; porównaj cztery zestawy wyników i dopiero gdy są spójne, skaluj pozycję, uzupełniając obraz symulacją Monte Carlo.
5. Czytaj wyniki przez pryzmat spójności, nie maksymalnego zwrotu: strategia z dwunastoma procentami rocznie na każdym etapie jest realnie lepsza niż ta z trzydziestoma na in-sample i ośmioma na out-of-sample; tło o tym, jak wypreparować przewagę, którą cały proces sprawdza, opisuję w artykule o odkrywaniu przewagi rynkowej.