5.2 Optimalisering og overtilpasning

Strategitesterne kan optimalisere: prøve tusenvis av kombinasjoner av innstillinger og finne den som ga best resultat. Det høres smart ut. Det er også den vanligste måten å lure seg selv på.

Overtilpasning

Overtilpasning (overfitting) betyr at roboten er tilpasset støyen i historiske data – ikke et mønster som gjentar seg. Jo flere innstillinger du optimaliserer, og jo flere kombinasjoner du prøver, desto større er faren.

Marcos López de Prado viser i Advances in Financial Machine Learning at når man tester mange nok varianter, vil noen av dem alltid se gode ut – rent tilfeldig.

Slik beskytter du deg

1. Del dataene. Optimaliser på de første 70 % av perioden (in-sample), og test på de siste 30 % som roboten aldri har «sett» (out-of-sample). Er resultatet mye dårligere der, er roboten trolig overtilpasset.

2. Walk-forward. Robert Pardo beskriver i The Evaluation and Optimization of Trading Strategies en metode der du gjentar dette flere ganger fremover i tid:

3. Få innstillinger. En robot med tre innstillinger er langt mer robust enn en med femten.

4. Se etter platåer. En god innstilling ligger midt i et område der mange verdier gir gode resultater. Hvis bare MA på 17 virker, mens 16 og 18 taper, er 17 trolig tilfeldig.

5. Test flere markeder. En robust idé virker ofte – i alle fall noenlunde – på flere lignende markeder.