365TravelGo – Išplėstas Backtest (1X2 / BTTS / Over 2.5 / Baseline)
Walk-forward testas. Kiekvienai rungtynei naudojami tik ankstesni FINISHED rezultatai. Prognozių: 72 iš 72 FINISHED rungtynių.
1. Modelių palyginimas
| Modelis | 1X2 Brier | 1X2 LogLoss | BTTS Brier | O2.5 Brier |
|---|---|---|---|---|
| BASELINE | 0.7108 | 1.3472 | 0.2336 | 0.2148 |
| V1 | 0.7823 | 1.3264 | 0.2356 | 0.2009 |
| V2 | 0.7391 | 1.2291 | 0.2296 | 0.2042 |
| V3 | 0.6942 | 1.1715 | 0.2259 | 0.2018 |
Mažesnė reikšmė = geriau. BASELINE = "prognozuok istorinį lygos dažnį iki tos rungtynės", be jokios komandų informacijos – tai minimali riba, kurią bet koks naudingas modelis turi pranokti.
2. Ar skirtumas yra realus, ar atsitiktinumas? (bootstrap testas)
| Palyginimas | Rinka | V3 geresnis % bandymų |
|---|---|---|
| V3 vs Baseline | 1X2 | 73.8% |
| V3 vs V2 | 1X2 | 100% |
| V3 vs Baseline | BTTS | 74.7% |
| V3 vs V2 | BTTS | 87.7% |
| V3 vs Baseline | O2.5 | 95.5% |
| V3 vs V2 | O2.5 | 78.1% |
| V1 vs V3 | O2.5 | 55.2% |
| V1 vs Baseline | O2.5 | 91.7% |
Paskutinės dvi eilutės: O2.5 rinkoje V1 (paprasčiausias modelis) backteste pasirodė geriausias iš visų keturių – šios eilutės parodo, ar tas pranašumas prieš V3 ir prieš baseline yra statistiškai patikimas, ar tik atsitiktinumas.
Interpretacija: 2000 atsitiktinių pakartotinių ėmimų (bootstrap) iš tų pačių rungtynių. Skaičius rodo, kokioje dalyje bandymų V3 turėjo mažesnę vidutinę klaidą. ~50% reikštų "jokio realaus skirtumo, tik atsitiktinumas". >90% – stiprus pagrindas manyti, kad skirtumas realus, bet su maža bendra imtimi (N=72) vis tiek reikia atsargumo darant galutines išvadas.