Een model beoordelen: raakpercentage of goede kansen?

Hoi allemaal,

Ik werk aan een voetbalmodel bij ScoreSight en wil hier graag de methode bespreken. Een kleine evaluatie leverde een nuttige les op: even vaak de juiste uitslag aanwijzen betekent niet dat je kansen even goed zijn.

In een nog onvolledige groep van 62 wedstrijden met een marktvergelijking, uit zeven competities en gespeeld van 5 tot en met 12 oktober, hadden ons model en de markt allebei 32 keer de juiste 1X2-uitkomst als eerste keuze. Toch was de markt beter in het inschatten van de kansen: Brier-score 0,587778 tegenover 0,611695 voor het model. Lager is beter; die score beoordeelt de kansen op alle drie de uitkomsten.

Dit zijn geen 62 daadwerkelijk geplaatste bets. Ook wedstrijden waarbij het model geen selectie adviseerde zitten in de evaluatie. Het is dus geen ROI-overzicht en zeker geen bewijs dat we de bookmakers verslaan.

Voor een bruikbaar overzicht wil ik drie dingen apart houden: de vooraf geschatte kans, de toen beschikbare odds en de beslissing om wel of niet te spelen. Een theoretische faire odd is immers nog geen prijs die je kon pakken.

Hoe houden jullie dat bij? Kijken jullie naast rendement en raakpercentage ook naar de kwaliteit van de kansen en de slotkoers? Kritische opmerkingen zijn welkom; ik ben juist benieuwd wat jullie in zo'n evaluatie zouden willen terugzien.