Slovník pojmů

Křížová validace (k-fold cross-validation)

Definice

Křížová validace odhaduje, jak dobře bude model fungovat na nových datech. Data se rozdělí na k částí (typicky 5 nebo 10); model se k-krát natrénuje na k − 1 částech a otestuje na zbývající, a výsledky se zprůměrují. Je spolehlivější než jediné rozdělení na trénovací a testovací sadu, zvlášť u menších souborů.

Data mining a strojové učení

Chyba na trénovacích datech je vždy optimistická — model si data „pamatuje“. Křížová validace ji nahrazuje realistickým odhadem a slouží i k volbě parametrů (hloubka stromu, počet stromů, síla regularizace) a k porovnání různých typů modelů na stejném základě.

U časových řad nepoužívejte náhodné rozdělení, ale postupné (trénink na minulosti, test na budoucnosti). U silně nevyvážených tříd rozdělujte stratifikovaně, aby každá část obsahovala menšinovou třídu.

V Statistice

Křížová validace je vestavěná ve stromových metodách, boostingu, náhodných lesích, neuronových sítích i shlukování v nabídce Data Mining (v-fold cross-validation), rozdělení na trénovací/testovací sadu nastavíte jednou proměnnou nebo náhodným podílem. V prostředí Workspace porovnáte několik modelů naráz podle validované chyby, zisku a ROC.

Související pojmy

Návody v knowledgebase

Časté otázky

Kolik dílů (k) zvolit?
Obvykle 10; u velkých dat stačí 5, u velmi malých leave-one-out. Vyšší k znamená přesnější odhad, ale delší výpočet.
Stačí jedno rozdělení na trénink a test?
U velkých souborů ano (např. 70/30); u menších je odhad z jediného rozdělení příliš nahodilý — použijte křížovou validaci.

Vyzkoušejte to na vlastních datech

Statistica na 30 dní zdarma

Plná verze bez platební karty, kompletně v češtině. Nebo si nechte poslat orientační cenu za minutu.