Slovník pojmů

ROC křivka a AUC (citlivost a specificita)

Definice

ROC křivka zobrazuje, jak se u klasifikačního modelu mění citlivost (podíl správně zachycených pozitivních) a falešná pozitivita při posouvání rozhodovacího prahu. Plocha pod křivkou (AUC) shrnuje kvalitu modelu jedním číslem: 0,5 odpovídá náhodě, 1 dokonalému rozlišení; hodnoty nad 0,8 se považují za dobré.

Data mining a strojové učení

Výhodou AUC je nezávislost na zvoleném prahu a na poměru tříd, což celková přesnost nesplňuje — u 2 % pozitivních má model „vše negativní“ přesnost 98 %. Práh pak volíte podle nákladů na chyby: u screeningu nemoci preferujete citlivost, u schvalování úvěrů specificitu.

Doplňkovými nástroji jsou matice záměn, křivka zisku (gain/lift) používaná v marketingu a precision-recall křivka pro velmi nevyvážené třídy. Porovnávejte modely na testovacích datech, ne na trénovacích.

V Statistice

ROC křivky s AUC a klasifikační matice nabízejí logistická regrese, stromy, boosting, náhodné lesy i neuronové sítě; v nabídce Data Mining je navíc uzel Rychlé nasazení a porovnání modelů, který vykreslí ROC, zisk a lift pro několik modelů do jednoho grafu a spočítá optimální práh.

Související pojmy

Návody v knowledgebase

Časté otázky

Jaké AUC je dostatečné?
Záleží na úloze: 0,7 bývá použitelné v marketingu, v medicíně a kreditním riziku se očekává 0,8 a víc. Vždy je porovnávejte s dosavadní praxí.
Jak zvolit práh?
Podle poměru nákladů falešně pozitivních a falešně negativních; Youdenův index maximalizuje součet citlivosti a specificity.

Vyzkoušejte to na vlastních datech

Statistica na 30 dní zdarma

Plná verze bez platební karty, kompletně v češtině. Nebo si nechte poslat orientační cenu za minutu.