Outils de diagnostique
- niko
- 2 juil. 2018
- 2 min de lecture
Pour évaluer un classifieur, on dispose de plusieurs outils :
matrice de confusion :
permet de détecter les erreurs les plus fréquentes
courbe ROC :
graphiquement, on représente souvent la mesure ROC sous la forme d'une courbe qui donne le taux de vrais positifs (TVP = fraction des positifs qui sont effectivement détectés) en fonction du taux de faux positifs (TFP = fraction des négatifs qui sont incorrectement détectés)
score F1 :
La PRECISION est la proportion du vrai positif sur toutes les prédictions positives. Une précision de 1 signifie que vous n'avez pas de faux positifs, ce qui est bon parce que vous ne dites jamais qu'un élément est positif alors qu'il n'est pas. Le "RECALL" est la proportion de vrais positifs sur tous les éléments positifs réels. Un "RECALL" de 1 signifie que vous n'avez pas de faux négatif, ce qui est bon parce que vous ne dites jamais qu'un élément appartient à la classe opposée alors qu'il appartient réellement à votre classe. Si vous voulez savoir si vos prédictions sont bonnes, vous avez besoin de ces deux mesures. Vous pouvez avoir une "PRECISION" de 1 (alors quand vous dites que c'est positif, c'est vraiment positif), mais ont encore un "RECALL" très faible (vous avez prédit 3 bons positifs, mais j'ai oublié 15 autres). Ou vous pouvez avoir un bon "RECALL" et une mauvaise "PRECISION". C'est pourquoi vous pouvez vérifier F1-score, mais aussi tout autre type de f-score. Si l'une de ces deux valeurs diminue de façon spectaculaire, le score f le fait également. Mais sachez que dans de nombreux problèmes, nous préférons donner plus de poids à la précision ou au "RECALL" (dans la sécurité Web, il est préférable de bloquer à tort quelques bonnes demandes que de laisser aller quelques mauvaises).
AUC :
AUC signifie "aire sous la courbe ROC". Cette valeur mesure l'intégralité de l'aire à deux dimensions située sous l'ensemble de la courbe ROC (par calculs d'intégrales) de (0,0) à (1,1).
Commentaires