Courbe ROC
Une courbe ROC est une représentation graphique des performances d'un modèle de classification binaire pour tous les seuils de classification. ROC signifie Receiver Operating Characteristic (caractéristique de fonctionnement du récepteur ou caractéristique de performance).
Exemple de courbe ROC
Nous souhaitons déterminer, sur la base d'un dépistage, si une personne est atteinte d'un cancer ou non.
Cette classification se fait à l'aide d'une certaine valeur sanguine, où des valeurs élevées indiquent un cancer. La question est maintenant de savoir quelle valeur nous choisissons comme seuil de classification. À partir de quelle valeur pouvons-nous prédire une maladie ?
Pour ce faire, nous obtenons les données de 10 personnes concernant le niveau de la valeur sanguine et la présence ou non d'une maladie.
Nous pourrions alors choisir un seuil de classification de 45, par exemple. Dans ce cas, sur les 5 personnes atteintes d'une maladie, nous en classerions correctement 4 comme "malades" et 1 comme "en bonne santé". Ainsi, nous avons correctement classé 4 personnes sur 5 comme "malades".
Cette valeur est appelée taux de vrais positifs (TPR) et est égale à la sensibilité.
En revanche, sur les 5 individus sains, 2 ont été mal classés comme "malades" et 3 correctement classés comme "sains". Nous avons donc mal classé 2 personnes sur 5 en tant que "malades". Cette valeur est appelée taux de faux positifs (FPR) et correspond à 1 - spécificité.
Ainsi, pour un seuil de 45, nous obtenons un taux de vrais positifs de 4/5, soit 0,8, et un taux de faux positifs de 2/5, soit 0,4.
Taux de vrais et de faux positifs
Le taux de vrais positifs (TPR) est calculé à l'aide de l'équation suivante :
Le taux de vrais positifs est égal au nombre de vrais positifs divisé par le nombre de vrais positifs plus le nombre de faux négatifs. Les vrais positifs sont ceux qui sont correctement classés comme malades et les faux négatifs sont ceux qui sont incorrectement classés comme sains.
Le taux de faux positifs (FPR) est obtenu à l'aide de l'équation suivante :
Le taux de faux positifs est égal au nombre de faux positifs divisé par le nombre de faux positifs plus le nombre de vrais négatifs. Les faux positifs sont les individus sains mal classés comme malades et les vrais négatifs sont les individus correctement classés comme sains.
Tracer la courbe ROC
Nous pouvons maintenant calculer, pour chaque seuil, le taux de vrais positifs et le taux de faux positifs. Ces deux valeurs sont ensuite reportées sur la courbe ROC. Le taux de vrais positifs est représenté sur l'axe des y (les ordonnées) et le taux de faux positifs sur l'axe des x (les abscisses).
Traçons maintenant la courbe ROC complète pour notre exemple !
Si nous choisissons une valeur seuil très faible, c'est-à-dire poussée complètement vers la gauche, nous classons correctement les 5 individus malades. Notre taux de vrais positifs est donc de 5 sur 5, soit 1.
De la même manière, cependant, nous classons à tort les 5 personnes saines comme "malades". Notre taux de faux positifs est donc de 5 sur 5, soit 1.
Ceci nous donne le premier point :
Nous pouvons maintenant pousser le seuil plus loin. Ici, nous continuons à classer correctement les 5 malades comme "malades". Cependant, sur les 5 individus sains, nous n'en classons plus que 4 sur 5 comme "malades". Nous avons donc 4 sur 5, soit 0,8.
Au seuil suivant, nous avons toujours un taux de vrais positifs de 1. Les 5 personnes malades sont correctement classées et le taux de faux positifs est de 3/5, soit 0,6.
Au seuil suivant, pour la première fois, une personne malade est mal classée comme "saine". On obtient donc un taux de vrais positifs de 4/5, soit 0,8, et un taux de faux positifs de 3/5, soit 0,6.
À ce stade, par exemple, 80 % des personnes malades ont été correctement classées comme "malades" et 20 % des personnes saines ont été incorrectement classées comme "malades".
Valeur de la SSC
La courbe ROC nous permet de comparer différentes méthodes de classification. Un modèle de classification est d'autant meilleur que la courbe est élevée. Par conséquent, plus l'aire sous la courbe est grande, meilleur est le classificateur. Cette aire est reflétée par la valeur AUC, c'est-à-dire l'aire sous la courbe.
La valeur de l'aire sous la courbe varie entre 0 et 1. Plus la valeur est élevée, meilleur est le classificateur.
Intervalle de confiance et valeur p de l'AUC
L'AUC est estimée à partir d'un échantillon et comporte donc une incertitude. Dans les publications, l'AUC est presque toujours indiquée avec un intervalle de confiance, par exemple « AUC = 0,83 (IC à 95 % de 0,75 à 0,91) ». numiqo calcule l'erreur standard de l'AUC selon la méthode de DeLong et, à partir de celle-ci, l'intervalle de confiance à 95 %. L'intervalle de confiance indique la plage dans laquelle se situe plausiblement la vraie discrimination du test : un intervalle étroit signifie une estimation précise, un intervalle large signifie que l'échantillon ne dit encore que peu de choses sur la qualité réelle du test.
De plus, numiqo indique une valeur p. Elle teste l'hypothèse nulle selon laquelle l'AUC est égale à 0,5, c'est-à-dire que le test ne discrimine pas mieux que le hasard. Cette valeur p ne doit toutefois pas être surestimée : qu'un test sérieusement étudié soit meilleur qu'un tirage à pile ou face est presque toujours le cas, de sorte qu'un résultat significatif ici n'a rien de surprenant. L'information véritablement intéressante est l'intervalle de confiance, car il montre à quel point le test discrimine et avec quelle précision cela est estimé — et pas seulement s'il est du tout meilleur que le hasard.
Indice de Youden et seuil optimal
La valeur de l'AUC nous indique dans quelle mesure un test discrimine globalement. Elle ne nous dit pas encore quel seuil utiliser en pratique. C'est précisément à cela que sert l'indice de Youden, généralement abrégé en J.
L'indice de Youden est calculé pour chaque seuil possible et est défini comme suit :
J = sensibilité + spécificité - 1
L'indice de Youden peut prendre des valeurs comprises entre 0 et 1. Si J est égal à 0, le point se situe exactement sur la diagonale, le test ne discrimine donc pas mieux que le hasard. Si J est égal à 1, la classification est parfaite, sans faux positifs ni faux négatifs. Intuitivement, l'indice de Youden est simplement la distance verticale entre la courbe ROC et la diagonale.
Le seuil optimal est alors le seuil pour lequel l'indice de Youden est le plus grand. C'est le point où la courbe ROC est la plus éloignée de la diagonale et où la sensibilité et la spécificité prises ensemble sont les meilleures.
Point important à noter : l'indice de Youden pondère de la même manière les cas manqués et les fausses alertes et ne tient pas compte de la fréquence réelle de la condition. Dans notre exemple de dépistage du cancer, il serait probablement bien plus grave de manquer une personne malade que de classer d'abord à tort une personne saine comme « malade ». Dans un tel cas, il peut être judicieux de choisir délibérément un autre seuil avec une sensibilité plus élevée, même si l'indice de Youden n'y est pas à son maximum.
numiqo calcule l'indice de Youden automatiquement et indique le seuil optimal ainsi que la sensibilité et la spécificité correspondantes dans le tableau « Seuil optimal (indice de Youden) ».
Rapport de vraisemblance positif et négatif
Au seuil choisi, la sensibilité et la spécificité ne sont pas les seules mesures utiles. Les rapports de vraisemblance sont souvent indiqués en complément, car ils répondent à la question qui compte vraiment en pratique : dans quelle mesure un résultat de test modifie-t-il l'évaluation de la présence de la condition chez une personne ?
Le rapport de vraisemblance positif est défini comme suit :
LR+ = sensibilité / (1 - spécificité)
Il indique le facteur par lequel un résultat de test positif augmente la cote de la maladie. Un LR+ de 5, par exemple, signifie qu'un résultat positif est cinq fois plus probable chez une personne réellement atteinte de la maladie que chez une personne saine.
Le rapport de vraisemblance négatif est défini comme suit :
LR− = (1 - sensibilité) / spécificité
Il indique de façon correspondante comment la cote de la maladie change après un résultat de test négatif. Ici, de petites valeurs sont bonnes : un LR− faible suggère qu'un résultat négatif écarte de manière fiable la maladie.
Un avantage majeur des rapports de vraisemblance est qu'ils ne dépendent pas de la prévalence, c'est-à-dire de la fréquence de la condition dans le groupe examiné. En règle générale approximative, un LR+ supérieur à 10 ou un LR− inférieur à 0,1 constitue une preuve forte. numiqo indique les deux valeurs au seuil optimal dans le tableau « Seuil optimal (indice de Youden) ».
Lorsque des valeurs faibles indiquent la condition
Dans notre exemple, des valeurs sanguines élevées indiquent une maladie. Pour de nombreuses mesures, c'est l'inverse : des valeurs faibles indiquent la condition, par exemple l'hémoglobine ou la fonction de pompe du cœur. Pour la courbe ROC, il est crucial de savoir dans quel sens va la relation, car cela détermine à partir de quel seuil un cas compte comme positif.
Ce sens doit être défini à partir de connaissances du domaine et non lu dans les données : si vous choisissiez toujours automatiquement le sens qui semble le meilleur, l'AUC ressortirait systématiquement trop élevée. Dans numiqo, vous indiquez donc vous-même si des valeurs élevées ou faibles indiquent l'état positif. Si vous choisissez le mauvais sens, vous le remarquez immédiatement à une AUC inférieure à 0,5 — il suffit alors de sélectionner l'autre sens.
Courbe ROC et régression logistique
Mais qu'en est-il de la courbe ROC et de la régression logistique ? Nous pourrions, par exemple, créer un nouveau classificateur utilisant la régression logistique. Dans ce cas, nous pourrions utiliser, en plus de la valeur sanguine, l'âge et le sexe de la personne.
Dans une régression logistique, la valeur estimée est alors la probabilité qu'une personne donnée soit atteinte de la maladie.
Très souvent, 50 % est alors simplement considéré comme le seuil permettant de déterminer si une personne est malade ou non. Mais bien sûr, ce n'est pas forcément le cas ! N'importe quel seuil peut être utilisé.
Par conséquent, nous pouvons également créer une courbe ROC pour les différentes valeurs de seuil dans la régression logistique.
Créer une courbe ROC avec numiqo
Bien entendu, nous pouvons facilement créer une courbe ROC en ligne avec numiqo. Pour ce faire, il suffit de copier nos données dans ce tableau et de cliquer sur Calculatrice ROC. Vous pouvez également créer une courbe ROC dans le Calculateur de régression dans Régression logistique.
Il nous suffit maintenant de sélectionner les deux variables Malade et Valeur sanguine et de spécifier ce que nous considérons comme un événement positif, dans notre cas la réponse "oui". Nous obtenons alors la courbe ROC. Dans le tableau situé sous la courbe ROC, nous trouvons la valeur seuil respective pour chaque point de la courbe ROC.
