Régression logistique

La régression logistique est un cas particulier d'analyse de régression et est utilisée lorsque la variable dépendante est nominalement échelonnée. C'est le cas, par exemple, de la variable décision d'achat avec les deux valeurs "achète un produit" et "n'achète pas de produit".

L'analyse de régression logistique est donc le pendant de la régression linéaire, dans laquelle la variable dépendante du modèle de régression doit au moins être échelonnée par intervalles.

Avec la régression logistique, il est désormais possible d'expliquer la variable dépendante ou d'estimer la probabilité d'occurrence des catégories de la variable.

Si vous avez besoin de calculer une régression logistique, vous pouvez facilement utiliser la calculatrice d'analyse de régression ici sur numiqo.

Qu'est-ce qu'une régression logistique ?

Dans la forme de base de la régression logistique, des variables dichotomiques (0 ou 1) peuvent être prédites. Pour ce faire, la probabilité d'apparition de la valeur 1 (= caractéristique présente) est estimée.

En médecine, par exemple, une application fréquente consiste à déterminer quelles variables ont une influence sur une maladie. Dans ce cas, 0 pourrait signifier "non malade" et 1 "malade". Par la suite, l'influence de l'âge, du sexe et du statut tabagique (fumeur ou non) sur cette maladie particulière peut être examinée.

Régression logistique et probabilités

Dans la régression linéaire, les variables indépendantes (par exemple, l'âge et le sexe) sont utilisées pour estimer la valeur spécifique de la variable dépendante (par exemple, le poids corporel).

Dans la régression logistique, en revanche, la variable dépendante est dichotomique (0 ou 1) et la probabilité que l'expression 1 se produise est estimée. Pour revenir à l'exemple ci-dessus, cela signifie : quelle est la probabilité que la maladie soit présente si la personne considérée a un certain âge, un certain sexe et un certain tabagisme.

Calculer la régression logistique

Pour construire un modèle de régression logistique, l'équation de régression linéaire est utilisée comme point de départ.

Cependant, si une régression linéaire était simplement calculée pour résoudre une régression logistique, le résultat suivant apparaîtrait graphiquement :

Comme le montre le graphique, des valeurs comprises entre plus et moins l'infini peuvent être obtenues. L'objectif de la régression logistique est toutefois d'estimer la probabilité d'occurrence et non la valeur de la variable elle-même. Par conséquent, cette équation doit encore être transformée.

Pour ce faire, il est nécessaire de restreindre la plage de valeurs de la prédiction à la plage comprise entre 0 et 1. Pour s'assurer que seules les valeurs comprises entre 0 et 1 sont possibles, la fonction logistique f est utilisée.

Fonction logistique

Le modèle logistique est basé sur la fonction logistique. La particularité de la fonction logistique est que pour les valeurs comprises entre moins et plus l'infini, elle ne prend toujours que des valeurs comprises entre 0 et 1.

La fonction logistique est donc parfaite pour décrire la probabilité P(y=1). Si la fonction logistique est maintenant appliquée à l'équation de régression supérieure, le résultat est le suivant :

Cela garantit maintenant que, quelle que soit la plage des valeurs x, seuls les nombres compris entre 0 et 1 seront obtenus. Le nouveau graphique se présente désormais comme suit :

La probabilité que la variable dépendante dichotomique y prenne la valeur 1, pour des valeurs données des variables indépendantes, est donnée par :

Pour calculer la probabilité qu'une personne soit malade ou non en utilisant la régression logistique pour l'exemple ci-dessus, les paramètres du modèle b₁, b₂, b₃ et a doivent d'abord être déterminés. Une fois ces paramètres déterminés, l'équation de l'exemple ci-dessus est la suivante :

Méthode du maximum de vraisemblance

Pour déterminer les paramètres du modèle pour l'équation de régression logistique, la méthode du maximum de vraisemblance est appliquée. La méthode du maximum de vraisemblance est l'une des méthodes utilisées en statistique pour estimer les paramètres d'un modèle mathématique. Un autre estimateur bien connu est la méthode des moindres carrés, utilisée dans la régression linéaire.

La fonction de vraisemblance

Pour comprendre la méthode du maximum de vraisemblance, nous introduisons la fonction de vraisemblance L. L est une fonction des paramètres inconnus du modèle, dans le cas de la régression logistique, il s'agit de b₁,... b_n, a. Par conséquent, nous pouvons également écrire L(b₁,... b_n, a) ou L(θ) si les paramètres sont résumés en θ.

L(θ) indique maintenant la probabilité que les données observées se produisent. Avec la modification de θ, la probabilité que les données se produisent telles qu'elles ont été observées change.

Estimation du maximum de vraisemblance

L'estimateur du maximum de vraisemblance peut être appliqué à l'estimation de modèles non linéaires et linéaires complexes. Dans le cas de la régression logistique, l'objectif est d'estimer les paramètres b₁,... b_n, a, qui maximisent la fonction dite de log-vraisemblance LL(θ). La fonction de log-vraisemblance est simplement le logarithme de L(θ).

Pour cette optimisation non linéaire, différents algorithmes ont été établis au fil des ans, tels que la descente de gradient stochastique.

Régression logistique multinomiale

La régression logistique binaire est utilisée lorsque la variable dépendante comporte exactement deux catégories. Si elle comporte trois catégories mutuellement exclusives ou davantage, sans ordre naturel, une régression logistique multinomiale peut être utilisée. Pour des catégories ordonnées telles que faible, moyen et élevé, une régression logistique ordinale peut être plus appropriée.

La régression logistique multinomiale estime conjointement toutes les catégories de résultat dans un seul modèle. Une catégorie de résultat est d'abord choisie comme catégorie de référence. Si la variable dépendante comporte K catégories, le modèle estime K - 1 équations de coefficients. Chaque équation compare l'une des autres catégories à la catégorie de référence.

Exemple de régression logistique multinomiale

Supposons que la variable dépendante décrive le moyen de transport utilisé pour se rendre au travail, avec les catégories voiture, transports publics et vélo. Si vélo est choisi comme catégorie de référence, le modèle estime deux équations :

• voiture par rapport à vélo
• transports publics par rapport à vélo

Les équations sont estimées conjointement et non comme des régressions binaires séparées. Le modèle calcule une probabilité pour chaque catégorie, et les probabilités d'une observation ont toujours une somme égale à 1. Pour la classification, l'observation est affectée à la catégorie dont la probabilité estimée est la plus élevée.

Un coefficient indique comment une variable indépendante modifie la comparaison entre une catégorie affichée et la catégorie de référence, toutes les autres variables étant maintenues constantes. L'exponentiation du coefficient donne Exp(B), présenté comme un rapport de risque relatif (relative risk ratio). Le changement de la catégorie de référence modifie les comparaisons entre coefficients, mais pas les probabilités estimées ni l'ajustement global du modèle.

Un modèle par catégorie

Au lieu d'un seul modèle conjoint, il est aussi possible d'ajuster une régression logistique binaire distincte pour chaque catégorie, qui sépare cette catégorie de toutes les autres. Cette approche est appelée un-contre-reste. Avec les catégories voiture, transports publics et vélo, trois modèles sont estimés : voiture contre non voiture, transports publics contre non transports publics et vélo contre non vélo.

Comme ces modèles sont estimés indépendamment les uns des autres, chacun renvoie son propre score et les scores d'une observation n'ont pas une somme égale à 1. L'observation est affectée à la catégorie dont le score est le plus élevé. Le modèle multinomial conjoint est le choix naturel lorsque les catégories sont exhaustives et que l'intérêt porte sur leur comparaison avec une catégorie de référence. Un modèle par catégorie est plus robuste lorsqu'une catégorie compte peu de cas ou que le modèle conjoint ne converge pas, et chaque catégorie se lit comme un modèle à part entière.

Interprétation des résultats

Dans la régression logistique, la relation entre les variables indépendantes et la probabilité du résultat n'est pas linéaire. Les coefficients ne peuvent donc pas être interprétés de la même manière que dans la régression linéaire. Un coefficient de régression logistique indique plutôt comment le logarithme des cotes varie lorsqu'une variable indépendante augmente d'une unité, toutes les autres variables étant maintenues constantes. Comme cette échelle est difficile à interpréter directement, les coefficients sont généralement convertis en rapports de cotes (odds ratios).

Une variable indépendante ne doit pas être évaluée uniquement à partir d'une corrélation simple ou de sa valeur p. Il faut également tenir compte de la taille de l'effet, de l'intervalle de confiance, de la pertinence du contenu et de sa contribution à l'ajustement ou à la performance prédictive du modèle.

Les cotes sont calculées en mettant en relation les deux probabilités que y soit "1" et que y ne soit pas "1".

Ce quotient peut prendre n'importe quelle valeur positive. Si cette valeur est maintenant logarithmée, des valeurs entre moins et plus sont possibles à l'infini.

Ces logarithmes des cotes sont généralement appelés des "logits".

Pour faciliter l'interprétation d'un coefficient, on l'exponentie. On obtient ainsi le rapport de cotes exp(B). Un rapport de cotes égal à 1 signifie que les cotes ne changent pas. Une valeur supérieure à 1 indique des cotes plus élevées et une valeur inférieure à 1 des cotes plus faibles, toutes les autres variables étant maintenues constantes.

Pseudo-R au carré

Dans une régression linéaire, le coefficient de détermination R² indique la proportion de la variance expliquée. La régression logistique est toutefois estimée par maximum de vraisemblance et prédit des probabilités. La décomposition de la variance utilisée pour le R² classique ne s'applique donc pas de la même manière.

On utilise à la place des indicateurs fondés sur la vraisemblance, appelés pseudo-coefficients de détermination ou pseudo-R au carré. Ils décrivent l'amélioration du modèle estimé par rapport à un modèle ne contenant qu'une constante.

Ces indicateurs sont utiles pour apprécier approximativement l'ajustement du modèle, mais ils ne représentent pas une proportion de variance expliquée. Leurs différentes définitions peuvent donner des valeurs différentes et ne doivent pas être comparées comme si elles étaient identiques. Les mesures courantes sont le R-carré de Cox et Snell, le R-carré de Nagelkerke et le R-carré de McFadden.

Modèle nul

Pour calculer le coefficient de détermination de Cox et Snell et le coefficient de détermination de Nagelkerke, on a besoin de la vraisemblance du modèle dit nul L₀ et de la vraisemblance L₁ du modèle calculé. Le modèle zéro est un modèle dans lequel aucune variable indépendante n'est incluse, L₁ est la vraisemblance du modèle avec les variables indépendantes.

R-carré de Cox et Snell

Dans le carré R de Cox et Snell, le rapport de la fonction de vraisemblance du modèle zéro L₀ et L₁ est comparé. Plus le modèle entier est comparé au modèle zéro, plus le rapport entre L₀ et L₁ est faible. Le carré R de Cox et Snell est obtenu avec :

R-carré de Nagelkerkes

Le R-carré de Cox et Snell possède un maximum théorique inférieur à 1. Le R-carré de Nagelkerke le redimensionne de façon que son maximum théorique soit égal à 1. Une valeur plus élevée indique une amélioration plus importante par rapport au modèle nul, mais ne représente pas une proportion de variance expliquée.

R-carré de McFadden

Le R-carré de McFadden compare la log-vraisemblance du modèle complet à celle du modèle nul. Une valeur plus élevée indique une amélioration plus importante par rapport au modèle nul, mais ne s'interprète pas comme le R² d'une régression linéaire.

Test du khi-deux et régression logistique

Dans la régression logistique, le test du rapport de vraisemblance, fondé sur la loi du khi-deux, évalue si le modèle estimé avec des variables indépendantes s'ajuste mieux aux données qu'un modèle nul ne contenant qu'une constante.

Deux modèles emboîtés sont comparés : le modèle complet contenant les variables indépendantes sélectionnées et le modèle nul ne contenant aucune variable indépendante.

La statistique du khi-deux est calculée à partir de la différence entre les log-vraisemblances des deux modèles. Une valeur plus élevée indique une amélioration plus importante du modèle complet par rapport au modèle nul.

L'hypothèse nulle stipule que tous les coefficients des variables indépendantes sont égaux à 0. Ces variables n'améliorent alors pas l'ajustement du modèle. Si le seuil de signification choisi est de 0,05 et que la valeur p est inférieure à 0,05, l'hypothèse nulle est rejetée et le modèle est considéré comme globalement significatif. Ce test n'indique toutefois pas quelles variables indépendantes sont individuellement significatives.

Exemple de régression logistique

Un exemple de régression logistique est l'étude du comportement d'achat dans une boutique en ligne. L'objectif est de déterminer les facteurs d'influence qui amènent une personne à acheter "immédiatement", "plus tard" ou "pas du tout" dans la boutique en ligne après avoir visité le site web. La boutique en ligne fournit les données collectées à cette fin. La variable dépendante présente donc les trois caractéristiques suivantes :

• Achat immédiat
• Acheter plus tard
• N'achète rien

Le sexe, l'âge, le revenu et le temps passé dans la boutique en ligne sont disponibles en tant que variables indépendantes.

Après avoir copié le tableau ci-dessus dans la calculatrice de statistiques, vous obtiendrez les résultats suivants :