Qu'est-ce que la valeur p ?

La valeur p indique la probabilité que le résultat observé ou un résultat encore plus extrême se produise si l'hypothèse nulle est vraie.

La valeur p est utilisée pour décider si l'hypothèse nulle est rejetée ou conservée (non rejetée). Si la valeur p est inférieure au seuil de signification défini (souvent 5 %), l'hypothèse nulle est rejetée, sinon elle ne l'est pas.

Vous souhaitez vérifier une affirmation concernant la population et vous avez formulé une hypothèse à ce sujet. Comme il n'est généralement pas possible de sonder l'ensemble de la population, vous interrogez un échantillon. Or, cet échantillon, du fait du hasard, s'écartera très probablement de la population.

Si l'hypothèse nulle s'applique à votre population, par exemple que le salaire des hommes et des femmes ne diffère pas, il y aura le plus souvent une différence dans l'échantillon, par exemple une différence de 300 euros par mois. La valeur p vous indique la probabilité qu'une différence de 300 euros ou plus se produise par hasard dans l'échantillon s'il n'y a pas de différence dans la population.

Si le résultat a une probabilité très faible, vous pouvez bien sûr vous demander si l'hypothèse concernant la population est vraie.

Si la valeur p est de 3 %, par exemple, cela signifie que, s'il n'y a réellement aucune différence dans la population, on obtiendrait un écart de 300 euros ou plus dans seulement 3 % des échantillons.

Quand la valeur p est-elle utilisée ?

La valeur p est utilisée pour rejeter ou conserver (ne pas rejeter) l'hypothèse nulle dans un test d'hypothèse. Si la valeur p calculée est inférieure au seuil de signification, qui est dans la plupart des cas de 5 %, l'hypothèse nulle est rejetée, sinon elle n'est pas rejetée.

Exemple :

• L'hypothèse nulle est qu'il n'y a pas de différence entre les salaires des hommes et des femmes.
• On prélève un échantillon avec les salaires des hommes et des femmes. Voici les résultats observés.
• Nous supposons que l'hypothèse nulle est vraie, c'est-à-dire qu'il n'y a pas de différence entre les salaires des hommes et des femmes.
• Dans le résultat observé (échantillon), nous constatons que les hommes gagnent 150 € de plus par mois que les femmes.
• La valeur p indique maintenant la probabilité de tirer un échantillon dans lequel le salaire des hommes et des femmes diffère de 150 € ou plus, même s'il n'y a pas de différence dans la population.
• Si la valeur p est par exemple de 0,04, cela signifie que, s'il n'y a pas de différence de salaire dans la population, seuls 4 % des échantillons présenteraient une différence de 150 € ou plus.

Admettons qu'une valeur p de 0,04 ou de 4 % soit obtenue dans le cas ci-dessus, qu'est-ce que cette valeur p signifie maintenant ? Cela signifie que s'il n'y a pas de différence de salaire dans la population, il n'y a que 4 % de chances de tirer un échantillon dans lequel la différence de salaire est supérieure ou égale à 150 €.

Attention : une valeur p de 0,04 ne signifie pas qu'il y a 4 % de chances que l'hypothèse nulle soit vraie. Elle décrit la probabilité d'observer ces données, ou des données encore plus extrêmes, en supposant que l'hypothèse nulle est vraie.

La probabilité de 4 % est évidemment très faible, de sorte que l'on peut se demander s'il est vrai que les hommes et les femmes de la population gagnent le même salaire ou si cette hypothèse doit plutôt être rejetée.

La question de savoir à partir de quand l'hypothèse nulle est rejetée relève du niveau de signification.

Niveau de signification

Le niveau de signification est déterminé avant le test. Si la valeur p calculée est inférieure à cette valeur, l'hypothèse nulle est rejetée, sinon elle n'est pas rejetée. En règle générale, on choisit un niveau de signification de 5 %.

• p ≤ 0,01 : résultat très significatif.
• 0,01 < p ≤ 0,05 : résultat significatif.
• p > 0,05 : résultat non significatif.

Le seuil de signification alpha correspond au risque d'erreur de première espèce. Qu'est-ce que cela signifie ? Si l'hypothèse nulle est vraie, un test réalisé avec alpha = 5 % la rejettera à tort dans environ 5 % des études répétées. Cela ne veut pas dire qu'une hypothèse nulle rejetée a 5 % de chances d'être vraie. Si l'on abaisse le seuil à 1 %, ce risque d'erreur diminue, mais il devient aussi plus difficile de mettre en évidence un effet réellement existant.

Valeurs p unilatérales

Supposons que vous examiniez le temps de réaction de deux groupes. Souvent, on ne cherche pas seulement à savoir s'il y a une différence entre les deux groupes, mais si un groupe a une valeur plus grande ou plus petite que l'autre. Dans ce cas, vous devez formuler une hypothèse dirigée et calculer ce que l'on appelle une valeur p unilatérale.

Pour les tests courants dont la distribution est symétrique, la valeur p unilatérale s'obtient en divisant la valeur p bilatérale par 2. Ici, bien sûr, il faut veiller à ce que la différence ou l'effet observé aille dans le sens de l'hypothèse alternative.

Exemple

Votre hypothèse alternative est que les valeurs de temps de réaction du groupe A sont supérieures à celles du groupe B. En analysant vos données, vous obtenez une valeur p bilatérale de 0,04.

Vous devez maintenant vérifier si le groupe A présente réellement des valeurs plus élevées dans vos données. Si c'est le cas, la valeur p bilatérale est divisée par deux, ce qui donne 0,02.

Si ce n'est pas le cas et que l'effet ou la différence va exactement dans l'autre sens que celui formulé dans l'hypothèse alternative, votre valeur p est de 1 − 0,02, soit 0,98.

Plus simplement avec numiqo, il vous suffit de spécifier le type d'hypothèse que vous avez, et numiqo vous aidera à l'évaluer.

Calculer la valeur p

Pour calculer la valeur p, il faut d'abord trouver un test d'hypothèse approprié. Si le test d'hypothèse approprié est trouvé, vous pouvez calculer la valeur p dans la calculatrice de statistiques de numiqo. Les tests d'hypothèse les plus connus sont les suivants :

• Test t
• Analyse de corrélation
• Test de khi-deux
• Analyse de régression

Le calcul de la valeur p nécessite la distribution de la statistique de test sous l'hypothèse nulle. Cette distribution décrit comment la statistique de test varierait d'un échantillon à l'autre si l'hypothèse nulle était vraie. Les représentants classiques de ces distributions sont la distribution t et la distribution du khi-deux.

Distribution t

Distribution du khi-deux

Tests statistiques et valeur p

Pour rejeter ou maintenir une hypothèse, on a besoin de la valeur p. La procédure d'utilisation de la valeur p pour les tests statistiques est maintenant la suivante :

• Définition de la valeur p critique ou du seuil de signification, par exemple 5 %.
• Définition d'une procédure de test statistique, par exemple, les tests t ou l'analyse de corrélation.
• Calcul des statistiques du test à partir de l'échantillon, par exemple, la valeur t dans le test t.
• Détermination de la valeur p pour les statistiques du test, par exemple, valeur p pour un t donné dans le test t.
• Vérifier si la valeur p est supérieure ou inférieure à la valeur p critique spécifiée par exemple, une valeur p de 1 % se situe sous la valeur critique de 5 %.

Enfin, un résultat significatif ne dit pas si l'effet est grand ou important en pratique. Indiquez donc toujours la valeur p avec la taille de l'effet et, si possible, un intervalle de confiance. Comme un même effet donne une valeur p d'autant plus petite que l'échantillon est grand, un effet très petit peut devenir significatif dans un grand échantillon. À l'inverse, un résultat non significatif ne prouve pas qu'il n'y a aucun effet : il peut simplement refléter un échantillon trop petit ou une variabilité trop forte.