Loi normale multidimensionnelle

Un article de Wikipédia, l'encyclopédie libre.
Cet article est une ébauche concernant les probabilités et les statistiques.
Vous pouvez partager vos connaissances en l’améliorant. (Comment ?).

On appelle loi normale multidimensionnelle ou loi multinormale une loi de probabilité qui est la généralisation multidimensionnelle de la loi normale.

Contrairement à la loi normale classique, paramétrée par un scalaire μ correspondant à sa moyenne et un second scalaire σ2 correspondant à sa variance, elle est paramétrée par un vecteur \boldsymbol{\mu} de \mathbb{R}^p représentant son centre et une matrice \boldsymbol{\Sigma} de \mathbb{R}^p\times\mathbb{R}^p représentant sa matrice de variance-covariance.

Chaque élément \boldsymbol{\mu}_i de \boldsymbol{\mu} représente l'espérance de la variable aléatoire Xi. Chaque élément \boldsymbol{\Sigma}_{ij} de \boldsymbol{\Sigma} représente la covariance des variables aléatoires Xi, Xj et en particulier, chaque élément diagonal \boldsymbol{\Sigma}_{ii} de \boldsymbol{\Sigma} représente la variance \sigma^2_i de la variable aléatoire Xi.

Comme toute matrice de variance-covariance, la matrice \boldsymbol{\Sigma} est symétrique réelle, à valeurs propres positives ou nulles ; lorsque la loi multinormale est non dégénérée (c'est-à-dire qu'il n'existe aucune relation affine presque sûre entre les composantes du vecteur aléatoire), la matrice \boldsymbol{\Sigma} est à valeurs propres strictement positives : elle est définie positive ; dans ce cas, la loi multinormale admet une densité sur \R^p.

Sa fonction de densité est définie de \mathbb{R}^p dans \R de la manière suivante :

Pour un vecteur \boldsymbol{x} de \mathbb{R}^p et en notant \boldsymbol{\theta}=\left(\boldsymbol{\mu},\boldsymbol{\Sigma}\right)

f\left(\boldsymbol{x},\boldsymbol{\theta}\right)= \frac{1} {(2\pi)^{\frac{p}{2}}\textrm{det}\left(\boldsymbol{\Sigma}\right)^\frac{1}{2}}e^{ -\frac{1}{2}\left(\boldsymbol{x}-\boldsymbol{\mu}\right)'\boldsymbol{\Sigma}^{-1}\left(\boldsymbol{x}-\boldsymbol{\mu}\right) }.

On trouvera ci-dessous quelques précisions relatives à cette loi appelée aussi loi de Gauss à plusieurs variables.

Sommaire

[modifier] Rappel sur la variable de Gauss

Le théorème de la limite centrale fait apparaître une variable U\, de Gauss unitaire (moyenne nulle, variance unité) :

E[U] = 0 \qquad E[U^2] = 1
p_U(u) = \frac {1} {\sqrt{2 \pi}} e^{-{u^2} \over 2}\,

On passe à la variable de Gauss générale par le changement de variable

X = \sigma U + \mu \,

qui conduit à

E[X] = \mu \qquad E[(X-\mu)^2] = \sigma^2
p_X(x) = \frac {1} {\sigma \sqrt{2 \pi}} e^{-{(x-\mu)^2} \over {2 \sigma^2}}

Cette loi est caractérisée par une exponentielle comportant un exposant du second degré.

[modifier] Loi unitaire à plusieurs variables

Etant données n variables unitaires et indépendantes, leur densité de probabilité jointe s'écrit :

p_{U_1...U_n}(u_1,...,u_n) = \frac {1} {{(2 \pi)}^{n/2}} e^{-{1 \over 2} \sum_{j=1}^n u_j^2}

C'est la loi qui est à la base de la loi du χ².

Elle peut être synthétisée dans des formules matricielles. On définit d'abord le vecteur aléatoire \boldsymbol{U}\, qui a pour composantes les n variables et le vecteur d'état \boldsymbol{u}\, qui a pour composantes leurs valeurs numériques.

On peut associer au vecteur d'état le vecteur moyenne qui a pour composantes les moyennes des composantes, c'est-à-dire, dans ce cas, le vecteur nul :

E[\boldsymbol{U}] = \boldsymbol{0}\,

La matrice de covariance possède des éléments diagonaux (les variances) qui sont égaux à 1 tandis que les éléments non diagonaux (les covariances au sens strict) sont nuls : c'est la matrice unité. Elle peut s'écrire en utilisant la transposition :

E[\boldsymbol{U} \boldsymbol{U}^T] = \boldsymbol{I}\,

Enfin, la densité de probabilité s'écrit :

p_\boldsymbol{U}(\boldsymbol{u}) = \frac {1} {{(2 \pi)}^{n/2}} e^{-{1 \over 2} \boldsymbol{u}^T \boldsymbol{u}}

[modifier] Loi générale à plusieurs variables

Elle s'obtient à partir d'un changement de variable linéaire

\boldsymbol{X} = \boldsymbol{a} \boldsymbol{U} + \boldsymbol{\mu}

Le problème sera limité au cas d'une matrice \boldsymbol{a} carrée (même nombre de variables en sortie) et régulière. L'opérateur espérance vectoriel étant linéaire, on obtient le vecteur moyen

E[\boldsymbol{X}] = \boldsymbol{a} E[\boldsymbol{U}] + \boldsymbol{\mu} = \boldsymbol{\mu}\,

et la matrice de covariance

E[\boldsymbol{(X-\mu)} \boldsymbol{(X-\mu)}^T] = E[\boldsymbol{a} \boldsymbol{U} \boldsymbol{U}^T \boldsymbol{a}^T] = \boldsymbol{a}\boldsymbol{a}^T= \boldsymbol{s}\,

La densité de probabilité s'écrit

p_\boldsymbol{X}(\boldsymbol{x}) = \frac {1} {{(2 \pi)}^{n/2} \sqrt{\det \boldsymbol{s}}} e^{-{1 \over 2} \boldsymbol{(x-\mu)}^T \boldsymbol{s}^{-1} \boldsymbol{(x-\mu)}}

[modifier] Remarques diverses

  • Un nouveau changement de variables linéaire appliqué à \boldsymbol{X}\, aboutit à une densité de probabilité qui a la même forme mathématique :
\boldsymbol{Y} = \boldsymbol{b} \boldsymbol{X} + \boldsymbol{\nu} = \boldsymbol{b} \boldsymbol{a} \boldsymbol{U} + \boldsymbol{b} \boldsymbol{\mu} + \boldsymbol{\nu}
  • Les formules essentielles, obtenues commodément à partir du calcul matriciel, se traduisent en termes scalaires :
X_k = \sum_{j=1}^n {a_{kj}U_j}\,(k=1,n)\,
p_{X_1...X_n}(x_1,...x_n) = \frac {1} {{(2 \pi)}^{n/2} \sqrt{\det \boldsymbol{s}}} e^{-{1 \over 2} \sum_{j=1}^n \sum_{k=1}^n t_{jk} (x_j - \mu_j) (x_k - \mu_k)}

les t_{jk}\, étant les coefficients de l'inverse de la matrice de covariance.

  • L'exposant dans la formule qui précède est du second degré par rapport à toutes les variables. On vérifie qu'une intégration par rapport à l'une d'entre elles donne un résultat analogue. (n-1) intégrations successives aboutissent à une loi de probabilité marginale munie d'un exposant quadratique : chaque variable est une variable de Gauss, ce qui n'était pas évident a priori.
  • En combinant les remarques précédentes, on aboutit au résultat selon lequel toute combinaison linéaire, en d'autres termes, toute somme de variables de Gauss est une variable de Gauss.
  • Dans cette loi de probabilité jointe, à toute paire de variables décorrélées correspond une matrice de covariance diagonale, ce qui assure leur indépendance.
  • Le terme présent dans l'exponentielle \left(\boldsymbol{x}-\boldsymbol{\mu}\right)'\boldsymbol{\Sigma}^{-1}\left(\boldsymbol{x}-\boldsymbol{\mu}\right) est le carré de la distance de Mahalanobis.

[modifier] Voir aussi