Loi des grands nombres et inégalité de concentration : méthode (Terminale)

La loi des grands nombres formalise une idée intuitive : plus on répète une expérience, plus la moyenne des résultats se rapproche de l'espérance. L'inégalité de Bienaymé-Tchebychev permet de quantifier ce rapprochement. Voici la méthode complète, au programme de Terminale spé.

1. La moyenne empirique d'un échantillon

On considère un échantillon de taille $n$ : des variables aléatoires $X_1,X_2,\dots ,X_n$ indépendantes et de même loi, d'espérance $\mu =E(X_i)$ et de variance ${\sigma }^2=V(X_i)$.

On définit la moyenne empirique :

$$M_n=\frac{X_1+X_2+\cdots +X_n}{n}$$

C'est elle-même une variable aléatoire. Calculons son espérance et sa variance.

Espérance de $M_n$

Par linéarité de l'espérance :

$$E(M_n)=\frac{1}{n}\left(E(X_1)+\cdots +E(X_n)\right)=\frac{1}{n}\times n\mu =\mu$$

La moyenne empirique a la même espérance que chaque $X_i$. On dit qu'elle est « centrée » sur $\mu$.

Variance de $M_n$

Les $X_i$ étant indépendantes, la variance d'une somme est la somme des variances, et $V(aX)=a^{2}V(X)$ :

$$V(M_n)=\frac{1}{n^2}\left(V(X_1)+\cdots +V(X_n)\right)=\frac{1}{n^2}\times n{\sigma }^2=\frac{{\sigma }^2}{n}$$

C'est le résultat clé : la variance $\frac{{\sigma }^2}{n}$ diminue quand $n$ augmente. Plus l'échantillon est grand, plus $M_n$ est « resserrée » autour de $\mu$.

2. L'inégalité de Bienaymé-Tchebychev

Pour toute variable aléatoire $X$ admettant une espérance et une variance, et pour tout réel $a>0$ :

$$P\left(|X-E(X)|\ge a\right)\le \frac{V(X)}{a^2}$$

Lecture : la probabilité que $X$ s'écarte de son espérance d'au moins $a$ est majorée. Plus la variance est petite (ou plus $a$ est grand), plus cet écart est improbable. C'est une majoration universelle : elle ne nécessite aucune hypothèse sur la loi de $X$.

3. L'inégalité de concentration appliquée à $M_n$

On applique Bienaymé-Tchebychev à la variable $M_n$, en utilisant $E(M_n)=\mu$ et $V(M_n)=\frac{{\sigma }^2}{n}$ :

$$P\left(|M_n-\mu |\ge a\right)\le \frac{{\sigma }^2}{n{a}^2}$$

C'est l'inégalité de concentration. Le membre de droite contient $n$ au dénominateur : quand $n$ grandit, la borne tend vers $0$.

4. La loi (faible) des grands nombres

Faisons tendre $n\to +\infty$ dans l'inégalité précédente. Pour tout $a>0$ fixé :

$$0\le P\left(|M_n-\mu |\ge a\right)\le \frac{{\sigma }^2}{n{a}^2}\underset{n\to +\infty }{\to }0$$

Donc, par encadrement :

$$\underset{n\to +\infty }{\lim }P\left(|M_n-\mu |\ge a\right)=0$$

Conclusion (loi faible des grands nombres) : quand $n$ devient grand, la moyenne empirique $M_n$ se concentre autour de l'espérance $\mu$ : la probabilité de s'en écarter notablement devient aussi petite que l'on veut.

5. Exemple résolu : quelle taille d'échantillon ?

Énoncé. On lance un dé équilibré $n$ fois et on note $M_n$ la moyenne des résultats. Chaque lancer a pour espérance $\mu =3,5$ et pour variance ${\sigma }^2=\frac{35}{12}\approx 2,92$. Combien de lancers faut-il pour garantir $P\left(|M_n-3,5|\ge 0,5\right)\le 0,05$ ?

Résolution. On part de l'inégalité de concentration avec $a=0,5$ :

$$P\left(|M_n-3,5|\ge 0,5\right)\le \frac{{\sigma }^2}{n\times 0,5^2}=\frac{2,92}{0,25n}=\frac{11,68}{n}$$

Il suffit donc d'imposer que cette borne soit inférieure à $0,05$ :

$$\frac{11,68}{n}\le 0,05⟺n\ge \frac{11,68}{0,05}=233,6$$

Comme $n$ est entier, $n\ge 234$ suffit. Attention : c'est une condition suffisante, pas la valeur « exacte ». L'inégalité de Tchebychev est volontairement grossière ; le vrai $n$ nécessaire est souvent bien plus petit.

6. Pièges à éviter

• Confondre $V(X_i)$ et $V(M_n)$. La variance de chaque tirage est ${\sigma }^2$ ; celle de la moyenne est $\frac{{\sigma }^2}{n}$. C'est cette division par $n$ qui fait toute la magie.
• Oublier l'indépendance. La formule $V(M_n)=\frac{{\sigma }^2}{n}$ repose sur l'indépendance des $X_i$. Sans elle, la variance d'une somme n'est pas la somme des variances.
• Lire l'inégalité « à l'envers ». Tchebychev majore $P(|M_n-\mu |\ge a)$, donc minore $P(|M_n-\mu |<a)$ : on est sûr d'au moins une certaine probabilité d'être proche, pas au plus.
• Croire que la borne est atteinte. $\frac{{\sigma }^2}{n{a}^2}$ peut dépasser $1$ (donc être inutile) pour $n$ petit. L'outil n'est intéressant que pour $n$ assez grand.
• Oublier la condition $a>0$. L'inégalité n'a de sens que pour un écart strictement positif.