Concentration et loi des grands nombres

Ce que tu sais déjà. Tu sais calculer l’espérance et la variance d’une somme et d’une moyenne d’échantillon : $E(M_n) = \mu$ et $V(M_n) = \dfrac Vn$ (Terminale — Sommes de variables aléatoires). Tu as observé en simulation que la fréquence d’un événement se stabilise quand on répète l’expérience (Première — Simulation et échantillons). Ce chapitre démontre ce phénomène.

1. Inégalité de Bienaymé-Tchebychev

Théorème (inégalité de Bienaymé-Tchebychev). Soit $X$ une variable aléatoire d’espérance $\mu$ et de variance $V$. Pour tout réel $\delta > 0$ : $$P\big(|X - \mu| \geqslant \delta\big) \leqslant \frac{V}{\delta^2}.$$

Lecture. La probabilité que $X$ s’écarte de son espérance d’au moins $\delta$ est d’autant plus petite que la variance est petite et que l’écart $\delta$ est grand.

Forme avec l’écart type. En prenant $\delta = k\sigma$ ($k > 0$) : $P(|X - \mu| \geqslant k\sigma) \leqslant \dfrac{1}{k^2}$. Ainsi, quelle que soit la loi, au moins $75\,\%$ des valeurs sont dans $]\mu - 2\sigma\,;\,\mu + 2\sigma[$, et au moins $\dfrac89 \approx 89\,\%$ dans $]\mu - 3\sigma\,;\,\mu + 3\sigma[$.

Exemple. $X \sim \mathcal{B}(100\,;\,0{,}5)$ : $\mu = 50$ et $V = 25$. $P(|X - 50| \geqslant 10) \leqslant \dfrac{25}{100} = 0{,}25$, donc $P(40 < X < 60) \geqslant 0{,}75$. La valeur exacte de $P(|X - 50| \geqslant 10)$ est environ $0{,}057$ : la majoration est vraie mais grossière — son intérêt est de valoir pour toutes les lois.

→ S’entraîner : Exercice 1 · Exercice 2 · Exercice 3

2. Inégalité de concentration

Théorème (inégalité de concentration). Soit $(X_1, \dots, X_n)$ un échantillon d’une loi d’espérance $\mu$ et de variance $V$, et $M_n = \dfrac{X_1 + \dots + X_n}{n}$ sa moyenne. Pour tout réel $\delta > 0$ : $$P\big(|M_n - \mu| \geqslant \delta\big) \leqslant \frac{V}{n\,\delta^2}.$$

Démonstration. On applique Bienaymé-Tchebychev à $M_n$, qui a pour espérance $\mu$ et pour variance $\dfrac Vn$.

Exemple. On lance $1\,000$ fois un dé équilibré ; $M_{1000}$ est la moyenne des résultats. $\mu = 3{,}5$ et $V = \dfrac{35}{12}$. $P(|M_{1000} - 3{,}5| \geqslant 0{,}1) \leqslant \dfrac{35/12}{1\,000 \times 0{,}01} \approx 0{,}29$. Donc la moyenne est dans $]3{,}4\,;\,3{,}6[$ avec une probabilité d’au moins $0{,}71$.

Cas d’une fréquence. Si $X_i$ suit la loi de Bernoulli de paramètre $p$, $M_n = F_n$ est la fréquence des succès, et $V = p(1 - p) \leqslant \dfrac14$ (le maximum de $p \mapsto p(1-p)$ est atteint en $\frac12$). Donc $P(|F_n - p| \geqslant \delta) \leqslant \dfrac{1}{4n\delta^2}$.

→ S’entraîner : Exercice 4

3. Loi des grands nombres

Théorème (loi faible des grands nombres). Avec les notations précédentes, pour tout $\delta > 0$ : $$\lim_{n \to +\infty} P\big(|M_n - \mu| \geqslant \delta\big) = 0.$$

Démonstration. $0 \leqslant P(|M_n - \mu| \geqslant \delta) \leqslant \dfrac{V}{n\delta^2}$ et $\dfrac{V}{n\delta^2} \to 0$ : théorème des gendarmes.

Interprétation. Quand la taille de l’échantillon augmente, la moyenne observée se rapproche de l’espérance avec une probabilité qui tend vers $1$. Pour une fréquence : la fréquence d’un événement se rapproche de sa probabilité. C’est ce qui justifie l’approche « fréquentiste » des probabilités et les méthodes de simulation (Monte-Carlo).

Attention (erreur du joueur). La loi des grands nombres ne dit pas que le hasard « compense » : après cinq « pile », le sixième lancer donne encore « face » avec probabilité $\frac12$. Ce sont les proportions qui se stabilisent, sur un très grand nombre de répétitions, pas les écarts en nombre.

→ S’entraîner : Exercice 5

4. Déterminer une taille d’échantillon

Exemple (sondage). On veut estimer la proportion $p$ d’électeurs favorables à un projet, à $0{,}05$ près, avec un risque d’erreur d’au plus $5\,\%$. On ne connaît pas $p$, mais $V = p(1 - p) \leqslant \dfrac14$. Il suffit que $n \geqslant \dfrac{1/4}{0{,}05 \times 0{,}05^2} = 2\,000$ : interroger $2\,000$ personnes suffit.

→ S’entraîner : Exercice 6

5. Explorer avec Python

Comparer à la majoration. Pour $S_n \sim \mathcal{B}(n\,;\,p)$, Bienaymé-Tchebychev avec $\delta = \sqrt n$ donne $P\big(|S_n - pn| \geqslant \sqrt n\big) \leqslant \dfrac{np(1-p)}{n} = p(1 - p)$. Calculons la valeur exacte de $P(|S_n - pn| > \sqrt n)$ :

from math import comb, sqrt

def ecart(n, p):
    """P(|S - pn| > racine(n)) pour S de loi B(n, p)."""
    return sum(comb(n, k) * p**k * (1 - p)**(n - k)
               for k in range(n + 1) if abs(k - p * n) > sqrt(n))

for n in [100, 400, 1000]:
    print(n, round(ecart(n, 0.5), 4))   # 0.0352, 0.0402, 0.0463 : bien sous 0.25

Marche aléatoire. Un pion part de $0$ et fait $n$ pas de $+1$ ou $-1$ avec probabilité $\frac12$ chacun. Sa position $X_n$ est la somme de $n$ variables indépendantes d’espérance $0$ et de variance $1$ : $E(X_n) = 0$ et $\sigma(X_n) = \sqrt n$. La position moyenne par pas, $\dfrac{X_n}{n}$, tend vers $0$ (loi des grands nombres), mais $X_n$ s’éloigne typiquement de l’ordre de $\sqrt n$.

from random import choice

def marche(n):
    x = 0
    for i in range(n):
        x = x + choice([-1, 1])
    return x

print([marche(10000) for k in range(5)])   # positions de l'ordre de ±100 = racine(10000)

→ S’entraîner : Exercice 7 · Exercice 8

À retenir.

• Bienaymé-Tchebychev : $P(|X - \mu| \geqslant \delta) \leqslant \dfrac{V}{\delta^2}$ ; au moins $1 - \dfrac1{k^2}$ des valeurs dans $]\mu - k\sigma\,;\,\mu + k\sigma[$.
• Concentration : $P(|M_n - \mu| \geqslant \delta) \leqslant \dfrac{V}{n\delta^2}$.
• Loi des grands nombres : $P(|M_n - \mu| \geqslant \delta) \to 0$ ; la fréquence tend vers la probabilité.
• Taille d’échantillon : $n \geqslant \dfrac{V}{\alpha\delta^2}$ (avec $V \leqslant \frac14$ pour une fréquence).