Calcul des probabilités, Deug deuxième année

Gérard Letac^{∗}

I L’espace de probabilités (Ω, A, P).

Le calcul des probabilités est la science qui modélise les phénomènes aléatoires. Une modélisation implique donc certainement une simplification des phénomènes, mais cette simplification conduit à une quantification, donc à la possibilité de faire des calculs et à prédire. Le jet d’un dé, le tirage du Loto pourraient être analysés par les lois de la mécanique, mais ce serait trop compliqué pour être utile. La modélisation du calcul des probabilités a été inventée par A. N. Kolmogorov dans un livre paru en 1933. Cette modélisation est faite à partir de 3 objets (Ω, A, P) que nous allons décrire.

1.1 L’espace des observables Ω.

Nous conviendrons que effectuer une expérience, c’est sélectionner par un procédé quelconque un élément ω dans un ensemble Ω: jeter un dé est sélectionner un élément de Ω = {1, 2, 3, 4, 5, 6}; jeter ensemble deux dés rouge et vert est sélectionner un élément de l’ensemble Ω = {1, 2, 3, 4, 5, 6}^{2} des couples ordonnés (i, j) avec 1 ≤ i ≤ 6 et 1 ≤ j ≤ 6 (ici Ω a 36 points). Plus délicat: jeter ensemble deux dés indiscernables est sélectionner un élément de l’ensemble Ω des couples (i, j) avec 1 ≤ i ≤ j ≤ 6 (ici Ω a 6 + \frac{1}{2}6 × 5 = 21 points). Observer la durée de vie d’une ampoule de 100 watts est sélectionner un élément de Ω = [0, +∞[. Mesurer la durée de vie de 12 ampoules de 100 watts est sélectionner un élément de Ω = [0, +∞[^{12}.

Cet ensemble Ω est appelé l’espace des observables. On dit aussi dans la littérature l’espace échantillon, l’espace des évènements- élémentaires, l’expérimental ou encore l’évènementiel. Ses points ω sont appelés observables ou évènements- élémentaires. Il est très important qu’il soit clairement défini. On peut s’exercer à définir Ω dans les 2 cas suivants : jeter 12 fois de suite la même pièce de monnaie, jeter en même temps 12 pièces de monnaie identiques (on admet que la pièce tombe sur pile ou sur face, et jamais sur la tranche).

1.2 La tribu des évènements A.

Les questions qu’on se pose sur le résultat d’une expérience sont systématiquement du type suivant: on choisit un sous ensemble A de l’espace d’observables Ω et on se demande: le résultat ω de l’expérience va-t-il tomber dans A ou non? Les parties de Ω pour lesquelles on se pose ce genre de question sont appelées des évènements. Un des premiers points délicats de la théorie est que on ne va pas toujours considérer tous les sous ensembles de Ω comme des évènements. Dans l’exemple de la lampe de 100 watts, il parait inintéressant de se demander si sa durée de vie, mesurée en heures, est un nombre irrationnel, et intéressant de se demander si elle tombe dans l’intervalle [300, 400]. L’idée de Kolmogorov est que l’ensemble A des évènements a une structure de tribu, c’est-à-dire satisfait aux trois axiomes suivants

∗Université Paul Sabatier, 31062 Toulouse.

1. Si A ∈ A, alors son complémentaire A^{c} = Ω \ A est aussi dans A.

2. Si on a une suite finie ou dénombrable A_{1}, …, A_{n}, … d’éléments de A, alors leur réunion ⋃_{n≥1} A_{n} est aussi dans A.

3. L’ensemble vide ∅ est dans A.

Tirons quelques conséquences de ces axiomes.

Proposition 1.1: Soit A une tribu de parties de l’ensemble Ω. Alors Ω ∈ A. De plus, si on a une suite finie ou dénombrable A_{1}, …, A_{n}, … d’éléments de A, alors leur intersection ⋂_{n≥1} A_{n} est aussi dans A.

Démonstration: En appliquant les axiomes 1 et 3, on a le premier résultat. Pour le second, il suffit de se rappeler que le complémentaire d’une réunion finie ou infinie d’ensembles est l’intersection des complémentaires ("Loi de Morgan"). Donc

⋂_{n≥1} A_{n} = ( ⋃_{n≥1} A_{n}^{c})^{c},

et le deuxième membre de cette égalité est donc dans A : on applique successivement l’axiome 1, puis 2, puis 1 à nouveau.

Le langage de la théorie des ensembles permet des calculs systématiques sur les évènements. Toutefois, il faut savoir que le langage courant, que nous utilisons dans une première étape pour décrire des évènements a sa traduction ensembliste. Voici un petit dictionnaire :

Ensemble Ω: évènement certain Ensemble vide: évènement impossible A ∪ B: A ou B sont réalisés ("ou" non exclusif) A ∩ B: A et B sont réalisés A et B sont disjoints: les évènements A et B sont incompatibles A^{c} = Ω \ A: évènement contraire de A.

Le fait que on ne sorte pas de la famille des évènements intéressants à considérer en prenant une intersection ou une réunion d’évènements est raisonnable si ceux ci sont en nombre fini. Le fait de se permettre ceci également quand on en a une infinité est plus subtil: les mathématiques ne maniant que des ensembles finis sont élémentaires mais les résultats exacts auquels elles conduisent sont trop compliqués pour être utilisables.

Le passage à l’infini est le passage de l’algèbre à l’analyse, donc à des approximations maniables et à de puissantes techniques issues du calcul différentiel et intégral. Quant au fait que dans ce passage à l’infini, on se limite à une infinité dénombrable d’évènements, c’est un point technique qu’on ne justifiera que dans un cours de 3 ème année d’université. Rappelons qu’un ensemble E avec une infinité d’éléments est dit dénombrable si il existe une bijection entre E et l’ensemble N des entiers positifs: l’ensemble Q des nombres rationnels est dénombrable, le segment [0, 1] ne l’est pas, comme nous l’avons vu en première année.

Finalement, ce point délicat: "on ne considère pas nécessairement tout sous ensemble A de Ω comme un élément de la tribu A des évènements" ne jouera pas un grand rôle dans la suite. Typiquement, nous envisagerons deux cas particuliers importants:

• Le cas où Ω lui même est dénombrable, et nous prendrons comme tribu A la famille P(Ω) de tous les sous ensembles de Ω.

• Le cas où Ω est la droite réelle IR. Nous prendrons alors pour tribu A la tribu B (dite tribu de Borel, dont les éléments sont appelés des boréliens) qui est la plus petite tribu qui contient tous les intervalles de IR. On peut laborieusement démontrer que B ≠ P(IR); toutefois, une description complète des éléments de B n’est pas possible, et en fait pas très utile en pratique: les seuls boréliens que nous aurons à manipuler seront les intervalles (attention, IR ou une demi droite sont aussi des intervalles) ou des réunions finies, ou plus rarement, dénombrables, d’intervalles.

Ce ne sont pas les seuls espaces de probabilité utilisés: on verra le schéma Succès Echec à la section 2 et le cas Ω = IR^{2} ou IR^{n} plus tard.

1.3 La probabilité P.

Etant donnés un espace d’observables Ω et une tribu d’évènements A formée de certains sous ensembles de Ω, une probabilité P est une application de A dans [0, 1] , donc un procédé qui associe à tout évènement A un nombre P (A) compris entre 0 et 1 appelé probabilité de A, et qui satisfait aux axiomes suivants

• L’évènement certain est de probabilité 1: P (Ω) = 1.

• Axiome d’additivité dénombrable:

pour toute suite A_{1}, A_{2}, …, A_{n} … d’évènements de A qui sont de plus deux à deux disjoints, c’est à dire tels que A_{k} ∩ A_{j} = ∅ si k ≠ j, alors la série

∑_{k=1}^{∞} P (A_{k})

converge et a pour somme P (⋃_{k≥1} A_{k}).

Le triplet (Ω, A, P) est alors appelé un espace de probabilité. Voici quelques conséquences immédiates des axiomes.

Théorème 1.2 Soit (Ω, A, P) un espace de probabilité. Alors

1) P (∅) = 0.

2) Si A_{1}, A_{2}, …, A_{n} dans A sont deux à deux disjoints, alors

P (A_{1} ∪ ⋯ ∪ A_{n}) = P (A_{1}) + ⋯ + P (A_{n});

en particulier P (A^{c}) = 1 − P (A). Si les A_{1}, A_{2}, …, A_{n} ne sont pas nécessairement deux à deux disjoints, alors

P (A_{1} ∪ ⋯ ∪ A_{n}) ≤ P (A_{1}) + ⋯ + P (A_{n}).

3) Si A et B sont dans A et si A ⊂ B alors P (A) ≤ P (B).

4) Si A et B sont dans A, mais ne sont pas nécessairement disjoints, alors

P (A ∪ B) = P (A) + P (B) − P (A ∩ B).

Si les A_{1}, A_{2}, …, A_{n} dans A ne sont pas nécessairement deux à deux disjoints, alors

P (A_{1} ∪ ⋯ ∪ A_{n}) ≤ P (A_{1}) + ⋯ + P (A_{n}).

5) Continuités croissante et décroissante: Soit une suite B_{1}, B_{2}, …, B_{n} … d’évènements de A qui soit ou bien croissante (c’est à dire que pour tout n ≥ 1 on a B_{n} ⊂ B_{n+1}) ou bien décroissante (c’est à dire que pour tout n ≥ 1 on a B_{n} ⊃ B_{n+1}). Alors, dans le cas croissant:

lim_{n→+∞} P (B_{n}) = P ( ⋃_{n≥1} B_{n});

et dans le cas décroissant:

lim_{n→+∞} P (B_{n}) = P ( ⋂_{n≥1} B_{n}).

6) Sous additivité dénombrable: Soit une suite B_{1}, B_{2}, …, B_{n} … d’évènements de A. Alors ou bien la série ∑_{k=1}^{∞} P (B_{k}) diverge; ou bien elle converge et dans ce cas sa somme est ≥ P (⋃_{n≥1} B_{n}).

Démonstration: 1) L’axiome d’additivité dénombrable est appliquable à la suite constante définie par A_{n} = ∅, qui est effectivement formée d’évènements deux à deux disjoints. La série dont le terme général P (∅) est constant ne peut converger que si ce terme général est 0.

2) Sa première partie se démontre en appliquant l’axiome d’additivité dénombrable à A_{1}, A_{2}, …, A_{n} continuée par ∅ = A_{n+1} = A_{n+2} = ⋯, et en utilisant le 1). Appliquer ça à n = 2, A_{1} = A et A_{2} = A′ fournit 1 = P (Ω) = P (A) + P (A^{c}) en utilisant le premier axiome d’une probabilité.

3) On écrit B = A ∪ (B \ A) comme réunion de deux ensembles disjoints (notez que B \ A = B ∩ A′ est bien dans A), et on applique le 2): P (B) = P (A) + P (B \ A) ≥ P (A).

4) De même on écrit

P (B) = P (A ∩ B) + P (B \ A), P (A) = P (A ∩ B) + P (A \ B), puis on écrit A ∪ B = (A ∩ B) ∪ (B \ A) ∪ (A \ B) comme réunion de trois ensembles deux à deux disjoints et on applique le 2):

P (A ∪ B) = P (A ∩ B) + P (B \ A) + P (A \ B) =

P (A ∩ B) + (P (B) − P (A ∩ B)) + (P (A) − P (A ∩ B)) = P (A) + P (B) − P (A ∩ B);

Pour terminer le 4) on démontre le résultat par récurrence sur n. C’est trivial pour n = 1. Si c’est démontré pour n, appliquons la première partie de ce 4) à A = A_{1} ∪⋯∪A_{n} et à B = A_{n+1}. On obtient, à l’aide de l’hypothèse de récurrence

P (A ∪ B) = P (A) + P (B) − P (A ∩ B) ≤ P (A) + P (B) ≤ (∑_{k=1}^{n} P (A_{k})) + P (A_{n+1}).

5) Dans le cas croissant, posons A_{1} = B_{1} et, pour n ≥ 2, A_{n} = B_{n} \ B_{n−1}. Les A_{1}, A_{2}, …, A_{n} … sont alors deux à deux disjoints. La série ∑_{k=1}^{∞} P (A_{k}) est donc convergente. D’après le 2) on a

P (B_{n}) = P (A_{1} ∪ ⋯ ∪ A_{n}) = ∑_{k=1}^{n} P (A_{k})

Passons à la limite dans l’égalité ci dessus; on obtient

lim_{n→+∞} P (B_{n}) = ∑_{k=1}^{∞} P (A_{k}).

Or d’après l’axiome d’additivité dénombrable, le second membre est P (⋃_{k≥1} A_{k}), qui est aussi par définition des A_{n} égal à P (⋃_{n≥1} B_{n}).

Dans le cas décroissant, on se ramène au cas précédent par passage au complémentaires, à l’aide de la loi de Morgan: le complémentaire d’une union est l’intersection des complémentaires:

lim P (B_{n}) = 1 − lim P (B_{n}^{c}) = 1 − P (∪_{n≥1}B_{n}^{c}) = 1 − (1 − P (∩_{n≥1}B_{n})) = P (∩_{n≥1}B_{n}).

6) La suite d’évènements définie par C_{n} = B_{1} ∪ ⋯ ∪ B_{n} est croissante et on peut lui appliquer le 5). En utilisant aussi la sous additivité finie du 2) on a donc

P ( ⋃_{n≥1} B_{n}) = lim_{n→+∞} P (C_{n}) ≤ lim_{n→+∞}(P (B_{1}) + ⋯ + P (B_{n})) = ∑_{k=1}^{∞} P (B_{k}).

Exercices sur la section 1.

1. Soit A, B, C trois évènements d’un espace de probabilité. Montrer à l’aide du Th. 1.2 4) que

P (A∪B∪C) = P (A)+P (B)+P (C)−P (A∩B)−P (B∩C)−P (C∩A)+P (A∩B∩C).

Etablir une formule de ce genre pour une réunion de 4 évènements.

2. Soit A une tribu d’évènements sur Ω, et soit f une fonction positive sur A ayant les propriétés suivantes: f(Ω) = 1, f(A ∪ B) = f(A) + f(B) si A et B sont des évènements disjoints et , si (B_{n}) est une suite décroissante de A telle que ∩_{n≥1}B_{n} = ∅ alors

lim_{n→+∞} f(B_{n}) = 0.

Montrer qu’alors f est une probabilité. Méthode: si (A_{n}) est une suite d’évènements deux à deux disjoints, considérer

B_{n} = ∪_{k≥n+1}A_{k}.

II Quatre espaces de probabilité importants.

2.1 L’espace Ω est fini ou dénombrable.

Dans ce cas on suppose habituellement que la tribu des évènements A est P(Ω), l’ensemble de toutes les parties de Ω. Par exemple, si Ω est formé de 2 éléments notés a et b, alors P(Ω) est constitué des 4 sous ensembles suivants: l’ensemble vide ∅, les deux singletons {a} et {b} et Ω = {a, b} lui même. Plus généralement, on a le fait suivant:

Proposition 2.1: Si un ensemble Ω a un nombre fini N d’éléments, alors P(Ω) a 2^{N} éléments.

Démonstration: On procède par récurrence sur N. C’est trivial pour N = 1 ou 0. Si c’est vrai pour N, considérons

Ω = {a_{1}, …, a_{N}, a_{N+1}} et Ω′ = {a_{1}, …, a_{N}}.

Les parties de Ω se partagent en deux catégories:

Catégorie 1: celles qui ne contiennent pas a_{N+1}.

Catégorie 2: celles qui contiennent a_{N+1}.

Il est clair que la catégorie 1 est égale à P(Ω′) et que la catégorie 2 est en bijection avec P(Ω′), la bijection étant obtenue en ajoutant a_{N+1} aux éléments de P(Ω′). Comme d’après l’hypothèse de récurrence P(Ω′) a 2^{N} éléments, on en conclut que P(Ω) a 2^{N} +2^{N} = 2^{N+1} éléments, et la récurrence est étendue.

Proposition 2.2: Si Ω est infini dénombrable, alors P(Ω) est infini non dénombrable. Démonstration: La démonstration est analogue à la démonstration de Cantor. Sans

perte de généralité on suppose Ω égal à l’ensemble N des entiers positifs ou nuls. Si X ⊂ N, on lui associe la fonction indicatrice 1_{X} définie sur N et à valeurs 0 ou 1 par 1_{X}(k) = 1 si k ∈ X et 1_{X}(k) = 0 si k ∉ X. Remarquons aussi qu’inversement, si une fonction f définie sur N est à valeurs 0 ou 1, alors c’est une indicatrice d’ensemble, c’est-à-dire qu’il existe X tel que f = 1_{X}: il s’agit de X = {k ∈ N; f(k) = 1}.

Montrons alors la proposition par l’absurde en supposant que P(N) soit dénombrable, c’est-à-dire qu’il existe une application bijective n ↦ X_{n} de N sur P(N). Alors la fonction f définie sur N et à valeurs 0 ou 1 par

f(k) = 1 − 1_{X_{k}}(k)

est l’indicateur de quelque sous ensemble X_{n} de N et donc pour tout k de N on a

1_{X_{n}}(k) = 1 − 1_{X_{k}}(k),

ce qui est une contradiction si k = n.

Les probabilités sont alors décrites par le résultat suivant

Proposition 2.3: Soit Ω un ensemble fini ou dénombrable. Soit x ↦ p_{x} une application de Ω dans les réels ≥ 0 telle que

∑_{x∈Ω} p_{x} = 1.

Pour tout A ⊂ Ω, notons alors

P (A) = ∑_{x∈A} p_{x}.

Alors (Ω, P(Ω), P) est un espace de probabilité. Inversement, toute probabilité P sur (Ω, P(Ω)) est du type précédent, avec p_{x} = P ({x}).

Remarque: Si Ω est fini, la proposition est évidente. Si Ω est dénombrable, les sommes ci dessus quand A est dénombrable ont la signification suivante: puisque A est dénombrable, on peut numéroter ses éléments, c’est-à-dire qu’il existe une application bijective n ↦ x_{n} de N sur A. P (A) est alors défini rigoureusement comme la somme de la série ∑_{n=0}^{∞} p_{x_{n}}. Toutefois, ce nombre ne dépend que de A, et non de la numérotation particulière de A choisie par n ↦ x_{n}, grâce au théorème suivant sur les séries, que nous admettrons, ainsi que la proposition elle même:

Théorème 2.4: Si la série ∑_{n=0}^{∞} u_{n} est absolument convergente de somme S, et si n ↦ σ(n) est une bijection de N sur lui même, alors ∑_{n=0}^{∞} u_{σ(n)} est aussi absolument convergente et de somme S.

Exercices sur 2.1.

1. Soit λ > 0. Soit P la probabilité définie sur (N, P(N)) par

P (\{n\}) = e^{−λ} \frac{λ^{n}}{n!} .

Soit A l’ensemble des nombres pairs. Calculer P (A). Soit N un entier, montrer que

P (\{0, 1, …, N\}) = 1 − ∫_{0}^{λ} e^{−t} \frac{t^{N}}{N!}dt

(Méthode: considérer les deux membres comme des fonctions de λ dont on montrera qu’elles ont même valeur pour λ = 0 et même dérivée).

2. Soit P la probabilité définie sur (N^{∗}, P(N^{∗})) par P ({n}) = 2^{−n}. Calculer la probabilité de tirer un nombre n > 3; un nombre n multiple de 3; un nombre dont le reste est 3 si on le divise par 4.

2.2 Le cas équiprobable.

Considérons le cas particulier de la Proposition 2.3 où Ω a un nombre fini N = |Ω| d’éléments et où tous les p_{x} sont égaux (et donc égaux à 1/N.) Dans ce cas, si A ⊂ Ω on a

P (A) = \frac{|A|}{|Ω|} = \frac{nombre de cas favorables}{nombre de cas possibles}.

Pour exploiter cette égalité, il est nécessaire de posséder quelques principes généraux de dénombrement d’ensembles et de fonctions contenus dans les deux prochains théorèmes. Si E et F sont des ensembles, on note par E × F leur produit cartésien, c’est-à-dire l’ensemble des couples (x, y) tels que x ∈ E et y ∈ F. On note par F^{E} l’ensemble des fonctions f définies sur E et à valeurs dans F. Si E est fini et est de taille n = |E| et si k est un entier avec 0 ≤ k ≤ n on note par P_{k}(E) l’ensemble des parties de E de taille k.

Théorème 2.5: a) Si E et F sont des ensembles finis, alors |E × F | = |E| × |F |. Plus généralement, si F_{1}, …, F_{n} sont des ensembles finis: |F_{1} × ⋯ × F_{n}| = |F_{1}| × ⋯ × |F_{n}|. Ensuite |F^{E}| = |F |^{|E|}. Enfin, si p = |F | ≥ n = |E|, le nombre de fonctions injectives de E vers F est p(p − 1)(p − 2) ⋯ (p − n + 1). En particulier, le nombre de fonctions bijectives de E vers E, appelées permutations de E, est égal à n!

b) Si E est fini et est de taille n = |E| et si k est un entier avec 0 ≤ k ≤ n alors

|P_{k}(E)| = C_{n}^{k} = \frac{n!}{k!(n − k)!} = \frac{n(n − 1) ⋯ (n − k + 1)}{k!}.

Démonstration: a) La première formule est évidente : si e_{1}, …, e_{n} et f_{1}, …, f_{p} sont les éléments de E et F, le nombre de couples (e_{i}, f_{j}) est np. L’extension à n facteurs est immédiate également. Cette extension est ensuite appliquée au cas particulier où tous les ensembles F_{j} sont égaux au même ensemble F. Si |E| = n, il y a alors bijection entre F^{E} et F × ⋯ × F (n fois). D’où |F^{E}| = |F | × ⋯ × |F | = |F |^{n} = |F |^{|E|}. Quant au nombre de fonctions injectives, la formule donnée se justifie facilement: on identifie E à (1, 2, …, n), et l’image de 1 peut occuper p positions, l’image de 2 peut occuper une des p−1 positions restantes, l’image de 3 une des p − 2 positions restantes, etc. Faire E = F pour le nombre de permutations de E (on rappelle que si |E| = |F | avec E fini, alors une fonction f de E vers F est injective si et seulement si elle est surjective).

Pour la partie b), rappelons la formule de Pascal:

Proposition 2.6: Si k est un entier avec 1 ≤ k ≤ n on a

C_{n}^{k−1} + C_{n}^{k} = C_{n+1}^{k}.

Démonstration:

C_{n}^{k−1} + C_{n}^{k} = \frac{n!}{(k − 1)!(n − k)!} [\frac{1}{n − k + 1} + \frac{1}{k} ] = \frac{(n + 1)!}{k)!(n + 1 − k)!} = C_{n+1}^{k}.

Pour montrer b), on observe que c’est trivial pour k = 0, puis on fixe k > 0 et on montre b) par récurrence sur n. C’est trivial pour n = k. Supposons enfin b) vrai pour n et supposons que E ait n + 1 éléments, qu’on prend égaux à 1, 2, …, n + 1 sans perte de généralité. Soit aussi E′ l’ensemble des n premiers entiers. On partage alors les éléments de P_{k}(E) en deux catégories:

Catégorie 1: ceux qui ne contiennent pas n + 1.

Catégorie 2: ceux qui contiennent n + 1.

La catégorie 1 est égale à P_{k}(E′) et a donc C_{n}^{k} éléments par l’hypothèse de récurrence. La catégorie 2 est en bijection avec P_{k−1}(E′) ( enlever n+1 à un membre de la catégorie 2 pour avoir un élément de P_{k−1}(E′)) et donc par l’hypothèse de récurrence a C_{n}^{k−1} éléments. La formule de Pascal montre alors que P_{k}(E) a C_{n+1}^{k} éléments et la récurrence est étendue.

Voici un exemple d’application du théorème précédent.

Anniversaires. n personnes sont réunies. Quelle est la probabilité que au moins deux d’entre elles aient le même anniversaire?

On formalise le problème en le simplifiant un peu: on ignore d’abord le problème du 29 février, et on postule donc que l’espace des observables est Ω = F^{E} où E est l’ensemble des personnes et où F est l’ensemble des p = 365 jours de l’année: on observe donc la fonction f ∈ Ω qui à chaque personne associe son anniversaire. On postule ensuite qu’on est dans le cas équiprobable, ce qui n’est qu’une approximation: il y a plus d’enfants conçus au printemps et en été qu’en novembre sous nos climats. Finalement, il est plus facile de calculer la probabilité du complémentaire A^{c} de l’évènement A "deux personnes au moins ont le même anniversaire", car c’est la probabilité que la fonction f soit injective. D’après le théorème 2.5 a), c’est

P (A^{c}) = \frac{1}{365^{n}} 365(365 − 1) ⋯ (365 − n + 1) = ∏_{k=1}^{n−1}(1 − \frac{k}{365}) = exp ∑_{k=1}^{n−1} log(1 − \frac{k}{365}).

Si n n’est pas grand, une évaluation approximative de cette somme se fait en remplaçant log(1 − x) par −x et en utilisant la somme d’une progression arithmétique étudiée en Terminale

∑_{k=1}^{n−1} k = \frac{1}{2}n(n − 1) ∼ n^{2}/2,

qui conduit à l’approximation P (A^{c}) ∼ exp(−n^{2}/730). Pour voir par exemple pour quel n on a P (A^{c}) ∼ 1/2 on prend n ∼ \sqrt{730 log 2} ∼ 23. Pour un calcul plus sérieux, on peut utiliser l’encadrement pour 0 < x < 1 :

−x − \frac{x^{2}}{2(1 − x)} < log(1 − x) < −x − \frac{x^{2}}{2} ;

La majoration de droite se déduit du développement en série entière, celle de gauche se montre en étudiant la fonction x + \frac{x^{2}}{2(1−x)} + log(1 − x). On a aussi besoin de la somme des premiers carrés:

∑_{k=1}^{n−1} k^{2} = \frac{1}{6}n(2n − 1)(n − 1) ∼ n^{3}/3,

qui s’établit par récurrence. Si x ≤ (n − 1)/365, alors −1/(1 − x) ≥ −365/(365 − n + 1). D’où l’encadrement :

−\frac{n(n − 1)}{2} \frac{1}{365} − \frac{n(n − 1)(2n + 1)}{6} \frac{1}{2 × 365^{2}} \frac{365}{365 − n + 1} <

log P (A^{c}) < −\frac{n(n − 1)}{2} \frac{1}{365} − \frac{n(n − 1)(2n + 1)}{6} \frac{1}{2 × 365^{2}} .

Par exemple, si n = 35 on trouve P (A^{c}) = 0, 186... Si 35 personnes sont réunies, la probabilité que deux d’entre elles au moins aient le même anniversaire est donc 0, 813...

Le prochain théorème sert en particulier à résoudre le problème plus difficile du calcul du nombre de fonctions surjectives.

Théorème 2.7: (Principe d’inclusion- exclusion) Soit E un ensemble fini et soit f et g des fonctions réelles définies sur P(E) satisfaisant pour tout A ⊂ E :

f(A) = ∑_{B⊂A} g(B).

Alors pour tout A ⊂ E :

g(A) = ∑_{B⊂A}(−1)^{|A\B|}f(B).

Démonstration: Si C ⊂ A ⊂ E notons

F (A, C) = ∑_{C⊂B⊂A}(−1)^{|A\B|}.

Si |A \ C| = n, puisque il y a C_{n}^{k} parties de A \ C de taille k on peut écrire F (A, C) = ∑_{k=0}^{n}(−1)^{k}C_{n}^{k}, qui est à son tour (1 + (−1))^{n} à cause de la formule du binôme de Pascal (a + b)^{n} = ∑_{k=0}^{n} a^{n−k}b^{k}C_{n}^{k}. Donc si n > 0, c’est-à-dire si C ≠ A, on a F (A, C) = 0. Si n = 0, c’est-à-dire si C = A on a F (A, C) = 0. Calculons alors le second membre de l’égalité à démontrer:

∑_{B⊂A}(−1)^{|A\B|}f(B) = ∑_{B⊂A}(−1)^{|A\B|} ∑_{C⊂B} g(C) =

∑_{C⊂B} g(C) ∑_{C⊂B⊂A}(−1)^{|A\B|} = ∑_{C⊂B} g(C)F (A, C) = g(A).

La première égalité exploite le lien entre f et g, la seconde inverse les sommations par rapport aux indices de sommation B et C, la troisième résulte de la définition de F (A, C), la quatrième du calcul de F précédent et fournit le résultat voulu.

Voici deux applications.

Nombre de fonctions surjectives. Si |E| = n ≥ |F | = p, quel est le nombre de fonctions surjectives de E vers F? Pour répondre on applique le théorème précédent aux fonctions f et g définies sur P(F) ainsi: si A ⊂ F, f(A) = |A|^{n} est le nombre de fonctions de E vers F dont l’image est contenue dans A (on pourrait donc dire tout aussi bien les fonctions de E vers A); et g(A) est le nombre de fonctions de E vers F dont l’image est exactement égale à A (on pourrait dire les fonctions de E vers A qui sont surjectives). On veut donc calculer g(F).

Les hypothèses du théorème sont remplies, on a bien en effet f(A) = ∑_{B⊂A} g(B). Par conséquent

g(F) = ∑_{B⊂F}(−1)^{|F \B|}|B|^{n} = ∑_{k=0}^{p} C_{p}^{k}(−1)^{p−k}k^{n}.

Problème des rencontres. Si E a n éléments, combien y a-t-il de permutations σ de E sans point fixe, c’est-à-dire telles que pour tout j ∈ E on ait σ(j) ≠ j?.

On applique le théorème précédent aux fonctions f et g définies sur P(E) ainsi: si A ⊂ E , f(A) = |A|! est le nombre de permutations de E telles que pour tout j ∈ A^{c} on ait σ(j) = j, et g(A) est le nombre de permutations de E telles que pour tout j ∈ A^{c} on ait σ(j) = j et pour tout j ∈ A on ait σ(j) ≠ j. On veut donc calculer g(E).

Les hypothèses du théorème sont remplies, on a bien en effet f(A) = ∑_{B⊂A} g(B). Par conséquent

g(E) = ∑_{B⊂E}(−1)^{|F \B|}|B|! = ∑_{k=0}^{n} C_{n}^{k}(−1)^{n−k}k! = n! ∑_{k=0}^{n}(−1)^{n−k} \frac{1}{(n − k)!} = n! ∑_{k=0}^{n}(−1)^{k} \frac{1}{k!}.

Si Ω est l’ensemble des permutations de E et si il est muni de la probabilité équiprobable, la probabilité pour qu’une permutation aléatoire soit sans point fixe est donc

∑_{k=0}^{n}(−1)^{k} \frac{1}{k!},

soit approximativement e^{−1} = 0, 367... si n > 6.

Exercices sur 2.2.

1. Soit des entiers tels que 2 ≤ a ≤ b ≤ c. On tire de façon équiprobable une partie de taille a de l’ensemble des b + c entiers > 0. Calculer la probabilité pour que 0 d’entre eux soient > a; pour que 2 d’entre eux exactement soient > a.

2. Deux dés non pipés sont marqués sur leurs six faces 1,2,2,3,3,4 et 1,3,4,5,6,8 respectivement. On jette une fois ces deux dés et on note par A_{k} l’évènement "la somme des points i du premier dé et des points j du second est k”. Calculer pour k = 2, 3, …, 12 le nombre P (A_{k}).

3. 12 méchantes fées se penchent sur le berceau des quintuplés et attribuent chacune au hasard à un enfant un défaut. Quel est la probabilité qu’il y ait au moins un enfant parfait?

2.3 Le schéma Succès-Echec.

Le schéma Succès-Echec fini. Si une expérience a deux issues, arbitrairement notées succès (S) et échec (E) et si on la répète n fois, ce qu’on observe est une suite de longueur n de S et de E. Pour modéliser cela, on introduit l’espace des observables Ω = {E, S}^{n} formé des 2^{n} suites ω = (ω_{1}, …, ω_{n}) où les ω_{j} sont égaux à E ou S. On munit Ω de la tribu P(Ω). Quant à la probabilité, on se fixe un nombre p tel que 0 < p < 1 qui est la probabilité d’un succès si on n’effectue qu’une fois l’expérience. Introduisons alors l’importante quantité X(w) définie ainsi: si ω = (ω_{1}, …, ω_{n}) ∈ Ω alors X(w) désigne le nombre de succès que comprend la suite ω. Par exemple, X(SSES) = 3, X(EEEE) = 0. Pour ω ∈ Ω tel que X(ω) = k on définit alors P ({ω}) = p^{k}(1 − p)^{n−k}; Comme tout évènement A ∈ P(Ω) est réunion de singletons {ω} deux à deux disjoints, cela suffit à définir P (A) et donc la probablité P sur (Ω, P(Ω)).

Parmi ces évènements, les plus importants sont les {X = k} ( ceci est une sténographie que nous utiliserons souvent pour écrire brièvement l’évènement {ω ∈ Ω ; X(ω) = k}). Voici leur probabilité:

Proposition 2.9: Pour le schéma Succès Echec fini associé à la probabilité p d’un succès, si X est le nombre de succès en n expériences, alors

P (X = k) = C_{n}^{k}p^{k}(1 − p)^{n−k}.

Démonstration: Notons A = {ω ∈ Ω ; X(ω) = k}. Définissons l’application de A dans P_{k}({1, 2, …, n}) par ω ↦ {j ; ω_{j} = S}. Il est clair que c’est une bijection; donc d’après le Théorème 2.5 b), |A| = C_{n}^{k}. Enfin puisque tous les {ω} contenus dans A ont la même probabilité p^{k}(1 − p)^{n−k} on obtient

P (A) = ∑_{ω∈A} P ({ω}) = |A|p^{k}(1 − p)^{n−k} = C_{n}^{k}p^{k}(1 − p)^{n−k}.

Le schéma Succès-Echec infini. Il s’agit ensuite de modéliser le cas où on veut effectuer un nombre arbitraire d’expériences: par exemple on peut vouloir répéter les essais jusqu’à ce qu’apparaisse 4 succès consécutifs. Une telle modélisation est impossible avec le schéma fini ci dessus, et on prend alors pour espace Ω des observables l’ensemble {E, S}^{N_{∗}} des suites infinies de S et de E, en notant par N_{∗} l’ensemble des entiers > 0. Il est clair que Ω est en bijection avec les parties de N_{∗}, et donc d’après la proposition 2.2 Ω n’est pas dénombrable. Cela cause une sérieuse difficulté en ce qui concerne la construction de l’espace de probabilité correspondant. On construit la tribu A et la probabilité P par un procédé d’approximation que nous décrivons maintenant.

Fixons l’entier n et définissons Ω′ = {E, S}^{{1,...,n}} et Ω′′ = {E, S}^{{n+1,n+2,...}}, de sorte que Ω = Ω′ × Ω′′, et définissons la tribu suivante de parties de Ω :

A_{n} = {A × Ω′′ ; A ∈ P(Ω′)}.

Intuitivement, les évènements de A_{n} sont les évènements ne dépendant que de ce qui s’est passé jusqu’à l’instant n. En particulier, nous avons A_{n} ⊂ A_{n+1}.

Si ω′ = (ω_{1}, …, ω_{n}) ∈ Ω′ comprend k succès, définissons la probabilité P_{n}({ω′}×Ω′′) = p^{k}(1−p)^{n−k}. Cela permet donc de définir la probabilité P_{n} sur A_{n}. L’espace de probabilité (Ω, A_{n}, P_{n}) est presque identique à l’espace du schéma Succès Echec fini décrit ci dessus.

Maintenant, notons

A′ = ∪_{n≥1}A_{n}.

La famille A′ n’est pas une tribu, car ce n’est pas fermé pour la réunion dénombrable. Voici un contre exemple. Soit A_{n} l’ensemble des suites ω infinies comprenant au moins un succès à l’instant n ou avant. Alors A_{n} est dans A_{n} et donc dans A′. Pourtant A = ∪_{n≥1}A_{n} n’est pas dans A′. En effet A est l’ensemble des suites ω infinies comprenant au moins un succès. Mais il n’existe pourtant aucun n tel que A ∈ A_{n}, et donc A ∉ A′. Réaliser cette chose subtile fait progresser dans la compréhension de la théorie. On définit alors la tribu A sur Ω comme la plus petite tribu contenant A′.

Pour définir enfin la probabilité P sur A, on fait l’observation essentielle suivante: on a non seulement A_{n} ⊂ A_{n+1}, mais de plus la restriction de P_{n+1} au sous ensemble A_{n} de A_{n+1}, qui était le domaine de définition de P_{n+1}, coincide avec P_{n}. Par conséquent, il existe une fonction universelle P′ définie sur A′ telle que pour tout A ∈ A′ on ait P′(A) = P_{n}(A) pour tous les n tels que A ∈ A_{n}. A partir de ce point, les choses cessent d’être élémentaires, et nous sommes obligés d’admettre le théorème suivant, dont la démonstration est donnée en troisième année d’université:

Théorème 2.10: Il existe une et une seule probabilité P sur A telle que pour tout A ∈ A′ on ait P (A) = P′(A).

On peut ainsi démontrer l’idée intuitive qu’un évènement de probabilité strictement positive, même petite, finit toujours par arriver. Plus précisément, si A est l’ensemble des ω ∈ Ω comprenant au moins un succès, alors P (A) = 1. En effet, si B_{n} est l’ensemble des ω ∈ Ω comprenant au moins un succès avant l’instant n ou à l’instant n, alors A = ∪_{n≥1}B_{n} et B_{n} ⊂ B_{n+1}. Par continuité monotone (Th. 1.2, (5)) on a donc lim P (B_{n}) = P (A). Comme P (B^{c}) = (1−p)^{n} tend vers 0, on a le résultat. Plus généralement on peut montrer que toute séquence a finie donnée à l’avance ( par exemple SSEESSEESSEESSEE, ou le codage en binaire d’une fable de La Fontaine) finira par arriver. Plus précisément:

Théorème 2.11: Soit a = (a_{1}, …, a_{n}) ∈ {E, S}^{n} une suite fixée de longueur n de succès et d’échecs, et soit

A = {ω ∈ Ω ; il existe N ≥ 0 avec ω_{N+1} = a_{1}, …, ω_{N+n} = a_{n}}.

Alors P (A) = 1.

Démonstration: Soit k le nombre de S dans la suite a. Notons

A_{N} = {ω ∈ Ω ; ω_{N+1} = a_{1}, …, ω_{N+n} = a_{n}}.

Alors P (A_{N}) = p^{k}(1 − p)^{n−k} par définition de P. Introduisons B_{m} = ∪_{j=0}^{m−1}A_{jn}. Alors B_{m} ⊂ B_{m+1} et

A = ∪_{N≥0}A_{N} ⊃ B = ∪_{m≥0}B_{m}.

On a de plus

P (B_{m}^{c}) = P (∩_{j=0}^{m−1}A_{jn}^{c}) = (1 − p^{k}(1 − p)^{n−k})^{m} →_{m→∞} 0.

Par continuité monotone, on a donc P (B^{c}) = 0. D’où 1 = P (B) ≤ P (A) = 1.

2.4 Le cas où Ω = IR.

Ce cas est naturellement le plus important de tous. La tribu mise sur IR est la tribu de Borel B définie à la section 1 comme la plus petite tribu contenant les intervalles (ouverts, fermés, semi ouverts, demi droites) Parmi ses éléments, les boréliens, les seuls qu’on aura concrètement à manipuler sont les réunions d’intervalles.

Pour décrire les probabilités sur (IR, B), introduisons une définition importante:

Soit F une fonction de IR dans IR. On dit que F est une fonction de répartition si elle satsifait aux trois propriétés suivantes:

• F est croissante (au sens large);

• lim_{x→−∞} F (x) = 0 et lim_{x→+∞} F (x) = 1;

• F est continue à droite en tout point x, c’est-à-dire lim_{h↘0} F (x + h) = F (x).

On a alors le théorème fondamental suivant:

Théorème 2.12: Soit P une probabilité sur (IR, B). Soit F_{P} la fonction réelle définie par

F_{P} (x) = P (] − ∞, x]).

Alors F_{P} est une fonction de répartition. Inversement, si F est une fonction de répartition, alors il existe une et une seule probabilité sur (IR, B) telle que F_{P} = F.

Démonstration: Si x < y, alors A =] − ∞, x] ⊂ B =] − ∞, y], et donc F_{P} (x) = P (A) ≤ P (B) = F_{P} (y). Ensuite, si (x_{n}) tend vers −∞ en décroissant et si A_{n} =]−∞, x_{n}], alors A_{n} ⊃ A_{n+1} et ∩_{n≥1}A_{n} = ∅; par continuité monotone P (A_{n}) tend vers 0. Donc lim_{n→∞} F_{P} (x_{n}) = 0. Comme ceci est vrai quelle que soit la suite (x_{n}) tendant vers −∞ en décroissant, on en déduit lim_{x→−∞} F_{P} (x) = 0. De même, si (y_{n}) tend vers ∞ en croissant et si B_{n} =] − ∞, y_{n}], alors B_{n} ⊂ B_{n+1} et ∪_{n≥1}B_{n} = IR; par continuité monotone P (B_{n}) tend vers P (IR) = 1 et on a lim_{y→+∞} F_{P} (y) = 1.

Enfin, si h_{n} ↘ 0, soit C_{n} =]∞, x + h_{n}]. Alors C_{n} ⊃ C_{n+1} et ∩_{n≥1}C_{n} =]∞, x]. Par continuité monotone on a donc lim_{n→+∞} F (x + h_{n}) = F_{P} (x), d’où la continuité à droite annoncée de la fonction F_{P} .

Nous admettrons la réciproque, qui est la partie difficile.

Commentaires: Ce résultat est assez rassurant: bien qu’on connaisse mal la tribu B, et donc les probabilités définies dessus, il y a en fait bijection entre l’ensemble de toutes les probabilités sur IR et l’ensemble moins abstrait de toutes les fonctions de répartition. Mais la démonstration complète est réservée à la 3 ème année.

La fonction de répartition permet de calculer les probabilités de tous les intervalles. Pour simplifier, adoptons la notation pour la limite à gauche en x de la fonction croissante F:

F (x − 0) = lim_{h↗0} F (x + h).

Proposition 2.13: Soit F la fonction de répartition d’une probabilité P sur (IR, B). Alors

• P (] − ∞, x[) = F (x − 0), P (]x, +∞[) = 1 − F (x), P ([x, +∞[) = 1 − F (x − 0).

• Pour a ≤ b, P (]a, b]) = F (b) − F (a), P ([a, b[) = F (b − 0) − F (a − 0).

• P (]a, b[) = F (b − 0) − F (a), P ([a, b]) = F (b) − F (a − 0) et en particulier

P ({a}) = F (a) − F (a − 0).

Démonstration: La première égalité s’obtient en considérant A_{n} =] − ∞, x + h_{n}], où h_{n} est < 0 et croît vers 0. Alors A_{n} ⊂ A_{n+1} et ∪_{n≥1}A_{n} =]−∞, x[. Par convergence monotone l’égalité s’ensuit. Les deux suivantes s’obtiennent par passage au complémentaire. La suivante découle de l’égalité

] − ∞, b] =] − ∞, a]∪]a, b],

et du fait que au second membre les deux ensembles sont disjoints. De même

] − ∞, b[=] − ∞, a[∪[a, b[

fournit l’égalité suivante grâce à la première égalité de la liste. Laissons les dernières en exercice.

Donnons maintenant des exemples de fonctions de répartition

1. Fonctions de répartition à densité. Soit f une fonction positive définie sur IR qui ait des discontinuités au plus en un nombre fini de points a_{1} < a_{2} < ⋯ < a_{N} et qui soit telle que les intégrales ∫_{a_{i}}^{a_{i+1}} f(x)dx convergent et satisfassent

∑_{i=0}^{N} ∫_{a_{i}}^{a_{i+1}} f(x)dx = 1,

avec la convention a_{0} = −∞ et a_{N+1} = +∞.

Par exemple f_{1}(x) = \frac{1}{2}e^{−|x|}, f_{2}(x) = \frac{1}{π} \frac{1}{1+x^{2}} , f_{3}(x) = 0 si x ≤ 0 et f_{3}(x) = \frac{1}{\sqrt{πx}}e^{−x} si x > 0, qu’il est plus rapide de définir par

f_{3}(x) = \frac{1}{\sqrt{πx}}e^{−x}1_{]0,∞[}(x),

où 1_{E}(x) = 1 si x ∈ E et 1_{E}(x) = 0 sinon: la fonction 1_{E} s’appellera désormais l’indicateur de l’ensemble E. Dernier exemple:

f_{4}(x) = 1_{[0,1]}(x).

Dans ces exemples, N = 0 pour f_{1} et f_{2}, N = 1 pour f_{3} et N = 2 pour f_{4}.

On définit alors la fonction F par F (x) = ∫_{−∞}^{x} f(t)dt. Il est clair que F est une fonction de répartition. Ici, elle est de plus continue et, d’après le théorème fondamental du calcul intégral, elle satisfait F′(x) = f(x) pour tout x ∉ {a_{1}, …, a_{N}}. La fonction f s’appelle alors la densité de la fonction de répartition F. Il est important de ne pas confondre les deux fonctions F et f. Pour les exemples ci dessus de densités, les fonctions de répartition correspondantes seront respectivement

F_{1}(x) = \frac{1}{2}e^{x} pour x ≤ 0, F_{1}(x) = 1 − \frac{1}{2}e^{−x},

F_{2}(x) = \frac{1}{2} + \frac{1}{π} arctan x,

F_{4}(x) = 0 pour x ≤ 0, F_{4}(x) = x pour 0 ≤ x ≤ 1, F_{4}(x) = 1 pour 1 ≤ x,

(F_{3}(x) ne peut s’exprimer de façon élémentaire).

2. La probabilité δ_{a} de Dirac. Si a est un réel, il s’agit de la probabilité sur IR définie par δ_{a}(A) = 0 si a ∉ A, et δ_{a}(A) = 1 si a ∈ A. Appliquant ceci à A =] − ∞, x], on obtient la fonction de répartition

F_{δ_{a}}(x) = 0 pour x < a, F_{δ_{a}}(x) = 1 pour a ≤ x.

Voici son graphe

[figure: a; 1; −]

Si a = 0, cette fonction s’appelle l’échelon de Heaviside. Les travaux de 1894 de cet ingénieur électricien sont à la source de la théorie moderne des distributions. Cette théorie permet par exemple de donner un sens à la dérivation de la fonction ci dessus: c’est la probabilité de Dirac δ_{a} qui jouerait alors le rôle de la dérivée.

3. Probabilité discrète sur un nombre fini de points. Soit N un entier > 0, soit a_{1} < a_{2} < ⋯ < a_{N} des réels et soit p_{1}, …, p_{N} des nombres positifs tels que p_{1} + ⋯ + p_{N} = 1. On considère la probabilité sur IR définie par

P = p_{1}δ_{a_{1}} + ⋯ + p_{N}δ_{a_{N}} .

En d’autres termes, si A est un borélien:

P (A) = p_{1}δ_{a_{1}}(A) + ⋯ + p_{N}δ_{a_{N}} (A) = ∑_{j;a_{j}∈A} p_{j}.

En particulier, si A =] − ∞, x], on obtient la fonction de répartition

F_{P} (x) = ∑_{j;a_{j}≤x} p_{j},

dont le graphe est celui d’une fonction en escalier croissante, où le saut en a_{j} est égal à p_{j}. Ce cas revient un peu au cas où Ω n’avait qu’un nombre fini de points, puisqu’ici P est concentrée sur {a_{1}, …, a_{N}}.

4. Probabilité discrète. Si on remplace la suite finie précédente par un ensemble dénombrable de IR, l’extension est facile. Pour simplifier, supposons que l’ensemble dénombrable soit formé des points d’une suite (a_{n}) telle que a_{1} < a_{2} < ⋯ < a_{n} < ⋯ et soit p_{n} des nombres positifs tels que ∑_{1}^{∞} p_{n} = 1. On formera de même la probabilité P définie pour tout Borélien A par

P (A) = ∑_{1}^{∞} p_{n}δ_{a_{n}}(A),

dont la fonction de répartition est en escalier croissante vec une infinité de points de discontinuités.

5. Type mixte. On rencontre un peu rarement des fonctions de répartition de la forme F = λG + (1 − λ)H où G est une fonction de répartition à densité, comme vu à l’exemple 1, où H est une fonction de répartition d’une probabilité discrète, comme vu aux exemples 2, 3 ou 4, et où 0 < λ < 1. Si H a une discontinuité en a de saut p, alors F a une discontinuité en a de saut (1 − λ)p.

Exercices sur 2.4.

1. Calculer la densité des fonctions de répartition suivantes:

F_{1}(x) = 0 si x ≤ 0 et F_{1}(x) = 1 − exp(−x) si x > 0;

F_{2}(x) = 0 si x ≤ 1 et F_{2}(x) = 1 − \frac{1}{x^{a}} si x > 1 (avec a>0).

2. Calculer la fonction de répartition de la densité suivante:

f(x) = 1/2 si −2 < x < −1, f(x) = 1/2 si 1 < x < 2, et 0 ailleurs.

3. On note par [x] la partie entière du nombre réel x, c’est-à-dire l’entier n tel que n ≤ x < n + 1. Par exemple [√2] = 1, [−√2] = −2, [3] = 3. On considère la probabilité discrète de fonction de répartition F (x) = 0 si x < 0 et F (x) = 1 − \frac{1}{2^{[x]+1}} si x ≥ 0. Tracer le graphe de F. Calculer les probabilités des évènements suivants:

A_{1} = {0}, A_{2} = {1, 2}, A_{3} = {4, 5, …}.

III Probabilités conditionnelles et indépendance.

3.1 Conditionnement.

Si (Ω, A, P) est un espace de probabilité, soit B ∈ A un évènement tel que P (B) > 0. On définit alors la nouvelle probabilité P_{B} sur A par

P_{B}(A) = \frac{P (A ∩ B)}{P (B)},

qu’on note aussi P_{B}(A) = P (A|B), et qui se lit "probabilité de A conditionnée par B", ou "sachant B", ou "sachant que B est réalisé". (Ω, A, P_{B}) est un authentique espace de probabilité, puisque P_{B}(Ω) = P (Ω ∩ B)/P (B) = 1 et que, si les (A_{n})_{n≥1} sont deux à deux disjoints et dans A, on a bien

P_{B}(∪_{n≥1}A_{n}) = \frac{1}{P (B)}P (∪_{n≥1}(A_{n} ∩ B)) = \frac{1}{P (B)} ∑_{n≥1} P (A_{n} ∩ B)) = ∑_{n≥1} P_{B}(A_{n}).

Il faut toutefois réaliser que la probabilité P_{B} est concentrée sur B et ne charge pas B^{c}.

Pour énoncer le prochain résultat, il est commode d’introduire un nouveau terme: une suite finie (B_{n})_{n=1}^{N} ou dénombrable (B_{n})_{n=1}^{+∞} d’évènements est appelée une partition de Ω si les B_{n} sont deux à deux disjoints et si leur réunion est égale à Ω.

Théorème 3.1: Soit (Ω, A, P) un espace de probabilité, soit (B_{n})_{n≥1} une partition de Ω finie ou dénombrable avec P (B_{n}) > 0 pour tout n, et soit A ∈ A tel que P (A) > 0.

1. Si P (B) > 0, alors P (A ∪ B) = P (A|B)P (B) = P (B|A)P (A).

2. (Principe des probabilités totales) P (A) = ∑_{n≥1} P (A|B_{n})P (B_{n}).

3. (Formule de Bayes) Pour tout k: P (B_{k}|A) = \frac{P (A|B_{k})P (B_{k})}{∑_{n≥1} P (A|B_{n})P (B_{n})}.

Démonstration: Cet énoncé est décoré du titre de théorème plutôt par son importance pratique que par la difficulté de sa démonstration: pour le 1), utiliser la définition de P (A|B). Pour le 2) observer que les A ∩ B_{n} sont une partition de A et donc d’après l’axiome d’additivité P (A) = ∑_{n≥1} P (A ∩ B_{n}) et terminer en utilisant le 1). Pour le 3) on a

P (A|B_{k})P (B_{k}) = P (A ∪ B_{k}) = P (B_{k}|A)P (A) = P (B_{k}|A) ∑_{n≥1} P (A|B_{n})P (B_{n}),

successivement en utilisant deux fois le 1) puis une fois le 2). Le résultat est équivalent au 3).

Exemple: Dans une population le nombre de châtains est de 50%, et le nombre de blonds, de noirs ou d’autres couleurs est égal. La génétique nous apprend que les probabilités conditionnelles pour qu’un enfant soit châtain (évènement A) sachant que son père est blond (évènement B) est P (A|B) = 0, 2, et que de même, avec des notations évidentes P (A|C) = 0, 7, P (A|N) = 0, 6 et P (A|R) = 0, 1. Calculons P (A) et P (B|A). Les évènements B, C, N, R forment une partition avec P (B) = P (N) = P (R) = 1/6 et P (C) = 1/2. Les probabilités totales donnent donc P (A) = 0, 2 × 1/6 + 0, 7 × 1/2 + 0, 6 × 1/6+0, 1×1/6 = 1/2 et la formule de Bayes donne P (B|A) = P (A|B)P (B)/P (A) = 1/15.

3.2 Indépendance d’évènements.

Parfois A et B sont tels que P_{B}(A) = P (A): savoir que B est réalisé ne modifie pas la probabilité de A. Ainsi dans le schéma succès échec fini avec N = 2, Ω a 4 éléments SS, SE, ES, EE de probabilités respectives p^{2}, p(1−p), (1−p)p, (1−p)^{2}. Si B = (SS, SE) est l’évènement: "le premier essai est un succès" et A = (SS, ES) est l’évènement: "le second essai est un succès" alors A ∩ B = (SS) , P (A) = p^{2} + (1 − p)p = p, P (B) = p^{2} + p(1 − p) = p, P (A ∩ B) = p^{2} et donc P_{B}(A) = P (A). C’est le phénomène essentiel pour les probabilités des évènements indépendants (qu’il ne faut pas confondre avec les évènements disjoints) et que nous allons définir.

Soit {A_{1}, …, A_{N}} une famille finie d’évènements d’un espace de probabilité (Ω, A, P). On dit que c’est une famille indépendante ( on dit parfois un "système indépendant d’évènements") si pour toute partie non vide I de {1, 2, …, N} on a

P (∩_{i∈I}A_{i}) = ∏_{i∈I} P (A_{i}).

Par exemple si N = 2, la famille d’évènements {A, B} est indépendante si et seulement si P (A∩B) = P (A)P (B); dans le cas où P (B) > 0 il serait équivalent de dire P_{B}(A) = P (A). On a coutume de dire par abus de langage que A et B sont indépendants (abus, car l’adjectif qualificatif "indépendant" n’a de sens que s’il s’applique à la paire) ou plus correctement que A est indépendant de B, expression qui ne rend toutefois pas justice à la symétrie de la définition d’ indépendance.

Si N = 3 la famille d’évènements {A, B, C} est indépendante si et seulement si

P (A ∩ B) = P (A)P (B), P (B ∩ C) = P (B)P (C), P (C ∩ A) = P (C)P (A),

P (A ∩ B ∩ C) = P (A)P (B)P (C).

Notez que la deuxième ligne n’est pas entraînée par la première. Si Ω a 4 points 1,2,3,4 de probabilité 1/4 chacun, les 3 évènements A = 1, 2, B = 1, 3 et C = 1, 4 satisfont la première ligne et pas la deuxième: ils sont seulement deux à deux indépendants.

Si N est quelconque, il n’y a pour montrer l’indépendance que 2^{N} − 1 − N égalités à vérifier, puisque l’ensemble vide pour I est exclu et que les N cas où I est un singleton sont triviaux. Notez aussi que l’ensemble vide et l’ensemble Ω sont indépendants de n’importe quoi et qu’une sous famille d’une famille indépendante est encore indépendante. Enfin, on convient de dire qu’une famille infinie d’évènements est indépendante si toute sous famille finie est indépendante.

Comme exemple d’indépendance de N évènements, considérons dans le schéma Succès Echec fini avec N essais un élément particulier a = (a_{1}, …, a_{n}) de Ω, c’est-à-dire une suite particulière de succès et d’échecs. Notons k = X(a) le nombre de succès que comprend la suite a. Soit

A_{j} = {ω = (ω_{1}, …, ω_{N}) ∈ Ω ; ω_{j} = a_{j}}.

Alors {A_{1}, …, A_{N}} est une famille indépendante. En effet P (A_{j}) = p si a_{j} = S et 1 − p si a_{j} = E. De plus, par définition du schéma, P ({a}) = p^{k}(1 − p)^{n−k} Comme ∩_{j=1}^{N}A_{j} = {a} on a bien P (∩_{j=1}^{N}A_{j}) = ∏_{j=1}^{N} P (A_{j}). La démonstration pour n’importe quel sous ensemble I est analogue.

3.3 Indépendance de sous tribus.

La notion précédente d’évènements indépendants a l’avantage d’être élémentaire, et les inconvénients de ne pas être très maniable et de ne pas refléter la réalité: l’intuition nous fait plutôt penser que c’est un groupe d’évènements qui est indépendant d’un autre groupe, plutôt que deux évènements isolés. Par exemple, il est facile de vérifier que si A est indépendant de B, alors A^{c} est aussi indépendant de B. La bonne notion de "groupe" d’évènements est en fait celle de sous tribu. D’où la définition suivante:

Soit {A_{1}, …, A_{N}} une famille finie de sous tribus d’un espace de probabilité (Ω, A, P). On dit que c’est une famille indépendante si pour tous B_{j} ∈ A_{j} on a

P (B_{1} ∩ B_{2} ∩ … ∩ B_{N}) = P (B_{1}) … P (B_{N})

(plus la peine donc d’examiner tous les sous ensembles I.) En fait, c’est une puissante généralisation de la notion d’évènements indépendants, d’après le théorème suivant:

Théorème 3.2: Soit A_{1}, …, A_{N} des évènements. Soit les tribus à quatre éléments engendrées par les A_{j}:

A_{j} = {∅, A_{j}, A_{j}^{c}, Ω}.

Alors la famille de sous tribus {A_{1}, …, A_{N}} est indépendante si et seulement si la famille d’évènements {A_{1}, …, A_{N}} est indépendante.

Démonstration: Pour ⇒, soit I une partie de (1, 2, …, N). Prenons alors B_{j} = A_{j} si j ∈ I et B_{j} = Ω sinon. Alors

P (∩_{i∈I}A_{i}) = P (B_{1} ∩ B_{2} ∩ … ∩ B_{N}) = P (B_{1}) … P (B_{N}) = ∏_{i∈I} P (A_{i}).

Bien qu’une démonstration par récurrence soit possible immédiatement pour la réciproque, nous attendons la section 5 pour avoir une démonstration plus simple.

Exercices sur la section 3.

1. Dans le schéma Succès Echec fini à N essais, on suppose p = 1/2 et on considère les deux évènements A= que des succès ou que des échecs, et B= pas plus d’un succès. Montrer que A et B sont indépendants si et seulement si N = 3.

2. On munit le segment Ω = [0, 1] de la probabilité P telle que P ([a, b]) = b − a pour tout intervalle [a, b] ⊂ [0, 1]. On considère les trois évènements A = [0, 1/2], B = [1/4, 3/4], C = [3/8, 7/8]. Quelles sont les paires d’évènements parmi A, B, C qui sont indépendantes?

IV Image d’une probabilité, variables aléatoires

4.1 Fonctions mesurables

Quand en mathématiques une nouvelle structure est introduite, comme celle d’espace vectoriel, ou comme présentement celle d’espace de probabilité, une démarche féconde est de rechercher les transformations qui préservent cette structure. Pour les espaces vectoriels, ce sont les applications linéaires. Pour les espaces de probabilité, ce sont les "fonctions mesurables" qu’on va introduire dans un instant. Le cas particulier important en sera les "variables aléatoires". Auparavant, adoptons la notation suivante: si E et F sont des ensembles quelconques, si f est une fonction définie sur E et à valeurs dans F, et si enfin B est un sous ensemble de F, l’ensemble A des x de E tels que f(x) soit dans B sera désormais noté par A = f^{−1}(B). Nous l’appellerons l’image inverse de B par f. Insistons sur le fait que f n’est pas nécessairement injective ni surjective. On vérifie facilement que si B_{1} et B_{2} sont des sous ensembles de F alors on a

f^{−1}(B_{1} ∪ B_{2}) = f^{−1}(B_{1}) ∪ f^{−1}(B_{2}) et f^{−1}(B_{1} ∩ B_{2}) = f^{−1}(B_{1}) ∩ f^{−1}(B_{2}),

et que la même chose est vraie même avec une famille infinie de B.

Soit alors deux espaces Ω et Ω_{1}, chacun muni d’une tribu A et A_{1}, et soit f une fonction définie sur Ω à valeurs dans Ω_{1} On dit que f est une fonction mesurable si pour tout B ∈ A_{1}, alors A = f^{−1}(B) est un élément de A. Dans ces conditions, on voit facilement que l’ensemble des parties A de Ω qui sont de la forme f^{−1}(B), avec B ∈ A_{1}, est une tribu. On la note parfois f^{−1}(A_{1}). Comme f est mesurable, c’est donc une sous tribu de A.

Montrer qu’une fonction est mesurable est généralement facile grâce au théorème suivant, dont la démonstration est hors programme.

Théorème 4.1: Soit F une famille de parties de Ω_{1} telle que la tribu A_{1} soit la plus petite qui contienne F. Soit f une fonction de Ω à valeurs dans Ω_{1}. Soit A une tribu sur Ω. Alors f est mesurable pour ce couple de tribus si et seulement si pour tout B ∈ F alors f^{−1}(B) ∈ A.

Illustrons ceci par un exemple important en l’appliquant au cas où

(Ω, A) = (Ω_{1}, A_{1}) = (IR, B),

pour montrer que toute fonction continue f de IR dans IR est mesurable. Pour cela, on applique le théorème au cas où F est l’ensemble de tous les intervalles ouverts: par définition de la tribu B de Borel, l’hypothèse du théorème est vérifiée. Ensuite, on sait d’après les cours d’analyse l’image inverse d’un intervalle ouvert par une fonction continue est une réunion finie ou dénombrable d’intervalles ouverts, et est donc un borélien.

Démonstration: La partie "seulement si" découle des définitions. Pour la partie "si", l’art est de considérer la tribu T de parties de Ω engendrée par tous les f^{−1}(B) lorsque B parcourt F ainsi que

T_{1} = {B ⊂ Ω_{1}; f^{−1}(B) ∈ T }.

A son tour, T_{1} est une tribu de parties de Ω_{1} (ce point se vérifie directement facilement), et elle contient F, et donc elle contient la tribu A_{1}. D’où

f^{−1}(T_{1}) ⊃ f^{−1}(A_{1}) = A.

Mais comme par définition de T_{1} on a

f^{−1}(T_{1}) ⊂ T ,

on en tire que T = A, ce qui est l’égalité cherchée.

4.2 Image d’une probabilité.

Si alors (Ω, A) est muni d’une probabilité, alors la fonction mesurable f permet de définir de façon naturelle une pro babilité P_{1} sur (Ω_{1}, A_{1}) ainsi: pour tout B ∈ A_{1}

P_{1}(B) = P (f^{−1}(B)).

Cette fonction P_{1} sur A_{1} est bien une probabilité. En effet,

P_{1}(Ω_{1}) = P (f^{−1}(Ω_{1})) = P (Ω) = 1;

De plus si B_{1} et B_{2} sont des parties disjointes de Ω_{1}, alors f^{−1}(B_{1}) et f^{−1}(B_{2}) sont alors des parties disjointes de Ω. Cela permet de vérifier facilement l’axiome d’additivité dénombrable pour P_{1}.

La probabilité P_{1} ainsi fabriquée est appelée l’image de la probabilité P par la fonction mesurable f. On parle aussi de la probabilité P_{1} transportée de P par f. On la note traditionnellement P_{1} = f_{∗}P. D’autres la notent plus correctement P f^{−1}, mais c’est moins commode.

4.3 Les variables aléatoires réelles et leurs lois.

Nous appliquons les concepts précédents, qui étaient bien abstraits, au cas où l’espace d’arrivée (Ω_{1}, A_{1}) est (IR, B). Dans ce cadre, une fonction mesurable de Ω à valeurs dans IR prend le nom de variable aléatoire réelle, ou de variable aléatoire si le contexte est clair (on pourra ensuite considérer des variables aléatoires à valeurs dans IR^{2} ou dans IR^{n} quand on aura précisé de quelle tribu équiper IR^{n}). Plutôt que de noter la variable aléatoire f, la tradition est de la noter par une lettre majuscule comme X. En dépit du nom de "variable aléatoire," qu’on garde pour des raisons historiques, X est donc une fonction réelle définie sur Ω. L’avantage de travailler dans IR est que grâce au Théorème 2.12, on connait comment sont faites les probabilités sur IR et donc les probabilités transportées par les variables aléatoires. On abandonne d’ailleurs également pour P_{1} = X_{∗}P ce nom de probabilité transportée de P par la variable aléatoire X, on la note plutôt P_{X} et on l’appelle la loi de la variable aléatoire X: c’est une probabilité sur IR. Quant à la fonction de répartition F_{P_{X}}, il est plus simple de la noter F_{X}. Donc on a

F_{X}(x) = P ({ω ∈ Ω ; X(ω) ≤ x});

ici encore, il est plus simple d’écrire F_{X}(x) = P (X ≤ x). Enfin, v.a. est une abréviation courante pour "variable aléatoire".

A propos du schéma Succès Echec fini d’ordre N, nous avons déjà rencontré la variable aléatoire X qui était le nombre de succès en N expériences pour laquelle nous avons vu que P (X = k) = C_{N}^{k}p^{k}(1 − p)^{N−k} C’est donc dire que la loi de X est la loi discrète concentrée sur les entiers 0, 1, …, N et égale à

(1 − p)^{N}δ_{0} + N(1 − p)^{N−1}pδ_{1} + ⋯ + C_{N}^{k}p^{k}(1 − p)^{N−k}δ_{k} + ⋯ + p^{N}δ_{N}

(Rappelons que δ_{k} est la probabilité de Dirac concentrée en k).

Plus généralement, soit (Ω, A, P) un espace de probabilité. Une variable aléatoire X sur Ω ne prenant qu’un nombre fini de valeurs a_{1} < a_{2} < … < a_{N} sera dite étagée. Les parties X^{−1}({a_{j}}) = A_{j} de Ω sont des éléments de A, puisque les {a_{j}} sont des intervalles, d’un type un peu particulier, et donc des boréliens. Les A_{j} sont deux à deux disjoints, et si on introduit leurs indicateurs, on peut écrire

X = a_{1}1_{A_{1}} + ⋯ + a_{N}1_{A_{N}} .

Si p_{j} = P (A_{j}) on voit que la loi de X est

P_{X} = p_{1}δ_{a_{1}} + ⋯ + p_{N}δ_{a_{N}} .

Une autre manière de dire la même chose est d’écrire P (X = a_{j}) = p_{j} pour tout j.

Il y a un certain nombre de lois de probabilités qu’on rencontre souvent dans la nature que nous pourrions présenter maintenant, mais il est préférable de définir quelques caractéristiques des variables aléatoires avant pour pouvoir présenter une carte d’identité plus complète de chacune de ces lois classiques.

Exercices sur la section 4.

1. Soit X une variable aléatoire de densité ax^{a−1}1_{]0,1[}(x). Calculer l’image de sa loi par x ↦ x/(1 − x). Méthode: calculer la fonction de répartition de Y = X/(1 − X) et dériver celle ci.

2. Soit X une variable aléatoire suivant la loi de Cauchy, c’est-à-dire de densité \frac{1}{π(1+x^{2})}. Calculer l’image de sa loi par x ↦ 1/x.

V L’espérance mathématique d’une variable aléatoire.

5.1 Les variables aléatoires étagées.

Soit (Ω, A, P) un espace de probabilité. Désignons par E l’ensemble de toutes les variables aléatoires réelles étagées définies sur Ω. A tout élément X deE nous associons un nombre appelé espérance mathématique de X, noté par IE(X), et défini ainsi: si la loi de X est

P_{X} = p_{1}δ_{a_{1}} + ⋯ + p_{N}δ_{a_{N}} ,

alors

IE(X) = p_{1}a_{1} + ⋯ + p_{N}a_{N}.

En fait, E est un espace vectoriel et X ↦ IE(X) est une forme linéaire positive dessus, comme le montre le théorème suivant:

Théorème 5.1: (Linéarité et positivité de l’espérance) Si X et Y sont des v.a. étagées sur Ω alors λX + μY, pour des réels λ et μ, est encore une v.a. étagée. De plus IE(λX + μY) = λIE(X) + μIE(Y). Enfin IE(X) ≥ IE(Y) si X ≥ Y.

Démonstration: Introduisons les lois de X et Y:

P_{X} = p_{1}δ_{a_{1}} + ⋯ + p_{N}δ_{a_{N}} , P_{Y} = q_{1}δ_{b_{1}} + ⋯ + q_{M}δ_{b_{M}} ,

notons X^{−1}({a_{i}}) = A_{i}, Y^{−1}({b_{j}}) = B_{j} et C_{ij} = A_{i} ∩ B_{j} et r_{ij} = P (C_{ij}). La matrice (r_{ij}) a pour somme des lignes le vecteur ligne (q_{1}, …, q_{M}) et pour somme des colonnes le vecteur colonne ^{t}(p_{1}, …, p_{N}). Les valeurs prises par Z = λX + μY sont les c_{ij} = λa_{i} + μb_{j} et comme Z^{−1}({c_{ij}}) = C_{ij} ∈ A, on en déduit que Z est aussi une v.a. Sa loi est

P_{Z} = ∑_{ij} r_{ij}δ_{c_{ij}},

et est donc d’espérance

IE(Z) = ∑_{ij} r_{ij}c_{ij} = ∑_{ij} r_{ij}(λa_{i} + μb_{j}) = λ ∑_{i} a_{i} ∑_{j} r_{ij} + μ ∑_{j} b_{j} ∑_{i} r_{ij} = λIE(X) + μIE(Y).

Quant à l’inégalité, il suffit d’observer que IE(X − Y) ≥ 0 par définition de l’espérance et d’appliquer ensuite la linéarité qu’on vient de démontrer.

Variable aléatoire de Bernoulli. Un exemple particulièrement simple et important de v.a étagée est celui où X ne prend que les valeurs 0 et 1, c’est à dire où la loi de X est

P_{X} = (1 − p)δ_{0} + pδ_{1},

où p ∈ [0, 1]. Sa loi est appelée une loi de Bernoulli. Son espérance est p. Si X est définie sur l’espace de probabilité (Ω, A, P), soit A = {ω ; X(ω) = 1} alors X = 1_{A} est l’indicateur de A, et on a donc

IE(1_{A}) = P (A).

Inversement, un indicateur a toujours une loi de Bernoulli.

Nous allons utiliser le théorème précédent et les indicateurs pour terminer la démonstration du théorème 4.2. On veut donc montrer que si B_{j} ∈ A_{j} = {∅, A_{j}, A_{j}^{c}, Ω} et si les A_{j} sont indépendants, alors

P (∩_{j=1}^{N}B_{j}) = ∏_{j=1}^{N} P (B_{j}).

On le montre en remarquant d’abord que dans les 4 cas possibles pour B_{j}, il existe deux nombres a_{j} et b_{j} tels que

1_{B_{j}} = a_{j} + b_{j}1_{A_{j}};

on prend en effet a_{j} = b_{j} = 0 si B_{j} est vide, a_{j} = 1, b_{j} = 0 si B_{j} est plein, a_{j} = 0, b_{j} = 1 si B_{j} = A_{j}, a_{j} = 1, b_{j} = −1 si B_{j} = A_{j}^{c}. D’où le calcul:

P (∩_{j=1}^{N}B_{j}) = IE(∏_{j=1}^{N} 1_{B_{j}}) = IE(∏_{j=1}^{N}(a_{j} + b_{j}1_{A_{j}})) = IE[∑_{I}( ∏_{j∈I^{c}} a_{j})(∏_{j∈I} b_{j}1_{A_{j}})] =

∑_{I}( ∏_{j∈I^{c}} a_{j})(∏_{j∈I} b_{j})IE(∏_{j∈I} 1_{A_{j}}) = ∑_{I}( ∏_{j∈I^{c}} a_{j})(∏_{j∈I} b_{j})P (∩_{j∈I}A_{j}) =

∑_{I}( ∏_{j∈I^{c}} a_{j})(∏_{j∈I} b_{j})(∏_{j∈I} P (A_{j})) = ∏_{j=1}^{N}(a_{j} + b_{j}P (A_{j})) = ∏_{j=1}^{N} IE(1_{B_{j}}) = ∏_{j=1}^{N} P (B_{j}).

Dans cette chaîne de 9 égalités, la première, la cinquième et les 2 dernières s’appuient sur le fait que l’espérance de l’indicateur est la probabilité, la deuxième sur la définition des a_{j} et b_{j}, la troisième et la septième sur un développement algébrique; enfin, surtout, la quatrième s’appuie sur le théorème précédent et la sixième sur l’indépendance des A_{j}.

5.2 Espérance d’une variable aléatoire quelconque.

Toutes les variables aléatoires ne sont pas étagées, mais toutes sont approchables par des v.a. étagées, et cela va permettre de définir l’espérance d’une v.a. quelconque. Plus précisément, on a le théorème suivant:

Théorème 5.2: Soit (Ω, A, P) un espace de probabilité, et X : Ω → IR une variable aléatoire positive. Alors 1. Il existe une suite croissante de v.a. étagées (X_{n}) telle X = lim_{n→+∞} X_{n}.

2. Si la suite (X_{n}) ci dessus est telle que IE(X_{n}) soit bornée, alors le nombre lim_{n→+∞} IE(X_{n}) = IE(X) ne dépend que de X et non de la suite particulière (X_{n}), dans le sens que si (X′_{n}) a les propriétés demandées à (X_{n}) au 1), alors la suite IE(X′_{n}) a la même limite.

3. Si Y est une autre v.a positive sur (Ω, A, P) telle que E(Y) existe, et si λ et μ sont des nombres ≥ 0, alors IE(λX + μY) existe et est égale à λIE(X) + μIE(Y).

4. Si 0 ≤ X ≤ Y et si IE(Y) existe, alors IE(X) existe et IE(X) ≤ IE(Y).

5. Si X ≥ 0, alors IE(X) = 0 si et seulement si la loi de X est la probabilité de Dirac en 0.

Nous omettons la démonstration, bien que celle ci ne soit pas difficile. Il faut insister sur le fait que l’espérance de cette v.a. positive n’existe pas toujours.

Ce théorème définit donc IE(X) pour des v.a positives. Pour passer au signe quelconque, on considère une v.a. X définie sur (Ω, A, P) et on écrit cette fonction de ω comme différence de deux fonctions positives X = X_{+} − X_{−}, où a_{+} signifie max(a, 0) et a_{−} = (−a)_{+} (rappelons que cela implique a = a_{+} − a_{−} et |a| = a_{+} + a_{−}). Donc |X| = X_{+} − X_{−}. On dira que IE(X) existe si, au sens du théorème 5.2, l’espérance de |X| existe. Dans ces conditions, d’après le 4) du théorème, IE(X_{+}) et IE(X_{−}) existent, et on définit enfin l’espérance de X par IE(X) = IE(X_{+}) − IE(X_{+}). On a alors l’importante extension du théorème de linéarité et de positivité:

Corollaire 5.3: Soit (Ω, A, P) un espace de probabilité, soit L_{1} l’ensemble des variables aléatoires X sur cet espace telles que IE(X) existe (ou, de façon équivalente, telles que IE(|X|) soit finie). Alors L_{1} est un espace vectoriel et X ↦ IE(X) est une forme linéaire sur L_{1}, telle que de plus IE(X) ≥ IE(Y) si X ≥ Y.

Appliquons cela à deux cas particuliers importants, celui où X est discrète et positive et celui où la loi de X a une densité.

Proposition 5.4: Soit X une v.a discrète avec

P_{X} = ∑_{j=1}^{∞} p_{j}δ_{a_{j}}

où ∑_{j=1}^{∞} p_{j} = 1. Alors E(X) existe si et seulement si la série ∑_{j=1}^{∞} p_{j}a_{j} est absolument convergente. S’il en est ainsi, alors

IE(X) = ∑_{j=1}^{∞} p_{j}a_{j}.

Démonstration: Montrons le d’abord si les a_{n} sont positifs ou nuls. Alors puisque X = ∑_{j=1}^{∞} a_{j}1_{A_{j}}, où les évènements A_{j} = {X = j} sont deux à deux disjoints dans Ω, il suffit de considérer la v.a. étagée X_{n} = ∑_{j=1}^{n} a_{j}1_{A_{j}}, qui est nulle sur ∪_{j=n+1}^{∞}A_{j}, et qui définit une suite ayant les propriétés requises au théorème 5.2. Le résultat est alors clair.

Si les a_{n} ne sont pas positifs on écrit a_{n} = (a_{n})_{+} −(a_{n})_{−} et les deux séries ∑_{j=1}^{∞} p_{j}(a_{j})_{+} et ∑_{j=1}^{∞} p_{j}(a_{j})_{−} convergent si et seulement si ∑_{j=1}^{∞} p_{j}a_{j} est absolument convergente. Cela permet de conclure facilement.

Proposition 5.5: Supposons que la loi de la v.a. X ait une densité f avec un nombre fini de points de discontinuités a_{1} < … < a_{N}. Alors E(X) existe si et seulement si ∫_{−∞}^{∞} xf(x)dx est absolument convergente. S’il en est ainsi, alors

IE(X) = ∫_{−∞}^{∞} xf(x)dx.

Démonstration: Contentons nous de donner les idées de la démonstration quand X est positive et quand sa densité f est continue. L’extension aux hypothèses du théorème sera alors standard. On découpe [0, n] en n2^{n} intervalles égaux par les points x_{k} = \frac{k}{2^{n}}, avec k = 0, 1, …, n2^{n}, on convient x_{n2^{n}+1} = +∞ et on définit la variable aléatoire étagée X_{n} = x_{k} quand x_{k} ≤ X < x_{k+1}. Ceci est bien une suite croissante et on a bien lim_{n→+∞} X_{n} = X.

Si ∫_{0}^{∞} xf(x)dx converge, notons

D_{n} = ∫_{0}^{∞} xf(x)dx − IE(X_{n}) = ∑_{k=0}^{n2^{n}} ∫_{x_{k}}^{x_{k+1}}(x − x_{k})f(x)dx.

Soit ϵ > 0. Il existe un entier A tel que ∫_{A}^{∞} xf(x)dx ≤ ϵ. Soit alors K tel que x_{K} = A et soit F la fonction de répartition de F. On partage alors D_{n} en deux sommes A_{n} et B_{n}, avec

A_{n} = ∑_{k=K}^{n2^{n}} ∫_{x_{k}}^{x_{k+1}}(x − x_{k})f(x)dx ≤ 2 ∫_{A}^{+∞} xf(x)dx ≤ 2ϵ,

B_{n} = ∑_{k=0}^{K−1} ∫_{x_{k}}^{x_{k+1}}(x − x_{k})f(x)dx = − ∫_{0}^{A} F (x)dx + ∑_{k=0}^{K−1}(x_{k+1} − x_{k})F (x_{k+1},

la dernière égalité étant obtenue par intégration par parties en posant u = (x − x_{k}) et v′ = f. Notons que les symboles x_{K} et K sont des fonctions de n. Si n tend vers l’infini, (B_{n}) tend vers zéro, comme suite des différences entre une intégrale et les sommes de Riemann de cette intégrale. On voit donc que (D_{n}) tend vers 0. Le cas où ∫_{0}^{∞} xf(x)dx diverge est similaire.

Exercices sur 5.2

1. Calculer l’espérance d’une variable aléatoire de loi

∑_{n=1}^{∞} \frac{4}{n(n + 1)(n + 2)}δ_{n}.

2. Pour quelles valeurs de a > 0 la variable aléatoire X ayant pour fonction de répartition F_{X}(x) = 1 − \frac{1}{(1+x)^{a}} si x>0, et F_{X}(x) = 0 si x ≤ 0, possède-t-elle une espérance?

5.3 Théorème du transport.

Il arrive souvent qu’on ait besoin de calculer, non l’espérance de la variable aléatoire X, mais l’espérance d’une fonction Y = g(X) de celle ci. Si on applique la définition de l’espérance, cela suppose qu’on calcule la loi de Y, ce qui peut être très incommode. Le résultat suivant simplifie ce problème.

Théorème 5.6: Soit X une v.a. sur l’espace de probabilité (Ω, A, P). Soit x ↦ y = g(x) une fonction mesurable de IR dans IR. Si X est étagée ou discrète et de loi

P_{X} = ∑_{j≥1} p_{j}δ_{a_{j}},

alors IE(g(X)) existe si et seulement si ∑_{j≥1} p_{j}g(a_{j}) converge absolument et dans ce cas IE(g(X)) est égale à cette somme.

Si X a une densité f, alors de même IE(g(X)) existe si et seulement si ∫_{−∞}^{∞} g(x)f(x)dx est absolument convergente, et dans ce cas IE(g(X)) est égale à la somme de l’intégrale.

Démonstration: On montre d’abord le résultat quand X est étagée, puis quand X est positive en appliquant la définition de l’espérance d’une variable aléatoire positive, et on passe facilement au cas où X est de signe quelconque.

Exercices sur 5.3

1. Soit une variable aléatoire X de densité \frac{1}{2} exp(−|x|). Soit z un nombre réel et soit g(x) = exp(zx). Pour quelles valeurs de z Y = g(X) a-t-elle une espérance? La calculer quand elle existe.

2. X une variable aléatoire de densité \frac{1}{2}1_{[−1,1]}(x) et soit Y = tan(\frac{π}{2}X). Etudier de deux manières l’existence éventuelle de IE(Y) : soit à l’aide du théorème du transport, soit en calculant la densité de Y: pour cela, écrire d’abord la fonction de répartition de Y puis dériver.

5.4 Variables aléatoires indépendantes et espérance du produit.

Soit maintenant (X_{1}, …, X_{N}) une suite de v.a. sur (Ω, A, P). On se rappelle que si B est la tribu de Borel, alors par définition des variables aléatoires X_{j}^{−1}(B) = A_{j} est une sous tribu de A.

Nous dirons que c’est une suite de variables aléatoires indépendantes si la famille de sous tribus {A_{1}, …, A_{N}} est une famille indépendantes. Ceci entraîne un fait simple et utile: si les X_{j} sont des v.a. indépendantes, et si f_{j} est une fonction réelle quelconque, alors les Y_{j} = f_{j}(X_{j}) sont des v.a. indépendantes aussi.

Dans le théorème suivant, qui sert à caractériser l’indépendance pratiquement, contentons nous de N = 2 : la généralisation N > 2 est évidente.

Théorème 5.7: Soit X et Y deux variables aléatoires sur (Ω, A, P). Alors elles sont indépendantes si et seulement si pour tous x et y réels on a

P (X ≤ x; Y ≤ y) = F_{X}(x)F_{Y} (y) = P (X ≤ x)P (Y ≤ y).

En particulier, si elles sont discrètes de lois respectives

P_{X} = ∑_{i≥1} p_{i}δ_{a_{i}}, P_{Y} = ∑_{j≥1} q_{j}δ_{b_{j}},

alors elles sont indépendantes si et seulement si pour tout couple (i, j) on a

P (X = a_{i}; Y = b_{j}) = p_{i}q_{j} = P (X = a_{i})P (Y = b_{j}).

Démonstration: Partie ⇒ . Introduisons les évènements A = {X ≤ x} ∈ X^{−1}(B) et B = {Y ≤ y} ∈ X^{−1}(B). Par hypothèse ils sont indépendants.

Partie ⇐ . Elle n’est pas élémentaire et sera montrée en 3 ème année.

Toutefois, dans le cas discret de la seconde partie la démonstration directe est facile. Voici enfin un théorème d’une importance considérable. Théorème 5.8: Soit (X_{1}, …, X_{N}) une suite de v.a. indépendantes sur (Ω, A, P).

Alors le produit X_{1} ⋯ X_{N} a une espérance si et seulement si chaque X_{j} a une espérance. Dans ces conditions l’espérance du produit est le produit des espérances:

IE(X_{1} ⋯ X_{N}) = IE(X_{1}) ⋯ IE(X_{N}).

Démonstration: On le démontre d’abord pour N = 2, et une récurrence permet de passer au cas de N quelconque. Pour N = 2, notons X = X_{1} et Y = X_{2} pour simplifier. On le démontre d’abord dans le cas où X et Y sont étagées. Ceci fait, on suppose ensuite que X et Y sont positives. Il est facile de construire deux suites croissantes (X_{n}) et (Y_{n}) de v.a. étagées qui sont de plus indépendantes. Comme (X_{n}Y_{n}) est à son tour une suite de v.a. qui croit vers XY, on arrive au résultat. Quant au passage au cas où les X et Y ne sont plus positives, il est standard.

Exercices sur 5.4

1. Soit X et Y deux variables aléatoires indépendantes à valeurs dans les entiers ≥ 0 de lois respectives données par P (X = n) = (1 − p)^{n}p et P (Y = n) = (1 − q)^{n}q, où p et q sont dans ]0, 1[. Montrer à l’aide de la deuxième partie du Th. 5.7 que U = X − Y et V = min(X, Y) sont indépendantes.

2. Soit une matrice carrée d’ordre 2 dont les coefficients sont des variables aléatoires indépendantes et de même loi \frac{1}{2}δ_{−1}+ \frac{1}{2}δ_{1}. Calculer l’espérance du carré du déterminant de cette matrice.

VI Moments, fonctions génératrices, transformées de Laplace.

6.1 Moments et variance.

Théorème 6.1: Soit (Ω, A, P) un espace de probabilité, et soit n un entier > 0. Soit L_{n} l’ensemble des v.a. X sur cet espace telles que l’espérance m_{n} = IE(X^{n}), appelée moment d’ordre n, existe. Alors L_{n} est un espace vectoriel, et on a

L_{1} ⊃ L_{2} ⊃ ⋯ ⊃ L_{n}.

Démonstration: Puisque f(x) = x^{n} définit une fonction convexe sur la demi-droite positive, on peut écrire pour x et y positif que

(\frac{x + y}{2} )^{n} ≤ \frac{1}{2}(x^{n} + y^{n}),

et donc |X + Y |^{n} ≤ (|X| + |Y |)^{n} ≤ 2^{n−1}(|X|^{n} + |Y |^{n}). Une autre méthode pour obtenir cette inégalité est de montrer que g(t) = 2^{n−1}(t^{n} + 1) − (t + 1)^{n} atteint son minimum sur [0, +∞[ en t = 1 et de considérer g(x/y).

Si maintenant les espérances de |X|^{n} et de |Y |^{n} sont finies, on en déduit d’après la fin du théorème 5.2 que l’espérance de |X + Y |^{n} est finie et que X + Y est dans L_{n} quand X et Y y sont. Enfin, pour voir que si l’espérance de |X|^{n} est finie il en est de même pour |X|^{n−1}, on utilise l’inégalité

|X|^{n−1} ≤ 1 + |X|^{n},

qu’on vérifie immédiatement en étudiant les cas |X| ≤ 1 et |X| ≥ 1. Le fait que L_{n−1} ⊃ L_{n} s’en déduit.

On utilise parfois aussi le moment centré d’ordre n de la variable aléatoire X, défini par IE[(X − m_{1})^{n}] où m_{1} = IE(X) . Remarquons au passage que si le moment non centré m_{n} existe, alors le moment centré existe, puisque c’est l’espérance d’un polynôme en X de degré n et qu’on vient de voir que les moments de degré inférieur à n existaient.

Le cas particulier réellement important est le cas où n = 2. On appelle le moment centré d’ordre 2 de X la variance de X, et sa racine carrée positive l’écart type de X, encore appelé déviation standard. On note l’écart type σ(X) et la variance σ^{2}(X), ou plus rarement V (X). Insistons sur le fait que l’écart type à la dimension de la variable aléatoire: si celle ci s’exprime en centimètres, l’écart type s’exprime en centimètres et la variance en centimètres carrés. Il faut connaître les deux formules suivantes:

Proposition 6.2: Si X a un moment d’ordre 2, alors pour λ réel

σ^{2}(λX) = λ^{2}σ^{2}(X),

et (Formule de Huyghens):

σ^{2}(X) = IE(X^{2}) − (IE(X))^{2}.

En particulier, (IE(X))^{2} ≤ IE(X^{2}), avec égalité si et seulement si la loi de X est une probabilité de Dirac.

Démonstration: La première formule est immédiate. Pour Huyghens:

σ^{2}(X) = IE(X^{2} − 2m_{1}X + m_{1}^{2}) = IE(X^{2}) − 2m_{1}IE(X) + m_{1}^{2} = IE(X^{2}) − (IE(X))^{2}.

Ici on a utilisé le fait que l’espérance d’une constante est la constante elle même et que m_{1} = IE(X). Quant à la dernière inégalité elle vient du fait qu’une variance est toujours positive ou nulle. Si la variance est nulle, alors appliquant le 5) du théorème 5.2 à la v.a. positive Y = (X − m_{1})^{2}, alors la loi de Y est δ_{0} et celle de X est donc δ_{m_{1}}.

Il y a également à connaître deux inégalités célèbres:

Proposition 6.3: (Inégalité de Markov) Si Y est une variable aléatoire positive ou nulle dont l’espérance existe, alors pour tout y > 0 on a

P (Y ≥ y) ≤ \frac{1}{y}IE(Y).

(Inégalité de Tchebychev) Si X est une variable aléatoire ayant un second moment, alors pour tout t > 0 on a

P (|X − IE(X)| ≥ t) ≤ \frac{1}{t^{2}} σ^{2}(X).

Démonstration:

IE(Y) = IE(Y 1_{Y ≥y} + Y 1_{Y <y}) ≥ IE(Y 1_{Y ≥y}) ≥ IE(y1_{Y ≥y}) ≥ yIE(1_{Y ≥y}) = yP (Y ≥ y),

ce qui est équivalent à l’inégalité de Markov en divisant les extrémités par y. On applique ensuite Markov à Y = (X − m_{1})^{2} et à y = t^{2}. Comme

P (|X − m_{1}| ≥ t) = P ((X − m_{1})^{2} ≥ t^{2}) ≤ \frac{1}{t^{2}} IE((X − m_{1})^{2}) = \frac{1}{t^{2}} σ^{2}(X),

l’inégalité de Tchebychev est aussi démontrée.

Finalement, la variance d’une somme de variables aléatoires indépendantes est la somme des variances. Plus précisément:

Proposition 6.4: Si X_{1}, X_{2}, …, X_{N} sont des variables aléatoires indépendantes ayant un second moment, alors

σ^{2}(X_{1} + ⋯ + X_{N}) = σ^{2}(X_{1}) + ⋯ + σ^{2}(X_{N}).

Démonstration: Procédons par récurrence sur N. C’est trivial pour N = 1. Montrons le pour N = 2. Notons pour simplifier X = X_{1} − IE(X_{1}) et Y = X_{2} − IE(X_{2}). Tous deux sont d’espérance nulle. Alors

σ^{2}(X_{1} + X_{2}) = IE((X + Y)^{2}) = IE(X^{2}) + 2IE(XY) + IE(Y^{2}) = σ^{2}(X_{1}) + σ^{2}(X_{2}),

car IE(XY) = IE(X)IE(Y) = 0 en utilisant l’indépendance de X et de Y. Ensuite, supposons le résultat vrai à l’ordre N − 1. Alors appliquant le résultat pour N = 2 au couple X = X_{1} + ⋯ + X_{N−1} et Y = X_{N}, puis l’hypothèse de récurrence, on arrive au résultat.

En corollaire, on a donc la loi faible des grands nombres qui dit que en un certain sens, si des variables aléatoires sont indépendantes et de même loi, alors leur moyenne arithmétique tend vers leur espérance commune. Plus précisément:

Théorème 6.5: Soit X_{1}, X_{2}, … une suite infinie de v.a. indépendantes et de même loi, et possédant un second moment. Alors, pour tout nombre ϵ > 0 fixé on a

lim_{n→∞} P (|\frac{X_{1} + ⋯ + X_{n}}{n} − IE(X_{1})| ≥ ϵ) = 0.

Démonstration: Notons S_{n} = X_{1} + ⋯ + X_{n}. Alors IE(S_{n}/n) = IE(X_{1}) et

σ^{2}(S_{n}/n) = σ^{2}(S_{n})/n^{2} = (σ^{2}(X_{1}) + ⋯ + σ^{2}(X_{n}))/n^{2} = σ^{2}(X_{1})/n.

Ici on a utilisé successivement les propositions 6.2 puis 6.4, puis le fait que les X_{j} sont de même loi et ont donc même variance. Appliquons alors l’inégalité de Tchebychev à X = S_{n}/n et à t = ϵ; on obtient

P (|\frac{X_{1} + ⋯ + X_{n}}{n} − IE(X_{1})| ≥ ϵ) ≤ \frac{1}{nϵ^{2}} σ^{2}(X_{1}),

qui tend bien vers 0 pour ϵ fixé.

Commentaires: l’importance philosophique de la loi des grands nombres est non négligeable: elle justifie la démarche que nous avons adoptée pour modéliser le calcul des probabilités. L’idée d’expérience décrite au début de ce cours est la sélection d’un point ω dans un espace d’observables Ω, mais par un procédé susceptible d’être répété ad libitum et dans les mêmes conditions. Soit S une partie de Ω, comptons le nombre de fois où S est réalisé en n essais, divisons ce nombre par n et notons par f_{n} la fraction, ou la fréquence, ainsi obtenue. L’idée de probabilité est basée sur la constatation physique que la suite des f_{n} converge vers un nombre P (S) qu’on appellera probabilité de S. Si la théorie est bien faite, c’est à dire si les axiomes sont bien choisis, on doit retrouver cette constatation physique quelque part à l’état de théorème dans la théorie développée à partir de ces axiomes. C’est le cas. En effet, le Ω initial décrivant une expérience est remplacé par un produit infini ∏_{j=1}^{∞} Ω_{j} où les Ω_{j} sont identiques à l’Ω initial, et sont les résultats possibles de l’expérience répétée à l’instant j. Les points de ce produit sont donc des suites infinies ω = (ω_{j})_{j=1}^{∞}. Quant à la probabilité sur le produit, elle est telle que toutes les fonctions f_{j}(ω) = ω_{j} soient indépendantes. Ceci fait, notons X_{j}(ω) = 1 si ω_{j} ∈ S et X_{j}(ω) = 0 sinon. On a une suite de v.a. de Bernoulli indépendantes et de même loi d’espérance p = P (S). La loi faible des grands nombres dit que f_{n} = \frac{1}{n}(X_{1} + ⋯ + X_{n}) converge vers P (S), dans le sens décrit au théorème 6.5. Il existe un théorème avec une conclusion plus précise, appelé loi forte des grands nombres, que nous exposons maintenant.

Théorème 6.6: Soit X_{1}, …, X_{n}, … des variables aléatoires de Bernoulli indépendantes et de même loi qδ_{0} + pδ_{1}, avec 0 < p = 1 − q < 1. Alors

Pr( lim_{n→∞} \frac{1}{n}(X_{1} + ⋯ + X_{n}) = p) = 1.

Démonstration: Elle s’appuie sur le lemme de Borel: Si (A_{n})_{n≥1} est une suite d’évènements telle que ∑_{n≥1} Pr(A_{n}) converge, alors Pr(∩_{k≥1} ∪_{n≥k} A_{n}) = 0.

La démonstration de ce lemme est à peu près triviale: Puisque la suite (r_{k})_{k≥1} des restes de la série convergente tend vers 0 et que pour tout entier k on peut écrire

Pr(∩_{k≥1} ∪_{n≥k} A_{n}) ≤ Pr ∪_{n≥k}A_{n}) ≤ ∑_{n≥k} Pr(A_{n}) = r_{k},

le résultat s’ensuit en faisant tendre k vers l’infini.

On se fixe ensuite un nombre ϵ > 0 et on note pour simplifier

U_{n}(ϵ) = U_{n} = \frac{1}{n}(X_{1}+⋯+X_{n})−p−ϵ, A_{n}(ϵ) = A_{n} = \{U_{n} > 0\}, B(ϵ) = \{\overline{lim}_{n→∞}U_{n} > 0\}

Le point délicat de la démonstration est de montrer que pour tout ϵ > 0 il existe un nombre r_{ϵ} = r ∈]0, 1[ tel que P (A_{n}) ≤ r^{n}. Admettons ce point quelques instants et achevons la démonstration. On remarque d’abord que

∩_{k≥1} ∪_{n≥k} A_{n} = {∀k, ∃n ≥ k; U_{n} > 0}.

Un point subtil est ensuite l’inclusion d’évènements:

\{\overline{lim}_{n→∞}U_{n} > 0\} ⊂ \{∀k, ∃n ≥ k; U_{n} > 0\} ⊂ \{∀k, ∃n ≥ k; U_{n} ≥ 0\} ⊂ \{\overline{lim}_{n→∞}U_{n} ≥ 0\}.

Il n’y a jamais égalité dans ces inclusions: il suffit de penser aux cas U_{n} = 1/n et U_{n} = −1/n pour s’en convaincre. Nous n’allons utiliser que la première inclusion. Ayant admis que Pr(A_{n}) < r^{n} avec r ∈]0, 1[, comme la série géométrique de raison r converge, le lemme de Borel est appliquable et on en déduit que Pr(B(ϵ)) = 0.

Ensuite on observe que si 0 < ϵ < ϵ′ on a B(ϵ) ⊃ B(ϵ′). Changeons un peu de notation en écrivant pour N entier B_{N} = B(1/N). La suite d’évènements (B_{N})_{N≥1} est donc croissante. Mais comme tous les B_{N} sont de probabilité nulle, on a encore Pr(∪_{N≥1}B_{N}) = 0. Analysons alors l’évènement ∪_{N≥1}B_{N}. On a

∪_{N≥1}B_{N} = \{∃N; \overline{lim}_{n→∞} \frac{1}{n}(X_{1} + ⋯ + X_{n}) > p + \frac{1}{N} \} = \{\overline{lim}_{n→∞} \frac{1}{n}(X_{1} + ⋯ + X_{n}) > p\}.

Nous avons donc montré que

Pr(\overline{lim}_{n→∞} \frac{1}{n}(X_{1} + ⋯ + X_{n}) > p) = 0.

Appliquons ce résultat aux variables de Bernoulli X′_{n} = 1 − X_{n}. Elles sont de loi pδ_{0} + qδ_{1} et donc Pr(\overline{lim}_{n→∞} \frac{1}{n}(X′_{1} + ⋯ + X′_{n}) > q) = 0. Cependant \frac{1}{n}(X′_{1} + ⋯ + X′_{n}) = 1 − \frac{1}{n}(X_{1} + ⋯ + X_{n}) et donc

Pr(\underline{lim}_{n→∞} \frac{1}{n}(X_{1} + ⋯ + X_{n}) < p) = 0.

L’union de deux évènements de probabilité nulle est nulle, le complémentaire de cette union est de probabilité 1. Cela entraîne:

Pr (\overline{lim}_{n→∞} \frac{1}{n}(X_{1} + ⋯ + X_{n}) ≤ p ≤ \underline{lim}_{n→∞} \frac{1}{n}(X_{1} + ⋯ + X_{n})) = 1.

Donc avec probabilité 1, les limites supérieure et inférieure sont égales à p. C’est le résultat annoncé.

Reste à montrer qu’il existe r_{ϵ} = r ∈]0, 1[ tel que

Pr(A_{n}) = Pr(\frac{1}{n}(X_{1} + ⋯ + X_{n}) > p + ϵ) ≤ r^{n}.

A l’aide d’un nombre s > 0 arbitraire, nous donnons d’abord une autre présentation de cet évènement:

A_{n} = \{(\frac{1}{n}(X_{1} + ⋯ + X_{n}) > p + ϵ\} = \{e^{s(X_{1}+···+X_{n})} > e^{sn(p+ϵ}\}.

On applique alors l’inégalité de Markov (proposition 6.3) à Y = e^{s(X_{1}+···+X_{n})} et y = e^{sn(p+ϵ)}. On en tire

Pr(A_{n}) ≤ \frac{1}{y}IE(Y)
= e^{−sn(p+ϵ)}IE(e^{s(X_{1}+···+X_{n})})
= (e^{−s(p+ϵ)}IE(e^{sX_{1}}))^{n}
= (e^{−s(p+ϵ)}(q + pe^{s}))^{n}
= (qe^{−sp−sϵ} + pe^{sq−sϵ})^{n}.

Insistons sur le fait que cette inégalité est valable pour tout s > 0. Observons alors qu’il existe des valeurs de s telles que s ↦ φ(s) = qe^{−sp−sϵ} + pe^{sq−sϵ} soit < 1. Une manière de le voir est de calculer φ(0) = 1 et φ′(0) = −ϵ. Cela entraîne évidemment, puisque −ϵ = φ′(0) = lim_{s→0}(1 − φ(s))/s, qu’il existe s_{0} > 0 proche de 0 tel que r = φ(s_{0}) < 1. Comme φ > 0 cela termine la démonstration.

Exercices sur 6.1

1. Soit X une variable aléatoire telles que 0 ≤ X ≤ 1. Montrer que σ^{2}(X) ≤ \frac{1}{4}. Méthode: si m = IE(X), écrire

\frac{1}{4} − (X − m)^{2} = (\frac{1}{2} − m)^{2} + X(1 − X)

et prendre l’espérance de chaque membre.

6.2 Les variables aléatoires à valeurs entières.

Nous allons nous concentrer pour un moment sur les variables à valeurs dans l’ensemble N des entiers ≥ 0. Dans ce cas les moments seront plus faciles à calculer grâce à l’introduction de la notion de fonction génératrice de X :

Théorème 6.6: Soit X une v.a. à valeurs dans N de loi P_{X} = ∑_{n=0}^{+∞} p_{n}δ_{n}. On désigne par f_{X}(z) la somme de la série entière

∑_{n=0}^{+∞} p_{n}z^{n}

de rayon de convergence R. Alors

1. R ≥ 1 et, pour |z| ≤ 1 on a f_{X}(z) = IE(z^{X}).

2. Pour tout n on a p_{n} = \frac{1}{n!}f_{X}^{(n)}(0). En particulier, la connaissance de f_{X} donne la connaissance de la loi de X.

3. Pour tout n le moment d’ordre n IE(X^{n}) existe si et seulement si la dérivée à gauche d’ordre n au point 1 de la fonction z ↦ f_{X}(z) définie sur [−1, 1] existe et est finie. Dans ce cas,

IE(X(X − 1) ⋯ (X − n + 1)) = f_{X}^{(n)}(1) = ∑_{k=n}^{∞} k(k − 1) ⋯ (k − n + 1)p_{n};

en particulier IE(X) = f′_{X}(1), IE(X^{2}) = f′′_{X}(1) + f′_{X}(1).

4. Si X_{1}, X_{2}, …, X_{N} sont des variables aléatoires indépendantes à valeurs dans N et si S = X_{1} + X_{2} + ⋯ + X_{N} alors pour |z| ≤ 1:

f_{S}(z) = f_{X_{1}}(z) ⋯ f_{X_{N}} (z),

c’est-à-dire que la fonction génératrice d’une somme est le produit des fonctions génératrices.

Démonstration: Il est clair que la série entière converge pour z = 1 puisque ∑_{n=0}^{+∞} p_{n} = 1 et donc que f_{X}(1) = 1. Donc R ≥ 1. Ensuite, si |z| = 1 la série est absolument convergente. Pour le 2), cela découle du lien entre la formule de Taylor et la somme d’une série entière.

Le 3) est plus délicat. Nous le montrons pour n = 1. Le principe pour n quelconque est le même. Supposons d’abord que IE(X) existe, c’est-à-dire, d’après la proposition 5.3, que ∑_{n=0}^{+∞} np_{n} converge. Montrons qu’alors la dérivée à gauche en 1 de f_{X} existe et est finie. Celle ci est définie comme la limite quand z croît vers 1 de la fonction

\frac{f_{X}(z) − f_{X}(1)}{z − 1} = \frac{1 − f_{X}(z)}{1 − z} = ∑_{n=0}^{+∞} p_{n} \frac{1 − z^{n}}{1 − z} = ∑_{n=0}^{+∞} p_{n}(1 + z + ⋯ + z^{n−1}).

Or si 0 ≤ z ≤ 1 on a 1+z +⋯+z^{n−1} ≤ n. Comme ∑_{n=0}^{+∞} np_{n} converge la série précédente converge normalement et sa limite est pour z tendant vers 1 est IE(X).

Inversement, supposons que la dérivée à gauche en 1, notée f′_{X}(1) existe. Appliquons le théorème des accroissement finis à l’intervalle [z, 1] et à la fonction f_{X}. Il existe donc c ∈]z, 1[ tel que

\frac{1 − f_{X}(z)}{1 − z} = f′_{X}(c) = ∑_{n=1}^{+∞} np_{n}c^{n−1}.

Ceci tend vers une limite finie si z croit vers 1 par hypothèse. Il est clair puisque c tend vers 1 avec z, que cette limite est supérieure ou égale à toutes les sommes partielles de la série ∑_{n=0}^{+∞} np_{n}, ce qui prouve que cette série converge. Enfin, trivialement,

∑_{n=1}^{+∞} p_{n}c^{n−1} ≤ ∑_{n=1}^{+∞} np_{n},

ce qui montre finalement que f′_{X}(1) = IE(X).

Le 4) est une conséquence immédiate du fait que si les X_{j} sont indépendants, alors les z^{X_{j}} sont indépendants, et que l’espérance du produit de variables indépendantes est le produit des espérances:

f_{S}(z) = IE(z^{X_{1}+···+X_{N}}) = IE(z^{X_{1}} ⋯ z^{X_{N}}) = IE(z^{X_{1}}) ⋯ IE(z^{X_{N}}) = f_{X_{1}}(z) ⋯ f_{X_{N}} (z).

Commentaires: la démonstration du 3) n’est pas facile si R = 1, comme on l’a vu. Si R > 1, c’est simple et immédiat par le théorème de dérivation d’une série entière à l’intérieur de l’intervalle de convergence.

Nous étudions maintenant 4 exemples fondamentaux de lois sur N.

La loi de Bernoulli B_{1,p}. Pour 0 < p < 1 c’est la loi

B_{1,p} = (1 − p)δ_{0} + pδ_{1}.

Sa fonction génératrice est f(z) = (1 − p) + pz, son espérance est p et sa variance est (1 − p)p.

La loi binomiale B_{N,p}. C’est la loi du nombre de succès dans le schéma Succès Echec fini à N essais:

B_{N,p} = ∑_{k=0}^{N} C_{N}^{k}(1 − p)^{N−k}p^{k}δ_{k}.

Sa fonction génératrice est d’après la formule du binôme, f(z) = ((1 − p) + pz)^{N}. Donc en prenant sa dérivée à l’ordre 1, son espérance est donc Np. Quant à sa variance, c’est N(1 − p)p. On remarque que si X et Y sont indépendantes et de lois respectives B_{N,p} et B_{M,p}, alors la loi de X + Y est B_{N+M,p}, comme on le voit par la fonction génératrice.

Un bon moyen de retenir ces résultats sur la loi binomiale est d’observer que si X_{1}, …, X_{N} sont des variables aléatoires indépendantes de même loi de Bernoulli B_{1,p}, alors S = X_{1} + ⋯ + X_{N} est de loi binomiale B_{N,p} comme on le voit par la fonction génératrice f_{S}.

La loi de Poisson P_{λ}. Pour λ > 0, c’est la loi définie par

P_{λ} = ∑_{n=0}^{∞} \frac{λ^{n}}{n!} e^{−λ}δ_{n}.

Sa fonction génératrice est f(z) = exp(λ(z − 1)), son espérance et sa variance sont toutes deux égales à λ. On remarque que si X et Y sont indépendantes et de lois respectives P_{λ} et P_{μ}, alors la loi de X + Y est P_{λ+μ}, comme on le voit par la fonction génératrice.

La manière la plus courante de rencontrer cette loi de Poisson dans la nature est en tant qu’approximation de la loi binomiale. En effet, la suite de lois B_{N,λ/N} tend vers P_{λ} dans le sens suivant: pour tout entier k on a

lim_{N→∞} B_{N,λ/N}({k}) = P_{λ}({k}).

Pour le voir, on observe que la suite du premier membre est

C_{N}^{k}(1 − \frac{λ}{N})^{N−k}(\frac{λ}{N})^{k} = \frac{N(N − 1) ⋯ (N − k + 1)}{N^{k}}(1 − \frac{λ}{N})^{−k} \frac{λ^{k}}{k!} (1 − \frac{λ}{N})^{N}.

Le premier produit tend vers 1, comme quotient de deux polynômes de N de degré k ayant même terme de plus haut degré. Il est clair que toute l’expression tend vers \frac{λ^{k}}{k!} e^{−λ} si N tend vers l’infini, par la formule connue lim_{N→∞}(1 + \frac{x}{N})^{N} = exp x.

La loi de Pascal et la loi négative binomiale. Dans le schéma Succès Echec infini, intéressons nous à la loi du temps d’attente T_{1} du premier succès , soit T_{1}(ω) = inf {n ; ω_{j} = S}. La loi de T_{1} se calcule facilement en remarquant que dire que T_{1} > n est dire que les n premiers essais ont été des échecs, un évènement de probabilité (1 − p)^{n}. Donc, puisque

P (T_{1} = n) = P (T_{1} > n − 1) − P (T_{1} > n) = (1 − p)^{n−1} − (1 − p)^{n} = (1 − p)^{n−1}p,

la loi de T_{1}, dite loi de Pascal, ou loi géométrique, est

P_{T_{1}} = pδ_{1} + (1 − p)pδ_{2} + ⋯ + (1 − p)^{n−1}pδ_{n} + ⋯

Sa fonction génératrice est la fonction homographique f_{T_{1}}(z) = \frac{pz}{1−(1−p)z}, sa moyenne est 1/p, un résultat qu’il est bon de retenir. Quant à sa variance, c’est σ^{2}(T_{1}) = (1−p)/p^{2}.

Si ensuite on s’intéresse au temps d’attente T_{k} du k ième succès, il est intuitivement clair, bien que pas si facile à montrer rigoureusement, que c’est la somme de k variables aléatoires indépendantes I_{1}, …, I_{k}, de même loi que T_{1}: la v.a. I_{k} représente l’intervalle de temps entre les k − 1 ième et k ième succès. La fonction génératrice est donc f_{T_{k}}(z) = (\frac{pz}{1−(1−p)z})^{k}, la moyenne k/p et la variance k(1−p)/p^{2}. Toutefois, la loi de T_{k} est concentrée sur les entiers supérieurs ou égaux à k, et il y a avantage en vue d’une généralisation à considérer plutôt la loi de T_{k} − k, concentrée sur N, de fonction génératrice

f_{T_{k}−k}(z) = (\frac{p}{1 − (1 − p)z})^{k} = ∑_{n=0}^{∞} \frac{1}{n!}k(k + 1) ⋯ (k + n − 1)p^{k}(1 − p)^{n}z^{n},

en développant selon la formule du binôme de Newton. Cela entraîne donc que si n ≥ k :

P (T_{k} = n) = P (T_{k}−k = n−k) = \frac{1}{(n − k)!}k(k+1) ⋯ (n−1)p^{k}(1−p)^{n−k} = C_{n−1}^{k−1}p^{k}(1−p)^{n−k},

une formule difficile à retenir.

Maintenant, on peut généraliser la loi de T_{k}−k en remplaçant le paramètre entier k par le paramètre continu positif λ. L’interprétation probabiliste disparait, mais les formules demeurent. On introduit donc la loi dite négative-binomiale NB_{λ,p} définie pour λ > 0 et 0 < p < 1 par

NB_{λ,p} = ∑_{n=0}^{∞} \frac{1}{n!}λ(λ + 1) ⋯ (λ + n − 1)p^{λ}(1 − p)^{n}δ_{n}.

Une variable aléatoire X qui suit une telle loi est donc telle que si n ∈ N :

P (X = n) = \frac{1}{n!}λ(λ + 1) ⋯ (λ + n − 1)p^{λ}(1 − p)^{n},

sa fonction génératrice est f_{X}(z) = (\frac{p}{1−(1−p)z})^{λ}, sa moyenne est λ(1 − p)/p et sa variance est λ(1 − p)/p^{2}.

Exercices sur 6.2

1. Montrer que si deux dés sont marqués sur leurs faces 1, 2, 3, 4, 5, 6 il est impossible de les piper de sorte que la somme X+Y de leur points soit telle que P (X+Y = n) = \frac{1}{11} pour n = 2, 3, …, 12. Méthode: montrer que les fonctions génératrices f_{X}(z) et f_{Y} (z) sont telles que f_{X}(z)/z et f_{X}(z)/z sont des polynômes ayant au moins un zéro réel, et que f_{X+Y} (z)/z^{2} n’a que des zéros imaginaires.

2. Une fonction génératrice f_{X} est telle que f_{X}(z) = (1 − \sqrt{1 − z})/z. Quelle est la probabilité pour que X = n? Est ce que IE(X) existe?

3. Soit X et Y deux variables aléatoires indépendantes qui suivent des lois de Pascal pas nécessairement identiques. Soit Z = min(X, Y). Calculer pour n fixé P (X > n, P (Y > n), P (Z > n), P (Z = n). Montrer que Z suit une loi de Pascal. Exprimer sa moyenne en fonction des moyennes de X et Y.

6.3 Transformée de Laplace d’une variable aléatoire.

Théorème 6.7: Soit X une variable aléatoire. Soit I_{X} l’ensemble des z réels tels que L_{X}(z) = IE(e^{zX}) existe. La fonction z ↦ L_{X}(z) définie sur I_{X} est appelée la transformée de Laplace de X. Alors

1. L’ensemble I_{X} est un intervalle contenant 0.

2. Si 0 est dans l’intérieur de I_{X}, la transformée de Laplace est développable en série entière et les coefficients de cette série sont les L_{X}^{(n)}(0)/n! = IE(X^{n})/n! :

L_{X}(z) = ∑_{n=0}^{∞} \frac{IE(X^{n})}{n!}z^{n}.

3. Si I_{X} est de longueur positive, la loi de X est caractérisée par sa transformée de Laplace. Plus précisément, si I_{X} ∩ I_{Y} est de longueur positive et si L_{X} = L_{Y} sur cet intervalle, alors X et Y sont de même loi.

4. Si X et Y sont indépendantes, alors I_{X+Y} = I_{X} ∩ I_{Y} et , pour z dans cet intervalle: L_{X+Y} (z) = L_{X}(z)L_{Y} (z).

5. Si a et b sont réels avec a ≠ 0 alors I_{aX+b} = \frac{1}{a}I_{X} et L_{aX+b}(z) = exp(bz)L_{X}(az).

Démonstration: 1) Il est clair que 0 ∈ I_{X}. Si 0 < s < z ou si z < s < 0 et si z ∈ I_{X}, montrons que s ∈ I_{X}. Cela vient du fait que exp(sX) ≤ 1 + exp(zX), comme on le voit en examinant les 4 cas X ≥ 0 et X < 0, z > 0 et z < 0.

2) Si [−a, a] ⊂ I_{X} avec a > 0, alors comme exp(a|X|) < exp(aX) + exp(−aX) on en déduit que IE(exp(a|X|)) existe, et donc IE(exp |zX|) existe pour tout |z| ≤ a. D’où pour un tel z

|L_{X}(z) − ∑_{n=0}^{N} \frac{IE(X^{n})}{n!}z^{n}| = |IE(exp(zX) − ∑_{n=0}^{N} \frac{(Xz)^{n}}{n!} | = |IE( ∑_{n=N+1}^{∞} \frac{(Xz)^{n}}{n!} | ≤

IE ( ∑_{n=N+1}^{∞} \frac{|Xz|^{n}}{n!} ) = IE (exp |zX| − ∑_{n=0}^{N} \frac{|Xz|^{n}}{n!} ) = IE(Y_{N}).

La variable aléatoire Y_{N} décroit vers 0: un théorème de 3ème année dit que cela suffit pour entraîner que lim_{N→∞} IE(Y_{N}) = 0; ce qui achève la démonstration du 2).

La partie 3) est beaucoup plus difficile et nous admettrons ce résultat.

La partie 4) est une conséquence du théorème 5.8 appliqué à N = 2 et à (X_{1}, X_{2}) = (exp(zX), exp(zY)). La partie 5) est immédiate.

A cause du 2) on appelle parfois la transformée de Laplace la fonction génératrice des moments. C’est à éviter, pour ne pas confondre avec la fonction génératrice d’une variable aléatoire X à valeurs dans N. D’ailleurs, pour un tel X, les deux notions sont reliées par f_{X}(exp z) = L_{X}(z) et l’intérieur de I_{X} est alors ] − ∞, log R[ où R est le rayon de convergence de la série entière de somme f_{X}. Les transformées de Laplace sont surtout utilisées pour caractériser des v.a. à densité. Nous en donnons 3 exemples importants.

La loi normale N_{m,σ^{2}}. C’est la loi la plus importante du calcul des probabilités. On l’appelle aussi une loi gaussienne, une loi de Laplace-Gauss, ou encore une seconde loi de Laplace. Si m ∈ IR et si σ > 0, elle est définie par sa densité:

\frac{1}{σ\sqrt{2π}} exp −\frac{(x − m)^{2}}{2σ^{2}} .

Le fait que ce soit une densité de probabilité n’est pas évident, car il faut vérifier que l’intégrale de cette fonction > 0 est 1. Si on l’admet pour le cas m = 0 et σ = 1, on se ramène facilement à ce cas particulier en posant x = σy + m. Cette remarque permet alors de montrer que la transformée de Laplace d’une variable aléatoire Y de loi N_{0,1} est

L_{Y} (z) = IE(e^{zY}) = \frac{1}{\sqrt{2π}} ∫_{−∞}^{+∞} e^{− \frac{y^{2}}{2} +zy}dy = e^{\frac{z^{2}}{2}} .

Pour voir cette dernière égalité il suffit d’écrire que la densité de N_{z,1} est d’intégrale 1. Remarquons que l’intervalle d’existence est I_{Y} = IR

Ensuite, on remarque que si Y est de loi N_{0,1}, alors X = σY + m est de loi N_{m,σ^{2}}. Pour le voir, il suffit d’écrire la fonction de répartition de X de la manière suivante:

F_{X}(x) = P (σY + m ≤ x) = P (Y ≤ \frac{x − m}{σ}) = F_{Y} (\frac{x − m}{σ});

on dérive alors les deux membres extrêmes de la ligne ci dessus: à gauche on obtient la densité cherchée de X, à droite en utilisant le théorème de dérivation des fonctions composées et le fait que la densité de Y est par hypothèse \frac{1}{\sqrt{2π}}e^{− \frac{y^{2}}{2}} : ceci fournit pour X la densité de la loi N_{m,σ^{2}} comme annoncé.

Enfin, pour avoir la transformée de Laplace de X à partir de Y on utilise le 5) du théorème 6.7 pour obtenir que si X est de loi N_{m,σ^{2}}, alors

L_{X}(z) = exp(\frac{σ^{2}z^{2}}{2} + mz).

On déduit du 2) du théorème 6.7 qu’alors IE(X) = m et que σ^{2}(X) = σ^{2}. On déduit aussi des 3) et 4) du théorème 6.7 que si X_{1} et X_{2} sont des variables aléatoires indépendantes et de lois respectives N_{m_{1},σ_{1}^{2}} et N_{m_{1},σ_{2}^{2}}, alors X_{1} + X_{2} est de loi N_{m_{1}+m_{2},σ^{2}_{1}+σ_{2}^{2}}.

A propos de fonction de répartition, il faut noter que la fonction de répartition Φ de la loi N_{0,1}, soit

Φ(x) = \frac{1}{\sqrt{2π}} ∫_{−∞}^{x} e^{− \frac{y^{2}}{2}} dy,

n’est pas élémentaire. Elle est tabulée dans tous les ouvrages.

On rencontre la loi N_{0,1} dans la nature comme approximation de bien des lois. La plus ancienne est l’approximation de Moivre Laplace de la loi binomiale: Si X est de loi B_{N,p}, alors la loi de \frac{X−Np}{\sqrt{Np(1−p)}} tend vers la loi N_{0,1} dans le sens suivant: pour tout intervalle [a, b] on a

lim_{N→∞} P (a ≤ \frac{X − Np}{\sqrt{Np(1 − p)}} ≤ b) = \frac{1}{\sqrt{2π}} ∫_{a}^{b} e^{− \frac{y^{2}}{2}} dy.

Une autre présentation de ce théorème de Moivre Laplace est donc

lim_{N→∞} P (a\sqrt{Np(1 − p)} + Np ≤ X ≤ b\sqrt{Np(1 − p)} + Np) = \frac{1}{\sqrt{2π}} ∫_{a}^{b} e^{− \frac{y^{2}}{2}} dy.

C’est dire que P (a\sqrt{Np(1 − p)} + Np ≤ X ≤ b\sqrt{Np(1 − p)} + Np) est approchée par Φ(b)− Φ(a). Cette approximation est à la base de la statistique.

La démonstration de ce résultat n’est pas élémentaire. Toutefois, l’usage des transformées de Laplace le rend plausible; avec le théorème 6.7, partie 5):

L_{\frac{X−Np}{\sqrt{Np(1−p)}}} (z) = (1 − p + p\frac{z}{\sqrt{Np(1 − p)}})^{N} exp \frac{−Npz}{\sqrt{Np(1 − p)}} →_{N→∞} exp \frac{z^{2}}{2} ,

par un calcul de développement limité.

Les lois gamma γ_{p,q}. La loi exponentielle γ_{1,q} de moyenne q est la plus importante des lois à densité après la loi normale. Elle est concentrée sur la demi droite positive, sa fonction de répartition est pour x > 0 F (x) = 1 − exp(−x/q) et en dérivant F, sa densité est

\frac{1}{q} exp(−x/q)1_{]0,+∞[}(x).

On la rencontre dans la nature car c’est une loi sans mémoire: si X suit une loi exponentielle de moyenne q et si x et y sont > 0, alors

P (X > x + y|X > y) = \frac{P (X > x + y)}{P (X > y)} = \frac{1 − F (x + y)}{1 − F (y)} = exp(−x/q) = P (X > x).

Par exemple une ampoule électrique ne s’use pas, et le fait que nous sachions qu’elle a déjà duré un temps y ne nous donne aucune information pour savoir si elle va durer au moins un temps x à partir de maintenant.

La transformée de Laplace d’une variable aléatoire X de loi exponentielle existe sur I_{X} =] − ∞, 1/q[ et est égale à L_{X}(z) = \frac{1}{1−qz}. Ceci montre avec le théorème 6.7, 2), que IE(X) = q, IE(X^{2}) = 2q^{2} et, par la formule de Huyghens, que σ^{2}(X) = q^{2}.

Si p est un nombre entier positif et si X_{1}, ⋯, X_{p} sont des v.a. indépendantes et de même loi γ_{1,q} , la transformée de Laplace de X_{1} +⋯+X_{p} est donc (\frac{1}{1−qz})^{p} sur ]−∞, 1/q[. Comme la transformée de Laplace détermine la loi, il suffit de montrer (par une intégration par parties qui permet de faire une récurrence sur p) que

\frac{1}{(p − 1)!} ∫_{0}^{+∞} exp(zx − x/q)q^{−p}x^{p−1}dx = (\frac{1}{1 − qz})^{p}

pour en déduire que la densité de X_{1} + ⋯ + X_{p} est

\frac{1}{(p − 1)!} ∫_{0}^{+∞} exp(−x/q)q^{−p}x^{p−1}1_{]0,+∞[}(x) :

c’est la densité de la loi γ_{p,q}.

En fait, comme pour la loi négative binomiale qui a été obtenue par une interpolation des entiers, il est possible dans la loi γ_{p,q} de remplacer le paramètre entier par le paramètre p > 0. Pour cela on introduit une importante fonction de p appelée fonction Gamma d’Euler et définie pour p > 0 par

Γ(p) = ∫_{0}^{+∞} exp(−x)x^{p−1}dx.

Une intégration par parties montre que Γ(p + 1) = pΓ(p). Comme Γ(1) = 1 on en tire que si p est entier Γ(p) = (p − 1)!: cette fonction Gamma interpole les factorielles.

On définit alors la loi γ_{p,q} pour p > 0 non nécessairement entier par sa densité :

\frac{1}{Γ} ∫_{0}^{+∞} exp(−x/q)q^{−p}x^{p−1}1_{]0,+∞[}(x)

qui a pour transformée de Laplace (\frac{1}{1−qz})^{p}. On déduit de cette transformée de Laplace que la moyenne est pq et que la variance est pq^{2}. On appelle p le paramètre de forme et q le paramètre d’échelon. En effet, on voit facilement, soit avec les fonctions de répartition, soit avec les transformées de Laplace, que si X est de loi γ_{p,1} alors qX est de loi γ_{p,q}. Changer q est un simple changement d’unités de mesure, changer p change de façon importante l’allure de la densité.

La loi uniforme sur [a, b]. C’est la loi U_{[a,b]}, de densité \frac{1}{b−a}1_{[a,b]}(x). Sa fonction de répartition F (x) est nulle si x < a, égale à \frac{x−a}{b−a} si x ∈ [a, b] et égale 1 si x > b. Il est facile de voir que si X est de loi U_{[0,1]} alors Y = a + (b − a)X est de loi U_{[a,b]} (on dit aussi que Y est uniformément répartie sur [a, b]). La transformée de Laplace n’est pas spécialement remarquable. Pour U_{[0,1]}, c’est L(z) = \frac{1}{z}(e^{z} − 1) si z ≠ 0 et L(0) = 1 Le moment d’ordre n pour U_{[0,1]} s’obtient directement à partir de la définition : c’est 1/(n + 1). Les variables uniformes sont intensément utilisées en simulation.

Appendice 1: Grandes déviations

Si X_{1}, …, X_{n} sont des variables aléatoires indépendantes et de même loi, de moyenne m et telle qu’il existe α > 0 avec IE(e^{α|X_{n}|}) < ∞, et si on note S_{n} = X_{1} + ⋯ + X_{n}, le théorême suivant calcule pour a > m le nombre lim_{n∞}(Pr(S_{n} ≥ na))^{1/n}.

Théorème: Soit μ une mesure positive sur IR non concentrée en un point et telle que l’intervalle des θ réels satisfaisant L(θ) = ∫_{−∞}^{∞} e^{θx}μ(dx) < ∞ ait un intérieur Θ non vide. On considère la fonction strictement convexe sur Θ égale à k = log L et l’intervalle ouvert M = k′(Θ), et on note par ψ : M → Θ la fonction réciproque de k′.

Soit m = k′(θ) fixé dans M et X_{1}, …, X_{n} sont des variables aléatoires indépendantes et de même loi e^{θx−k(θ)}μ(dx). Soit enfin a ∈ M avec m < a et les nombres

u_{n} = Pr(\frac{1}{n}(X_{1} + ⋯ + X_{n}) ≥ a)
h(m, a) = − ∫_{m}^{a}(a − x)ψ′(x)dx = a(ψ(m) − ψ(a)) + k(ψ(a)) − k(ψ(m)).

Dans ces conditions on a

1. (Inégalité des grandes déviations) u_{n}^{1/n} ≤ e^{h(m,a)}.

2. (Théorème des grandes déviations) lim_{n∞} u_{n}^{1/n} = e^{h(m,a)}.

Commentaires: 1) Une insupportable confusion règne dans la littérature d’enseignement concernant ce résultat, dû à Cramer (1938), principalement à cause de ses généralisations à des hypothèses plus faibles (et peu intéressantes) dans IR ainsi qu’à IR^{d}, où les résultats n’ont pas l’harmonie du résultat ci dessus.

2) Dans sa présentation, le théorème fait jouer un rôle symétrique à toute la famille de lois de probabilités e^{θx−k(θ)}μ(dx) quand θ varie dans Θ. Cette famille est appelée une famille exponentielle naturelle engendrée par μ. Attention, μ n’est pas unique: μ′ engendre la même famille exponentielle, c’est à dire le même ensemble de probabilités, indépendamment du paramétrage, si et seulement si il existe a et b réels tels que μ′(dx) = e^{ax+b}μ(dx). Il est clair que la loi d’une variable aléatoire réelle X telle qu’il existe α > 0 avec IE(e^{α|X|}) < ∞ appartient à une famille exponentielle naturelle: il suffit de prendre pour μ la loi de X. Toutefois, pour la loi de X donnée, souvent avec un paramètre, il n’est pas toujours apparent de relier cette loi avec la famille exponentielle à laquelle elle appartient. Par exemple la loi de Bernoulli (1 − p)δ_{0} + pδ_{1} appartient à la famille exponentielle engendrée par μ = δ_{0} + δ_{1} : prendre p = \frac{e^{θ}}{1+e^{θ}} .

3) Implicitement, l’énoncé utilise des résultats simples comme le fait que Θ soit un intervalle et comme la convexité de k, qui se démontrent comme le 1) et le 6) du théorème 6.7 du cours de Deug. De plus, il est facile de voir que avec les notations du théorème, l’espérance des X_{i} est m = k′(θ) et leur variance est k′′(θ) = 1/ψ′(m).

4) La partie 2) du théorème est plus difficile. La partie 1) est comme on va le voir amusante et élémentaire. Elle fournit une démonstration de poche de la loi forte des grands nombres qui affirme que si X_{1}, …, X_{n}, … sont des variables aléatoires indépendantes et de même loi de moyenne m, alors Pr(lim_{n∞} S_{n}/n = m) = 1. Si on fait l’hypothèse suplémentaire de l’existence de moments exponentiels, c’est à dire qu’il existe α > 0 avec IE(e^{α|X_{n}|}) < ∞, alors l’inégalité des grandes déviations et le critère de Cauchy, du fait que h(m, a) < 0, entraine que la série ∑ u_{n} converge, et on procède alors comme au Théorème 6.6 du cours pour conclure avec le lemme de Borel.

5) Travaux pratiques: Voici quelques mesures μ classiques, et les lois et les fonctions h(m, a) qui vont avec. Loi de Bernoulli: μ = δ_{0} + δ_{1}, L(θ) = 1 + e^{θ}, Θ = IR, k(θ) = log(1 + e^{θ}), k′(θ) = \frac{e^{θ}}{1+e^{θ}} , M =]0, 1[, ψ(m) = log \frac{m}{1−m}, k(ψ(m)) = − log(1 − m) et

h(m, a) = a log \frac{a}{m} + (1 − a) log \frac{1 − a}{1 − m}.

Loi de Poisson: μ = ∑_{n=0}^{∞} \frac{1}{n!}δ_{n}, L(θ) = exp e^{θ}, Θ = IR, k(θ) = e^{θ}, k′(θ) = e^{θ}, M =]0, ∞[, ψ(m) = log m, k(ψ(m)) = m et

h(m, a) = a log \frac{m}{a} + a − m.

Loi gamma: Soit α > 0 fixé. μ = \frac{1}{Γ(α)}x^{α−1}1_{]0,∞[}(x)dx, L(θ) = \frac{1}{(−θ)^{α}} si θ ∈ Θ =] − ∞, 0[, k(θ) = α log(−θ), k′(θ) = \frac{α}{−θ}, M =]0, ∞[, ψ(m) = \frac{α}{−m}, k(ψ(m)) = α log \frac{m}{α} et

h(m, a) = α − α\frac{a}{m} + α log \frac{a}{m}.

Loi normale: Soit σ > 0 fixé. μ = \frac{1}{σ\sqrt{2π}} exp(−\frac{x^{2}}{2σ^{2}} )dx, L(θ) = exp(\frac{σ^{2}θ^{2}}{2} ), Θ = IR, k(θ) = \frac{σ^{2}θ^{2}}{2} , k′(θ) = σ^{2}θ, M = IR, ψ(m) = \frac{m}{σ^{2}} , k(ψ(m)) = \frac{m^{2}}{2σ^{2}} et

h(m, a) = −\frac{(a − m)^{2}}{2σ^{2}} .

Démonstration de l’inégalité des grandes déviations : Notons S_{n} = X_{1} + ⋯ + X_{n}. Pour tout t > 0 tel que θ + t ∈ Θ l’astuce est d’observer que les deux évènements {S_{n}/n ≥ a} et {e^{tS_{n}} ≥ e^{nta}} sont les mêmes (comme à la Prop. 6.6). On écrit, à l’aide de l’inégalité de Markov (voir cours de Deug, Prop. 6.2) appliquée à Y = e^{tS_{n}} et à y = e^{nta}:

u_{n} = Pr(e^{tS_{n}} ≥ e^{nta}) ≤ e^{−nta}IE(e^{tS_{n}}) = [e^{−ta}IE(e^{tX_{1}})]^{n} = [e^{−ta} \frac{L(θ + t)}{L(θ)}]^{n}.

Donc u_{n}^{1/n} ≤ e^{−ta+k(θ+t)−k(θ)}. Observons ensuite que t ↦ −ta + k(θ + t) − k(θ) est convexe sur l’intervalle ouvert (−θ + Θ)∩]0, ∞[ et que sa dérivée s’y annule au point t = ψ(a) − ψ(m), c’est à dire tel que k′(θ + t) = a. La valeur de −ta + k(θ + t) − k(θ) en ce point est exactement h(m, a) et le résultat est montré.

Démonstration du théorème des grandes déviations : On pose désormais τ = ψ(a) > θ. Avec cette notation, on remarque que

h(m, a) = −a(τ − θ) + k(τ) − k(θ).

L’astuce de Harald Cramer ici est d’introduire les variables aléatoires Y_{1}, …, Y_{n} indépendantes et de même loi e^{τx−k(τ)}μ(dx) Si on a lu le commentaire 2, on remarque que cette loi appartient à la même famille exponentielle naturelle que la loi des X_{i}. L’espérance de Y_{i} est a = k′(τ). On pose ensuite U_{n} = Y_{1} +⋯+Y_{n}, V_{n} = U_{n} −na et v_{n} = IE[e^{−(τ−θ)V_{n}}1_{V_{n}≥0}]. L’espérance de V_{n} est zéro. On montre alors l’identité remarquable

u_{n} = e^{nh(m,a)}v_{n}.

Pour le voir, on introduit la mesure positive μ_{n} sur IR égale à la n ième puissance de convolution μ^{∗n}, c’est à dire de transformée de Laplace L(θ)^{n}. La loi de S_{n} est donc e^{θs−nk(θ)}μ_{n}(ds), comme on le vérifie en calculant la transformée de Laplace de cette loi et en voyant qu’elle est égale à celle de S_{n}, soit

IE(e^{tS_{n}}) = (\frac{L(θ + t)}{L(θ)})^{n} = e^{nk(θ+t)−nk(θ)}

pour tout t ∈ −θ + Θ. De même, la loi de U_{n} est e^{τu−nk(τ)}μ_{n}(du). Par conséquent

e^{nh(m,a)}IE[e^{−(τ−θ)V_{n}}1_{V_{n}≥0}]
= e^{n[h(m,a)+(τ−θ)a]}IE[e^{−(τ−θ)U_{n}}1_{U_{n}≥na}]
= e^{n[k(τ)−k(θ)]} ∫_{na}^{∞} e^{−(τ−θ)u}e^{τu−nk(τ)}μ_{n}(du)
= ∫_{na}^{∞} e^{θu−nk(θ)}μ_{n}(du) = Pr(S_{n} ≥ na) = u_{n},

et l’identité annoncée u_{n} = e^{nh(m,a)}v_{n} est montrée. On peut remarquer qu’elle nous donne au passage une seconde démonstration, moins élémentaire, de la partie 1, puisque trivialement v_{n} < 1. Cette partie algébrique étant faite, pour voir que la limite de u_{n}^{1/n} est e^{h(m,a)}, il suffit de montrer que lim_{n→∞} v_{n}^{1/n} = 1. C’est la partie plus difficile.

Commencons par un lemme classique:

Lemme: Si f est une variable aléatoire positive alors l’ensemble des s ∈ IR tels que IE(f^{s}) < ∞ est un intervalle I et s ↦ [IE(f^{s})]^{1/s} est croissante sur ]0, ∞[∩I.

Démonstration du lemme: On pourrait utiliser une inégalité classique de Hölder. Utilisons plutôt ici l’outil familier de la convexité du logarithme de la transformée de Laplace. Soit (1 − p)δ_{0} + pν(df) la loi de f avec ν(df) probabilité sur ]0, ∞[ et 0 < p ≤ 1 (tout est trivial si p = 0). Soit μ(dx) l’image de ν(df) par f ↦ x = log f. Soit T la transformée de Laplace de μ, soit I son domaine de finitude et soit t(s) = log T (s). Sur I on a IE(f^{s}) = pe^{t(s)}. Enfin si 0 < s < s_{1} sont dans I, comme t est convexe on a

t(s) = t(\frac{s}{s_{1}} s_{1} + (1 − \frac{s}{s_{1}} )0) ≤ \frac{s}{s_{1}} t(s_{1}) + (1 − \frac{s}{s_{1}} )t(0).

Comme t(0) = 0 (car μ est une probabilité) on obtient que \frac{1}{s}t(s) ≤ \frac{1}{s_{1}} t(s_{1}). Comme

p^{\frac{1}{s}} = exp(\frac{1}{s} log p) ≤ exp(\frac{1}{s_{1}} log p) = p^{\frac{1}{s_{1}}} ,

le lemme est montré.

Achevons alors la démonstration du théorème. On pose

A_{n} = \{V_{n} ≥ 0\}, B_{n} = \{e^{−(τ−θ)V_{n}/n^{3/4}} ≥ \frac{1}{2}\}.

On a alors

v_{n}^{n^{−3/4}} ≥^{(1)} IE[e^{−(τ−θ)V_{n}/n^{3/4}}1_{V_{n}≥0}] ≥^{(2)} \frac{1}{2} Pr(A_{n} ∩ B_{n}) ≥^{(3)} \frac{1}{2}(Pr(A_{n}) − Pr(B_{n})).

Dans cette chaîne d’inégalités, (1) vient du lemme appliqué à f = e^{−(τ−θ)V_{n}}1_{V_{n}≥0} et au couple s_{1} = 1 et s = 1/n^{3/4}, (2) est l’inégalité de Markov appliquée à Y = f^{n^{−3/4}} et y = 1/2, et (3) vient du fait que si A et B sont deux évènements alors A ⊂ (A ∩ B) ∪ B et donc Pr(A ∩ B) ≥ Pr(A) − Pr(B). Faisons alors tendre n vers l’infini. D’après le théorème central limite, la loi de V_{n}/\sqrt{n} tend vers une loi normale centrée. On en déduit que Pr(A_{n}) tend vers 1/2 et, puisque B_{n} est aussi B_{n} = \{\frac{V_{n}}{\sqrt{n}} ≥ \frac{log 2}{(τ−θ)}n^{1/4}\}, on en déduit que Pr(B_{n}) tend vers 0. Par conséquent, la limite inférieure de v_{n}^{n^{−3/4}} est ≥ 1/4. Mais lim inf \frac{1}{n^{3/4}} log v_{n} ≥ − log 4 entraine naturellement que lim inf \frac{1}{n} log v_{n} ≥ 0. Comme log v_{n} ≤ 0 la limite de \frac{1}{n} log v_{n} est bien 0 et le théorème des grandes déviations est démontré.

Appendice 2: Convergence des lois binomiales vers la loi de Poisson Cet appendice montre une chose peu connue: c’est que la suite des lois binomiales de

paramètres convenables converge vers une loi de Poisson, non seulement faiblement, mais aussi au sens de la convergence en norme de mesures. Cet appendice peut intéresser aussi les étudiants d’agrégation qui ont à traiter du sujet “lois binomiales, lois de Poisson”.

Adoptons les notations suivantes: δ_{a} désigne la masse de Dirac en a; si m > 0, on définit la loi de Poisson de moyenne m par

p_{m}(dx) = ∑_{n=0}^{∞} e^{−m} \frac{m^{n}}{n!} δ_{n}(dx)

et si 0 < p < 1 on définit la loi de Bernoulli de moyenne p par

b_{1,p}(dx) = (1 − p)δ_{0}(dx) + pδ_{1}(dx).

Si n est un entier > 0, on définit la loi binomiale b_{n,p} comme la nième puissance de convolution de la loi de Bernoulli:

b_{n,p}(dx) = (b_{1,p})^{∗n}(dx) = ((1 − p)δ_{0} + pδ_{1})^{∗n}(dx) = ∑_{k=0}^{n} C_{n}^{k}(1 − p)^{n−k}p^{k}δ_{k}(dx).

C’est un résultat simple et important que de constater que la suite de probabilités (b_{n,m/n})_{n>m} converge faiblement vers p_{m}. En effet si n ≥ k, alors

C_{n}^{k} (1 − \frac{m}{n})^{−k} (\frac{m}{n})^{k}

est une fraction rationnelle en n et l’examen des termes de plus haut degré au numérateur et au dénominateur montre que

lim_{n→+∞} C_{n}^{k} (1 − \frac{m}{n})^{n−k} (\frac{m}{n})^{k} = e^{−m} \frac{m^{k}}{k!} .

Toutefois, un résultat plus fort est vrai, puisque en fait (b_{n,m/n})_{n>m} converge fortement vers p_{m}. S’agissant ici de probabilités concentrées sur l’ensemble N des entiers, cette convergence forte est une convergence dans l_{1}(N) et revient à affirmer que

∥b_{n,m/n} − p_{m}∥ = ∑_{k=0}^{n} |C_{n}^{k} (1 − \frac{m}{n})^{n−k} (\frac{m}{n})^{k} − e^{−m} \frac{m^{k}}{k!} | + ∑_{k=n+1}^{∞} e^{−m} \frac{m^{k}}{k!}

tend vers 0 si n → +∞. Nous allons montrer ce résultat de deux manières. Celle de Le Cam(1960) est courte et utilise une ingénieuse idée de couplage. Celle de Prohorov (1963) donne plus d’informations en montrant que ∥b_{n,m/n} − p_{m}∥ est équivalente à un ϕ(m)/n et calcule explicitement ϕ(m).

Théorème 1: (Le Cam) Si n > m > 0 on a

∥b_{n,m/n} − p_{m}∥ ≤ \frac{4m^{2}}{n} .

Démonstration: Posons pour simplifier p = m/n ∈]0, 1[ et considérons des variables aléatoires (X_{1}, Y_{1}), …, (X_{n}, Y_{n}) de N^{2} indépendantes et de même loi m_{p} définie par

m_{p}(0, 0) = e^{−p} − p + pe^{−p}
m_{p}(0, 1) = p − pe^{−p}
m_{p}(1, 1) = pe^{−p}
m_{p}(n, 0) = \frac{p^{n}}{n!} e^{−p} si n ≥ 2,

et m_{p}(a, b) = 0 ailleurs. Alors on constate facilement que X_{i} suit une loi de Poisson et que Y_{i} suit une loi de Bernoulli, toutes deux de moyenne p. Elles ne sont pas indépendantes, et satisfont à l’inégalité

Pr(X_{i} = Y_{i}) = m_{p}(0, 0) + m_{p}(1, 1) = e^{−p} − p + 2pe^{−p} ≥ 1 − 2p^{2},

héritée du fait que e^{−p} ≥ 1−p pour tout réel p. Notons pour simplifier X = X_{1} +⋯+X_{n}, qui est donc de loi de Poisson p_{m}, et Y = Y_{1} + ⋯ + Y_{n}, de loi binomiale b_{n,p}. Donc

Pr(X ≠ Y) ≤ Pr(∪_{i=1}^{n}(X_{i} ≠ Y_{i}) ≤ ∑_{i=1}^{n} Pr(X_{i} ≠ Y_{i}) ≤ 2np^{2}.

Ensuite, si A est une partie de N, on a l’inclusion d’évènements

(X ∈ A) = (X = Y ∈ A) ∪ (Y ≠ X ∈ A) ⊂ (Y ∈ A) ∪ (X ≠ Y)

qui entraine Pr(X ∈ A) − Pr(Y ∈ A) ≤ P (X ≤ Y). Le raisonnement fait en échangeant les rôles de X et Y donne finalement

| Pr(X ∈ A) − Pr(Y ∈ A)| ≤ 2np^{2} = \frac{2m^{2}}{n} .

Pour terminer, on applique cette inégalité à l’ensemble E = {k ∈ N; p_{m}(k) ≥ b_{n,p}(k)} puis à son complémentaire E′ = N \ E. Comme

∥b_{n,m/n} − p_{m}∥ = (Pr(X ∈ E′) − Pr(Y ∈ E′)) + (Pr(Y ∈ E) − Pr(X ∈ E)) ≤ \frac{4m^{2}}{n} ,

le résultat est montré.

Théorème 2: (Prohorov) Soit X une variable aléatoire de loi de Poisson p_{m}. Soit

\frac{ϕ_{n}(m)}{n} = ∥b_{n,m/n} − p_{m}∥.

Alors

lim_{n→+∞} ϕ_{n}(m) = ϕ(m) = \frac{1}{2}E(|X − (X − m)^{2}|).

Démonstration: Notons p_{k} = e^{−m} \frac{m^{k}}{k!} pour simplifier les notations. Observons d’abord que le résultat n’est pas si surprenant, car pour k fixé, en notant

a_{k}(n) = \frac{n}{p_{k}} (C_{n}^{k} (1 − \frac{m}{n})^{n−k} (\frac{m}{n})^{k} − p_{k}) si 0 ≤ k ≤ n,  (6.1)
a_{k}(n) = −n si n < k,

alors

lim_{n→+∞} a_{k}(n) = \frac{1}{2}(k − (k − m)^{2})  (6.2)

par un calcul standard et laborieux de développement limité (voir le détail de ce calcul dix lignes ci dessous). On est donc fondé de penser que

lim_{n→+∞} ∑_{k=0}^{∞} p_{k}|a_{k}(n)| = \frac{1}{2} ∑_{k=0}^{∞} p_{k}|k − (k − m)^{2}|.  (6.3)

Le point délicat est alors de justifier cette interversion de limites. On va le faire par convergence dominée. L’idée pour cela est de considérer pour k fixé \frac{1}{p_{k}} C_{n}^{k} (1 − \frac{m}{n})^{n−k} (\frac{m}{n})^{k} comme une fonction f_{k} de 1/n, en introduisant donc

f_{k}(h) = (1 − h)(1 − 2h) … (1 − (k − 1)h)(1 − mh)^{−k} exp[m + \frac{1}{h} log(1 − mh)].

Cette fonction f_{k} est définie sur h > −1/m, et une reformulation de (2) est d’affirmer que f′_{k}(0) = \frac{1}{2}(k − (k − m)^{2}); on le voit ainsi:

f_{k}(h) = [1−(1+2+⋯+k−1)h+o(h)][1+kmh+o(h)] exp[m+ \frac{1}{h}(−mh−m^{2}h^{2}/2+o(h^{2}))]

= [1 − \frac{k(k − 1)}{2}h + o(h)][1 + kmh + o(h)][1 − \frac{m^{2}}{2} h + o(h)] = 1 + \frac{1}{2}(k − (k − m)^{2})h + o(h).

Fixons désormais k_{0} > m. Pour k > k_{0}, soit

M_{k} = max_{0≤h≤ \frac{1}{k}} f_{k}(h).

Montrons que M = sup_{k>k_{0}}M_{k} est fini. Pour cela, notons

K = max_{0≤h≤ \frac{1}{k_{0}}} exp[m + \frac{1}{h} log(1 − mh)],

qui existe comme maximum d’une fonction continue sur un compact. Ensuite, si 0 ≤ h ≤ \frac{1}{k} ≤ \frac{1}{k_{0}} < \frac{1}{m}, alors 0 ≤ 1 − jh ≤ 1 si j = 1, …, k − 1 et (1 − mh)^{−k} ≤ (1 − \frac{m}{k})^{−k}. Donc

M_{k} ≤ K(1 − \frac{m}{k})^{−k}.

Or lim_{k→+∞}(1 − \frac{m}{k})^{−k} = exp(−m) est finie. Donc la suite (M_{k})_{k>k_{0}} est bornée et M est fini.

Soit maintenant

M′_{k} = max_{0≤h≤ \frac{1}{k}} |f′_{k}(h)|.

Montrons que M′ = sup_{k>k_{0}}k^{−3}M_{k} est fini. Notons G(h) = \frac{1}{h} log(1 − mh) si h ≠ 0 et G(0) = −m : G est donc continûment dérivable. Soit

K′ = max_{0≤h≤ \frac{1}{k_{0}}} |G′(h)|.

Alors

\frac{f′_{k}(h)}{f_{k}(h)} = \frac{km}{1 − mh} + G′(h) − ∑_{j=1}^{k−1} \frac{j}{1 − jh}.

Ensuite, si 0 ≤ h ≤ \frac{1}{k} ≤ \frac{1}{k_{0}} < \frac{1}{m}, alors

|− ∑_{j=1}^{k−1} \frac{j}{1 − jh}| ≤ ∑_{j=1}^{k−1} \frac{j}{1 − \frac{j}{k}} ≤ k ∑_{j=1}^{k−1} j = \frac{k^{2}(k − 1)}{2},

et

\frac{km}{1 − mh} ≤ \frac{km}{1 − \frac{m}{k}} ≤ \frac{k^{2}m}{k_{0} − m}.

Donc

|\frac{f′_{k}(h)}{f_{k}(h)}| ≤ \frac{k^{2}m}{k_{0} − m} + K′ + \frac{k^{2}(k − 1)}{2}.

Comme dans cet intervalle f_{k} est dans ]0, M], on en déduit

k^{−3}M′k ≤ \frac{M}{2} (1 − 1/k) + \frac{Mm}{k(k_{0} − m)} + \frac{MK′}{k^{3}} ≤ \frac{M}{2} + \frac{Mm}{k_{0}(k_{0} − m)} + \frac{MK′}{k_{0}^{3}} .

M′ est donc fini.

On peut alors terminer la démonstration du théorème: on a donc par la formule des accroissements finis pour 0 ≤ k ≤ n :

|a_{k}(n)| = |n(f_{k}(1/n) − f_{k}(0)| = |f′_{k}(θ/n)| ≤ M′k^{3}

et pour k > n |a_{k}(n)| = n ≤ k^{3}. Soit M′′ le maximum de 1 et M′. Observons que ∑_{n=0}^{∞} M′′k^{3}p_{k} converge. On est donc dans les conditions d’application du théorème de la convergence dominée et donc (3) est démontré.

Voici quelques raffinements intéressants sur la fonction de Prohorov ϕ du théorème précédent:

Proposition 2: Pour m > 0 on note p_{k} = e^{−m} \frac{m^{k}}{k!} et p_{−1} = 0. Soit r et R les racines du trinôme P (x) = x − (x − m)^{2}, avec 0 < r < R, et soient a et A les parties entières de r et R. Alors

ϕ(m) = m^{2}(p_{a} − p_{a−1} + p_{A−1} − p_{A}).

De plus, les deux fonctions de m définies par q(m) = m(p_{a}−p_{a−1}) et Q(m) = m(p_{A−1}−p_{A})) sont continues, positives et tendent vers \frac{1}{\sqrt{2πe}} à l’infini.

Démonstration: Remarquons que les racines r et R existent, car le discriminant simplifié de P est m + 1/4 > 0, et qu’elles sont > 0 car de somme 2m + 1 > 0 et de produit m^{2} > 0. Si X est une variable aléatoire de Poisson de moyenne m, alors E(X − (X − m)^{2}) = 0. Donc, puisque P (x) est positif si et seulement si r < x < R, on a

ϕ(m) = \frac{1}{2}E(|P (X|) = \frac{1}{2}E(|P (X)| + P (X)) = ∑_{r<k<R} p_{k}P (k) = ∑_{k=a+1}^{A} p_{k}P (k)

= m^{2} ∑_{k=a+1}^{A}(−p_{k−2} + 2p_{k−1} − p_{k}) = m^{2} (− ∑_{k=a−1}^{A−2} p_{k} + 2 ∑_{k=a}^{A−1} p_{k} − ∑_{k=a+1}^{A} p_{k})

= m^{2}(p_{a} − p_{a−1} + p_{A−1} − p_{A}).

Définissons la fonction m ↦ r(m) = m + \frac{1}{2} − \sqrt{m + \frac{1}{4}} sur [0, +∞). Elle est continue, et sa dérivée r′(m) > 0. r est une bijection croissante de [0, +∞) sur lui même de fonction réciproque m = r^{−1}(x) = x + \sqrt{x}. Donc a ≤ r < a + 1 implique que

a + \sqrt{a} = r^{−1}(a) ≤ m < r^{−1}(a + 1) = a + 1 + \sqrt{a + 1}.

Donc sur l’intervalle

I_{n} = \{m; a = n\} = [n + \sqrt{n}, n + 1 + \sqrt{n + 1})

la fonction q prend la valeur

q(m) = e^{−m} \frac{m^{n}(m − n)}{n!}.

Elle est donc bien positive. Sa limite à l’extrémité droite de I_{n} est bien q(n + 1 + \sqrt{n + 1}) ce qui montre sa continuité. Quant à sa limite à l’infini, c’est évident avec la formule de Stirling. La démonstration pour Q est entièrement analogue: sur l’intervalle

J_{N} = \{m; A = N\} = [N − \sqrt{N}, N + 1 − \sqrt{N + 1}),

la fonction Q prend la valeur

Q(m) = e^{−m} \frac{m^{N}(N − m)}{N!}.

Sur les intervalles I_{n} et J_{N}, les fonctions q et Q sont concaves.

Commentaires: Il y a de nombreuses références sur cette question, (voir la bibliographie ci dessous, qui conduit à d’autres références) mais pas très accessibles un jour de concours d’agrégation. Dans Letac (1981), Problème IV 3 4ème et 5ème, on trouve la démonstration de Le Cam (1960).

Références:

LE CAM, L. "An approximation theorem for the Poisson binomial distribution". Pacific J. Math. 10, 1181-1197.

LETAC, G. (1982), Intégration et Probabilités, Analyse de Fourier, Exercices corrigés. Masson, Paris. (Seconde édition 1997).

PROHOROV, Ju. V. (1953), " Asymptotic behavior of the binomial distribution" (en russe). Uspehi Matematiceskih Nauk. 8, 135-142.

VERVAAT, W. (1969), " Upper bounds for the distance in total variation between the binomial and the Poisson distribution". Statistica Neerlandica, 23, 79-86.

JOHNSON, N. J. and SIMMONS, G. (1971), "On the convergence of the binomial to Poisson distribution". Annals of Math. Statist. 49, 1735-1736.

Appendice 3: Annales des problèmes de probabilités de Deug et de licence. Mia 03, Université Paul Sabatier, Devoir 4, à remettre au premier TD de

la semaine du 15 au 19 décembre 1997.

Exercice 1

Soit 0 < p < 1, soit X une v.a. à valeurs dans N telle que pour tout x ∈ N on ait P (X = x) > 0 et soit enfin une v.a. Y sur le même espace de probabilité telle que pour tout x et pour tout y = 0, 1, …, x on ait P (Y = y|X = x) = C_{x}^{y}(1 − p)^{x−y}p^{y}. On pose Z = X − Y.

1. On suppose dans cette question que X suit une loi de Poisson de moyenne λ. Montrer qu’alors Y suit une loi de Poisson de moyenne pλ (Méthode: on peut ou bien calculer P (Y = y) par le principe des probabilités totales, ou bien calculer la fonction génératrice f_{Y}). Montrer que Y et Z sont indépendantes (Méthode : calculer P (Y = y; Z = z)). Montrer que Z suit une loi de Poisson de moyenne (1 − p)λ.

2. Trouver la loi de X si on sait que Y et Z sont indépendantes. Méthode: si 0 < z < 1 et 0 < s < 1 , montrer que E(s^{Y} z^{Z}) = f_{X}((1−p)z+ps), et chercher à quelle condition g((1 − p)z + ps) = log f_{X}((1 − p)z + ps) est la somme d’une fonction de s seul d’une autre fonction de z seul: penser à introduire la dérivée seconde de g.

Exercice 2

Soit N un entier fixé, et soit Ω l’ensemble des parties de taille N de l’ensemble {1, 2, …, 2N} des 2N premiers entiers. On le munit de la tribu P(Ω) et de la probabilité équiprobable. Si n = 1, …, 2N, on note pour ω ∈ Ω X_{n}(ω) = 1 si n ∈ ω et X_{n}(ω) = −1 sinon. On note S_{0} = 0 et S_{n} = X_{1} + ⋯ + X_{n}.

1. Soit u_{N} le nombre d’éléments de Ω. Calculer u_{N}. Quelle est la valeur de S_{2N}? Les variables aléatoires X_{n} sont elles indépendantes? Sont elles de même loi? Quelle est la loi de X_{n}?

2. Pour k entier entre 0 et N on note A_{k} l’évènement S_{2k} = 0. Calculer P (A_{k}). Soit Y = ∑_{k=0}^{N} 1_{A_{k}} Soit (v_{n})_{n≥0} le terme général de la série qui est le produit de Cauchy de la série de terme général u_{n} par elle même. Montrer que E(Y) = \frac{v_{N}}{u_{N}} .

3. Calculer les sommes des séries entières suivantes à l’intérieur de leur intervalle de convergence ∑_{k=0}^{∞} u_{n}z^{n} , ∑_{k=0}^{∞} v_{n}z^{n} (Méthode: donner une présentation du développement en série entière de (1 − x^{2})^{−1/2} en termes de (u_{n})). En déduire une approximation de E(Y) si N est grand à l’aide de la formule de Stirling.

4. Dans un jeu de 52 cartes, je tire une carte; avant de la regarder, je devine sa couleur: rouge ou noir, et je marque un point si j’ai deviné juste. Je recommence avec le paquet des 51 cartes restantes, et ainsi de suite jusqu’à épuisement des 52 cartes. Je joue avec la meilleure stratégie, qui choisit la couleur la mieux représentée dans le paquet restant et choisit au hasard en cas d’égalité. Quelle est la moyenne des points marqués? (Méthode: observer que cette stratégie garantit au moins 26 points, et que les points supplémentaires arrivent une fois sur 2 durant les Y_{26} fois où il y a égalité).

Université Paul Sabatier. Examen blanc de Deug MIA 03, Dec.97 (Durée: 3 heures. Aucun document.)

Exercice 1

Soit X et Y deux variables aléatoires indépendantes et de même loi à valeurs dans les entiers ≥ 1 telles que pour |z| ≤ 1 leur fonction génératrice soit égale à f_{X}(z) = 1−\sqrt{1 − z}. Calculer f_{X+Y} , P (X = n) pour n ≥ 1 et P (X + Y = n) pour n ≥ 2.

IE(X) existe-t-elle?

Exercice 2

Soit X et Y deux variables aléatoires indépendantes à valeurs dans les entiers ≥ 0 telles que pour |z| ≤ 1 leurs fonctions génératrices soient respectivement f_{X}(z) = 2 − \sqrt{2 − z} et f_{Y} (z) = 1/(2 − z). Pour n ≥ 0 calculer

P (X = n), P (Y = n), P (X + Y = n).

Calculer IE(X), IE(X(X − 1)), et le second moment et la variance de X. Calculer de même la variance de Y et en déduire la variance de X + Y.

Exercice 3

Soit X et Y deux variables aléatoires strictement positives, indépendantes et de même loi. Soit Z = X/Y. Montrer que 1 ≤ \frac{1}{2}(Z + \frac{1}{Z}). En prenant l’espérance des deux membres de cette égalité, montrer que 1 ≤ IE(X)IE(\frac{1}{X}).

On suppose maintenant que la fonction de répartition F de X est égale à (x − 1) si 1 ≤ x ≤ 2. Quelles sont les valeurs de F en dehors de cet intervalle? Calculer IE(X) et IE(\frac{1}{X}).

Université Paul Sabatier. Examen de Deug MIA 03, 6 Janv.98 (Durée: 4 heures. Aucun document. Faites les calculs lentement et au brouillon. Le

correcteur peut déduire des points pour le manque de soin ou les absurdités. Les trois exercices sont indépendants.) On désigne par log x le logarithme népérien de x.

Exercice 2 (6,5 points)

1. Soit 0 < p ≤ q < 1. Développer en série entière les fonctions de z suivantes

\frac{1}{(1 − pz)(1 − qz)} , \frac{z^{2}}{(1 − pz)(1 − qz)},

et préciser leurs rayons de convergence (on distiguera les cas p = q et p < q). (2,5 points)

2. Soit 0 < p ≤ 1/2 et q = 1 − p. On considère les variables aléatoires indépendantes et à valeurs dans les entiers ≥ 1 de lois respectives

P_{X} = ∑_{n=1}^{∞} q^{n−1}pδ_{n}, et P_{Y} = ∑_{n=1}^{∞} p^{n−1}qδ_{n},

c’est-à-dire que pour n ≥ 1 entier on a P [X = n] = q^{n−1}p et P [Y = n] = p^{n−1}q. Calculer pour |z| ≤ 1 les fonctions génératrices f_{X}(z) = IE(z^{X}), f_{Y} (z) et f_{X+Y} (z). Développer f_{X+Y} en série entière et préciser son rayon de convergence (on distinguera les cas p = 1/2 et p < 1/2). Déduire du résultat P [X + Y = n] pour n ≥ 2 entier. Calculer également la moyenne et la variance des trois variables aléatoires X, Y et X + Y. (3,5 points)

3. Dans le schéma Succès Echec où la probabilité d’un succès est p, soit Z la variable aléatoire qui prend la valeur n si pour la première fois on a un succès au rang n − 1 suivi d’un échec au rang n. Montrer que Z est de même loi que la variable aléatoire X + Y considérée à la question précédente. (0,5 points)

Exercice 3 (5,5 points)

On rappelle que shx = \frac{1}{2}(e^{x} − e^{−x}), chx = \frac{1}{2}(e^{x} + e^{−x}), et que pour x ≠ 0

chx = \frac{sh(2x)}{2 shx}.

1. Soit U une variable aléatoire de fonction de répartition F_{U}(x) = P [U ≤ x] telle que F_{U}(x) = 0 si x ≤ −1, F_{U}(x) = \frac{1+x}{2} si −1 ≤ x ≤ 1 et F_{U}(x) = 1 si 1 ≤ x. Tracer le graphe de F_{U} ainsi que celui de la densité de U. Calculer ensuite L_{U}(z) = IE(e^{zU}) pour z réel non nul. (1 point)

2. Si z est réel non nul, montrer par récurrence sur n que

∑_{k=1}^{n} log ch(\frac{z}{2^{k}}) = log \frac{sh(z)}{2^{n}sh(\frac{z}{2^{n}})}.

En déduire que la série ∑_{k=1}^{∞} log ch(\frac{z}{2^{k}}) converge, et calculer sa somme en fonction de z. (2 points)

3. Soit X_{1}, X_{2}, … une suite infinie de variables aléatoires indépendantes et de même loi \frac{1}{2}δ_{−1} + \frac{1}{2}δ_{1}, c’est-à-dire telles que P [X_{1} = 1] = P [X_{1} = −1] = \frac{1}{2}. On forme la nouvelle variable aléatoire

S_{n} = ∑_{k=1}^{n} \frac{X_{k}}{2^{k}} .

Calculer à l’aide du 2) pour z réel non nul L_{S_{n}}(z) = IE(e^{zS_{n}}). Montrer que

∑_{k=1}^{∞} \frac{X_{k}}{2^{k}}

est convergente. On désigne par S la somme de cette série. On admet que L_{S}(z) = IE(e^{zS}) = lim_{n→∞} L_{S_{n}}(z). A l’aide du 2) et du 1), comparer L_{S} et L_{U}. (2,5 points)

Corrigé de l’examen de Mia 03 du 6 janvier 1998.

Exercice 2: Si p = q, d’après la formule du binôme de Newton on a (1 − pz)^{−2} = ∑_{n=0}^{∞}(n + 1)p^{n}z^{n} et donc

z^{2}(1 − pz)^{−2} = ∑_{n=0}^{∞}(n + 1)p^{n}z^{n+2} = ∑_{n=2}^{∞}(n − 1)p^{n−2}z^{n}.

Ces deux séries entières convergent si et seulement si |pz| < 1 et donc sont de rayon de convergence R = 1/p.

Si p < q on décompose la première fraction rationnelle en éléments simples:

\frac{1}{(1 − pz)(1 − qz)} = \frac{1}{q − p} (\frac{q}{1 − qz} − \frac{p}{1 − pz} ) = \frac{1}{q − p} (q ∑_{n=0}^{∞} q^{n}z^{n} − p ∑_{n=0}^{∞} p^{n}z^{n}) = ∑_{n=0}^{∞} \frac{q^{n+1} − p^{n+1}}{q − p} z^{n}.

D’après le théorème sur le rayon de convergence de la somme de deux séries entières, le rayon de convergence est ici le plus petit des deux nombres 1/p et 1/q, soit donc R = 1/q. Quant à la deuxième série, il suffit de tout décaler de deux:

\frac{z^{2}}{(1 − pz)(1 − qz)} = ∑_{n=2}^{∞} \frac{q^{n−1} − p^{n−1}}{q − p} z^{n}.

2) D’après la définition d’une fonction génératrice on a immédiatement pour ces deux lois de Pascal

f_{X}(z) = ∑_{n=1}^{∞} q^{n−1}pz^{n} = \frac{pz}{1 − qz} , f_{Y} (z) = ∑_{n=1}^{∞} p^{n−1}qz^{n} = \frac{qz}{1 − pz} .

Donc, les variables aléatoires X et Y étant indépendantes, d’après le théorème du cours on a donc

f_{X+Y} (z) = f_{X}(z)f_{Y} (z) = \frac{pqz^{2}}{(1 − pz)(1 − qz)}.

Si p = q = 1/2 d’après la première partie de 1) on a donc

f_{X+Y} (z) = ∑_{n=2}^{∞} \frac{n − 1}{2^{n}}z^{n},

avec pour rayon de convergence 2, et P [X + Y = n] = \frac{n−1}{2^{n}} si n ≥ 2.

Si p < 1/2 < q, d’après la seconde partie de 1) on a donc

f_{X+Y} (z) = ∑_{n=2}^{∞} \frac{pq^{n} − qp^{n}}{q − p} z^{n},

avec pour rayon de convergence 1/q, et P [X + Y = n] = \frac{pq^{n}−qp^{n}}{q−p} si n ≥ 2.

Enfin, on calcule f′_{X}(z) = p/(1 − qz)^{2}, f′′_{X}(z) = 2pq/(1 − qz)^{3}, et on en tire, puisque le rayon de convergence est > 1 :

IE(X) = f′_{X}(1), IE(X(X−1)) = f′′_{X}(1) = 2q/p^{2}, σ^{2}(X) = IE(X(X−1))+IE(X)−(IE(X))^{2} = q/p^{2}.

Puisque p et q jouent des rôles symétriques, IE(Y) = 1/q et σ^{2}(Y) = p/q^{2}. Enfin IE(X + Y) = 1/p + 1/q par la linéarité de l’espérance, et σ^{2}(X + Y) = q/p^{2} + p/q^{2} par l’indépendance de X et Y.

3) Une suite de succès et d’échecs telle que Z = n ≥ 2 est nécessairement telle que ses n premiers termes (ω_{1}, …, ω_{n}) soient de la forme EE...EESS...SSE, c’est-à-dire que il existe un entier 1 ≤ x ≤ n−1 avec ω_{i} = E si i < x, w_{j} = S si x ≤ j ≤ n−1 et ω_{n} = E. Si X est le temps d’attente du premier succès, si Y est le temps d’attente du premier échec après qu’on ait eu le premier succès, alors X et Y sont indépendantes et suivent les lois de Pascal ci dessus, et de plus Z = X + Y. D’où le résultat demandé.

Exercice 3: 1) La fonction F est continue et est dérivable sauf aux points 1 et −1 et sa dérivée est \frac{1}{2}1_{]−1,1[}(x). Les graphes sont immédiats. Ensuite

L_{U}(z) = \frac{1}{2} ∫_{−1}^{1} e^{zx}dx = \frac{shz}{z} .

2) Pour n = 1 la formule est triviale. Supposons la vraie à l’ordre n et montrons qu’elle est vraie à l’ordre n + 1. On a donc par cette hypothèse de récurrence, puis par la formule rappelée appliquée à x = z/2^{n}:

∑_{k=1}^{n+1} log ch(\frac{z}{2^{k}}) = log \frac{sh(z)}{2^{n}sh(\frac{z}{2^{n}})}+log ch(\frac{z}{2^{n+1}} ) = log \frac{sh(z)}{2^{n}sh(\frac{z}{2^{n}})}+log \frac{sh(\frac{2z}{2^{n+1}} ))}{2 sh(\frac{z}{2^{n+1}} )} = log \frac{sh(z)}{2^{n+1}sh(\frac{z}{2^{n+1}} )},

et la récurrence est étendue. Ensuite, on sait que le premier terme du développement limité de shx est x, donc la limite de 2^{n}sh(\frac{z}{2^{n}}) quand n tend vers l’infini est z. Les sommes partielles de la série considérée tendent donc vers log \frac{sh(z)}{z}, c’est dire que la série converge et a pour somme log \frac{sh(z)}{z}.

3) Puisque les v.a. X_{k} sont indépendantes, il en est de même pour les v.a. exp(zX_{k}/2^{k}) et on a donc, à l’aide de la première partie du 2):

IE(exp zS_{n}) = IE( ∏_{k=1}^{n} exp(zX_{k}/2^{k})) = ∏_{k=1}^{n} IE(exp(zX_{k}/2^{k})) = ∏_{k=1}^{n} ch(\frac{z}{2^{k}}) = \frac{sh(z)}{2^{n}sh(\frac{z}{2^{n}})}.

La série ∑_{k=1}^{∞} \frac{X_{k}}{2^{k}} est absolument convergente car |X_{n}| = 1, que la série géométrique de terme général 1/2^{n} est de raison < 1. La deuxième partie du 2) permet d’affirmer que

L_{S}(z) = lim_{n→∞} L_{S_{n}}(z) = \frac{sh(z)}{z} = L_{U}(z).

D’après un théorème admis du cours, on peut remarquer d’ailleurs que cela entraîne que S et U sont de même loi, c’est à dire que F_{U} est la fonction de répartition de S.

Université Paul Sabatier. Licence de mathématiques fondamentales, contrôle intermédiaire du 13 avril 2000.

Durée: 2heures. Aucun document. Affichage des résultats le 5 mai à 14:00.

Exercice 1. Soit n ≥ 2, et soit U_{1}, U_{2}, …, U_{n} des variables aléatoires indépendantes et de même loi uniforme sur [0, 1]. On note X = min(U_{1}, U_{2}, …, U_{n}) et Y = max(U_{1}, U_{2}, …, U_{n}). On fixe a et b tels que 0 ≤ a ≤ b ≤ 1.

1. Dessiner l’ensemble du plan

E_{a,b} = {(x, y); 0 ≤ a ≤ x ≤ y ≤ b ≤ 1}.

2. Calculer G(a, b) = Pr(0 ≤ a ≤ X ≤ Y ≤ b ≤ 1).

3. Montrer que Pr(X ≤ a ; Y ≤ b) = G(0, b) − G(a, b), et en déduire la densité de (X, Y).

4. Soit D = Y − X. Quelle est la densité de la loi jointe de (X, D)?

Exercice 2. Soit a et b fixés dans ]0, 1[. Soit X et Y des v.a. indépendantes, à valeurs dans l’ensemble N des entiers ≥ 0 et de lois respectives données par Pr(X = x) = (1−a)a^{x} et Pr(Y = y) = (1 − b)b^{y}. Soit M = min(X, Y) et D = X − Y. Pour m ∈ N, calculer

Pr(X ≥ m), Pr(Y ≥ m), Pr(M ≥ m), Pr(M = m).

Pour m ∈ N et pour d dans l’ensemble Z des entiers relatifs, calculer Pr(M = m; D = d). En déduire Pr(D = d). Les v.a. M et D sont elles indépendantes?

Exercice 3. Les tables montrent que

∫_{−∞}^{0,5} e^{− \frac{z^{2}}{2}} \frac{dz}{\sqrt{2π}} = 0, 6914....

Soit X une variable aléatoire normale de moyenne -1 et d’écart-type 2. Calculer les nombres suivants:

Pr(X ≥ 0), Pr(−2 ≤ X ≤ −1), Pr(X ∉ [−2, 0]).

Université Paul Sabatier. NT 07, Licence de mathématiques fondamentales, Examen du 23 juin 2000.

Durée: 2heures. Aucun document. Affichage des résultats le 27 juin à 14:00.

Question de cours. Enoncer sans démonstration la loi forte des grands nombres pour une suite de variables aléatoires réelles indépendantes et de même loi, avec sa réciproque.

Problème. Dans tout le problème, si W est une variable aléatoire (v.a.) réelle, on note par φ_{W} sa transformée de Fourier, définie pour z réel par φ_{W} (z) = IE(e^{izW}).

a) Soit U et V deux v.a. indépendantes et de même loi uniforme sur [0, 1], et soit Z = U −V. Montrer que la densité de Z est f_{Z}(z) = (1−|z|)_{+} (où la notation a_{+} signifie a_{+} = 0 si a ≤ 0 et a_{+} = a si a ≥ 0). On pourra pour cela considérer la fonction z ↦ Pr(U −V ≤ z) et sa dérivée.

b) Les notations étant celles du a), calculer φ_{Z}(t) (Méthode: calculer φ_{U} et en déduire φ_{−V} = φ_{−U}). La formule d’inversion

f_{Z}(z) = \frac{1}{2π} ∫_{−∞}^{∞} e^{−itz}φ_{Z}(t)dt

est elle applicable?

c) On considère une v.a. X réelle telle que φ_{X}(z) = (1 − |z|)_{+}. Donner sa densité à l’aide du b).

d) On considère des v.a. X_{1}, …, X_{n}, … indépendantes et de même loi que X, définie au c), et on pose S_{n} = X_{1} + ⋯ + X_{n}. Calculer φ_{S_{n}}(z), φ_{S_{n}/n}(z) et lim_{n→∞} φ_{S_{n}/n}(z). En déduire que la suite des lois des S_{n}/n converge vers une loi limite. A l’aide de la formule d’inversion de Fourier, donner la densité de cette loi limite.

e) La suite S_{n}/n du d) converge t-elle presque-sûrement?

Barême: Q=3, a=3, b=4, c=2, d=6, e=2.

NL 07, corrigé de l’examen du 23 juin 2000.

Question de cours. Soit X_{1}, …, X_{n}, … des v.a. réelles indépendantes et de même loi. Alors la suite \frac{1}{n}(X_{1}+⋯+X_{n}) converge presque-sûrement si et seulement si IE(|X_{1}|) < ∞. Dans ces conditions,

lim_{n→∞} \frac{1}{n}(X_{1} + ⋯ + X_{n}) = IE(X_{1}).

Question a). On sait que la fonction de répartition F = F_{U} est F (u) = u si 0 < u < 1 et est égale à 1 pour 1 ≤ u et à 0 pour u ≤ 0. Donc

F_{Z}(z) = Pr(U ≤ z + V) = IE(F (z + V)) = ∫_{0}^{1} F (z + v)dv = ∫_{z}^{z+1} F (u)du,

ce qui donne pour −1 ≤ z ≤ 0 :

F_{Z}(z) = ∫_{0}^{z+1} udu = \frac{1}{2}(z + 1)^{2},

puis pour 0 ≤ z ≤ 1 :

F_{Z}(z) = ∫_{z}^{1} udu = \frac{1}{2}(1 − z^{2}),

et naturellement F_{Z}(z) = 0 si z ≤ −1 et F_{Z}(z) = 1 si z ≥ 1. En dérivant on a la densité F′_{Z} = f_{Z} annoncée.

Question b). φ_{U}(t) = IE(exp itU) = 1 si t = 0 et (exp(it) − 1)/t sinon. Ensuite φ_{−V} (t) = φ_{−U}(t) = φ_{U}(−t). Puis que U et V sont indépendantes on en déduit que si t ≠ 0 on a

φ_{Z}(t) = φ_{U}(t)φ_{−V} (t) = (exp(it) − 1)(exp(−it) − 1)/t^{2} = 2(1 − cos t)/t^{2},

avec trivialement φ_{Z}(0) = 1. En appliquant le critère de Riemann pour les intégrales impropres, on voit que la fonction t ↦ φ_{Z}(t) est intégrable à l’infini, puisque |φ_{Z}(t)| = |2(1 − cos t)/t^{2}| ≤ 4t^{−2}. On est donc dans les conditions d’application de la formule d’inversion de Fourier et la formule de l’énonçé est correcte.

Question c). La formule du b) s’écrit explicitement

(1 − |z|)_{+} = \frac{1}{2π} ∫_{−∞}^{∞} e^{−izt} \frac{2(1 − cos t)}{t^{2}}dt.

Faisons y le changement de variable x = −t. On obtient

(1 − |z|)_{+} = \frac{1}{π} ∫_{−∞}^{∞} e^{izx} \frac{1 − cos x}{x^{2}}dt.

Cette formule montre que la densité de X est f_{X}(x) = \frac{1−cos x}{πx^{2}}.

Question d). Puisque les v.a. sont indépendantes et de même loi que X on a φ_{S_{n}}(z) = (φ_{X}(z))^{n} = (1−|z|)_{+}^{n}, et donc φ_{S_{n}/n}(z) = φ_{S_{n}}(z/n) = (1−\frac{|z|}{n})_{+}^{n}, et donc lim_{n→∞} φ_{S_{n}/n}(z) = e^{−|z|}. On remarque z ↦ exp −|z| est continue. D’après le théorême de Paul Lévy, cela garantit la convergence en loi de la suite (S_{n}/n. On remarque ensuite que la fonction z ↦ exp −|z| est intégrable. D’après la formule d’inversion de Fourier, la densité de la loi limite est donc \frac{1}{2π} ∫_{−∞}^{∞} e^{−izx−|z|}dz =

\frac{1}{2π} ∫_{−∞}^{0} e^{−izx+z}dz + \frac{1}{2π} ∫_{0}^{∞} e^{−izx−z}dz = \frac{1}{2π} (\frac{1}{1 − ix} + \frac{1}{1 + ix}) = \frac{1}{π(1 + x^{2})}.

Question e). Si la suite S_{n}/n convergeait presque-sûrement, elle convergerait en loi, et la loi limite aurait la densité \frac{1}{π(1+x^{2})}. Or la loi forte des grands nombres affirme que si S_{n}/n converge presque sûrement, ce ne peut être que vers une constante, qui serait d’ailleurs l’espérance de X_{1}. Il y a donc une contradiction, et donc S_{n}/n ne converge pas presquesûrement. On vérifie d’ailleurs directement que X_{1} ne satisfait pas IE(|X_{1}|) < ∞ et donc que IE(X_{1}) n’existe pas. En effet, on connait la densité de X_{1} par la question c) et il est clair que

∫_{−∞}^{∞} |x|\frac{1 − cos x}{πx^{2}}dx = 2 ∫_{0}^{∞} \frac{1 − cos x}{πx}dx = ∞.

Université Paul Sabatier. NL 12, Licence de mathématiques pour l’enseignement, Examen du 23 juin 2000.

Durée: 2heures. Aucun document. Affichage des résultats le 27 juin à 14:00.

Question de cours. Soit X et Y deux variables aléatoires définies sur un même espace de probabilité et possédant des variances finies non nulles. Donner la définition du coefficient de corrélation r(X, Y) de (X, Y). Si (X, Y) est de loi normale dans IR^{2}, expliquer pourquoi X et Y sont indépendantes lorsque r(X, Y) = 0.

Problème. On admet la formule suivante: pour p > 0 et t > 0 on a

(∗) ∫_{0}^{∞} u^{−3/2}e^{− \frac{p^{2}}{2u} −tu}du = \frac{\sqrt{2π}}{p} e^{−p\sqrt{2t}}.

a) Si p > 0 et θ > 0, soit U une variable aléatoire (v.a) de loi

P_{θ}^{(p)}(du) = \frac{p}{\sqrt{2π}} u^{−3/2}e^{− \frac{p^{2}}{2u} − \frac{θu}{2} +p\sqrt{θ}}1_{]0,∞[}(u)du.

A l’aide de (*), montrer que si z < θ/2 alors

IE(e^{zU}) = exp(p\sqrt{θ} − p\sqrt{θ − 2z}).

En déduire IE(Ue^{zU}) par dérivation ainsi que IE(U). Calculer de même IE(U^{2}e^{zU}), IE(U^{2}) et la variance de U.

b) Soit de plus q > 0 et V une v.a. indépendante de U et de loi P_{θ}^{(q)}. A l’aide du a), montrer que U + V est de loi P_{θ}^{(p+q)}.

c) Soit X_{1}, … X_{n} des v.a. indépendantes et même loi P_{θ}^{(1)}, où θ est un paramètre positif inconnu. Donner à l’aide du b) la loi de S = X_{1} + ⋯ + X_{n}.

d) On considère alors (X_{1}, …, X_{n}) comme un échantillon permettant d’estimer θ et on rappelle que, le modèle étant exponentiel, S est donc une statistique exhaustive. Montrer à l’aide du a) que S/n est un estimateur non biaisé de g(θ) = 1/\sqrt{θ} et donner son risque quadratique. Connaissant S, calculer l’estimateur θ̂_{0}(S) du maximum de vraisemblance pour θ.

e) Les tables montrent que \frac{1}{\sqrt{2π}} ∫_{−∞}^{1} exp(−\frac{z^{2}}{2} )dz = 0, 8413. En déduire une valeur ap-

prochée pour n grand de Pr(S ≥ \frac{n}{\sqrt{θ}} + \frac{\sqrt{n}}{(\sqrt{θ})^{3/2}} ), en justifiant votre réponse.

Barême: Q=4, a=2+2+2, b=1, c=1, d=1+1+3, e=3.

NL 12, corrigé de l’examen du 23 juin 2000.

Question de cours. Si a = IE(X) et b = IE(Y) notons cov(X, Y) = IE((X − a)(Y − b)), σ(X) = (IE((X − a)^{2}))^{1/2} et σ(Y) = (IE((Y − b)^{2}))^{1/2}. Alors le coefficient de corrélation est

r(X, Y) = \frac{cov(X, Y)}{σ(X)σ(Y)}.

Si de plus (X, Y) est de loi normale N_{(a,b),Σ}, et si r(X, Y) = 0, alors cov(X, Y) = 0 et donc

Σ = [ \begin{matrix}σ^{2}(X) & 0 \\ 0 & σ^{2}(Y) \end{matrix} ] .

Cela entraîne que X et Y sont indépendantes. Cela peut se voir de deux manières:

• Ou bien en considérant la densité de (X, Y) qui en général quand det Σ ≠ 0 est

f_{X,Y} (x, y) = \frac{1}{2π\sqrt{det Σ}} exp −\frac{1}{2}(x − a, y − b)Σ^{−1} ( \begin{matrix}x − a \\ y − b \end{matrix} ) .

Dans le cas particulier qui nous occupe, on a alors

f_{X,Y} (x, y) = \frac{1}{2πσ(X)σ(Y)}e^{− \frac{(x−a)^{2}}{2σ^{2}(X)} − \frac{(y−b)^{2}}{2σ^{2}(Y )}}
= \frac{1}{\sqrt{2π}σ(X)}e^{− \frac{(x−a)^{2}}{2σ^{2}(X)}} × \frac{1}{\sqrt{2π}σ(Y)}e^{− \frac{(y−b)^{2}}{2σ^{2}(Y )}}

La densité f_{X,Y} (x, y) étant le produit d’une fonction de x seul et de y seul est donc la densité d’un couple de v.a. indépendantes.

• Ou bien en considérant la transformée de Laplace ou de Fourier de (X, Y). Procédons par exemple avec la transformée de Fourier. Elle est en général

φ_{X,Y} (t, s) = exp(iat + ibs − \frac{1}{2}(t, s)Σ ( \begin{matrix}t \\ s \end{matrix} )).

Dans le cas particulier qui nous occupe, on a alors

φ_{X,Y} (t, s) = exp(iat + ibs + \frac{1}{2}(σ^{2}(X)t^{2} + σ^{2}(Y)s^{2}))
= exp(iat − \frac{1}{2}σ^{2}(X)t^{2}) × exp(ibs − \frac{1}{2}σ^{2}(Y)s^{2})

La transformée de Fourier φ_{X,Y} (t, s) étant le produit d’une fonction de t seul et de s seul est donc la transformée de Fourier d’un couple de v.a. indépendantes.

Question a). Pour calculer IE(exp(zU) = ∫ e^{zu}P_{θ}^{(p)}(du), il suffit de prendre t = \frac{θ}{2} − z dans la formule (*) pour avoir le résultat demandé. On remarque que en faisant z = 0 on obtient 1, ce qui prouve que P_{θ}^{(p)}(du) est bien une loi de probabilité. On remarque que pour tout t > 0 et pour tout entier n ≥ 0 l’intégrale

∫_{0}^{∞} u^{n}u^{−3/2}e^{− \frac{p^{2}}{2u} −tu}du

converge, ce qui entraîne que la fonction définie par l’intégrale z ↦ ∫ e^{zu}P_{θ}^{(p)}(du) est indéfiniment dérivable sous le signe somme dans l’intervalle ] − ∞, \frac{θ}{2}[. Donc

IE(U exp(zU)) = \frac{d}{dz} exp(p\sqrt{θ} − p\sqrt{θ − 2z})
= \frac{p}{\sqrt{θ − 2z}} exp(p\sqrt{θ} − p\sqrt{θ − 2z})

et donc en faisant z = 0 on obtient IE(U) = \frac{p}{\sqrt{θ}}. De la même manière:

IE(U^{2} exp(zU)) = \frac{d^{2}}{dz^{2}} exp(p\sqrt{θ} − p\sqrt{θ − 2z})
= (\frac{p^{2}}{θ − 2z} + \frac{p}{(\sqrt{θ − 2z})^{3}} ) exp(p\sqrt{θ} − p\sqrt{θ − 2z}).

Donc en faisant z = 0, on obtient IE(U^{2}) = (\frac{p^{2}}{θ} + \frac{p}{(\sqrt{θ})^{3}} ) et en utilisant la formule d’Huyghens on obtient la variance de U :

σ^{2}(U) = IE(U^{2}) − (IE(U))^{2} = \frac{p}{(\sqrt{θ})^{3}} .

Questions b) et c). Puisque U et V sont indépendantes, pour z < θ/2 on a

IE(exp(z(U + V)) = IE(exp(zU))IE(exp(zV))
= exp(p\sqrt{θ} − p\sqrt{θ − 2z}) exp(q\sqrt{θ} − q\sqrt{θ − 2z})
= exp((p + q)(\sqrt{θ} − \sqrt{θ − 2z}))

Comme la transformée de Laplace caractérise la loi, cela montre que celle de U + V est P_{θ}^{(p+q)}. Il est clair alors que si n est un entier >0, et que si les (X_{i})_{1≤i≤n} sont indépendantes et de même loi P_{θ}^{(1)} alors S = X_{1} + ⋯ + X_{p} est de loi P_{θ}^{(n)}. Cela peut se voir très rigoureusement par une récurrence facile sur n.

Question d). D’après le a) on sait que IE(S) = n/\sqrt{θ}. Donc IE(S/n) = 1/\sqrt{θ}. Comme cet estimateur de 1/\sqrt{θ} est non biaisé, son risque quadratique est égal à sa variance. Or la variance de S a été calculée en a) et est n/(\sqrt{θ})^{3}. Comme en général σ^{2}(λX) = λ^{2}σ^{2}(X), le risque quadratique est donc

σ^{2}(S/n) = \frac{1}{n(\sqrt{θ})^{3}} .

Pour calculer le maximum de vraisemblance connaissant S, rappelons que la loi de S est

P_{θ}^{(n)}(ds) = \frac{n}{\sqrt{2π}} s^{−3/2}e^{− \frac{n^{2}}{2s} − \frac{θs}{2} +n\sqrt{θ}}1_{]0,∞[}(s)ds.

C’est dire que si on prend pour mesure de référence la mesure

ν(ds) = \frac{n}{\sqrt{2π}} s^{−3/2}e^{− \frac{n^{2}}{2s}} 1_{]0,∞[}(s)ds,

qui ne dépend pas de θ, alors P_{θ}^{(n)}(ds) = e^{− \frac{θs}{2} +n\sqrt{θ}}ν(ds). Le calcul du maximum de vraisemblance θ̂_{0}(S) pour S connu se réduit à la recherche du θ qui maximise sur ]0, +∞[ la fonction

θ ↦ e^{− \frac{θS}{2} +n\sqrt{θ}},

ou encore la fonction

θ ↦ l_{S}(θ) = −\frac{θS}{2} + n\sqrt{θ}.

L’étude des variations de l_{S} sur ]0, +∞[ est facile: sa dérivée est l′_{S}(θ) = \frac{1}{2}(\frac{n}{\sqrt{θ}} − S) et s’annule seulement en θ = n^{2}/S^{2}. Cette dérivée est >0 avant et <0 après. L’estimateur du maximum de vraisemblance est donc θ̂_{0}(S) = n^{2}/S^{2}.

Question e). Notons plutôt S = S_{n}. Le théorème central limite affirme que la suite des lois des v.a.

\frac{(S_{n} − \frac{n}{\sqrt{θ}})}{\frac{\sqrt{n}}{(\sqrt{θ})^{3/2}}}

converge vers N_{0,1}. Donc la probabilité pour que cette v.a. soit ≥ 1 est approximativement 1 − 0, 8413.

Université Paul Sabatier. NT 07, Licence de mathématiques fondamentales, Examen du 13 septembre 2000.

Durée: 2heures. Aucun document. Affichage des résultats le 20 septembre à 14:00.

Problème.

A) Soit Y_{1}, …, Y_{k}, … une suite de variables aléatoires (v.a.) réelles indépendantes et de même loi telle que IE(|Y_{1}|) < ∞. On pose S_{k} = Y_{1} + ⋯ + Y_{k}. On rappelle que la loi des grands nombres affirme que lim_{k→∞} S_{k}/k = IE(Y_{1}) presque sûrement. En déduire que lim_{k→∞} Y_{k}/k = 0 presque sûrement.

B) Dans toute la suite, on considère une suite (A_{n}, B_{n})_{n≥1} de v.a. de ]0, ∞[^{2} indépendantes et de même loi (les v.a. A_{1} et B_{1} peuvent être dépendantes entre elles). On suppose de plus que

IE(| log A_{1}|) < ∞, IE(log A_{1}) < 0, IE(| log B_{1}|) < ∞.

En appliquant la loi des grands nombres, montrer que

lim_{n→∞}(A_{1}A_{2} … A_{n})^{1/n} = exp(IE(log A_{1})),

et que lim_{n→∞}(A_{1}A_{2} … A_{n}) = 0. En appliquant la question A), montrer que lim_{k→∞}(B_{k})^{1/k} = 1. De ces résultats, déduire en particulier que la série à termes aléatoires

B_{1} + ∑_{k=2}^{∞} A_{1}A_{2} … A_{k−1}B_{k}

est convergente (méthode: lui appliquer le critère de Cauchy u_{n}^{1/n} de convergence des séries à termes positifs).

C) Pour n ≥ 1, on considère les transformations F_{n}, Z_{n} et W_{n} affines aléatoires de IR définies par F_{n}(x) = A_{n}x + B_{n}, par Z_{n} = F_{1} ∘ F_{2} ∘ ⋯ ∘ F_{n} et par W_{n} = F_{n} ∘ F_{n−1} ∘ ⋯ ∘ F_{1}. Montrer par récurrence sur n que

Z_{n}(x) = A_{1}A_{2} … A_{n}x + B_{1} + ∑_{k=2}^{n} A_{1}A_{2} … A_{k−1}B_{k}.

Si X est une variable aléatoire positive indépendante des (A_{n}, B_{n})_{n≥1}, dire pourquoi les v.a. W_{n}(X) et Z_{n}(X) sont de même loi.

D) Montrer à l’aide de la question B) que la suite de v.a. (Z_{n}(X))_{n≥1} converge presque sûrement vers une v.a. qu’on note Z. Pourquoi la v.a Z est elle la même quelle que soit la v.a. X? Pourquoi la suite de v.a. (Z_{n}(X))_{n≥1} converge t-elle en loi? A l’aide de la question C), montrer que la suite des lois des v.a. (W_{n}(X))_{n≥1} converge vers la loi de Z.

E) On suppose maintenant de plus que la loi de X est telle que X et F_{1}(X) = A_{1}X + B_{1} sont de même loi. En déduire qu’alors X et Z sont de même loi (méthode: montrer par récurrence sur n que la v.a. W_{n}(X) est de même loi que X, et appliquer la question D)).

F) (Exemple) On rappelle (cours) que si α > 0 et β > 0 alors

∫_{0}^{+∞} \frac{t^{α−1}}{(1 + t)^{α+β}} dt = \frac{Γ(α)Γ(β)}{Γ(α + β)}.  (6.4)

On fixe deux nombres p > 0 et q > 0 et on suppose que la v.a. X a pour loi

\frac{Γ(p + q)}{Γ(p)Γ(q)} \frac{x^{p−1}}{(1 + x)^{p+q}} 1_{]0,∞[}(x)dx,

que la v.a. A_{1} a pour loi

\frac{Γ(2p + q)}{Γ(p)Γ(p + q)} \frac{a^{p−1}}{(1 + a)^{2p+q}} 1_{]0,∞[}(a)da,

et qu’enfin B_{1} = A_{1}. On suppose toujours X et A_{1} indépendantes. En appliquant (6.4) à des α et β convenables, montrer que si −p < s < q on a

IE(A_{1}^{s}) = \frac{Γ(p + s)Γ(p + q − s)}{Γ(p)Γ(p + q)}, IE((1+X)^{s}) = \frac{Γ(p + q)Γ(q − s)}{Γ(p + q − s)Γ(q)}, IE(A_{1}^{s}(1+X)^{s}) = IE(X^{s}).

En déduire que F_{1}(X) = A_{1}(X + 1) et X sont de même loi. On admet alors sans démonstration que IE(log A_{1}) existe et est < 0. En appliquant tout ce qui précède, donner la loi de

Z = ∑_{k=1}^{∞} A_{1}A_{2} … A_{k}.

En particulier, si q > 0 et si Pr(A_{1} ≥ a) = \frac{1}{(1+a)^{1+q}} pour tout a ≥ 0, calculer Pr(Z ≥ z) pour tout z ≥ 0 (méthode: calculer la densité de A_{1}, puis celle de Z).

Barême: A=2 points, B=4, C=3, D=3, E=3, F=7.

Université Paul Sabatier. NT 07, Licence de mathématiques fondamentales, Examen du 13 septembre 2000, Corrigé.

A)

\frac{Y_{k}}{k} = \frac{S_{k}}{k} − \frac{k − 1}{k} \frac{S_{k−1}}{k − 1} →_{k→∞} IE(Y_{1}) − 1.IE(Y_{1}) = 0.

B) On applique la loi des grands nombres à la suite Y_{k} = log A_{k} et on obtient

(A_{1} … A_{n})^{1/n} = exp(\frac{1}{n}(log A_{1} + ⋯ + log A_{n})) →_{n→∞} exp(IE(log A_{1})).

De plus, on sait que IE(log A_{1}) < 0 et donc que exp(IE(log A_{1})) < 1. Si u_{n} = A_{1} … A_{n}, puisque lim_{n→∞} u_{n}^{1/n} < 1 la série ∑_{n=1}^{∞} u_{n} converge, son terme général tend donc vers 0 et on a bien lim_{n→∞} A_{1} … A_{n} = 0 presque sûrement. De la même facon, on applique le A) à Y_{k} = log B_{k} et on en tire que lim_{k→∞} \frac{1}{k} log B_{k} = 0 et donc lim_{k→∞}(B_{k})^{1/k} = 1. Considérons enfin u_{k} = A_{1}A_{2} … A_{k−1}B_{k}. Alors, d’après les résultats précédents on a

u_{k}^{1/k} = ((A_{1}A_{2} … A_{k−1})^{1/k−1})^{(k−1)/k}(B_{k})^{1/k} →_{k→∞} exp(IE(log A_{1})).1 < 1,

et d’après le critère de Cauchy de convergence des séries on a que ∑_{k=1}^{∞} u_{k} converge presque sûrement, ce qu’il fallait démontrer.

C) La formule est vraie trivialement pour n = 1. Supposons la vraie pour n ≥ 1. Alors

Z_{n+1}(x) =^{(1)} Z_{n}(F_{n+1}(x))
=^{(2)} A_{1}A_{2} … A_{n}(A_{n+1}x + B_{n+1}) + B_{1} + ∑_{k=2}^{n} A_{1}A_{2} … A_{k−1}B_{k}

=^{(3)} A_{1}A_{2} … A_{n}A_{n+1}x + B_{1} + ∑_{k=2}^{n+1} A_{1}A_{2} … A_{k−1}B_{k},

où (1) vient de la définition de Z_{n+1}(x), (2) de l’hypothèse de récurrence et (3) d’un réarrangement. La récurrence est donc étendue.

Puisque les (A_{n}, B_{n}) sont de même loi, il est clair que les fonctions affines Z_{n} et W_{n} sont de même loi. Leur évaluation en une v.a. X indépendante des (A_{n}, B_{n}), et donc indépendante de Z_{n} et W_{n} sont donc des v.a. de même loi.

D) On a vu au B) que la série B_{1} + ∑_{k=2}^{∞} A_{1}A_{2} … A_{k−1}B_{k} converge. Notons par Z sa somme. On a également vu au B) que lim_{n→∞} A_{1} … A_{n} = 0 presque sûrement: cela entraîne que lim_{n→∞} Z_{n}(X) = Z presque sûrement. Par définition, Z ne dépend pas de X. La convergence presque sûre entraînant la convergence en loi, on en déduit que la suite des lois de Z_{n}(X) converge vers la loi de Z. On a vu à la question C) que W_{n}(X) et Z_{n}(X) sont de même loi. On en déduit que la suite des lois de W_{n}(X) converge vers la loi de Z.

E) Montrons par récurrence sur n que W_{n}(X) et X sont de même loi. C’est vrai par hypothèse pour n = 1. Supposons ce résultat vrai pour n. On sait que W_{n+1}(X) = F_{n+1}(W_{n}(X)). De plus W_{n}(X) est indépendante de F_{n+1}, car W_{n}(X) est une fonction de X, A_{1}, …, B_{n} et F_{n+1} dépend de (A_{n+1}, B_{n+1}). Enfin F_{n+1} est de même loi que F_{1} par définition, et W_{n}(X) est de même loi que X, par hypothèse de récurrence. Donc F_{n+1}(W_{n}(X)) est de même loi que F_{1}(X), qui est de même loi que X par hypothèse. La récurrence est donc étendue.

Or on sait d’après D) que la suite des lois de W_{n}(X) converge vers la loi de Z. Comme toutes les lois des W_{n}(X) sont identiques à celle de X, on en déduit que X et Z sont de même loi.

F) Par définition, puis en appliquant (6.4) à α = s + p > 0 et β = 2p + q − (s + p) = p + q − s > 0, on a

IE(A_{1}^{s}) = \frac{Γ(2p + q)}{Γ(p)Γ(p + q)} ∫_{0}^{∞} \frac{a^{s+p−1}}{(1 + a)^{2p+q}} da = \frac{Γ(p + s)Γ(p + q − s)}{Γ(p)Γ(p + q)}.

De même en appliquant (6.4) à α = p > 0 et β = q − s > 0, on a

IE((1 + X)^{s}) = \frac{Γ(p + q)}{Γ(p)Γ(q)} ∫_{0}^{∞} \frac{x^{p−1}}{(1 + x)^{p+q−s}} dx = \frac{Γ(p + q)Γ(q − s)}{Γ(p + q − s)Γ(q)}.

Finalement, en appliquant (6.4) à α = p + s > 0 et β = q − s > 0, on a

IE(X^{s}) = \frac{Γ(p + q)}{Γ(p)Γ(q)} ∫_{0}^{∞} \frac{x^{s+p−1}}{(1 + x)^{p+q}} dx = \frac{Γ(p + s)Γ(q − s)}{Γ(p)Γ(q)}.

On voit donc que IE(A_{1}^{s})IE((1 + X)^{s}) = IE(X^{s}). Or A_{1} et X sont indépendantes, et donc A_{1}^{s} et (1 + X)^{s} le sont également. Comme l’espérance d’un produit de v.a. indépendantes est le produit des espérances, on en déduit que IE(A_{1}^{s}(1 + X)^{s}) = IE(X^{s}). Ce résultat dit que les v.a. log(A_{1}(1 + X)) et log X ont la même transformée de Laplace. D’après le cours, elles sont donc de même loi, et donc leurs exponentielles F_{1}(X) = A_{1}(1 + X) et X sont de même loi. On est donc dans les conditions de la question E) et on en déduit que Z et X sont de même loi. Puisqu’ici A_{n} = B_{n}, alors Z = ∑_{k=1}^{∞} A_{1}A_{2} … A_{k}.

Si Pr(A_{1} ≥ a) = \frac{1}{(1+a)^{1+q}} pour tout a ≥ 0, alors la fonction de répartition de A_{1} est 0 si a < 0 et 1 − \frac{1}{(1+a)^{1+q}} si a ≥ 0. En dérivant par rapport à a on voit que la densité de A_{1} est \frac{1+q}{(1+a)^{2+q}} 1_{]0,∞[}(a), c’est à dire du type de l’exemple avec p = 1. La densité de Z est donc \frac{q}{(1+z)^{1+q}} 1_{]0,∞[}(z), et donc pour tout z ≥ 0 : Pr(Z ≥ z) = ∫_{z}^{∞} \frac{q}{(1+x)^{1+q}} dx = \frac{1}{(1+z)^{q}} .

Complétons ce corrigé en montrant le point admis IE(log A_{1}) < 0. Puisque \frac{d}{ds}IE(A_{1}^{s}) = IE(A_{1}^{s} log A_{1}) on a

IE(log A_{1}) = [\frac{d}{ds} log IE(A_{1}^{s})]_{s=0} = \frac{Γ′(p)}{Γ(p)} − \frac{Γ′(p + q)}{Γ(p + q)}.

Le problème est donc de montrer que t ↦ \frac{Γ′(t)}{Γ(t)} est croissante sur ]0, ∞[, ou de montrer que t ↦ log Γ(t) est strictement convexe. Cela vient de

(log Γ(t))′′ = \frac{1}{Γ(t)} ∫_{0}^{∞}[log x − \frac{Γ′(t)}{Γ(t)}]^{2}x^{t−1}e^{−x}dx > 0.

Université Paul Sabatier. NT 12, Licence de mathématiques pour l’enseignement, Examen du 13 septembre 2000.

Durée: 2heures. Aucun document. Affichage des résultats le 20 septembre à 14:00.

Question de cours. Soit μ et (μ_{n})_{n≥1} des probabilités sur IR. On rappelle que on dit que la suite (μ_{n})_{n≥1} converge en loi vers μ si pour toute fonction continue bornée réelle ou complexe sur IR on a

lim_{n→∞} ∫_{−∞}^{∞} f(x)μ_{n}(dx) = ∫_{−∞}^{∞} f(x)μ_{(}dx).

(1) Donner sans démonstration, en termes de transformées de Fourier, une condition nécessaire et suffisante de convergence en loi (théorème de Paul Lévy).

(2) Donner sans démonstration, en termes de fonctions de répartition, une condition nécessaire et suffisante de convergence en loi.

Problème. On rappelle que pour |t| < 1 :

1 + ∑_{n=1}^{∞} \frac{λ(λ + 1) … (λ + n − 1)}{n!}t^{n} = \frac{1}{(1 − t)^{λ}} .

Soit X une variable aléatoire (v.a.) qui suit une loi négative binomiale NB_{λ,p}, avec λ > 0 et 0 < p = 1 − q < 1, donc de loi concentrée sur l’ensemble N des entiers ≥ 0 définie par

p^{λ}δ_{0} + ∑_{n=1}^{∞} \frac{λ(λ + 1) … (λ + n − 1)}{n!}p^{λ}q^{n}δ_{n}.

A. Calculer la fonction génératrice de X, c’est à dire IE(z^{X}) avec |z| ≤ 1. Déduire du résultat IE(X), IE(X^{2} − X), IE(X^{2}) et la variance σ^{2}(X) de X. Montrer que IE(X) < σ^{2}(X).

B. Soient X_{1}, …, X_{n} des v.a. indépendantes et de même loi que X. On pose \overline{X}_{n} = \frac{1}{n}(X_{1} + ⋯ + X_{n}). Quelle est la loi de n\overline{X}_{n}? (méthode: considérer sa fonction génératrice et utiliser le A). Calculer IE(\overline{X}_{n}) et IE(\overline{X}_{n}^{2}).

C. Avec les hypothèses de B) on définit la v.a. S_{n} ≥ 0 par

S_{n}^{2} = \frac{1}{n − 1} ∑_{k=1}^{n}(X_{k} − \overline{X}_{n})^{2}.

Démontrer que S_{n}^{2} = −\frac{n}{n−1} \overline{X}_{n}^{2} + \frac{1}{n−1} ∑_{k=1}^{n} X_{k}^{2}. En déduire à l’aide du A et du B que la valeur de IE(S_{n}^{2}) est la variance de X.

D. Avec les hypothèses de C) on fait tendre n vers l’infini. A l’aide de la loi des grands nombres, calculer les limites presque sures de \overline{X}_{n}, de \frac{1}{n−1} ∑_{k=1}^{n} X_{k}^{2}, de S_{n}^{2} et de S_{n}^{2} − \overline{X}_{n} et vérifier que la dernière est >0.

D. On suppose maintenant que λ et p sont des paramètres inconnus, que la suite (X_{1}, …, X_{n}) est un échantillon à partir duquel on veut estimer λ et p par la méthode dite des moments. Si \overline{X}_{n} et S_{n}^{2} sont considérés comme des estimateurs de la moyenne et de la variance de X respectivement, dire si ces estimateurs sont biaisés ou non. On définit les estimateurs λ̂_{n} et p̂_{n} = 1 − q̂_{n} par les équations

\frac{λ̂_{n}q̂_{n}}{p̂_{n}} = \overline{X}_{n}, \begin{matrix}λ̂_{n} & q̂_{n}^{2} \\ & p̂_{n}^{2} \end{matrix} + \frac{λ̂_{n}q̂_{n}}{p̂_{n}} = S_{n}^{2}.

Montrer λ̂_{n} > 0 et 0 < p̂_{n} < 1 si et seulement si S_{n}^{2} − \overline{X}_{n} > 0. Au vu de la question D, cette méthode est elle raisonnable?

Barême: QC= 2+2 points, A=1+1+0,5+1+0,5, B=2+1+1, C=1+1, D=1+1+1+0,5+0,5, E=1+1.