Moins de coordonnées pour les moindres carrés.

Gérard Letac^{∗}^{†}

Abstract

Bien que cette méthode d’approximation remonte à Gauss, il est plus simple et plus rapide de l’expliquer avec les outils modernes que sont l’espace euclidien et le formalisme des probabilités.

Ce texte est écrit pour des lecteurs ayant la formation mathématique des deux premières années d’université ou de classes préparatoires, à condition qu’ils aient appris l’algèbre linéaire de la bonne façon, c’est à dire sans coordonnées quand elles ne sont pas imposées par le contexte. Une formation en statistique et probabilités n’est pas nécessaire. Les objets étudiés ici sont considérés comme élémentaires par la communauté mathématique, dans la mesure où tous les calculs sont dominés par la diagonalisation des endomorphismes symétriques.

I Introduction

Donnons dans IR^{2} un ensemble de n points (x_{i}, y_{i}). Supposons que le nuage de points ainsi formé ait une forme grossièrement allongée, et qu’on veuille approcher ce nuage par une droite d’équation y = ax + b. Parmi toutes les réponses possibles à ce vague problème, deux solutions historiquement se dégagent:

• Problème A: Ou bien on cherche à trouver (a, b) tel que la somme ∑_{i=1}^{n}(y_{i}−ax_{i}−b)^{2} soit minimum; cette droite est parfois appelée droite de régression.

• Problème B: Ou bien on munit IR^{2} de sa structure euclidienne canonique et on cherche à trouver (a, b) tel que la somme S(a, b) des carrés des distances des (x_{i}, y_{i}) à la droite y = ax + b soit minimum; cette droite est parfois appelée droite de régression totale.

Remarquons que pour formuler le problème B, il faut faire intervenir une structure d’espace euclidien, et B est plus géométrique que A, puisque le système de coordonnées n’y joue plus de rôle.

Comme on va le voir, la solution du problème A, même placée dans une perspective plus générale, (euclidienne elle aussi tout de même), est plus élémentaire que celle du second, car elle ne nécessite que de savoir ce qu’est une projection orthogonale. On pourrait également traiter le problème A par des outils analytiques en prenant les dérivées partielles par rapport à a et b. Cette méthode est expéditive ici, mais l’est moins quand on généralise (voir Section 8). En outre, la simplicité des formules obtenues mérite une explication géométrique.

∗Laboratoire de statistique et probabilités, Université Paul Sabatier, 31062 Toulouse.

†Merci à Antoine de Falguerolles pour sa patience durant de nombreuses conversations sur le sujet.

Le problème B est une belle application de la diagonalisation des endomorphismes symétriques des espaces euclidiens. C’est à lui qu’est consacrée cette note pour l’essentiel. Cependant, la mise en place des méthodes permet en outre de résoudre d’autres problèmes:

• Problème C: Supposons qu’on pense que le nuage de points a vaguement la forme d’un cercle et qu’on veuille trouver un cercle approchant. Voici la méthode pratiquement utilisée par Laurent Puech, physicien de Grenoble, pour choisir ce cercle approchant. On mesure la distance d’un point à un cercle par sa puissance, c’est à dire par la différence entre le carré de la distance du point au centre du cercle et le carré du rayon. Nous trouverons à la section 9 en particulier le cercle qui minimise la somme des carrés des puissances, après avoir généralisé le problème aux sphères de l’espace euclidien de dimension quelconque.

• Problème D: Plus généralement, supposons qu’on pense que le nuage de points a vaguement la forme d’une ellipse, ou d’une hyperbole équilatère, voire d’une conique inconnue. Le problème a été soigneusement traité dans Bookstein (1979). Nous étudions le problème aux sections 10 et 11: en nous plaçant dans le cadre d’un espace euclidien E de dimension quelconque, et donc en parlant plutôt de quartiques que de coniques. Ici encore, la solution passe par la diagonalisation d’un endomorphisme symétrique d’un espace euclidien, mais celui ci n’est plus l’espace E de départ, mais l’espace V des endomorphismes symétriques de E, structuré par le produit scalaire ⟨a, b⟩ = trace ab.

II Méthode des moindres carrés, problème B

Soit E un espace euclidien de dimension d (c’est à dire donc un espace vectoriel réel de dimension finie d muni d’un produit scalaire ⟨x, y⟩), supposons donnés n points p_{1}, …, p_{n} de E, ainsi qu’un entier k entre 0 et d. Soit alors H un sous espace vectoriel de E de dimension k, et soit S(H) la somme des carrés des distances d(p_{i}, H) des p_{i} à H (distance prise au sens de la métrique euclidienne, c’est à dire longueur du plus court segment joignant p_{i} à un point de H). Comment trouver le minimum de S(H) quand H parcourt la famille H_{k} des sous espaces vectoriels de dimension k de E?

De facon voisine, soit A = a + F un sous espace affine de dimension k de E, où a est dans E et où F est un sous espace vectoriel de E de dimension k (appelé direction de A : il est facile de voir qu’il est unique. Mais a ne l’est pas, à moins de lui imposer d’être dans le sous espace F^{⊥} orthogonal à F). Notons par S(A) la somme des carrés des distances à A des p_{i}. Comment trouver le minimum de S(A) quand A parcourt la famille A_{k} des sous espaces affines de dimension k de E? Ce dernier problème est l’exacte généralisation du second problème de l’introduction, qui correspondait donc à (d, k) = (2, 1).

Remarque: Dans l’immense littérature concernant les moindres carrés, on trouve le problème suivant: étant donné un nuage de points (x_{i}) dans l’espace euclidien E, fixons nous un entier k < dim E, un sous espace H de dimension k, et considérons le nuage de points (π_{H}(x_{i})) des projections orthogonales sur H du nuage initial. On forme alors le nombre

e(H) = ∑_{i<j} ∥π_{H}(x_{i}) − π_{H}(x_{j})∥^{2}

et on cherche à maximiser le nombre e(H) quand H décrit H_{k}. Remplacer H_{k} par A_{k} ne change rien, puisque les translations ne changent pas les différences.

La proposition 6.3 montre que la solution de ce problème est la même que celle du problème B, dans la version qui cherche à minimiser S(A) sur A_{k} (et non S(H) sur H_{k}). Plus précisément, si A_{0} = a_{0}+H_{0} donne le minimum de S(A), alors H_{0} donne le minimum de e(H).

Dans l’immense majorité des cas, k = 2 : rien de plus facile à dessiner qu’un plan, qui résume ainsi au mieux l’allure du nuage qui vit dans des dimensions supérieures. Dans ce contexte, le problème B est appelé "analyse en composantes principales" du nuage. Pourquoi diable jouer avec e(H), une somme à n(n − 1)/2 termes, plutôt qu’avec S(A), qui n’en a que n? La raison semble psychologique: apparemment, en sciences sociales, on accorde plus de confiance aux écarts x_{i} − x_{j} qu’aux mesures absolues x_{i}, où l’origine est arbitraire: voir l’article récent de Bouroche et Saporta (1999) (les figures 1 et 3 relèvent du problème B, la figure 2 du problème A seulement).

Pour être agréablement traités, les deux problèmes ci dessus avec H_{k} et A_{k} méritent d’être généralisés. Pour cela, il convient de considérer les p_{i} comme des endroits de l’espace où sont localisés des masses physiques dont la masse respective serait 1/n, si bien que l’ensemble a pour masse 1. En fait, on a supposé les points p_{i} distincts, mais cette hypothèse semble inutile: on peut imaginer que si deux p_{i} sont confondus, leur poids sera 2/n. Et si plusieurs sont confondus, nous aurons des points p de l’espace affectés de masses rationnelles w(p) = a_{p}/n, où a_{p} est le nombre de points confondus en p. Quant à l’hypothèse w(p) rationnel, elle parait soudain bien artificielle, et on peut songer à une partie finie P de E dont les éléments p sont affectés de poids w(p) ≥ 0 et de somme 1, et pour laquelle on veut minimiser S(F) défini comme ∑_{p∈P} (d(p, F))^{2}w(p) ou bien S(A) = ∑_{p∈P} (d(p, A))^{2}w(p). On peut même sans doute étendre la théorie au cas où P serait dénombrable (avec apparition d’une difficulté: ∑_{p∈P} w(p) = 1 n’entraîne pas nécessairement que ∑_{p∈P} (d(p, F))^{2}w(p) converge). Ce que nous savons alors de la théorie de l’intégrale à une ou plusieurs dimensions, et l’habitude de voir les physiciens procéder ainsi, fait penser que les sommes pour des poids discrets peuvent bien être remplacées par des intégrales: si w(x) ≥ 0 définit une fonction continue (par exemple) sur E telle que l’ intégrale multiple ∫_{E} w(x)dx soit égale à 1, on peut chercher à minimiser S(F) = ∫_{E} d(x, F)^{2}w(x)dx et son analogue S(A). Bref, il est temps d’introduire sur E un objet appelé probabilité, qui est seulement ici un autre mot pour dire “distribution de masse” sur E de masse totale 1.

III Probabilité et espérance sur un espace euclidien

Definition: Soit E un espace euclidien et P l’ensemble de ses parties. Une probabilité μ sur E est une application de P dans [0, 1] telle que • Si (B_{n}) est une famille finie ou dénombrable de parties de E qui sont deux à deux

disjointes, alors

μ(∪_{n}B_{n}) = ∑_{n} μ(B_{n}).

• μ(∅) = 0 and μ(E) = 1.

Nous avons déjà sous la main un ou deux exemples de probabilités:

Exemple fondamental: Si P est une partie finie ou dénombrable de E, si on se donne une application w de P dans les réels positifs telle que ∑_{p∈P} w(p) = 1, alors

μ(B) = ∑_{p∈P ∩B} w(p)

définit une probabilité.

Un exemple plus embarrassant est celui où on se donne une fonction continue w positive telle que ∫_{E} w(x)dx = 1. On définit alors μ par μ(B) = ∫_{B} w(x)dx. L’exemple ennuie le mathématicien, car dans les cours élémentaires on ne donne un sens à cette intégrale que pour des parties B de E pas trop compliquées. Avouons que la définition précédente triche un peu, et que il faudrait la restreindre, pour être rigoureux, à une famille de parties de E un peu plus petite que P lui même si on n’est pas dans le cas fini ou dénombrable de l’exemple fondamental.

Une probabilité μ sur E étant fixée, nous introduisons alors un objet important appelé espérance (implicitement: suivant μ). C’est une forme linéaire h ↦ IE(h) d’un certain espace vectoriel L de fonctions réelles h sur E que nous allons construire (L dépend de μ).

• L contient l’espace E de toutes les fonctions h qui ne prennent qu’un nombre fini de valeurs. Si les valeurs en question sont h_{1} < h_{2} < ⋯ < h_{k}, alors les parties B_{i} de E définies par B_{i} = {x ∈ E; h(x) = h_{i}} sont deux à deux disjointes et leur union est E. On définit l’espérance de h par

IE(h) = ∑_{i=1}^{k} h_{i}μ(B_{i}).

• L contient l’ensemble L_{+} des fonctions positives h qui ont la propriété suivante: si (h_{n})_{n≥0} est une suite croissante de fonctions positives de E qui converge vers h, alors la suite IE(h_{n}) est convergente. On peut montrer que cette limite des IE(h_{n}) ne dépend que de h et non de la suite particulière (h_{n})_{n≥0}, et on définit naturellement IE(h) comme la valeur commune de ces limites.

• On définit enfin L = L_{+} − L_{+} c’est à dire l’espace des fonctions h sur E qui peuvent s’exprimer comme différence de deux fonctions h_{+} et h_{−} de L_{+}. Etant donné h, le couple (h_{+}, h_{−}) n’est pas unique, mais on peut montrer que la valeur de IE(h_{+}) − IE(h_{−}) l’est et ne dépend que de h. Naturellement, on définit IE(h) comme étant IE(h_{+}) − IE(h_{−}).

Dans l’exemple fondamental, L est l’espace des fonctions h telles que

∑_{p∈P} |h(p)|w(p) < +∞

et arbitraires en dehors de P. Et pour un tel h on a

IE(h) = ∑_{p∈P} h(p)w(p).

Dans l’exemple suivant, L est un espace de fonctions h satisfaisant ∫_{E} |h(x)|w(x)dx < +∞ (plus quelques autres conditions qu’on va ignorer). Et pour un tel h on a

IE(h) = ∫_{E} h(x)w(x)dx.

Les seules propriétés de l’espérance que nous utiliserons tiennent en deux lignes:

• L’espérance est une forme linéaire sur L et satisfait IE(h) ≥ 0 si h ≥ 0.

• Si h ≥ 0 et si IE(h) ≥ 0, alors μ({x ∈ E; h(x) > 0}) = 0.

Leurs démonstrations ne demandent pas d’idées et appliquent les définitions.

IV Moyenne et covariance d’une probabilité

Appliquons la théorie précédente au cas où L contient toutes les formes linéaires et quadratiques sur E (c’est toujours le cas dans le cas de l’exemple fondamental si de plus P est fini). En fait, s’il contient les formes quadratiques, il contient les formes linéaires, grâce à une utilisation convenable de l’inégalité sur les réels 2|a| ≤ 1 + a^{2}.

Comme on est dans l’espace euclidien, une forme linéaire h est de la forme h(x) = h_{α}(x) = ⟨α, x⟩. Mais les propriétés de linéarité de l’espérance entraînent que l’application de E dans IR définie par α ↦ IE(h_{α}) est linéaire, et donc représentable elle aussi par un produit scalaire. Plus précisément, il existe un élément unique m de E tel que pour tout α de E on ait ⟨α, m⟩ = IE(h_{α}). Cet élément m dépend évidemment de μ et est appelé la moyenne de la probabilité. Dans le cas de l’exemple fondamental, cet m est le vecteur

m = ∑_{p∈P} pw(p).  (4.1)

Enonçons tout de suite la propriété d’optimum de la moyenne:

Proposition 4.1 Soit μ une probabilité sur l’espace euclidien E telle que L contienne les formes bilinéaires, et soit m la moyenne. Pour y dans E notons f_{y}(x) = ∥x − y∥^{2} et f(y) = IE(f_{y}). Alors f est minimum en y = m.

Démonstration: L’art est d’observer que l’espérance d’une constante c est c. En jouant avec la linéarité on a pour un α dans E arbitraire:

f(m + α) = f(m) − 2IE(h_{α}) + 2⟨α, m⟩ + ∥α∥^{2} = f(m) + ∥α∥^{2} ≥ f(m).

Avant de poursuivre, faisons un rappel, lorsqu’on travaille dans un espace euclidien E, sur les liens qui existent entre formes quadratiques, formes bilinéaires symétriques et endomorphismes symétriques. Les trois ensembles formés par ces objets constituent en fait trois espaces vectoriels isomorphes. Si par exemple L_{s}(E) note l’espace vectoriel des endomorphismes symétriques sur l’espace vectoriel E, et si a est dans L_{s}(E), alors B_{a}(α, β) = ⟨α, a(β)⟩ définit une forme bilinéaire symétrique sur E × E et Q_{a}(α) = B_{a}(α, α) = ⟨α, a(α)⟩ définit une forme quadratique sur E. Et a ↦ B_{a} et a ↦ Q_{a} sont des isomorphismes de L_{s}(E) sur les deux autres espaces. On se souvient qu’on passe des Q aux B par polarisation. Pour trouver a connaissant B = B_{a} on observe que pour β fixé alors φ_{β} : α ↦ B(α, β) est une forme linéaire, donc identifiée à un élément de E noté a(β) par φ_{β}(α) = ⟨α, a(β)⟩. Montrer que le a ainsi défini est linéaire symétrique est facile.

Rappelons également que on dit qu’un élément a de L_{s}(E) est positif si Q_{a}(α) ≥ 0 pour tout α, et défini positif si Q_{a}(α) > 0 pour tout α ≠ 0. Ce vocabulaire s’étend à B_{a} et Q_{a}. Un théorème essentiel est que a de L_{s}(E) est positif si et seulement si toutes ses valeurs propres sont positives ou nulles, et défini positif si et seulement si toutes ses valeurs propres sont strictement positives.

Revenons à la probabilité μ sur l’espace euclidien E. Considérons pour α et β dans E les fonctions h_{αβ} et g_{αβ} sur E définies par

x ↦ h_{αβ}(x) = ⟨α, x⟩⟨β, x⟩, x ↦ g_{αβ}(x) = ⟨α, x − m⟩⟨β, x − m⟩.  (4.2)

Un peu de réflexion et de linéarité montre que puisque les formes quadratiques sont dans L, alors h_{αβ} et g_{αβ} sont dans L également. Autre propriété: pour x fixé, l’application de E × E dans IR définie par (α, β) ↦ g_{αβ}(x) est bilinéaire symétrique, et donc (α, β) ↦ IE(g_{αβ}) l’est également. La même chose est vraie de h_{αβ}. De plus, point essentiel, ces quatre formes bilinéaires sont positives. Celles de (4.2) sont de rang 1, donc certainement pas définies positives si d ≥ 2. Les deux autres peuvent l’être, c’est même souvent vrai (voir la Prop. 4.2 partie 4 pour une explication). L’endomorphisme associé à la forme bilinéaire symétrique (α, β) ↦ IE(h_{αβ}) est appelé moment d’ordre 2 de μ et est noté m_{2}. L’endomorphisme symétrique c associé à la forme bilinéaire

B_{c}(α, β) = IE(g_{αβ})

est essentiel, on l’appelle la covariance de la probabilité μ. C’est un endomorphisme positif, dont la décomposition spectrale est la clé de la méthode des moindres carrés.

Pour calculer concrètement le moment d’ordre 2 et la covariance (par exemple dans le cas de l’exemple fondamental), introduisons une notation générale concernant l’espace euclidien E. Si u et v sont deux vecteurs de E, on note par u ⊗ v l’endomorphisme de E qui à x associe le vecteur u⟨v, x⟩. Cet endomorphisme est de rang 1, il est symétrique si u = v, et si E est rapporté à une base orthonormale e, la matrice représentative de u ⊗ v dans cette base sera UV′, où U et V sont les matrices représentatives de u et v dans la base e et où V′ est la transposée de V. Au passage, ceci montre que la trace de u ⊗ v est égale à ⟨u, v⟩. Observons que l’endomorphisme symétrique a_{x} associé à la forme bilinéaire symétrique (α, β) ↦ h_{αβ}(x) pour x fixé est a_{x} = x ⊗ x, et que l’endomorphisme symétrique b_{x} associé à la forme bilinéaire symétrique (α, β) ↦ g_{αβ}(x) pour x fixé est b_{x} = (x − m) ⊗ (x − m).

Par conséquent, dans le cas de l’exemple fondamental, le moment d’ordre 2 et la covariance sont respectivement

m_{2} = ∑_{p∈P} p ⊗ p w(p), c = ∑_{p∈P}(p − m) ⊗ (p − m) w(p).  (4.3)

Dans le cas général, les trois quantités que nous venons d’introduire sont liées :

Proposition 4.2 Soit μ une probabilité sur l’espace euclidien E, de moyenne m, de moment d’ordre deux m_{2} et de covariance c. Alors

1. (Huyghens) m_{2} = c + m ⊗ m.

2. (Schwarz) (B_{m_{2}}(α, β))^{2} ≤ Q_{m_{2}}(α)Q_{m_{2}}(α), (B_{c}(α, β))^{2} ≤ Q_{c}(α)Q_{c}(α).

3. Si f_{α,y}(x) = ⟨α, x − y⟩^{2} alors Q_{c}(α) ≤ IE(f_{α,y}) pour tout y de E.

4. Soit H_{1} et F_{1} les sous espaces vectoriels de E des α tels que Q_{m_{2}}(α) = 0 et Q_{c}(α) = 0 respectivement et soit H = H_{1}^{⊥} et F = F_{1}^{⊥} leurs orthogonaux, et considérons le sous espace affine de E défini par A = m+F. Alors μ est concentré sur H ainsi que sur A, dans le sens suivant: μ(E \H) = μ(E \A) = 0. De plus, H et A sont respectivement les plus petits sous espaces vectoriel et affine avec cette propriété.

Démonstration: 1) Il suffit d’écrire l’égalité entre endomorphismes symétriques

x ⊗ x = (x − m) ⊗ (x − m) + m ⊗ x + x ⊗ m − m ⊗ m

de l’appliquer à une paire (α, β) arbitraire et de prendre alors l’espérance des deux membres. En utilisant la linéarité de l’espérance et la définition de m on a le résultat.

2) Les inégalités sont héritées de l’inégalité de Schwarz appliquée aux deux formes bilinéaires symétriques (4.2) et en prenant l’espérance (rappelons que comme l’espérance est une forme linéaire positive, elle respecte les inégalités).

3) Pour voir 3) on écrit

⟨α, x − y⟩^{2} = ⟨α, m − y⟩^{2} + 2⟨α, m − y⟩⟨α, x − m⟩ + ⟨α, x − m⟩^{2},

et on observe que, puisque y et α sont fixés, l’espérance du terme central du second membre est nulle et donc

IE(f_{α,y}) = ⟨α, m − y⟩^{2} + Q_{c}(α) ≥ Q_{c}(α).

4) Le fait que H_{1} et F_{1} soient des sous espaces vectoriels vient du fait qu’ils sont clairement stables par homothétie et que si α et β sont dans H_{1} alors

Q_{m_{2}}(α + β) = Q_{m_{2}}(α + β) + 2B_{m_{2}}(α, β) + Q_{m_{2}}(α + β) = 0

(le terme central du second membre est nul par le 2)). La démonstration pour F_{1} est analogue.

Prenons ensuite une base orthonormale (α_{1}, …, α_{h}) quelconque de H_{1}. Considérons f_{α_{j},0}(x) = ⟨α_{j}, x⟩^{2}, qui est donc positive et d’espérance nulle. D’après la deuxième propriété fondamentale de l’espérance, on en déduit que μ({x ∈ E; ⟨α_{j}, x⟩ = 0}) = 1. Donc

1 = μ({x ∈ E; ⟨α_{j}, x⟩ = 0}) = μ({x ∈ E; ⟨α_{j}, x⟩ = 0 ∀j}) = μ(H).

On fait naturellement le raisonnement semblable pour F en partant de f_{α_{j},m}(x).

Remarque: En fait, les espaces vectoriel H et affine A ci dessus sont les plus petits espaces possibles avec la propriété 4). C’est un peu plus délicat à montrer.

Mentionnons au passage un fait géométrique mineur:

Proposition 4.3 Soit μ une probabilité sur l’espace euclidien E (de dimension >1) ayant une covariance c et soit G un sous groupe du groupe orthogonal O(E) tel que μ soit invariante par tout élément g de G et tel que si H est un sous espace vectoriel de E qui soit invariant par G (c’est à dire tel que g(H) ⊂ H pour tout g de G), alors H est égal à E ou à {0}. Alors μ est de moyenne m nulle et sa covariance c est un multiple de l’identité.

Démonstration: Il est clair que g(m) = m pour tout g de G, et donc que le sous espace H engendré par m est invariant par G. Comme E est de dimension >1, cela entraîne que m = 0. De même, l’invariance de μ par G implique que g^{∗}cg = c pour tout g de G. Comme g est orthogonale, c’est équivalent à cg = gc. Soit alors λ une valeur propre de c (qui existe, puisque c est symétrique), soit E_{λ} l’espace propre associé et v un vecteur de E_{λ}. Alors pour tout g de G on a λg(v) = g(λv) = gc(v) = c(g(v)), ce qui montre que g(v) est aussi dans E_{λ}, que ce sous espace est donc invariant par G et est donc égal à E, ce qui est dire que c = λid_{E}.

Nous utiliserons cette Proposition 4.3 plus tard quand par exemple le nuage de points est très symétrique, comme les sommets d’un tétraèdre régulier dans l’espace de dimension n, ou d’un polygône régulier dans le plan.

Mentionnons enfin des égalités qui nous servirons à justifier la remarque de la section 2 sur l’équivalence entre la maximisation de la somme des normes carrées des écarts et le problm̀e B. Toutefois, les choses sont moins élémentaires du point de vue des probabilités, puisque nous utilisons la notion de variables aléatoires indépendantes, que nous n’avons pas introduite. Bien sûr, une présentation dans le style élémentaire précédent est un peu longue, mais possible. La proposition suivante est cependant pour le lecteur qui a reçu une formation aux probabilités.

Proposition 4.4 Soit μ une probabilité sur l’espace euclidien E ayant pour moyenne m et pour covariance c. Soit X et Y des variables aléatoires indépendantes et de même loi μ. Alors

\frac{1}{2}IE(∥X − Y ∥^{2}) = IE(∥X∥^{2}) − ∥m∥^{2} = IE(∥X − m∥^{2}) = trace c.

Démonstration: L’indépendance de X et Y implique que IE(⟨X, Y ⟩) = ⟨IE(X), IE(Y)⟩ = ∥m∥^{2}. On a donc:

\frac{1}{2}IE(∥X − Y ∥^{2}) = \frac{1}{2}(IE(∥X∥^{2}) + IE(∥Y ∥^{2}) − 2IE⟨X, Y ⟩ = IE(∥X∥^{2}) − ∥m∥^{2}.

La démonstration de la seconde égalité de la proposition est facile et ressemble à celle d’Huyghens, la troisième est héritée de la définition de la covariance et du fait déjà mentionné que trace u ⊗ u = ∥u∥^{2}.

V Matrices bistochastiques

Une matrice carrée réelle (p_{ij})_{1≤i,j≤d} est dite bistochastique si

1. p_{ij} ≥ 0;

2. ∑_{i} p_{ij} = 1 pour tout j;

3. ∑_{j} p_{ij} = 1 pour tout i.

Ce n’est pas l’endroit pour commenter le mot “bistochastique”. Contentons nous d’observer qu’on rencontre en particulier ces matrices dans un contexte euclidien, quand on se donne deux bases orthonormales (e_{1}, …, e_{d}) et (f_{1}, …, f_{d}) de l’espace euclidien et qu’on considère la matrice unitaire (u_{ij})_{1≤i,j≤d} définie par u_{ij} = ⟨e_{i}, f_{j}⟩. Dans ce cas p_{ij} = u_{ij}^{2} définit une matrice bistochastique. Voici alors un résultat simple et important (qui admet aussi une élégante réciproque dont nous n’aurons pas l’usage):

Proposition 5.1: Soit (p_{ij})_{1≤i,j≤d} une matrice bistochastique, soit a_{1} ≤ a_{2} ≤ ⋯ ≤ a_{d} une suite croissante de d nombres réels et soit b_{i} = ∑_{j=1}^{d} p_{ij}a_{j}. Alors, pour tout entier k entre 1 et d on a

a_{1} + a_{2} + ⋯ + a_{k} ≤ b_{1} + b_{2} + ⋯ + b_{k}.

Démonstration: Observons d’abord que

b_{1} + b_{2} + ⋯ + b_{k} = ∑_{j=1}^{d} c_{j}a_{j},

avec c_{j} = ∑_{i=1}^{k} p_{ij} ≤ 1 et ∑_{j=1}^{d} c_{j} = k : cela est dû au caractère bistochastique de (p_{ij}). On a alors: (b_{1} + b_{2} + ⋯ + b_{k}) − (a_{1} + a_{2} + ⋯ + a_{k}) =

= ∑_{j=1}^{d} c_{j}a_{j} − ∑_{j=1}^{k} a_{j} + a_{k}(k − ∑_{j=1}^{d} c_{j}) = ∑_{j=1}^{k}(a_{j} − a_{k})(c_{j} − 1) + ∑_{j=k+1}^{d} c_{j}(a_{j} − a_{k}).

Comme les deux dernières sommes sont positives, le résultat est montré.

VI La meilleure variété, problème B

Pour énoncer les théorèmes des moindres carrés, rappelons les notations: si k est un entier entre 0 et la dimension d de l’espace euclidien E alors H_{k} est la famille des sous espaces vectoriels de E de dimension k et A_{k} celle des sous espaces affines. Si A est affine et x est dans E, on note π_{A}(x) la projection orthogonale de x sur A, et la distance de x à est d(x, A) = ∥x − π_{A}(x)∥. Si μ est une probabilité sur E qui a ses premier et second moments, alors S(A) est l’espérance de x ↦ d(x, A)^{2}. Les deux théorèmes suivants expliquent comment minimiser S(H) sur H_{k} et S(A) sur A_{k}.

Théorème 6.1: Soit μ une probabilité de moyenne m et de second moment m_{2}. Soit Λ = {λ_{1}, …, λ_{s}} le spectre de m_{2}, avec

0 ≤ λ_{1} < λ_{2} < ⋯ < λ_{s},  (6.1)

soit E_{1}, …, E_{s} les sous espaces propres correspondants, de dimensions respectives d_{1}, …, d_{s}. Soit k un entier entre 0 et d, soit q l’entier entre 1 et s tel que

d_{1} + ⋯ + d_{q−1} ≤ k < d_{1} + ⋯ + d_{q}

et soit p = (d_{1} + ⋯ + d_{q}) − k. Alors le minimum de S(H) quand H décrit H_{k} est atteint pour les H tels que H soit de la forme

H = V ⊕ E_{q+1} ⊕ E_{q+2} ⊕ ⋯ ⊕ E_{d},

où V est un sous espace vectoriel arbitraire de E_{q} de dimension p.

Remarque: Le résultat précédent est obscurci par le fait que les valeurs propres ont des multiplicités. Toutefois, dans la pratique, les valeurs propres sont presque toujours simples: le résultat dit alors simplement que le meilleur H est obtenu en prenant l’espace engendré par les k vecteurs propres correspondant aux k plus grandes valeurs propres.

Démonstration: Soit H fixé dans H_{k} et soit e_{1}, …, e_{d−k} une base orthonormale quelconque de H^{⊥}. Alors π_{H}(x) = x − ∑_{i=1}^{d−k}⟨e_{i}, x⟩e_{i}, donc d(x, H)^{2} = ∑_{i=1}^{d−k}⟨e_{i}, x⟩^{2}, et donc en prenant l’espérance:

S(H) = ∑_{i=1}^{d−k}⟨e_{i}, m_{2}(e_{i})⟩.  (6.2)

Notons provisoirement la suite des valeurs propres de m_{2} par a_{1}, …, a_{d} avec 0 ≤ a_{1} ≤ a_{2} ≤ ⋯ ≤ a_{d} (c’est à dire qu’on permet les répétitions). Soit (f_{1}, …, f_{d}) une base orthonormale de E telle que m_{2}(f_{j}) = a_{j}f_{j}. Puisque e_{i} = ∑_{j=1}^{d}⟨e_{i}, f_{j}⟩f_{j}, en transportant ceci dans l’égalité (6.2) on obtient

S(H) = ∑_{i=1}^{d−k} ∑_{j=1}^{d}⟨e_{i}, f_{j}⟩^{2}a_{j}.

On utilise alors la remarque faite à la section 5, à savoir que (⟨e_{i}, f_{j}⟩^{2}) est une matrice bistochastique, à laquelle on applique la Prop. 5.1 pour obtenir

S(H) ≥ a_{1} + a_{2} + ⋯ + a_{d−k}

(ce qui jouait le rôle de k est ici remplacé par d−k). A ce point, il est clair que le minimum est atteint si e_{i} = f_{i} pour tout i = 1, 2, …, d − k, et le théorème s’ensuit immédiatement.

Théorème 6.2: Soit μ une probabilité de moyenne m et de covariance c. Soit Λ′ = {λ′_{1}, …, λ′_{s}} le spectre de c, avec

0 ≤ λ′_{1} < λ′_{2} < ⋯ < λ′_{s},  (6.3)

soit E′_{1}, …, E′_{s} les sous espaces propres correspondants, de dimensions respectives d′_{1}, …, d′_{s}. Soit k un entier entre 0 et d, soit q′ l’entier entre 1 et s tel que

d′_{1} + ⋯ + d′_{q′−1} ≤ k < d′_{1} + ⋯ + d′_{q′}

et soit p = (d′_{1} + ⋯ + d′_{q}) − k. Alors le minimum de S(A) quand A décrit A_{k} est atteint pour les A tels que A soit de la forme A_{0} = m + F_{0}, avec

F_{0} = V ⊕ E′_{q+1} ⊕ E′_{q+2} ⊕ ⋯ ⊕ E′_{d},

où V est un sous espace vectoriel arbitraire de E′_{q′} de dimension p′.

Démonstration: Le point principal est de montrer qu’un sous espace affine A qui minimise S(A) passe par la moyenne m. Soit F fixé dans H_{k} et soit e_{1}, …, e_{d−k} une base orthonormale quelconque de F^{⊥}. Prenons A = a + F. Alors π_{A}(x) = x − ∑_{i=1}^{d−k}⟨e_{i}, x − a⟩e_{i}, et donc d(x, A)^{2} = ∑_{i=1}^{d−k}⟨e_{i}, x − a⟩^{2}.

On applique alors la Prop.4.1, partie 3) pour déduire de l’égalité précédente appliquée successivement à a puis m que

S(a + F) ≥ S(m + F).

A partir de ce point, puisque qu’on cherche à minimiser S(a + F) quand a parcourt E et F parcourt H_{k}, on applique le théorème précédent à la nouvelle probabilité μ′ obtenue en translatant μ par m (c’est à dire telle que μ′(B) = μ(B − m)). Notant S′ la fonction S associée à μ′, il est clair que S(m + F) = S′(F) et on est donc effectivement ramené au Th. 6.1 pour la minimisation.

Mentionnons ici une curiosité: si les hypothèses de la proposition 4.3 sont réalisées, alors m = 0 et c est un multiple de l’identité, et donc n’importe quel sous espace vectoriel de dimension k réalise le minimum. Ceci montre le fait peu évident que la somme des carrés des distances des sommets d’un tétraèdre régulier à un hyperplan passant par le centre de gravité du tétraèdre ne dépend pas de l’hyperplan.

Pour finir, voici la connexion entre le problème de la maximisation de la somme des normes carrées des écarts décrit à la section 2 et le problème B. Sa lecture est réservée aux lecteurs de la Prop. 4.4:

Proposition 6.3: Soit μ une probabilité sur l’espace euclidien E ayant pour moyenne m et pour covariance c. Soit X et Y des variables aléatoires indépendantes et de même loi μ, et, pour H dans H_{k}, soit π_{H} la projection orthogonale de E sur H, et

e(H) = IE(∥π_{H}(X − Y)∥^{2}).

Soit m + F_{0} décrit au théorème 6.2. Alors le minimum de e(H) est atteint en H = F_{0}.

Démonstration: Appliquons la Proposition 4.4 aux deux variables aléatoires U = π_{H}(X − m) et V = π_{H}(Y − m). Alors IE(U) = 0 et donc

\frac{1}{2}IE(∥U − V ∥^{2}) = IE(∥U∥^{2}).

Comme d’après Pythagore

∥X − m∥^{2} = ∥X − m − U∥^{2} + ∥U∥^{2},

l’espérance des deux membres montre que trace c = S(m + H) + \frac{1}{2}e(H). Il est alors clair que la maximisation de e(H) est équivalente à la minimisation de S(m+H) qui est résolue par le théorème 6.2.

VII Travaux pratiques: exploitation des coordonnées

Supposons maintenant que l’espace euclidien E soit explicitement IR^{d} avec son produit scalaire et sa base e canoniques, et qu’on se donne, comme dans l’introduction et la Section 2, explicitement n points p_{1}, …, p_{n} par les matrices colonnes X_{1}, …, X_{n} de leurs coordonnées. Pour simplifier, supposons les distincts (mais voir Section 2). Suivant l’astuce habituelle, on économise du papier en utilisant la matrice transposée A′ d’une matrice A et en écrivant

X_{1} = (x_{11}, …, x_{d1})′, X_{2} = (x_{12}, …, x_{d2})′, …, X_{n} = (x_{1n}, …, x_{dn})′.

On note par X la matrice [X_{1}, …, X_{n}], qui a donc d lignes et n colonnes.

On considère alors la probabilité μ dans IR^{d}, uniforme sur les n points p_{1}, …, p_{n}. Alors la moyenne m, le second moment m_{2} et la covariance de μ sont respectivement

m = \frac{1}{n}(p_{1} + ⋯ + p_{n}), m_{2} = \frac{1}{n}(p_{1} ⊗ p_{1} + ⋯ + p_{n} ⊗ p_{n}), c = m_{2} − m ⊗ m

et dont les matrices représentatives dans la base canonique e sont

[m]^{e} = M = \frac{1}{n}(X_{1} + ⋯ + X_{n}), [m_{2}]_{e}^{e} = \frac{1}{n}XX′, [c]_{e}^{e} = \frac{1}{n}XX′ − MM′.

Il reste à calculer les valeurs et vecteurs propres des matrices [m_{2}]_{e}^{e} et [c]_{e}^{e}, ce qui se fait souvent par des logiciels de calcul standard dès que n ou d sont un peu grands. Voici un modeste exemple numérique pour d = 2 et n = 4

(x_{1}, y_{1}) = (1, 3), (x_{2}, y_{2}) = (2, 4), (x_{3}, y_{3}) = (4, 3), (x_{4}, y_{4}) = (5, 6).

On obtient M = (3, 4)′ et

[m_{2}]_{e}^{e} = \frac{1}{4} [ \begin{matrix}46 & 53 \\ 53 & 70 \end{matrix} ] , [c]_{e}^{e} = \frac{1}{4} [ \begin{matrix}10 & 5 \\ 5 & 6 \end{matrix} ] .

Les valeurs propres de c satisfont λ^{2} − 4λ + (35/16) = 0 et sont λ_{1} = \frac{1}{4}(8 − \sqrt{29}) et λ_{2} = \frac{1}{4}(8 + \sqrt{29}) Si on veut calculer la droite affine des moindres carrés correspondant au problème B, on applique le Th. 6.2, et on voit que l’espace F est l’espace engendré par le vecteur propre (5, \sqrt{29} − 2)′ associé à λ_{2}, la plus grande valeur propre. Et A = m + F est donc la droite d’équation

\frac{y − 4}{x − 3} = \frac{\sqrt{29} − 2}{5}.

VIII Méthode des moindres carrés, problème A

La généralisation du problème A de l’introduction n’est pas très claire. Le problème se formule ainsi: munissons IR^{n} de sa structure euclidienne canonique et considérons l’espace de dimension 2 engendré par les deux matrices colonnes

X = (x_{1}, …, x_{n})′, 1 = (1, …, 1)′.

C’est donc l’espace H des matrices colonnes (ax_{1} + b, …, ax_{2} + b) avec (a, b) ∈ IR^{2}. Le problème A est donc géométrique également puisque nous avons à trouver la projection orthogonale π_{H}(Y) de y = (y_{1}, …, y_{n})) sur H : si aX + b1 = π_{H}(Y), alors (a, b) est la solution cherchée. On voit à ce point comment généraliser: on se donne des matrices colonnes de IR^{n} euclidien canonique, disons (Y, X_{1}, …, X_{q}), on appelle H l’espace vectoriel engendré par les (X_{1}, …, X_{q}) et on cherche la projection de Y sur H. Les choses se font pratiquement à l’aide du théorème suivant:

Théorème 8.1: L’espace IR^{n} étant muni de sa base e et de sa structure euclidienne canoniques, soit X_{1}, …, X_{q} des vecteurs colonnes de IR^{n} indépendants et soit H le sous espace vectoriel de IR^{n} qu’ils engendrent. Soit X = [X_{1}, …, X_{q}] Alors la matrice carrée X′X = symétrique d’ordre q est définie positive, et la matrice carrée P = X(X′X)^{−1}X′ symétrique d’ordre n est la matrice représentative dans la base canonique e de la projection orthogonale π_{H} sur H. En particulier, si Y ∈ IR^{n}, et si (a_{1}, …, a_{q})′ = (X′X)^{−1}X′Y, alors la projection de Y est

a_{1}X_{1} + ⋯ a_{q}X_{q} = X(X′X)^{−1}X′Y.

Démonstration: Il est clair que X′X est positive. Pour voir qu’elle est définie positive, on suppose qu’il existe un vecteur colonne V = (v_{1}, …, v_{q})′ de IR^{q} non nul tel que V′X′XV = 0. Cela entraine XV = 0, ou v_{1}X_{1}+⋯+v_{q}X_{q} = 0, et contredit l’indépendance des X_{j}.

Ensuite, on voit immédiatement que P^{2} = P et que P = P′. Cela entraine que P est une projection orthogonale.

Enfin (I_{n} −P)X = X −X(X′X)^{−1}X′X = 0, et donc (I_{n} −P)X_{j} = 0 for all j = 1, … q. Donc pour tout V de IR^{n} on a V′(I_{n} − P)X_{j} = 0 et donc Im(I_{n} − P) ⊂ KerX′ = H^{⊥}. Puisque pour tout V de IR^{n} le vecteur P V est nécessairement une combinaison linéaire des colonnes de X, alors ImP ⊂ ImX ⊂ H, cela entraîne que P est la projection orthogonale sur H. La dernière formule de l’énoncé est alors évidente.

Revenons par exemple au problème A de l’introduction et appliquons lui le théorème précédent: Les différentes matrices du théorème sont alors

X′ = [ \begin{matrix}x_{1} & … & x_{n} \\ 1 & … & 1 \end{matrix} ] , X′X = [ \begin{matrix}∑ x_{i}^{2} & ∑ x_{i} \\ ∑ x_{i} & n \end{matrix} ] , XY = [ \begin{matrix}∑ x_{i}y_{i} \\ ∑ y_{i} \end{matrix} ] ,

et, en posant D = n ∑ x_{i}^{2} − (∑ x_{i})(∑ x_{i}) :

[ \begin{matrix}a \\ b \end{matrix} ] = (X′X)^{−1}XY = \frac{1}{D} [ \begin{matrix}n(∑ x_{i}y_{i}) − (∑ x_{i})(∑ y_{i}) \\ (∑ x_{i}^{2})(∑ y_{i}) − (∑ x_{i}y_{i})(∑ x_{i}) \end{matrix} ] .

Le langage des probabilités rend bien service pour simplifier les formules ci dessus: si on introduit la probabilité uniforme μ dans IR^{2} sur l’ensemble des points (x_{i}, y_{i}), notons sa moyenne et sa covariance ainsi:

m = [ \overline{x} ; \overline{y} ] , c = [ \begin{matrix}c_{xx} & c_{xy} \\ c_{xy} & c_{yy} \end{matrix} ] ,

alors D = n^{2}c_{xx}, et on a les expressions plus compactes, en utilisant la formule de Huyghens de la Prop. 4.2, partie 1:

a = \frac{c_{xy}}{c_{xx}} , b = \frac{c_{xx}\overline{y} − c_{xy}\overline{x}}{c_{xx}}, \overline{y} = a\overline{x} + b.

Travaux pratiques: si on reprend l’exemple numérique de la Section 7, soit

(x_{1}, y_{1}) = (1, 3), (x_{2}, y_{2}) = (2, 4), (x_{3}, y_{3}) = (4, 3), (x_{4}, y_{4}) = (5, 6).

on trouve \overline{x} = 3, \overline{y} = 4, c_{xx} = 5/2, c_{xy} = 5/4, et donc a = 1/2 et b = 5/2. On voit naturellement que le résultat n’est pas le même qu’au problème B: y = 0, 5x + 2, 5 pour A, y = 0, 677x + 1, 968 pour B.

IX La meilleure sphère, problème C

La puissance d’un point x de l’espace euclidien E par rapport à la sphère S(m_{0}, r) de centre m_{0} et de rayon r est le nombre ∥x − m_{0}∥^{2} − r^{2}. Il est négatif si x est à l’intérieur. A l’extérieur, ce nombre est aussi égal au carré d’un segment xt tangent à la sphère en t.

Théorème 9.1: Soit μ une probabilité sur l’espace euclidien E, de moyenne m et de covariance c. On suppose que c est définie positive et que l’espérance relativement à μ de x ↦ ∥x∥^{4} est finie. On désigne par f(m_{0}, r) l’espérance du carré de la puissance par rapport à S(m_{0}, r), c’est à dire de x ↦ (∥x − m_{0}∥^{2} − r^{2})^{2}. On note g_{y}(x) = ∥x − y∥^{2}. Alors:

1) Le minimum f(m_{0}) de r ↦ f(m_{0}, r) est atteint pour r^{2} = IE(g_{m_{0}}).

2) f(m_{0}) est quadratique et égal à

a − 4⟨b, m_{0} − m⟩ + 4⟨m_{0} − m, c(m_{0} − m)⟩,

avec a = IE((g_{m} − IE(g_{m}))^{2}) et b = IE(h_{3}), où on note h_{3}(x) = (x − m)g_{m}(x). 3) Le minimum de m_{0} ↦ f(m_{0}) est atteint en m_{0} = m + \frac{1}{2}c^{−1}(b).

Démonstration: Fixons d’abord m_{0} et minimisons f(m_{0}, r) par rapport à r. On obtient le 1) en appliquant la Prop. 4.1 à l’image ν de μ par l’application g_{m_{0}} de E dans IR. Pour le 2) observons que

g_{m_{0}}(x) − IE(g_{m_{0}}) = g_{m}(x) − IE(g_{m}) − 2⟨m_{0} − m, x − m⟩,

une expression qui est affine en m_{0}. En prenant le carré des deux membres, puis leurs espérances, on obtient f(m_{0}) au premier membre, et l’expression voulue au second. Quant au 3), il est évident à partir de 2), puisque le fait que c soit définie positive entraîne que f est strictement convexe et atteint son minimum là où sa différentielle s’annule.

Remarque: Puisque en général la trace de u ⊗ v est ⟨u, v⟩, cela entraîne que IE(g_{m}) = trace(c). D’autre part, puisque le a du 2) n’est autre que la variance de l’image ν_{1} de la probabilité μ par g_{m}, la formule de Huyghens s’applique et donc

a = IE(g_{m}^{2}) − (tracec)^{2}.

Reprenons encore une fois l’exemple numérique de la section 7

(x_{1}, y_{1}) = (1, 3), (x_{2}, y_{2}) = (2, 4), (x_{3}, y_{3}) = (4, 3), (x_{4}, y_{4}) = (5, 6),

en mettant la masse 1/4 sur chacun de ces points. On a m = (3, 4), b = (7, 9) et m_{0} = m + (−6/35, 22/7).

X La meilleure quadrique, problème D

Soit E un espace euclidien et soit V = L_{s}(E) l’espace de ses endomorphismes symétriques. On sait qu’ entre V et l’espace Q des formes quadratiques sur E, l’application φ ↦ q_{φ} définie par q_{φ}(x) = ⟨x, φ(x)⟩ est un isomorphisme. Si q dans Q est non nulle, si y est dans E et si s est dans IR, la partie C(q, y, s) de E définie par

C(q, y, s) = {x ∈ E; q(x) − 2⟨x, y⟩ − s = 0}

est appelée une quadrique gouvernée par q. A cause de l’homogénéité des paramètres, il sera intéressant de normaliser et d’imposer de plus trace φ^{2} = dim(E), où q = q_{φ}. Par exemple, c’est le cas si φ = id_{E} : la quadrique est alors une sphère.

Le cas où φ est inversible est plus familier. Toutefois, nous ne supposons pas que ce soit nécessairement le cas. Il est possible d’écrire q(x) − 2⟨x, y⟩ − s = q(x − m_{0}) − 2⟨x, y′⟩ − s′, où y = y′ +φ(m_{0}) et s = q(m_{0})−s′, et si φ est inversible, on peut toujours prendre y′ = 0.

Ensuite, étant donnée une telle quadrique C(q, y, s) et un point x de l’espace euclidien E on peut étendre la définition de puissance d’un point par rapport à une sphère en décidant que la distance de x à la quadrique est le nombre q(x) − 2⟨x, y⟩ − s. Si on veut mesurer l’écart entre un nuage de points (x_{i}) (ou une distribution μ de probabilité) et la quadrique, on prend la somme des carrés ∑_{i}(q(x_{i}) − 2⟨x_{i}, y⟩ − s)^{2} (ou l’espérance pour μ de x ↦ (q(x) − 2⟨x, y⟩ − s)^{2}.

Reste alors à minimiser ce nombre, en s, puis en y et, plus difficilement, en q. Dans le théorème suivant, nous travaillons avec une mesure de probabilité plutôt qu’un nuage de points, comme d’habitude. Toutefois, pour simplifier, nous supposerons que la moyenne m de μ est zéro. Ce n’est pas une perte de généralité, puisque on peut toujours s’y ramener en changeant l’origine.

Théorème 10.1 Soit μ une probabilité sur l’espace euclidien E, de moyenne 0 et de covariance c. On suppose que c est définie positive et que l’espérance relativement à μ de x ↦ ∥x∥^{4} est finie. Soit q = q_{φ} une forme quadratique sur E telle que trace φ^{2} = dimE, soit y dans E et s réel. On désigne par f(q, y, s) l’espérance de x ↦ (q(x) − 2⟨x, y⟩ − s)^{2}. Alors:

1) Pour q et y fixés, le minimum de s ↦ f(q, y, s) est atteint lorsque s = IE(q), et est alors égal à

f(q, y) = a − 4⟨y, b⟩ + 4⟨y, c(y)⟩,

avec a = IE((q − IE(q))^{2}) et b = IE(h), où on note h(x) = q(x)x.

2) Pour q fixé, le minimum de s ↦ f(q, y) est atteint lorsque y = \frac{1}{2}c^{−1}(b) et est alors égal à

f(q) = a − c^{−1}∥b∥^{2}.

Démonstration: Elle est une généralisation immédiate de celle du Th. 9.1.

XI La meilleure quadrique, problème D, suite

Nous poursuivons l’étude de la meilleure quadrique dans cette section. Une fois encore, les choses sont moins élémentaires du point de vue des probabilités, puisque nous utilisons la notion de variables aléatoires indépendantes, comme pour les Propositions 4.4 et 6.3.

Théorème 11.1 On garde les notations et les hypothèses du Théorème 10.1. Si V est muni de la structure euclidienne ⟨φ, φ_{1}⟩ = trace (φφ_{1}), alors la fonction φ ↦ f(q) est une forme quadratique sur l’espace euclidien V associée à l’endomorphisme symétrique de V défini par

Φ = IE((X ⊗ X) ⊗ (X ⊗ X)) − c ⊗ c − c^{−1}IE(X ⊗ X) ⊗ (Y ⊗ Y)⟨X, Y ⟩),  (11.1)

où X et Y sont deux variables aléatoires indépendantes et de même loi μ. Cet endomorphisme Φ de V est positif. En particulier, le minimum de q ↦ f(q) sur la sphère de V définie par trace φ^{2} = dimE est atteint quand φ est un vecteur propre de Φ pour la plus petite valeur propre de Φ.

Remarques:

• La formule (11.1) qui donne Φ est assez indigeste. Le point important est que le symbole u ⊗ v qui a été défini quand u et v sont des vecteurs d’un espace euclidien apparait plusieurs fois mais appliqué aux deux espaces euclidiens E et V : c’est une difficulté qui apparaissait déjà quand on avait la même notation pour les produits scalaires sur E et V. Mais il me semble qu’il est pire d’écrire

(X ⊗ X)_{E} ⊗_{V} (Y ⊗ Y)_{E}⟨X, Y ⟩_{E}.

• Pour avoir du sens, la formule (11.1) n’exige pas l’existence de l’espérance de IE(∥X∥^{6}) : rappelons que si deux variables aléatoires réelles U et V sont indépendantes, alors IE(|UV |) < ∞ si et seulement si IE(|U|) < ∞ et IE(|V |) < ∞. L’hypothèse IE(∥X∥^{4}) < ∞ faite au Th. 10.1 entraîne IE(∥X∥^{3}) < ∞ (car ∥X∥^{3}) < 1 + ∥X∥^{4})) et donc (11.1) a du sens.

• A partir de ce théorème, on peut rechercher notre meilleure quadrique parmi des sous classes intéressantes: on peut vouloir se restreindre aux ellipsoïdes, c’est à dire au cas où q et φ sont définis positifs: c’est un peu délicat, car le cône des endomorphismes définis positifs étant ouvert dans V, l’intersection avec la sphère est relativement ouverte, et le supremum de φ ↦ f(q) = ⟨φ, Φ(φ)⟩ peut ne pas y être atteint. Il est plus sage de travailler avec le cône fermé des endomorphismes positifs, qui conduit à une partie compacte de la sphère de V. La classe de quadriques ainsi circonscrite comprend en dimension 2 les paraboles et les couples de droites distinctes ou confondues, en plus des ellipses ; en dimension 3 les cylindres paraboliques et elliptiques, les paraboloïdes elliptiques. (mais non les paraboloïdes hyperboliques) et quelques dégénérescences, en plus des ellipsoïdes.

• Une autre classe intéressante à laquelle on peut vouloir se restreindre est celle des φ de V qui sont de trace nulle. Si la dimension de E est 2, c’est dire qu’on cherche la meilleure hyperbole équilatère. Un point agréable ici est qu’on se restreint donc à un sous espace vectoriel de V, et la restriction d’une forme quadratique à un sous espace vectoriel est classique en algèbre linéaire.

Démonstration: Puisque d’après Huyghens a = IE((q(X) − IE(q))^{2}) = IE(q^{2}) − (IEq)^{2} et que b = IE(q(X)X), il nous faut montrer les trois formules

IE(q^{2}(X)) = ⟨φ, IE((X ⊗ X) ⊗ (X ⊗ X))φ⟩,  (11.2)
(IEq)^{2} = ⟨φ, c ⊗ cφ⟩,  (11.3)
∥IE(q(X)X)∥^{2} = ⟨φ, IE(X ⊗ X) ⊗ (Y ⊗ Y)⟨X, Y ⟩)φ⟩.  (11.4)

Elles découlent de la remarque

trace (X ⊗ X)φ = ⟨X, φX⟩ = q(X).

Détaillons par exemple (11.4). Le second membre se réécrit IE(⟨X, Y ⟩q(X)q(Y)) = ⟨IE(q(X)X), IE(q(Y)Y ⟩ = ⟨b, b⟩, où nous avons utilisé le fait que si deux variables aléatoires U = q(X)X et V = q(Y)Y sont indépendantes et possèdent une espérance, alors pour toute application bilinéaire B on a IE(B(U, V)) = B(IE(U), IE(V)).

Enfin, Φ est bien positif, puisque par définition f(q) ≥ 0. Ceci achève la démonstration.

XII Références

Bouroche, J.-M. et Saporta, G. (1999) ‘L’analyse des données’, in ‘Les mathématiques sociales,’ Pour la Science, dossier hors série, Juillet 1999, 36-44.

Bookstein, F.L. (1979) ‘Fitting Conic Sections to Scattered Data’ Computer graphics and image processing, 9, 56-71.