Gram - Schmidt Orthogonalization Process

Orthogonal vectors are by definition independent, but independent vectors are not necessarily orthogonal . A set of independent vectors, however, can be rendered orthogonal. In this section we focus on orhonormal bases of a vector space V and examine a procedure whereby we can transform or convert any basis B of V into an orthonormal basis.

Descriviamo ora in dettaglio un metodo, noto come procedimento di ortonormalizzazione di Gram–Schmidt, che permette di costruire una base ortonormale partendo da una base qualsiasi di V. Consideriamo quindi uno spazio vettoriale V di dimensione n sul campo dei numeri reali, dotato di una forma bilineare simmetrica definita positiva ⟨ ⋅ ⟩. Sia v = {v1, . . . , vn} una base qualunque di V . Poniamo w1 = v1 e cerchiamo un vettore w2, ortogonale a w1, della forma w2 = α1w1 + v2 (notiamo che, in questo modo, il sottospazio vettoriale generato da w1 e w2 coincide con quello generato da v1 e v2). La condizione di ortogonalità tra w1 e w2 si esprime ponendo ⟨w1, w2⟩ = 0. Si ha pertanto

⟨w1, w2⟩ = ⟨w1, α1w1 + v2⟩ = α1 ⟨w1, w1⟩ + ⟨w1, w2⟩ = 0

da cui si ottiene

α1 = −⟨w1, w2⟩ / ⟨w1, w1⟩

Il vettore cercato è quindi

w2 = v2 −⟨w1, w2⟩ / ⟨w1, w2⟩w1

Cerchiamo ora un vettore w3 ortogonale al sottospazio generato da w1 e w2, della forma w3 = α1w1 + α2w2 + v3. Imponendo che w3 sia ortogonale a w1 e w2, si ottengono le equazioni⟨w1, w3⟩ = 0 e ⟨w2, w3⟩ = 0. Sviluppando i calcoli, si trova:

⟨w1, w3⟩ = ⟨w1, α1w1 + α2w2 + v3⟩
= α1 ⟨w1, w1⟩ + α2⟨w1, w2⟩ + ⟨w1, w3⟩
= α1 ⟨w1, w1⟩ + ⟨w1, w3⟩ = 0

⟨w2, w3⟩ = ⟨w2, α1w1 + α2w2 + v3⟩
= α1 ⟨w1, w1⟩ + α2⟨w2, w2⟩ + ⟨w2, w3⟩
= α2 ⟨w2, w2⟩ + ⟨w2, w3⟩ = 0

da cui si ottiene

α1 = −⟨w1, w3⟩ / ⟨w1, w1⟩
α2 = −⟨w2, w3⟩ / ⟨w2, w3⟩

Il vettore cercato è quindi

w3 = v3 − ⟨w1, w3⟩w1 / ⟨w1, w1⟩− ⟨w2, w3⟩ w2/ ⟨w2, w2⟩

Constructing an Orthogonal basis for ℝ2

The transformation of a basis B = {u1, u2} for ℝ2 into an orthogonal basis B' = {v1, v2} consists of two steps. See Fig.1. The first step is simple, we merely choose one of the vectors in B, say, u1 and rename it v1. Next as shown in Fig.1b, we project the remaining vector u2 in B onto the vector v1 and define a second vector to be v2 = u2 − projv1 u2.

Gram Schmidt process
The orthogonal vectors v1 and v2 are defined in terms of u1 and u2.

As seen in Fig.1(c), the vectors

v1 = u1
v2 = u2 − projv1 u2

Example 1. Consideriamo, in ℝ3, i due vettori indipendenti:

v1 = (1,0,−1) v2 = (0,1,−1)

detto V il sottospazio vettoriale di ℝ3, generato da v1, v2 (non è altro che il piano passante per l'origine di equazione x + y + z = 0), proponiamoci di costruire una base ortonormale di V, ossia di ortonormalizzare la base v1, v2. I passi sono i seguenti

  1. Normalizziamo v1:

    u1 = v1/|v1| = (1/√2, 0, −1/√2)

  2. Calcoliamo la componente di v2 nella direzione di u1, data da:

    (v2 ⋅ u1) u1 = 1/√2(1/√2,0,−1/√2) = (1/2, 0,1/2)

  3. Sottraiamo a v2 la sua componente nella direzione di u1, ottenendo così un vettore ortogonale a u1 e che insieme ad esso genera V:

    v2 − (v2 ⋅ u1) u1 = (0,1,−1) −(1/2, 1, −1/2) = (−1/2, 1, −1/2)

  4. Normalizziamo quest'ultimo vettore,

    u2 = (−1/2, 1, −1/2)/sqrt(1/4 + 1 + 1/4) = sqrt(2/3) (−1/2,1,−1/2) = (−1/6,sqrt(2/3),−1/sqrt(6))

  5. Scegliamo un vettori di ℝ3 indipendente da u1,u2, per esempio

    v3 = (0,0,1)

  6. Sottraiamo a u3 la sua proiezione su V

    u3' = v3 − {(u3 ⋅ u1) u1 + (u3 ⋅ u2)u2} = (0,0,1) −{ −1/2 (1/√2,0,−(1/√2) − 1/√6(1/√6, sqrt(2/3), −1/√6) } = (1/3,1/3,1/2)

  7. Normalizziamo u3' ottenendo

    u3 = (1/3,1/3,1/3) /sqrt(1/3) = ( (1/√3,1/√3,1/√3) ■

(Gram-Schmidt process). Let {v1, ..., vn} ⊂ 𝔽n be linearly independent. Construct {v1, ..., vp} as follows:

z 1 = v 1 z k = v k − ⟨ v k , z k − 1 ⟩ ⟨ z k − 1 , z k − 1 z k − 1 ⟩ − … − ⟨ v k , z 1 ⟩ ⟨ z 1 , z 1 ⟩ z 1 , k = 2 , … , p

Then for k = 1, ..., p, we have that {z1, ..., zp} is an orthogonal linearly independent set satisfying

Span {v1, ..., vk} = Span {z1, ..., zk} = Span {z1/||z1||, ..., zp/||zp||}

The set {z1/||z1||, ..., zp/||zp||} is an orthonormal set.

Proof. We prove this by induction. Clearly when p = 1, then z1 = v1, and the statements are trivial.

Next suppose that the theorem has been proven for sets with up to p - 1 vectors. Next, we are given {v1, ..., vp} and we construct {z1, ..., zp}. Notice that {z1, ..., zp-1} are obtained by applying the Gram-Schmidt process to {v1, ..., vp-1}, and thus by the induction assumption {z1, ..., zp-1} is a linearly independent set and holds for k = 1, ..., p -1. Let zp be defined via the GS orthogonalization process. Observe that for k ≤ p -1.

⟨ z p , z k ⟩ = ⟨ v p , z k ⟩ − ⟨ ∑ j = 1 p − 1 ⟨ v p , z j ⟩ ⟨ z j , z j ⟩ z j , z k ⟩ = ⟨ v p , z k ⟩ − ⟨ v p , z k ⟩ ⟨ z k , z k ⟩ ⟨ z k , z k ⟩ = 0

where we used that ⟨zj, zk⟩ = 0 for j ≠ k, 1 ≤, k ≤ p - 1. This proves the orthogonality. Also, we see that

zp ∈ Span {zp} + Span {z1, ..., zp-1} = Span {vp} + Span {v1, ..., vp-1} + Span{v1, ..., vp}

Next, since

v p = z p + ∑ j = 1 p − 1 ⟨ v p , z j ⟩ z j , z j z j

We have that

vp ∈ Span {z1, ..., zp}

Combining these observations with the induction assumption yields

Span {v1, ..., vp} = Span {z1, ..., zp}

Since {v1, ..., vp} is linearly independent, they span a p dimensional space. Then {z1, ..., zp} also span a p dimensional space (the same one), and thus this set of vectors is also linearly independent. Finally, dividing each zi by its length does not change the span, and makes the vectors orthonormal.  □

«Epoxides Index Sulfides»