prova didática decomposição em valores singulares
DESCRIPTION
Resumo doo conteúdo para prova didática sobre decomposição em valores singulares(SVD)TRANSCRIPT
Concurso UFRGS - Prova didatica
Decomposicao em valores singulares
Leticia Tonetto
14 de novembro de 2015
Sumario
1 Decomposicao em valores singulares 21.1 Introducao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.2 Relacoes entre SVD e decomposicao em autovalores . . . . . . 131.3 Relacoes entre SVD e a estrutura da matriz . . . . . . . . . . 151.4 Aplicacoes da SVD . . . . . . . . . . . . . . . . . . . . . . . . 21
1.4.1 Compressao de imagens . . . . . . . . . . . . . . . . . 211.4.2 Resolucao de Problemas de Mınimos Quadrados Usando
a SVD . . . . . . . . . . . . . . . . . . . . . . . . . . . 211.4.3 Resolucao de Sistemas Lineares Usando a SVD . . . . 23
1.5 Interpretacao geometrica . . . . . . . . . . . . . . . . . . . . 241.6 Calculo da SVD - Algoritmos . . . . . . . . . . . . . . . . . . 24
1
Capıtulo 1
Decomposicao em valoressingulares
1.1 Introducao
A decomposicao de qualquer matriz A complexa ou real em A = UΣV ∗,com U e V unitarias e Σ matriz diagonal cujas entradas da diagonal saoos valores singulares da matriz A e denotada decomposicao em valoressingulares ou do ingles singular value decomposition, ou simplesmente SVDcomo costuma ser chamada. Se A e assumida real A = UΣV T , sendo U e Vmatrizes ortogonais.
Nomes de matematicos do seculo 19, tais como Beltrami, Jordan, Sylves-ter, Schmidt e Weyl sao associados ao desenvolvimento da teoria de SVD,que so foi realmente ter destaque no seculo 20 com a possibilidade da im-plementacao computacional de algoritmos, tornando-se computacionalmenteviavel para resolver uma variedade de problemas provenientes de uma varie-dade de aplicacoes, as quais necessitem por exemplo o conhecimento do postode uma matriz, aproximacoes de uma matriz usando matrizes de posto me-nor, bases ortonormais para os espacos coluna e linha de uma matriz, dentreoutras.
A SVD e bastante efetiva quando se tem a presenca de dados espurioschamados de ruıdos, que aparecem comumente em aplicacoes tais como tra-tamento de imagem, processamento de sinais e na teoria de sistemas emgeral.
Obviamente que o uso efetivo da SVD depende de como efetivamente a
2
decomposicao possa ser calculada. Foi mostrado como calcular a SVD deuma maneira eficiente e estavel pelos analistas numericos contemporraneosGene H. Golub, Wiliam Kahan e C. Reinsh.
No texto a seguir sao apresentados conceitos preliminares necessarios paraa decomposicao em valores singulares, demonstra-se o teorema que garantea existencia da SVD para qualquer A, relacoes entre a SVD e a decom-posicao em autovalores, relacoes entre a SVD e a estrutura de uma matriz,interpretacao geometrica, resolucao de problemas de mınimos quadrados uti-lizando SVD, aplicacao no tratamento de imagens, calculo da SVD.
Nem todas as matrizes sao diagonalizaveis, ou seja, se consegue a de-composicao A = PDP−1, com D diagonal, menos ainda, A = QDQT Qortogonal, com autovetores compondo as colunas da matriz Q e autovaloresna entradas da diagonal de D. A SVD e uma decomposicao proxima a de-composicao em autovalores e autovetores, pois resulta em uma decomposicaode fatores ortogonais e uma matriz diagonal. A vantagem e que nao se res-tringe a matrizes diagonalizaveis, podendo ser obtida para qualquer matriz.
Conceitos preliminares
Convencao
Embora a SVD possa seja aplicavel a ambas matrizes reais e complexas.Assume-se aqui, quando nao mencionado, que A seja real.
Definicao 1.1.1. Seja A ∈ Rm×n uma matriz. A imagem de A e definidapor
Im(A) = {y ∈ Rm : y = Ax para algum x ∈ Rn}
e o espaco nulo de A e definido por
null(A) = {x ∈ Rn : Ax = 0}.
Se A = [a1| · · · |an] e particionada por colunas, entao
Im(A) = span{a1, ..., an}.
O posto da matriz A e definido por
3
posto(A) = dim(Im(A)).
Se A ∈ Rm×n, entao
dim(null(A)) + posto(A) = n.
Dizemos que A tem posto deficiente se posto(A) ≤ min{m,n}. O postode uma matriz e o numero maximo de linhas (ou colunas) linearmente inde-pendentes.
Teorema 1.1.1. Seja A m× n entao
(i) As matrizes ATA e AAT sao simetricas.
(ii) Os autovalores de ATA e AAT sao reais e nao-negativos.
(iii) AAT e ATA tem mesmos autovalores.
Demonstracao. �
Ortogonalidade e normas
Definicao 1.1.2. Uma matriz Q ∈ Rm×m e ortogonal se QTQ = I. Se Q =[ q1| · · · |qm ] e ortogonal, entao as colunas {qi} formam uma base ortonormalpara Rm.
Teorema 1.1.2. Se V1 ∈ Rn×r tem colunas ortonormais, entao existe V2 ∈Rn×(n−r) tal que
V = [V1 | V2 ]
e ortogonal. Observe que Im(V1)⊥ = Im(V2).
Nota Esse teorema e utilizado na prova da existencia da decomposicao emvalores singulares.
Normas matriciais
Definicao 1.1.3. A funcao ‖ · ‖ : Rm×n → R e uma norma de matriz sesatisfaz as seguintes propriedades:
1. ‖A‖ ≥ 0, A ∈ Rm×n, ‖A‖ = 0⇐⇒ A = 0;
4
2. ‖A+B‖ ≤ ‖A‖+ ‖B‖, A,B ∈ Rm×n;
3. ‖αA‖ = |α|‖A‖, α ∈ R, A ∈ Rm×n.
Definicao 1.1.4. Duas normas bastante utilizadas em Algebra Linear numericasao a norma de Frobenius e a norma p, em particular com p = 2
||A||F =
√√√√ m∑i=1
n∑j=1
|aij|2 (1.1)
e a norma p
||A||p = supx6=0
||Ax||p||x||p
. (1.2)
Propriedades especiais das normasPara a norma 2 tem-se
Teorema 1.1.3. Se A ∈ Rm×n, entao existe um vetor unitario z ∈ Rn comnorma 2 tal que ATAz = µ2z onde µ = ||A||2.
Prova: Suponha que z ∈ Rn e um vetor unitario tal que ||Az||2 = ||A||2.Como z maximiza a funcao
g(x) =1
2
||Ax||22||x||22
=1
2
xTATAx
xTx
segue que ele satisfaz∇g(z) = 0 onde∇g e o gradiente de g. Por diferenciacaomostramos que para i = 1 : n
∂g(z)
∂zi=
[(zT z)
∑nj=1(ATA)ijzj − (zTATAz)zi
](zT z)2
.
Em notacao vetorial isto significa que ATAz = (zTATAz)z. O teorema seguetomando µ = ||A||2.
�
Proposicao 1.1.4. A ∈ Rm×n
• ||A||2 =√λmax(ATA).
5
• ||A||F = traco(ATA).
Definicao 1.1.5. Raio espectral ρ(A) = maxi |λi|
• Raio espectral, traco e posto sao invariantes por transformacoes semelhan-tes
1. ρ(A) = ρ(PAP−1).
2. traco(A) = traco(PAP−1)
3. posto(A) = posto(PAP−1), ou se A = PDP−1, posto(A) = posto(D).
Invariancia da norma para matrizes ortogonais
Teorema 1.1.5. Seja Q e Z matrizes ortogonais. Entao
(i) ||Q||2 = 1.
(ii) ||AQ||2 = ||A||2.
(iii) ||AQ||F = ||A||F .
(iv) ||QAZ||2 = ||A||2.
(v) ||QAZ||F = ||A||F .
Demonstracao. (i) ||Q||2 =√λmax(QTQ) =
√ρ(QTQ) =
√ρ(I) = 1.
(ii)||AQ||2 =√ρ(QTATAQ) =
√ρ(ATA) = ||A||2.
(iii) ||AQ||2F = tr(QTATAQ) = tr(ATA) = ||A||2F .
6
(iv)
(v)
�
Teorema 1.1.6. (Teorema da Decomposicao em Valores Singulares)Se A ∈ Rm×n, entao existem matrizes ortogonais
U =
| | |u1 u2 . . . um| | |
∈ Rm×m,
V =
| | |v1 v2 . . . vn| | |
∈ Rn×n,
(1.3)
tais que
UTAV = diag(σ1, . . . , σp) ∈ Rm×n, p = min(m,n), (1.4)
onde σ1 ≥ σ2 ≥ . . . ≥ σp ≥ 0.
Demonstracao. Sejam x ∈ Rn e y ∈ Rm vetores unitarios com norma 2que satisfazem Ax = σy com σ = ||A||2. Pelo Teorema 1.1.2 existem V2 ∈Rn×(n−1) e U2 ∈ Rm×(m−1), tais que
V = [ x | V2 ] ∈ Rn×n,U = [ y | U2 ] ∈ Rm×m,
(1.5)
sao ortogonais.Verifica-se que
UTAV =
[σ wT
0 B
]≡ A1 (1.6)
onde w ∈ Rn−1 e B ∈ R(m−1)×(n−1).
7
De fato,
UTAV =
[yT
UT2
]A [x V2]
=
yTAx yTAV2
UT2Ax UT
2AV2
,(1.7)
yTAx = yTσy = σyTy = σ,
UT2 Ax = UT
2 σy = σUT2 y = 0.
(1.8)
Falta mostrar que w = 0.Como∥∥∥∥A1
[σw
]∥∥∥∥2
2
=
∥∥∥∥[ σ wT
0 B
] [σw
]∥∥∥∥2
2
=
∥∥∥∥[ σ2 + wTwBw
]∥∥∥∥2
2
≥ (σ2 + ‖w‖22)2
(1.9)
Usando (1.9) e propriedades de normas tem-se
(σ2 +wTw)2 ≤∥∥∥∥A1
([σw
])∥∥∥∥2
2
≤(‖A1‖2 ·
∥∥∥∥[ σw
]∥∥∥∥2
)2
= ‖A1‖22 ·∥∥∥∥[ σ
w
]∥∥∥∥2
2
(1.10)entao
||A1||22 ≥ (σ2 + ‖w2‖2). (1.11)
Mas por hipotese σ = ‖A‖2, entao σ2 = ||A||22 = ||UA1VT ||22 = ||A1||22, e
assim concluı-se para que (1.11) seja verdadeiro que w = 0.Repetindo o processo para a matriz B, de modo que
B = UBΣBVTB ,
8
e entao
A = U
[σ 00 B
]V T
torna-se
A = U
[1 00 UB
]︸ ︷︷ ︸
U
[σ 00 ΣB
]︸ ︷︷ ︸
Σ
[1 00 VB
]TV T︸ ︷︷ ︸
V T
e assim sucessivamente, indutivamente a prova e completa.�
NotaA escolha Ax = σy, com x e y unitarios e justificada pelo fato que assim
(Ax)TAx = (Ax)Tσy,
xTATAx = (σy)Tσy = σ2, (y ortonormal)
ATAx = σ2x,
(1.12)
ou seja, λ = σ2 e autovalor de ATA e σ sera denotado valor singular de A.
Definicao 1.1.6. Denotam-se os autovalores de ATA por λ1 = σ21, λ2 =
σ22, . . . , λn = σ2
n. E σ1, σ2, . . . , σp sao chamados valores singulares de A.Sao ordenados de modo que σ1 ≥ σ2 . . . ≥ σr > 0 e σr+1 = σr+2 = . . . =σn = 0, e irao compor a diagonal da matriz Σ.
Definicao 1.1.7. As colunas de U sao chamadas de vetores singulares aesquerda e as colunas de V sao denotadas vetores singulares a direita.
Visualizacao da decomposicao
9
A visualizacao se distingue dependendo se a matriz tem mais linhas oucolunas. Se A ∈ Rm×n, se m > n
A
m×n
=
U
m×m
Σ
m×n
V T
n×n
,
(1.13)se m < n
A
=
U
Σ
V T
(1.14)
Por exemplo, se A e 3× 2 u11 u12 u13
u21 u22 u23
u31 u32 u33
T a11 a12
a21 a22
a31 a32
[ v11 v12
v21 v22
]=
σ1 00 σ2
0 0
,ou se A e 2× 3
[u11 u12
u21 u22
]T [a11 a12 a13
a21 a22 a23
] v11 v12 v13
v21 v22 v23
v31 v32 v33
=
[σ1 0 00 σ2 0
].
Proposicao 1.1.7. posto(A) = r. Ou seja, o posto de A e equivalente aonumero de valores singulares nao-nulos de A.
Demonstracao. rank(A) = r
10
De fato, o numero de entradas nao-nulas da diagonal de Σ equivale aorank(A), pois
rank(A) = rank(UTΣV ) = rank(Σ) = numero de linhas nao-nulas = r.
�
Convencao• Sem perda de generalidade podemos considerar m ≥ n, pois se m < nbasta considerar a SVD de AT , e se a SVD de AT e UΣV T , entao a SVD deA e V ΣTUT .
• Os valores singulares aparecem em ordem nao-crescente e denota-se σ1 =σmax o maior valor singular e σp = σmin o menor valor singular. Tambem,denota-se σ(A) o conjunto de todos os valores singulares de A.
Unicidade da SVDApenas tem-se a unicidade dos valores singulares, mas nao dos vetores
singulares.Tem-se k = min(m,n) valores singulares de A. Seja r o posto de A,
entao tem-se r valores singulares positivos, que sao as raızes quadradas dosautovalores nao-nulos de ATA ou AAT , os (k−r), se r < k, valores singularessao nulos. Entao os valores singulares sao unicos. Entretando os vetoressingulares nao sao unicos. Por exemplo, se A tem um autovalor singular σ >0, entao oas colunas correspondentes da matriz V podem ser escolhidas comoqualquer base ortonormal do espaco expandido pelos autovetores associadoscom o autovalor multiplo λ = σ2 de ATA.
Exemplo 1
Determinar os valores e vetores singulares de
A =
1 22 33 4
(1.15)
11
1. Calcular os valores singulares .Os autovalores da matriz ATA sao 42.8600 e 0.1400. Portanto, os valores
singulares sao
σ1 =√
42.8600 = 6.5468, σ2 =√
0.1400 = 0.3742.
2. Calcular V .A matriz V1 dos autovetores associados com os autovalores de ATA e
V1 =
(0.5696 −0.82190.8219 0.5696
)(1.16)
como r = 2 entao V = V1.2. Calcular U .
u1Av1 =1
σ1
Av1 =
0.33810.55060.7632
, u2 =1
σ2
Av2 =
0.84800.1735−0.5009
Escolher u3 tal que U = (u1, u2, u3) seja unitaria.
u3 =1
σ2
Av2 =
0.4082−0.81650.4082
(1.17)
4.As matrizes U , Σ e V que definem a SVD de A sao dadas por
U =
0.3381 0.8480 0.40820.5506 0.1735 −0.81650.7632 −0.5009 0.4082
3×3
V =
(0.5696 −0.82190.8219 0.5696
)2×2
Σ =
6.5468 00 0.37420 0
(1.18)
Exemplo 2
12
Determine os valores singulares da matriz 5× 3
A =
1 0 10 1 00 1 10 1 01 1 0
.Solucao: Temos que
AT =
1 0 0 0 10 1 1 1 11 0 1 0 0
.Logo,
ATA =
2 1 11 4 11 1 2
.O polinomio caracterıstico de ATA e
p(λ) = λ3 − 8λ2 + 17λ− 10 = (λ− 5)(λ− 2)(λ− 1).
Logo, os autovalores de ATA sao λ1 = σ21 = 5, λ2 = σ2
2 = 2 e λ3 = σ23 = 1.
Como consequencia, os valores singulares de A sao σ1 =√
5, σ2 =√
2 eσ3 = 1. Portanto,
Σ =
√
5 0 0
0√
2 00 0 10 0 00 0 0
.
1.2 Relacoes entre SVD e decomposicao em
autovalores
Convencao• Sem perda de generalidade podemos considerar m ≥ n, pois se m < nbasta considerar a SVD de AT , e se a SVD de AT e UΣV T , entao a SVD deA e V ΣTUT .
13
Teorema 1.2.1. Seja A = UΣV T , decomposicao singular de A ∈ Rm×n.Seja r o posto da matriz A. Entao
1. V T (ATA)V = diag(σ21, σ
22, . . . , σ
2r , 0, . . . , 0)n×n
2. UT (AAT )U = diag(σ21, σ
22, . . . , σ
2r , 0, . . . , 0)m×m
Demonstracao. (1)
ATA = (V ΣTUT )(UΣV T )= V ΣTUTUΣV T
= V ΣTΣV T
= V Σ′V T ,
onde Σ′ = ΣTΣ = Σ2 e uma matriz diagonal n×n com σ21, σ
22, · · · , σ2
r , 0, · · · , 0como entradas de sua diagonal. Assim,
V T (ATA)V = V T (V Σ′V T )V= V TV Σ′V TV= Σ′
= diag(σ21, σ
22, · · · , σ2
r , 0, · · · , 0)n×n.
De forma semelhante, vamos provar a afirmacao (2):
AAT = (UΣV T )(V ΣTUT )= V Σ′′V T ,
onde Σ′′ΣΣT = e uma matriz diagonal m × m com σ21, σ
22, · · · , σ2
r , 0, · · · , 0como entradas de sua diagonal. Logo,
UT (AAT )U = UT (UΣ′′UT )U= (UTU)Σ′′(UTU)= Σ′′
= diag(σ21, σ
22, · · · , σ2
r , 0, · · · , 0)m×m.
�
Notas
1. Os vetores singulares a direita v1, v2, . . . , vn sao os autovetores da matrizATA.
14
2. Os vetores singulares a esquerda u1, u2, . . . , um sao os autovetores damatriz AAT .
3. σ21, . . . , σ
2r sao os autovalores nao nulos de ATA e AAT .
Corolario 1. Seja A uma matriz simetrica com autovalores λ1, · · · , λn.Entao os valores singulares de A sao |λi|, i = 1, · · · , n.
Prova: Como A e simetrica, entao A = AT , o que implica em ATA = A2.Logo, pelo Teorema ??, vemos que os valores singulares de A sao as raızesquadradas nao negativas dos n autovalores de A2. Como os autovalores deA2 sao λ2
1, · · · , λ2n, entao σi =
√λ2i = |λi|, i = 1, · · · , n. �
Corolario 2. Se An×n e uma matriz inversıvel, entao
| det(A)| =n∏i=1
σi.
Demonstracao. Se A e inversıvel, entao posto(A) = n. Logo, A possui nvalores singulares. Sejam σ1, · · · , σn os valores singulares de A. Entao,
| det(A)| = | det(UΣV T )= | det(U)|| det(Σ)|| det(V T )|= | det(Σ)|=
n∏i=1
σi.
�
1.3 Relacoes entre SVD e a estrutura da ma-
triz
A SVD pode ser usada efetivamente para calcular certas propriedades im-portantes relativas a estrutura de uma matriz, tais como o posto, normaEuclidiana, numero de condicionamento, e bases ortonormais para o nucleoe imagem. Vamos discutir isso atraves do seguinte teorema:
Teorema 1.3.1. Sejam σ1 ≥ σ2 ≥ . . . ≥ σn os n valores singulares da matrizA m× n. Entao
15
1. ‖A‖2 = σ1 = σmax
2. ‖A‖2F = (σ2
1 + . . .+ σ2r)
1/2
3. ‖A−1‖2 = 1σn
= 1σmin
, quando A e n× n e nao-singular.
4. Quando A e n×n nao-singular, entao cond2(A) = ‖A‖2‖A−1‖2 =σ1
σn=σmaxσmin
.
Demonstracao. 1. ‖ A ‖2= σ1
De fato
‖ A ‖2=‖ UΣV T ‖2=‖ Σ ‖2= maxiσi = σ1.
2. ‖ A ‖2F= σ2
1 + ...+ σ2p, p = min{m,n}
De fato,
‖ A ‖F=‖ UΣV ‖F=‖ Σ ‖F= (
p∑i=1
σ2i )
1/2
Entao
‖ A ‖2F= σ2
1 + ...+ σ2p
.3. Tomando a SVD de A−1, temos do Teorema da Decomposicao em ValoresSingulares que o maior valor singular de A−1 e 1/σn(quando A e inversıvel,σn 6= 0). Entao, de (1) segue que ||A−1|| = 1
σmax= 1
σn;
4. Da definicao de Cond2(A) e utilizando 1. e 3. temos queCond2(A) = ||A||2||A−1||2 = σ1
1σn
= σmax
σmin.
�
Exemplo 1.3.1. Calcule ||A||2, ||A||F e Cond(A) da seguinte matriz, utili-zando o Teorema ??:
A =
1 2 33 4 56 7 7.999
.
16
Solucao: Os valores singulares de A sao: σ1 = 14.5570, σ2 = 1.0375 eσ3 = 0.0001. Logo, pelo Teorema ??, temos que:
1. ||A||2 = σ1 = 14, 5570;
2. ||A||F =√σ2
1 + σ22 + σ2
3 = 14, 5940;
3. Cond(A) = σ1/σ3 = 1, 0993× 105.
Propriedades
Os vetores singulares podem ser usados para construir bases ortonormaispara o espaco nulo e para o espaco imagem de uma matriz A. Seja A = UΣV T
a SV D de A ∈ Rm×n. σ1 ≥ σ2 ≥ . . . ≥ σr > 0 valores singulares de A. Entao
Avi = σiui, i = 1, . . . , rAvi = 0, i = r + 1, . . . , n
(1.19)
Similarmente, tomando a SVD de AT = V ΣTUT , temos
ATui = σivi, i = 1, . . . , rATui = 0, i = r + 1, . . . ,m
(1.20)
Portanto
Im(A) = span{u1, . . . , ur}
Nuc(A) = span{vr+1, ..., vn}
Im(AT ) = span{v1, . . . , vr}
Nuc(AT ) = span{ur+1, ..., um}
Demonstracao. 1.Temos a expansao SVD (caso m ≥ n)
17
A = UΣV T = [u1 u2 ... um]m×m
σ1
σ2
. . .
σn0
m×n
[v1 v2 ... vn]Tn×n
= [σ1u1 σ2u2 ... σnun]m×n
vT1vT2
...
vTn
n×n
(1.21)Entao A =
∑ni=1 σiuiviT
Analogamente se n < m
A = UΣV T = [u1 u2 ... um]m×m
σ1
σ2
. . . 0σm
m×n
[v1 v2 ... vn]Tn×n
= [σ1u1 σ2u2 ... σmum 0]m×n
vT1vT2
...
vTn
n×n
(1.22)Entao A =
∑mi=1 σiuiviT.
E de maneira geral, levando em consideracao apenas as contribuicoes nao-nulas de σ1, ..., σp, com p = minm,n, descritas em (??), teremos
A =∑r
i=1 σiuivTi .
Portanto, no caso de A ∈ Rm×n, com m ≥ n (o outro caso seria analogo),para todo x ∈ Rn temos
18
Ax = [n∑i=1
σiuivTi ]x =
n∑i=1
(σivTi x)ui,
usando que vTi x e escalar. Vemos que Ax e uma combinacao linear dosvetores singulares de esquerda {ui}. Nao temos comntribuicoes de uj nacombinacao linear, para os casos de σj = 0. Mas temos considerado quetodos os valores singulares sao nao-nulos de σ1 a σr, com r ≤ min{m,n} = n(na ausencia de valores singulares nulos terıamos r = n). Entao
Ax =r∑i=1
(σivTi x)ui
Ja que os autovetores u1, ..., ur sao ortogonais, por construcao eles saolinearmente independentes, e entao uma base para imagem de A, dada porIm(A), sera Im(A) = span{u1, ..., ur}
2. Ja vimos que ATA e uma matriz simetrica e que existe uma base orto-normal de autovetores associada a ela. Entao sejam λ1, ..., λn, e v1, ..., vn,autovalores e autovetores associados a ATA, ou seja,
ATAvi = σ2i vi, i = 1, ...n
Entao
vTi ATAvi = σ2
i 6= 0, i = 1, ...r
E
vTi ATAvj = 0, i = 1, ...r, i 6= j
Escrevemos
V1 = (v1, ..., vr)
V2 = (vr+1, ..., vn)
onde v1, ..., vr sao os autovetores associados a autovalores nao-nulos λ1, ..., λn,e vr+1, ..., vn sao os autovalores associados a autovalores nulos. Entao
V T2 A
TAV2 = V T2 A
TA(vr+1, vr+2, ..., vn) = V T2 (0, 0, ..., 0) = 0
19
Isso implica que AV2 = 0, ou
Avk = 0, k = r + 1, ..., n
Entao, por definicao, segue que
null(A) = span{vr+1, ..., vn}.�
Essas propriedades implicam que as colunas de U correspondentes aosvalores singulares nao nulos de A formam uma base ortonormal de Im(A);as colunas de U correspondentes aos valores singulares nulos de A formamuma base do N(AT ), e assim segue.
Uma vez obtidas as bases ortonormais para a Imagem Im(A) e parao Espaco Nulo N(A) de A, as projecoes ortogonais podem ser facilmentecalculadas. Assim, se particionarmos U e V como
U = (U1, U2), V = (V1, V2),
onde U1 e V1 consistem das primeiras r colunas de U e V , entao as seguintesprojecoes utilizando SVD podem ser calculadas:
1. Projecao em Im(A) = U1UT1 ;
2. Projecao em N(A) = V2VT
2 ;
3. Projecao em N(AT ) = U2UT2 ;
4. Projecao em Im(AT ) = V1VT
1 .
Decomposicao diadica
A =r∑i=1
uiσivTi (1.23)
A = u1σ1vT1 + u2σ2v
T2 + . . .+ upσpv
Tp (1.24)
Fornece uma descricao canonica de uma matriz como a soma de matrizes deposto 1.
20
1.4 Aplicacoes da SVD
Entre outras, cita-se
• Sensibilidade
• Mınimos quadrados
• Compressao de imagens
1.4.1 Compressao de imagens
Um dos propositos de transformar uma matriz A em sua SVD e aproximarA usando um menor numero de entradas do que a matriz original. Usando oposto da matriz removemos as informacoes reduntantes (entradas dependen-tes) quando r < m ou r < n
A = σ1u1vT1 + σ2u2v
T2 + . . .+ σrurv
Tr + 0ur+1v
Tr+1 + . . . (1.25)
Os valores singulares nulos nao afetam a imagem, podem ser desprezados
A = σ1u1vT1 + σ2u2v
T2 + . . .+ σrurv
Tr
SVD is used as a method for noise reduction.Let a matrix A represent the noisy signal: compute the SVD, and then
discard small singular values of A.It can be shown that the small singular values mainly represent the noise,
and thus the rank-k matrix Ak represents a filtered signal with less noise.
1.4.2 Resolucao de Problemas de Mınimos QuadradosUsando a SVD
A SVD e uma importante ferramenta para a resolucao de problemas demınimos quadrados, tanto para matrizes de posto completo quanto para ma-trizes de posto deficiente. Considere o problema de mınimos quadrados:Encontre x tal que ||r||2 = ||Ax− b||2 e mınimo.
21
Seja A = UΣV T a SVD de A. Entao, temos que
||r||2 = ||(UΣV T )x− b||2= ||U(ΣV Tx− UT b)||2= ||Σy − b′||2
onde V Tx = y e UT b = b′. Assim, o uso da SVD de A reduz o problema demınimos quadrados de matriz A completa para uma matriz diagonal Σ:Encontre y tal que
||Σy − b′||2
e mınimo.O problema reduzido e trivial para ser resolvido. Temos que
||Σy − b′||2 =k∑i=1
|σiyi − b′i|2 +m∑
i=k+1
|b′i|2
onde k e o numero de valores singulares nao nulos de A. Assim, o vetor
y =
y1
y2...yn
que minimiza ||Σy − b′||2 e dado por:
yi =
{b′iσi, se σi 6= 0
arbitrario, se σi = 0
Uma vez que y e calculado, a solucao pode ser recuperada de x = V y.Correspondendo a cada σi nulo, yi pode ser um conjunto arbitrario,
no caso de posto deficiente, teremos infinitas solucoes para o problema demınimos quadrados. Existem exemplos onde o posto deficiente e realmentedesejavel, pois ele fornece uma rica famılia de solucoes que podem ser usadaspara a otimizacao para algum outro aspecto do problema original. No casode posto completo, a solucao para o problema de mınimos quadrados e unica.
22
Algoritmo: Solucao do Problema de Mınimos Quadrados Usando a SVDEtapa 1: Encontre a SVD de A: A = UΣV T ;Etapa 2: Forme
y =
y1
y2...yn
,
escolhendo
yi =
{b′iσi, se σi 6= 0
arbitrario, se σi = 0
Etapa 4: Calcule a famılia de solucoes do problema de mınimos quadrados:x = V y.
Da Etapa 3 do algoritmo, vemos que no caso de posto deficiente, a solucaodo problema de mınimos quadrados de norma 2 mınima e a que e obtida pelaescolha de yi = 0 sempre que σi = 0. Assim, temos a seguinte expressao paraa solucao de norma 2 mınima usando SVD:
x =k∑i=1
uTi b
σivi, (1.26)
onde k e o posto(A) numerico e ui e vi sao respectivamente as i-esimas colunasde U e V .
1.4.3 Resolucao de Sistemas Lineares Usando a SVD
A ideia de usar SVD para a resolucao de problemas de mınimos quadradospode ser facilmente aplicada para determinar se um sistema linear Ax = btem uma solucao, se sim, como calcula-la. Assim, se
A = UΣV T ,entao
Ax = be equivalente a
Σy = b′,onde y = V T e b′ = UT b.
Entao, o sistema Ax = b e consistente se, e somente se, o sistema diagonalΣy = b′ e consistente, e a solucao de Ax = b pode ser calculada resolvendo
23
primeiro o sistema diagonal Σy = b′ e entao recuperando x de x = V y.Entretanto, esta abordagem sera muito mais cara computacionalmente quea Eliminacao Gaussiana e metodos de decomposicao QR. Este custo alto e omotivo pelo qual a SVD nao e, em geral, usada na pratica para a resolucaode sistemas lineares.
1.5 Interpretacao geometrica
1.6 Calculo da SVD - Algoritmos
GolubTrefethen
24