Prednáška č. 7
Numerické metódy matematiky I
Riešenie sústav lineárnych rovníc( pokračovanie )
Prednáška č. 7
OBSAH
1. Metóda singulárneho rozkladu (SVD)• Úvod• SVD štvorcovej matice• SVD pre menej rovníc ako neznámych• SVD pre viac rovníc ako neznámych
2. QR-rozklad 3. Literatúra
Terminológia a základné vzťahy
Majme štvorcovú maticu A.
Jej vlastné čísla budeme označovať λn a
pravé resp. ľavé vektory x a y, pre ktoré platí
Ak platí, že a je symetrická,potom λi, xi ≡ yi a
vlastné vektory generujú ortogonálnu bázu.
Podobnostná transformácia P-1APnemení vlastné čísla matice A.
det 0
i i iT Ti i i
λ
λ
λ
A I
Ax x
y A y
A
Terminológia a základné vzťahy
Reálna ortogonálna matica je taká štvorcová matica Q,ktorej transponovaná matica je jej inverznou maticou.
Ak Q je obdĺžniková matica,potom podmienky
nie sú ekvivalentné.
Podmienka QT .Q = I hovorí, že
matica Q je stĺpcovo ortogonálna.
Podmienka Q .QT = I hovorí, že
matica Q je riadkovo ortogonálna.
T T Q Q Q Q I
aT T Q Q I Q Q I
Ak je počet rovníc sústavy M menší ako počet neznámych N,alebo ak M = N ale rovnice sú lineárne závislé,
potom sústava nemá žiadne riešenie alebo
má viac než jedno riešenie.
V druhom prípade priestor riešení tvorípartikulárne riešenie
pripočítané k ľubovoľnej lineárnej kombinácii N - M vektorov.
Úlohu nájsť priestor riešení matice Aje možné riešiť metódou
singulárneho rozkladu matice A.
Metóda singulárneho rozkladu - úvod
Ak je počet rovníc sústavy M väčší ako počet neznámych N,vo všeobecnosti neexistuje vektor riešenia a
sústave rovníc sa hovorí preurčená.
Môžeme ale nájsť najlepšie „kompromisné“ riešenie, ktoré je „najbližšie“ k tomu,
aby vyhovovalo všetkým rovniciam.
Ak „najbližšie“ definujeme v zmysle najmenších štvorcov,t.j. že suma kvadrátu rozdielov
medzi ľavou a pravou stranou rovnice je najmenšia,potom sa preurčený systém redukuje
na (zvyčajne) riešiteľný problém zvaný metóda najmenších štvorcov.
Metóda singulárneho rozkladu - úvod
Redukovaný systém rovníc môžeme zapísať akosystém N x N rovníc
Tieto rovnice voláme normálne rovniceproblému najmenších štvorcov.
Metóda singulárneho rozkladu má veľa spoločnéhos problémom najmenších štvorcov,
čo si ukážeme neskôr.
Priame riešenie normálnych rovníc nie je vo všeobecnostinajlepším spôsobom hľadania riešenia najmenších štvorcov.
Metóda singulárneho rozkladu - úvod
.T T A A x A b
Metóda singulárneho rozkladu
V mnohých prípadoch,keď GEM alebo LU rozklad zlyhajú,metódy singulárneho rozkladu
(singular value decompisition, SVD)presne diagnostikujú, v čom je problém
a v mnohých prípadoch tiež poskytnú vhodné numerické riešenie.
SVD je tiež metóda na riešenie mnohých problémov najmenších štvorcov.
Metóda singulárneho rozkladu
SVD je založená na nasledujúcej teoréme lineárnej algebry:
Každá matica A typu M x N,
ktorej počet riadkov M je väčší alebo rovný počtu stĺpcov N,
môže byť zapísaná ako súčin
stĺpcovo-ortogonálnej matice U typu M x N,
diagonálnej matice W typu N x Ns kladnými alebo nulovými prvkami (singulárnymi hodnotami)
a transponovanej ortogonálnej matice V typu N x N.
Metóda singulárneho rozkladu
Ortogonálnosť matíc U a V môžeme zapísať nasledovne
Metóda singulárneho rozkladu
SVD dekompozícia môže byť vykonaná aj keď M < N.
V takom prípade singulárne hodnoty wj pre j = M+1, …, Nsú všetky nulové
ako aj odpovedajúce stĺpce matice U.
Existuje viacero algoritmov na SVD,osvedčená je subroutina svdcmp z Numerical Recipes.
Prednáška č. 7
OBSAH
1. Metóda singulárneho rozkladu (SVD)• Úvod• SVD štvorcovej matice• SVD pre menej rovníc ako neznámych• SVD pre viac rovníc ako neznámych
2. QR-rozklad 3. Literatúra
Metóda singulárneho rozkladu štvorcovej matice
Aj je matica A štvorcová, povedzme typu N x N,
potom U , W a V sú všetko štvorcové matice typu N x N.
Keďže U a V sú ortogonálne,
ich inverzné matice sú rovné ich transponovaným maticiam.
Potom môžeme písať vzťah pre inverznú maticu A
1 diag 1/ Tjw A V U
SVD dáva jasnú diagnostiku situácie,ak sú niektoré singulárne hodnoty nulové
alebo blízke nule.
Metóda singulárneho rozkladu štvorcovej matice
Norma matice A
1 1max max T
x xA Ax UwV x
Metóda singulárneho rozkladu štvorcovej matice
Norma matice A
keďže pre Euklidovskú normu platí, že
1 1max max T
x xA Ax UwV x
TU Ux Ux
Metóda singulárneho rozkladu štvorcovej matice
Norma matice A
keďže pre Euklidovskú normu platí, že
potom
1 1max max T
x xA Ax UwV x
TU Ux Ux
1 1
max max maxTjy
wx
A wV x wy
Metóda singulárneho rozkladu štvorcovej matice
Norma matice A-1
1 1 1
1 1max max T
x xA A x Vw U x
Metóda singulárneho rozkladu štvorcovej matice
Norma matice A-1
podobne potom
1 1 1
1 1max max T
x xA A x Vw U x
11 1 1
1 1max max minT
jyw
xA w U x w y
Metóda singulárneho rozkladu štvorcovej matice
Pripomeňme jednu z definíciíčísla podmienenosti matice κ(A):
Matica je singulárna ak je jej číslo podmienenosti nekonečno.
Matica je zle podmienenáak prevrátená hodnota jej čísla podmienenosti
je blízka strojovej presnosti počítača,t.j. menšia než 10-6 pre jednoduchú presnosť alebo
10-12 pre dvojnásobnú presnosť.
1 max:
minj
j
w
wκ A A A
Metóda singulárneho rozkladu štvorcovej matice
Prípad sústavy lineárnych rovníc
v ktorej matica A je singulárna:
Najskôr sa pozrime na prípad homogénnej sústavy,t.j. prípad keď b=0.
Inými slovamihľadáme nulový priestor A
, A x b
Metóda singulárneho rozkladu štvorcovej matice
Prípad sústavy lineárnych rovníc
v ktorej matica A je singulárna:
Najskôr sa pozrime na prípad homogénnej sústavy,t.j. prípad keď b=0.
Inými slovamihľadáme nulový priestor A
, A x b
: :
: :
n n T
n T T n T
null A x Ax 0 x UwV x 0
x U UwV x 0 x wV x 0
Metóda singulárneho rozkladu štvorcovej matice
Prípad sústavy lineárnych rovníc
v ktorej matica A je singulárna:
Najskôr sa pozrime na prípad homogénnej sústavy,t.j. prípad keď b=0.
SVD dáva priamo riešenie – každý stĺpec matice V,
ktorého zodpovedajúca singulárna hodnota wj je nulováje riešením.
, A x b
Metóda singulárneho rozkladu štvorcovej matice
Prípad sústavy lineárnych rovníc
v ktorej matica A je singulárna:
Teraz sa pozrime aký je rozsah (range) matice A
, A x b
Metóda singulárneho rozkladu štvorcovej matice
Prípad sústavy lineárnych rovníc
v ktorej matica A je singulárna:
Teraz sa pozrime aký je rozsah (range) matice A
, A x b
: : :n T n n
T
range A Ax x UwV x x Uwy y
y V x
Metóda singulárneho rozkladu štvorcovej matice
Prípad sústavy lineárnych rovníc
v ktorej matica A je singulárna:
Teraz sa pozrime aký je rozsah (range) matice A
, A x b
Range matice A je tvorený obalom (span)stĺpcov matice U,
ktorých zodpovedajúca singulárna hodnota wj je nenulová.
Metóda singulárneho rozkladu štvorcovej matice
Hľadané riešenie systému s nenulovou pravou stranoupomocou SVD nájdeme nasledovne:
• nahradíme 1/wj nulou ak wj=0• potom počítame (sprava doľava)
diag 1/ Tjw x V U b
Ak partikulárne riešenie leží v rozsahu (range) A,
potom má najmenšiu veľkosť .2x
Ak partikulárne riešenie neleží v rozsahu (range) A,
potom x minimalizuje rezíduum riešenia .:r A x b
Metóda singulárneho rozkladu štvorcovej matice
Matica A nie je singulárna
Metóda singulárneho rozkladu štvorcovej matice
Matica A je singulárna
Metóda singulárneho rozkladu štvorcovej matice
Doteraz sme uvažovali len o krajných prípadocha to že matica sústavy je alebo nie je singulárna.
Numericky je častý prípad,že singulárne hodnoty wj sú veľmi malé, no nenulové,
takže matica je zle podmienená.
V takom prípade môžu priame metódy poskytnúť formálne riešenie,
ale vektor riešenia má nezmyselne veľké prvky,ktoré pri algebraickom krátení počas násobení maticou A
dajú veľmi zlú aproximáciu vektora pravej strany.
Vtedy je často lepšie malé hodnoty wj vynulovať ariešenie určiť podľa vzorca
(s tým, že 1/wj nahradíme nulou ak wj=0) diag 1/ T
jw x V U b
Je nutné byť ale opatrný adobre zvoliť prahovú hodnotu nulovania veličín wj
Prednáška č. 7
OBSAH
1. Metóda singulárneho rozkladu (SVD)• Úvod• SVD štvorcovej matice• SVD pre menej rovníc ako neznámych• SVD pre viac rovníc ako neznámych
2. QR-rozklad 3. Literatúra
Metóda singulárneho rozkladu pre menej rovníc ako neznámych
Ak máme menej rovníc ako neznámychneočakávame jediné riešenie.
Obyčajne existuje celý N - M rozmerný priestor riešení,ktorý chceme nájsť.
SVD dá v takomto prípade N - M nulových alebo zanedbateľne malých hodnôt wj.
Ak niektoré z M rovníc degeerujú,môžeme získať ďalšie nulové wj .
Potom tie stĺpce matice V,
ktorých zodpovedajúca singulárna hodnota wj je nulovátvoria bázové vektory hľadaného priestoru riešení.
Partikulárne riešenie nájdeme aplikovaním vzorca
diag 1/ Tjw x V U b
Prednáška č. 7
OBSAH
1. Metóda singulárneho rozkladu (SVD)• Úvod• SVD štvorcovej matice• SVD pre menej rovníc ako neznámych• SVD pre viac rovníc ako neznámych
2. QR-rozklad 3. Literatúra
Metóda singulárneho rozkladu pre viac rovníc ako neznámych
Ak máme viac rovníc ako neznámychhľadáme riešenie,
v zmysle problému najmenších štvorcov.
Riešime teda sústavu, zapísanú tabuľkovo nasledovne:
Metóda singulárneho rozkladu pre viac rovníc ako neznámych
Po aplikácii SVD na maticu A dostaneme
riešenie v tvare
V tomto prípade nie je zvyčajne nutné nulovať hodnoty wjavšak neobvykle malé hodnoty indikujú, žedáta nie sú citlivé na niektoré parametre.
Prednáška č. 7
OBSAH
1. Metóda singulárneho rozkladu (SVD)• Úvod• SVD štvorcovej matice• SVD pre menej rovníc ako neznámych• SVD pre viac rovníc ako neznámych
2. QR-rozklad 3. Literatúra
QR rozklad
Podobne ako LU rozklad matice,existuje aj tzv. QR rozklad matice
A = Q.Rkde R je horná trojuholníková matica a
Q je ortogonálna matica, teda platíQT.Q = 1.
Riešenie sústavy rovníc nájdeme riešenímR.x = QT.b
QR rozklad vyžaduje asi 2-krát viac operáciíako LU rozklad,
ale existujú špeciálne typy rovníc,v ktorých je výhodnejšie ho použiť.
Prednáška č. 7
OBSAH
1. Metóda singulárneho rozkladu (SVD)• Úvod• SVD štvorcovej matice• SVD pre menej rovníc ako neznámych• SVD pre viac rovníc ako neznámych
2. QR-rozklad 3. Literatúra
Literatúra
Literatúra
Literatúra