numerické metódy matematiky i - fyzikazeme.sk · norma matice . a-1. podobne potom. 11 1 11. max...

Prednáška č. 7

Numerické metódy matematiky I

Riešenie sústav lineárnych rovníc( pokračovanie )

Prednáška č. 7

OBSAH

1. Metóda singulárneho rozkladu (SVD)• Úvod• SVD štvorcovej matice• SVD pre menej rovníc ako neznámych• SVD pre viac rovníc ako neznámych

2. QR-rozklad 3. Literatúra

Terminológia a základné vzťahy

Majme štvorcovú maticu A.

Jej vlastné čísla budeme označovať λn a

pravé resp. ľavé vektory x a y, pre ktoré platí

Ak platí, že a je symetrická,potom λi, xi ≡ yi a

vlastné vektory generujú ortogonálnu bázu.

Podobnostná transformácia P-1APnemení vlastné čísla matice A.

det 0

i i iT Ti i i

λ

λ

λ

A I

Ax x

y A y

A

Terminológia a základné vzťahy

Reálna ortogonálna matica je taká štvorcová matica Q,ktorej transponovaná matica je jej inverznou maticou.

Ak Q je obdĺžniková matica,potom podmienky

nie sú ekvivalentné.

Podmienka QT .Q = I hovorí, že

matica Q je stĺpcovo ortogonálna.

Podmienka Q .QT = I hovorí, že

matica Q je riadkovo ortogonálna.

T T Q Q Q Q I

aT T Q Q I Q Q I

Ak je počet rovníc sústavy M menší ako počet neznámych N,alebo ak M = N ale rovnice sú lineárne závislé,

potom sústava nemá žiadne riešenie alebo

má viac než jedno riešenie.

V druhom prípade priestor riešení tvorípartikulárne riešenie

pripočítané k ľubovoľnej lineárnej kombinácii N - M vektorov.

Úlohu nájsť priestor riešení matice Aje možné riešiť metódou

singulárneho rozkladu matice A.

Metóda singulárneho rozkladu - úvod

Ak je počet rovníc sústavy M väčší ako počet neznámych N,vo všeobecnosti neexistuje vektor riešenia a

sústave rovníc sa hovorí preurčená.

Môžeme ale nájsť najlepšie „kompromisné“ riešenie, ktoré je „najbližšie“ k tomu,

aby vyhovovalo všetkým rovniciam.

Ak „najbližšie“ definujeme v zmysle najmenších štvorcov,t.j. že suma kvadrátu rozdielov

medzi ľavou a pravou stranou rovnice je najmenšia,potom sa preurčený systém redukuje

na (zvyčajne) riešiteľný problém zvaný metóda najmenších štvorcov.


Redukovaný systém rovníc môžeme zapísať akosystém N x N rovníc

Tieto rovnice voláme normálne rovniceproblému najmenších štvorcov.

Metóda singulárneho rozkladu má veľa spoločnéhos problémom najmenších štvorcov,

čo si ukážeme neskôr.

Priame riešenie normálnych rovníc nie je vo všeobecnostinajlepším spôsobom hľadania riešenia najmenších štvorcov.


.T T A A x A b

Metóda singulárneho rozkladu

V mnohých prípadoch,keď GEM alebo LU rozklad zlyhajú,metódy singulárneho rozkladu

(singular value decompisition, SVD)presne diagnostikujú, v čom je problém

a v mnohých prípadoch tiež poskytnú vhodné numerické riešenie.

SVD je tiež metóda na riešenie mnohých problémov najmenších štvorcov.


SVD je založená na nasledujúcej teoréme lineárnej algebry:

Každá matica A typu M x N,

ktorej počet riadkov M je väčší alebo rovný počtu stĺpcov N,

môže byť zapísaná ako súčin

stĺpcovo-ortogonálnej matice U typu M x N,

diagonálnej matice W typu N x Ns kladnými alebo nulovými prvkami (singulárnymi hodnotami)

a transponovanej ortogonálnej matice V typu N x N.


Ortogonálnosť matíc U a V môžeme zapísať nasledovne


SVD dekompozícia môže byť vykonaná aj keď M < N.

V takom prípade singulárne hodnoty wj pre j = M+1, …, Nsú všetky nulové

ako aj odpovedajúce stĺpce matice U.

Existuje viacero algoritmov na SVD,osvedčená je subroutina svdcmp z Numerical Recipes.

Prednáška č. 7

OBSAH



Metóda singulárneho rozkladu štvorcovej matice

Aj je matica A štvorcová, povedzme typu N x N,

potom U , W a V sú všetko štvorcové matice typu N x N.

Keďže U a V sú ortogonálne,

ich inverzné matice sú rovné ich transponovaným maticiam.

Potom môžeme písať vzťah pre inverznú maticu A

1 diag 1/ Tjw A V U

SVD dáva jasnú diagnostiku situácie,ak sú niektoré singulárne hodnoty nulové

alebo blízke nule.


Norma matice A

1 1max max T

x xA Ax UwV x


Norma matice A

keďže pre Euklidovskú normu platí, že

1 1max max T

x xA Ax UwV x

TU Ux Ux


Norma matice A

keďže pre Euklidovskú normu platí, že

potom

1 1max max T

x xA Ax UwV x

TU Ux Ux

1 1

max max maxTjy

wx

A wV x wy


Norma matice A-1

1 1 1

1 1max max T

x xA A x Vw U x


Norma matice A-1

podobne potom

1 1 1

1 1max max T

x xA A x Vw U x

11 1 1

1 1max max minT

jyw

xA w U x w y


Pripomeňme jednu z definíciíčísla podmienenosti matice κ(A):

Matica je singulárna ak je jej číslo podmienenosti nekonečno.

Matica je zle podmienenáak prevrátená hodnota jej čísla podmienenosti

je blízka strojovej presnosti počítača,t.j. menšia než 10-6 pre jednoduchú presnosť alebo

10-12 pre dvojnásobnú presnosť.

1 max:

minj

j

w

wκ A A A


Prípad sústavy lineárnych rovníc

v ktorej matica A je singulárna:

Najskôr sa pozrime na prípad homogénnej sústavy,t.j. prípad keď b=0.

Inými slovamihľadáme nulový priestor A

, A x b





Inými slovamihľadáme nulový priestor A

, A x b

: :

: :

n n T

n T T n T

null A x Ax 0 x UwV x 0

x U UwV x 0 x wV x 0





SVD dáva priamo riešenie – každý stĺpec matice V,

ktorého zodpovedajúca singulárna hodnota wj je nulováje riešením.

, A x b




Teraz sa pozrime aký je rozsah (range) matice A

, A x b





, A x b

: : :n T n n

T

range A Ax x UwV x x Uwy y

y V x





, A x b

Range matice A je tvorený obalom (span)stĺpcov matice U,

ktorých zodpovedajúca singulárna hodnota wj je nenulová.


Hľadané riešenie systému s nenulovou pravou stranoupomocou SVD nájdeme nasledovne:

• nahradíme 1/wj nulou ak wj=0• potom počítame (sprava doľava)

diag 1/ Tjw x V U b

Ak partikulárne riešenie leží v rozsahu (range) A,

potom má najmenšiu veľkosť .2x

Ak partikulárne riešenie neleží v rozsahu (range) A,

potom x minimalizuje rezíduum riešenia .:r A x b


Matica A nie je singulárna


Matica A je singulárna


Doteraz sme uvažovali len o krajných prípadocha to že matica sústavy je alebo nie je singulárna.

Numericky je častý prípad,že singulárne hodnoty wj sú veľmi malé, no nenulové,

takže matica je zle podmienená.

V takom prípade môžu priame metódy poskytnúť formálne riešenie,

ale vektor riešenia má nezmyselne veľké prvky,ktoré pri algebraickom krátení počas násobení maticou A

dajú veľmi zlú aproximáciu vektora pravej strany.

Vtedy je často lepšie malé hodnoty wj vynulovať ariešenie určiť podľa vzorca

(s tým, že 1/wj nahradíme nulou ak wj=0) diag 1/ T

jw x V U b

Je nutné byť ale opatrný adobre zvoliť prahovú hodnotu nulovania veličín wj

Prednáška č. 7

OBSAH



Metóda singulárneho rozkladu pre menej rovníc ako neznámych

Ak máme menej rovníc ako neznámychneočakávame jediné riešenie.

Obyčajne existuje celý N - M rozmerný priestor riešení,ktorý chceme nájsť.

SVD dá v takomto prípade N - M nulových alebo zanedbateľne malých hodnôt wj.

Ak niektoré z M rovníc degeerujú,môžeme získať ďalšie nulové wj .

Potom tie stĺpce matice V,

ktorých zodpovedajúca singulárna hodnota wj je nulovátvoria bázové vektory hľadaného priestoru riešení.

Partikulárne riešenie nájdeme aplikovaním vzorca

diag 1/ Tjw x V U b

Prednáška č. 7

OBSAH



Metóda singulárneho rozkladu pre viac rovníc ako neznámych

Ak máme viac rovníc ako neznámychhľadáme riešenie,

v zmysle problému najmenších štvorcov.

Riešime teda sústavu, zapísanú tabuľkovo nasledovne:

Metóda singulárneho rozkladu pre viac rovníc ako neznámych

Po aplikácii SVD na maticu A dostaneme

riešenie v tvare

V tomto prípade nie je zvyčajne nutné nulovať hodnoty wjavšak neobvykle malé hodnoty indikujú, žedáta nie sú citlivé na niektoré parametre.

Prednáška č. 7

OBSAH



QR rozklad

Podobne ako LU rozklad matice,existuje aj tzv. QR rozklad matice

A = Q.Rkde R je horná trojuholníková matica a

Q je ortogonálna matica, teda platíQT.Q = 1.

Riešenie sústavy rovníc nájdeme riešenímR.x = QT.b

QR rozklad vyžaduje asi 2-krát viac operáciíako LU rozklad,

ale existujú špeciálne typy rovníc,v ktorých je výhodnejšie ho použiť.

Prednáška č. 7

OBSAH



Literatúra

numerické metódy matematiky i - fyzikazeme.sk · norma matice . a-1. podobne potom. 11 1 11. max...

Documents