heinrich voss - tuhh...heinrich voss [email protected] hamburg university of technology department...

Lineare Ausgleichsproblems

Heinrich Voss

[email protected]

Hamburg University of Technology

Department of Mathematics

Lineare Ausgleichsproblems – p. 1/71

http://www.tu-harburg.de/mat/hp/voss/

Lineare Ausgleichsprobleme

In (fast) allen Wissenschaftsbereichen begegnet man dem Problem,unbekannte Parameter eines funktionalen Zusammenhanges bestimmenzu müssen, dessen Struktur (abgesehen von den Werten der Parameter)etwa aus Naturgesetzen oder Modellannahmen bekannt ist.


Beispiel

Um den Elastizitätsmodul E und die Querdehnungszahl ν eineselastischen Materials zu bestimmen, belastet man eine quaderförmigeProbe in achsenparalleler Lage mit verschiedenen Normalspannungen(σx, σy, σz) und misst die resultierenden Dehnungen.

−0.5 0 0.5 1 1.5 2 2.5 3−0.5

0

0.5

1

1.5

2

−σz

σy

σz

−σy

σx

−σx


Beispiel (2)

Der Zusammenhang zwischen Spannung und Dehnung wird beschriebendurch das Hooksche Gesetz

εx

εy

εz

=1

E

1 −ν −ν

−ν 1 −ν

−ν −ν 1

σx

σy

σz

Führt man eine Messung durch, so werden diese 3 Gleichungen in 2Unbekannten x1 =: 1/E und x2 := −ν/E

σxx1 + (σy + σz)x2 = εx

σyx1 + (σx + σz)x2 = εy

σzx1 + (σx + σy)x2 = εz

i.a. einander widersprechen. Man versucht daher, sie möglichst gut indem folgenden Sinne zu erfüllen.


Lineares Ausgleichsproblem

Betrachte das lineare Ausgleichsproblem:

Gegeben seien A ∈ R(m,n), b ∈ R

m.Bestimme x ∈ R

n, so dass

‖Ax − b‖2

minimal wird.

Das Ausgleichsproblem heißt linear, da die Parameter x nur linear in denDefekt Ax − b eingehen.


Beispiel

Die Höhe h einer Flüssigkeitssäule ist eine lineare Funktion derTemperatur

h(T ) = α + βT.

Will man α und β bestimmen, so führt man m Messungen aus undbestimmt aus den Daten (Ti, hi), i = 1, . . . , m diese Parameter aus demlinearen Ausgleichsproblem

‖Ax − b‖2 = min!

mit

A :=

1 T1

......

1 Tm

, x :=

(

α

β

)

, b :=

h1

...hm


Beispiel 2

Wird statt der Ausgleichsgerade eine Ausgleichsparabel

h(T ) = α + βT + γT 2

zu den Daten (Ti, hi), i = 1, . . . , m, gewünscht, so ergibt sich das lineareAusgleichsproblem

‖Ax − b‖2 = min!

mit

A :=

1 T1 T 21

......

...1 Tm T 2

m

, x :=

α

β

γ

, b :=

h1

...hm

.


Lineares Ausgleichsproblem (2)

Bei der Lösung des linearen Ausgleichsproblems nutzen wir aus, dass dieTransformation mit orthogonalen Matrizen die Euklidische Länge einesVektors nicht verändert, d.h. für jede orthogonale Matrix Q ∈ R

(m,m) (undjedes feste x ∈ R

n) gilt

‖Ax − b‖2 = ‖Q(Ax − b)‖2 = ‖(QA)x − Qb‖2.

Unser Ziel ist es, mit orthogonalen Transformationen Q(1), Q(2), . . . dieSystemmatrix A des linearen Ausgleichsproblems analog zurVorgehensweise beim Gauß-Algorithmus für lineare Gleichungssysteme ineine obere Dreiecksmatrix zu transformieren.



Ist A = O, so kann man x ∈ Rn beliebig wählen, und das

Ausgleichsproblem ist gelöst.

Ist A 6= O, so kann man o.B.d.A annehmen, dass die erste Spalte a1 von Avom Nullvektor verschieden ist (sonst Spaltentausch undUmnummerierung der Variablen).



Wähle Q(1) als Householdermatrix, für die gilt

Q(1)a1 = r11e1

mitr11 = ±‖a1‖2 6= 0.

Dann gilt

Q(1)A =

r11

0...0

, Q(1)a2, . . . , Q(1)an



Für alle x ∈ Rn ist also

‖Ax − b‖2 = ‖(

Q(1)A)

x − Q(1)b‖2 =: ‖A(1)x − b(1)‖2,

wobei

A(1) := Q(1)A =

r11 r12, . . . , r1n

0...0

A(1)

, b(1) := Q(1)b.


Beispiel

Wir betrachten das lineare Ausgleichsproblem mit

A =

1 0 2

1 3 2

1 3 3

1 0 1

, b =

1

1

1

−1

.

Die Householdermatrix

Q(1) = E4 − 2wwT

‖w‖22

mit Q(1)

1

1

1

1

= r11e1

. . .


Beispiel (2)

ist gegeben durch

w :=

1

1

1

1

+ 2 ·

1

0

0

0

=

3

1

1

1

.

Hiermit gilt

Q(1)

1

1

1

1

= −2e1

(so ist Q(1) ja gerade konstruiert), und


Beispiel (3)

Q(1)

0

3

3

0

=

0

3

3

0

−2

12

3

1

1

1

(3, 1, 1, 1)

0

3

3

0

=

−3

2

2

−1

Q(1)

2

2

3

1

=

2

2

3

1

−2

12

3

1

1

1

(3, 1, 1, 1)

2

2

3

1

=

−4

0

1

−1

Q(1)

1

1

1

−1

=

1

1

1

−1

−2

12

3

1

1

1

(3, 1, 1, 1)

1

1

1

−1

=1

3

−3

1

1

−5


Beispiel (4)

Das Ausgleichsproblem‖Ax − b‖2 = min!

ist also äquivalent zu

∥

∥

∥

∥

∥

−2 −3 −4

0 2 0

0 2 1

0 −1 −1

x −1

3

−3

1

1

−5

∥

∥

∥

∥

∥

2

= min!



Ist A(1) = 0, so beenden wir die erste Phase des Verfahrens.

Sonst können wir wieder o.B.d.A. annehmen, dass die erste Spalte

a(1)1 ∈ R

m−1 von A(1) nicht der Nullvektor ist.

Wir wählen die Householdermatrix P (2) ∈ R(m−1,m−1) mit

P (2)a(1)1 = r22e

1

(hier bezeichnet e1 den ersten Einheitsvektor in Rm−1) und hiermit

Q(2) =

1 0, . . . , 0

0...0

P (2)


Lineare Ausgleichsprobleme (7)

Q(2)A(1) =

1 0 . . . 0

0... P (2)

0

r11 r12 r13 . . . r1n

0...0

a(1)1 a

(1)2 . . . a

(1)n−1

=

r11 r12 r13 . . . r1n

0...0

P (2)a(1)1 P (2)a1

2 . . . P (2)a(1)n−1

=

r11 r12 r13 . . . r1n

0 r22 r23 . . . r2n

0 0...

... A(2)

0 0

=: A(2)



und

‖Ax − b‖2 = ‖Q(2)A(1)x − Q(2)b(1)‖2

= ‖A(2)x − b(2)‖2.

Auf diese Weise kann man fortfahren, die Elemente unterhalb derHauptdiagonale zu annullieren.



Man erhält schließlich (bei rundungsfehlerfreier Rechnung)

‖Ax − b‖2 = ‖A(k)x − b(k)‖2,

mit

A(k) =

r11 r12 . . . r1k r1,k+1 . . . r1n

0 r22 . . . r2k r2,k+1 . . . r2n

. . ....

. . ....

......

...0 0 . . . rkk rk,k+1 . . . rkn

0 0 . . . 0 0 . . . 0...

......

......

......

0 0 . . . 0 0 . . . 0



Wie bei der Gaußschen Elimination wird man im Falle rundungsbehafteterRechnung das Verschwinden der Restmatrix A(k) numerisch nichtfeststellen können, da dort i.a. keine exakten Nullen stehen werden,sondern von Null verschiedene kleine Rundungsfehler.

Man wird deshalb bei der numerischen Rechnung die Eliminationsphaseabbrechen müssen, wenn die Größe der Restmatrix A(k) unter einevorgegebene kleine Zahl fällt.


Fortsetzung des letzten Beispiels

Der erste Schritt lieferte das äquivalente Ausgleichsproblem

∥

∥

∥

∥

∥

−2 −3 −4

0 2 0

0 2 1

0 −1 −1

x −1

3

−3

1

1

−5

∥

∥

∥

∥

∥

2

= min!

Im zweiten Schritt bestimmen wir die Householder Matrix

P (2) = E3 − 2vvT

‖v‖22

∈ R(3,3) mit P (2)

2

2

−1

= r22e1.


Fortsetzung des letzten Beispiels (2)

Es ist v =

2

2

−1

+ 3 ·

1

0

0

=

5

2

−1

, und hiermit nach Konstruktion

P (2)

2

2

−1

= −

3

0

0

und

P (2)

0

1

−1

=

0

1

−1

−2

30

5

2

−1

(5, 2,−1)

0

1

−1

c

=1

5

−5

3

−4

1

3P (2)

1

1

−5

=1

3

1

1

−5

−2

30

5

2

−1

(5, 2,−1)1

3

1

1

−5

=1

5

−5

−1

−7



Das Ausgleichsproblem ist also äquivalent zu

∥

∥

∥

∥

∥

−2 −3 −4

0 −3 −1

0 0 0.6

0 0 −0.8

x −1

5

−5

−5

−1

−7

∥

∥

∥

∥

∥

2

= min!

Um die Dreiecksgestalt herzustellen, verwenden wir

P (3) = E2 − 2wwT

‖w‖22

mit P (3)

(

0.6

−0.8

)

= r33e1.



Es ist

w =

(

0.6

−0.8

)

+ 1 ·

(

1

0

)

=

(

1.6

−0.8

)

,

und damit

P (3)

(

0.6

−0.8

)

=

(

−1

0

)

(nach Konstruktion)

P (3)

(

−0.2

−1.4

)

= · · · =

(

−1

−1

)

.



Das Ausgleichsproblem ist also schließlich äquivalent zu

∥

∥

∥

∥

∥

−2 −3 −4

0 −3 −1

0 0 −1

0 0 0

x −

−1

−1

−1

−1

∥

∥

∥

∥

∥

2

= min!

Die letzte Komponente kann man durch Wahl von x sicher nichtbeeinflussen, die ersten drei Komponenten kann man alle zu Null machen,indem man das lineare Gleichungssystem

−2 −3 −4

0 −3 −1

0 0 −1

x =

−1

−1

−1

⇐⇒ x =

−1.5

0

1

löst.



Im allgemeinen Fall zerlegen wir

b(k) =

(

y

z

)

,

wobei y die ersten k Komponenten von b(k) und z die restlichenKomponenten enthält.

Dann gilt

‖A(k)x − b(k)‖22 =

∥

∥

∥

(

Rx

0

)

−

(

y

z

)

∥

∥

∥

2

2= ‖Rx − y‖2

2 + ‖z‖22,

und dieser Ausdruck wird sicher dann minimal, wenn der erste Summandverschwindet, d.h. wenn Rx = y.


Satz 7.8Das lineare Ausgleichsproblem

Bestimme x ∈ Rn mit ‖Ax − b‖2 = min!

ist stets losbar.

Es ist eindeutig losbar, wenn A unabhangige Spalten besitzt.


Beweis von Satz 7.8Führt man das hergeleitete Verfahren für das Ausgleichsproblem durch,so gilt

rii =(

P (i)a(i−1)1

)

1= ±‖a

(i−1)1 ‖2 6= 0, i = 1, . . . , k

und daher ist das lineare Gleichungssystem Rx = y stets lösbar und damitauch das lineare Ausgleichsproblem.

Rx = y ist genau dann eindeutig lösbar, wenn k = n gilt. Da dieMultiplikation mit den regulären Matrizen Q(i) den Rang nicht ändert, gilt

k = rang(R) = rang(A(k)) = rang(A),

und das Ausgleichsproblem ist genau dann eindeutig lösbar, wenn dieKoeffizientenmatrix A linear unabhängige Spalten besitzt. ¤


QR Zerlegung

Besitzt A ∈ R(m,n) linear unabhängige Spalten, so kann man mit den eben

konstruierten orthogonalen Matrizen Q(j) die Matrix A auf obereDreiecksgestalt transformieren:

Q(n) · Q(n−1) · . . . · Q(1)A = R.

Wegen der Orthogonalität und der Symmetrie der Q(j) erhält man hieraus

A = Q(1) · . . . · Q(n) · R =: QR.

Es gilt also


Satz 7.9

Die Matrix A ∈ R(m,n) besitze linear unabhangige Spalten.

Dann gibt es eine orthogonale Matrix Q ∈ R(m,m) und eine regulare obere

Dreiecksmatrix R ∈ R(n,n), so dass gilt

A = Q

(

R

0

)

.

Diese Zerlegung heißt die QR–Zerlegung von A. Man kann dieQR-Zerlegung einer Matrix mit Hilfe von Householder Transformationenbestimmen.


Bemerkung

Ist A ∈ R(n,n) quadratisch und regulär und ist die QR-Zerlegung A = QR

von A bekannt, so kann man (ähnlich wie mit der LR-Zerlegung) für jederechte Seite b ∈ R

n die Lösung des linearen Gleichungssystems Ax = bleicht bestimmen.

Wir setzen nämlich y := QT b und bestimmen dann durchRückwärtseinsetzen die Lösung x von Rx = y.

Dann giltAx = QRx = Qy = b.


Bemerkung (2)

Der Aufwand zur Lösung eines linearen Gleichungssystems mit derQR-Zerlegung ist etwa doppelt so hoch wie der des GaußschenEliminationsverfahrens.

Jedoch ist die QR-Zerlegung i.a., was Rundungsfehler und Stabilitätbetrifft, etwas günstiger als das Eliminationsverfahren.


Bemerkung

Man beachte, dass die orthogonale Matrix Q dabei nur in y := QT bbenötigt wird.

Wegen

QT = P (n−1) · . . . · P (1)

kann die Multiplikation von b mit QT durch die sukzessive Multiplikation mitden Matrizen P (1) bis P (n−1) realisiert werden, ohne dass dafür dieexpliziten Matrixeinträge von Q bekannt sein müssen.

Die Matrizen P (i) sind dabei (im wesentlichen) Householder-Matrizen, undwerden ebenfalls nicht als volle Matrizen gespeichert oder multiplikativangewendet.


Bemerkung (2)

Vielmehr ist P (i) durch einen Vektor der Länge n− i + 1 voll charakterisiert.

Der Speicheraufwand für die R-Matrix und die die P -Matrizen entsprichtdem der ursprünglichen Matrix plus n weitere Plätze.

Mit etwas Nachdenken kann die QR-Zerlegung der Matrix A — ähnlich derVorgehensweise bei der LR-Zerlegung — so im Speicher von A sowieeinem zusätzlichen Vektor vorgenommen werden.


Bemerkung

Aus den obigen Ausführungen geht hervor, dass die QR-Zerlegung auchfür Matrizen durchführbar ist, deren Spalten nicht linear unabhängig sind.

In diesem Fall wird die R-Matrix ebenfalls nicht regulär werden. Wegender während der Zerlegungsphase auftretenden algorithmischenSchwierigkeiten bei der Detektion der linearen Abhängigkeit wird hier aufdie Darstellung dieses Falles verzichtet und auf Spezialvorlesungen übernumerische Methoden verwiesen.


Gram-Schmidt Orthogonalisierung

Alternativ kann man die QR Zerlegung mit dem Gram-Schmidt Prozessbestimmen, bei dem im j-ten Schritt, d.h. nachdem die ersten j − 1

Spalten q1, . . . , qj−1 von Q bereits bestimmt wurden, von der j-ten Spalteaj von A die Anteile in Richtung von qi, i = 1, . . . , j − 1, abgezogen werdenund der so bestimmte, zu den qi orthogonale Vektor normiert wird.

qj =1

rjj

(

aj −

j−1∑

i=1

(qi)T aj · qi

)

, wobei rjj so gewählt, dass ‖qj‖ = 1.

⇐⇒

j∑

i=1

rijqi = aj mit rij := (qi)T aj , i = 1, . . . , j−1, rjj = ‖aj −

j−1∑

i=1

rijqi‖


Gram-Schmidt Orthogonalisierung (2)

j∑

i=1

rijqi = aj mit rij := (qi)T aj , i = 1, . . . , j − 1, rjj = ‖aj −

j−1∑

i=1

rijqi‖

⇐⇒ A =(

a1, . . . , an)

=(

q1, . . . , qn)

r11 r12 . . . r1n

0 r22 . . . r2n

......

. . ....

0 0 . . . rnn

=: QR

Formal unterscheidet sich diese Zerlegung von der mit HouseholderMatrizen konstruierten QR Zerlegung, denn Q ∈ R

(m,n) enthält nur eineOrthonormalbasis des von den Spalten von A aufgespannten Teilraumsvon R

m. Diese lässt sich aber durch weitere m − n orthonormale Spaltenzu einer Orthonormalbasis von R

m ergänzen. Man erhält dann eine QRZerlegung wie vorher, wenn man R durch m − n Nullzeilen ergänzt.


Die Normalgleichungen

Wir leiten nun eine weitere notwendige und hinreichende Bedingung fürdie Lösung des linearen Ausgleichsproblems her.

Die numerische Anwendung dieser Bedingung ist zwari.a. rundungsfehleranfälliger als die schon demonstrierte Methode. Für dieHandrechnung bei kleinen Problemen ist sie aber oft etwas angenehmer.

Außerdem vermittelt sie wieder einmal gewisse strukturelle Einsichten indas Ausgleichsproblem.


Satz 7.12Die Lösungen des Ausgleichsproblems

‖Ax − b‖2 = min!

sind genau die Lösungen der Normalgleichungen

AT Ax = AT b.


Beweis von Satz 7.12Es sei

W := span{a1, . . . , an}.

y = Ax ∈ W löst genau dann das Approximationsproblem

‖y − b‖2 ≤ ‖y − b‖2 für alle y ∈ W,

wenn y die orthogonle Projektion von b auf W ist,

und dies ist genau dann der Fall, wenn

Ax − b ⊥ W

⇐⇒ (aj)T (Ax − b) = 0, j = 1, . . . , n

⇐⇒ AT (Ax − b) = 0.


Bemerkung

Da AT A genau dann regulär ist, wenn rangA = n gilt (vgl. Kapitel 6),enthält Satz 7.12 die Eindeutigkeitsaussage von Satz 7.8.

AT Ax = AT b

ist auch dann stets lösbar ist, wenn AT A singulär ist.

Die Normalgleichungen kann man als notwendige Bedingungen für dasMinimum der Funktion

φ(x) := ‖Ax − b‖22

mit Methoden der Infinitesimalrechnung gewinnen.


Beispiel

Für das Beispiel

∥

∥

∥

∥

∥

∥

∥

∥

1 0 2

1 3 2

1 3 3

1 0 1

x −

1

1

1

−1

∥

∥

∥

∥

∥

∥

∥

∥

2

= min!

lauten die Normalgleichungen

AT Ax =

4 6 8

6 18 15

8 15 18

x = AT b =

2

6

6

mit der Lösung x = (−1.5, 0, 1)T .


Bemerkung

Die Normalgleichungen sind häufig wesentlich schlechter konditioniert(d.h. reagieren empfindlicher auf Fehler in den Eingangsdaten und aufRundungsfehler bei der numerischen Lösung) als das Ausgleichsproblemund sollten nur für sehr kleine n verwendet werden.

In der Regel ist das oben beschriebene Verfahren mit orthogonalenTransformationen des Originalproblems vorzuziehen.


Beispiel zur Abschreckung

Bestimme

p(t) =

2∑

j=0

ajtj

mit10∑

i=1

(p(ti) − bi)2 = min!,

wobei ti = 49 + i und bi = π + ti.

Da die Daten exakt auf der Gerade p(t) = π + t liegen, ista = (a0, a1, a2)

T = (π, 1, 0)T sicherlich eine Lösung (mit Defekt = 0). DieseLösung ist auch eindeutig.


Beispiel (2)

Mit den Householder Transformationen erhält man die unten angegebenebrauchbare Näherung a.

Löst man die Normalgleichungen mit dem GaußschenEliminationsverfahren, so erhält man als Näherung für die Lösung denVektor a (die Rechnungen wurden auf dem IBM PS/2 unter Turbo Pascal6.0 in einfacher Genauigkeit bei 7-8 Dezimalstellen ausgeführt), dersicherlich nicht befriedigen kann:

a =

π + 8.32 · 10−4

1 − 3.02 · 10−5

2.73 · 10−7

a =

π − 5.01 · 10−1

1 + 1.84 · 10−2

−1.69 · 10−4

.


Lineare diskrete Approximation

Gegeben seien m Messpunkte (tj , bj), j = 1, . . . , m, wobei dietj ∈ [a, b] ⊂ R paarweise verschieden sind und bj ∈ R.

Um hieraus eine funktionale Beziehung b = b(t), t ∈ [a, b], zu ermitteln,wählt man n Ansatzfunktionen

φk : [a, b] → R, k = 1, . . . , n ≤ m,

und bestimmt reelle Parameter xk so, dass

m∑

j=1

(

n∑

k=1

xkφk(tj) − bj

)2

1/2

= min!. (∗)


Lineare diskrete Approximation (2)

Das Ausgleichsproblem (*) kann geschrieben werden als

‖Ax − b‖2 = min!

mit

A =

φ1(t1) φ2(t1) . . . φn(t1)

φ1(t2) φ2(t2) . . . φn(t2)...

.... . .

...φ1(tm) φ2(tm) . . . φn(tm)

, b =

b1

b2

...bm

.


Satz 7.18Das lineare diskrete Approximationsproblem (*) ist genau dann eindeutiglösbar, wenn gilt

n∑

k=1

xkφk(tj) = 0, j = 1, . . . , m ⇒ xk = 0, k = 1, . . . , n. (∗∗)

In diesem Fall ist die Lösung die eindeutige Lösung des linearenGleichungssystems

n∑

k=1

m∑

j=1

φi(tj)φk(tj)

xk =m

∑

j=1

bjφi(tj), i = 1, . . . , n. (+)


Beweis von Satz 7.18Die Bedingung (**) besagt gerade, dass die Matrix A linear unabhängigeSpalten besitzt. Daher ist das Ausgleichsproblem eindeutig lösbar.

Ist Bedingung (**) nicht erfüllt und gilt φ(tj) = 0 für alle j = 1, . . . , m für dieFunktion

φ(t) =

n∑

k=1

αkφk(t),

so ist wegen Aα = 0 mit φ(t) auch φ(t) + λφ(t) für alle λ ∈ R eine Lösungdes Ausgleichsproblems.

(+) sind die Normalgleichungen AT A = AT b. ¤


Haarsche Bedingung

Bei der Überprüfung der Voraussetzung (**) ist die folgende Bedingungvon besonderer Bedeutung (die auch in der Approximationstheorie beiEindeutigkeitsfragen eine große Rolle spielt).

Definition:Man sagt, dass die Funktionen φj : [a, b] →, i = 1, . . . , n, auf dem Intervall[a, b] der Haarschen Bedingung genügen (oder dort ein ChebyshevSystem bilden), wenn jede Linearkombination

φ(t) :=

n∑

j=1

αjφj(t)

der φj(t), für die nicht alle αj gleich 0 sind, höchstens n − 1 Nullstellen in[a, b] besitzt.


Beispiel

Wie wir bereits wissen, hat jedes Polynom p(t) =∑n

i=0 αiti vom

Höchstgrad n, dessen Koeffizienten αi nicht alle verschwinden, maximal nNullstellen in C.

Also hat ein solches Polynom auch maximal n Nullstellen in jedem reellenIntervall.

Daher erfüllt jede Basis des Πn in jedem Teilintervall [a, b] von R dieHaarsche Bedingung.


Beispiel 2

Es seien ak 6∈ [a, b], k = 1, . . . , n, paarweise verschieden.

φk(t) =1

t − ak, k = 1, . . . , n

erfüllen die Haarsche Bedingung auf [a, b], denn

n∑

k=1

αkφk(t) = 0 ⇐⇒

n∑

k=1

αk

n∏

j=1

j 6=k

(t − aj) = 0,

und

vk(t) :=n

∏

j=1

j 6=k

(t − aj), j = 1, . . . , n

bilden eine Basis des Πn−1.


Beispiel 3

Es seien ak < 0, k = 1, . . . , n, paarweise verschieden.Dann erfüllen (wie im letzten Beispiel) die Funktionen

φk(t) =t

t + ak, k = 1, . . . , n,

die Haarsche Bedingung in (0,∞).


Beispiel 4

Die Funktonen1, sin t, cos t, sin 2t, . . . , sinnt, cos nt

erfüllen die Haarsche Bedingung in jedem Teilintervall von [0, 2π) (undgenauso in jedem TeilIntervall von [ρ, ρ + 2π) ⊂ R).

Mit

cos t =1

2(eit + e−it) und sin t =

1

2i(eit − e−it)

gilt


Beispiel 4 (2)

φ(t) := α0 +n

∑

k=1

αk cos kt +n

∑

k=1

βk sin kt = 0

⇐⇒ α0 +1

2

n∑

k=1

αk(eikt + e−ikt) +1

2i

n∑

k=1

βk(eikt − e−ikt) = 0

⇐⇒ α0eint +

1

2

n∑

k=1

αk(ei(k+n)t + ei(n−k)t)

+1

2i

n∑

k=1

βk(ei(k+n)t − ei(n−k)t) = 0

⇐⇒

n−1∑

k=0

(1

2αn−k −

1

2iβn−k)(eit)k + α0(e

it)n

+

n∑

k=1

(1

2αk +

1

2iβk)(eit)k+n = 0.


Beispiel 4 (3)

Die Funktion auf der linken Seite der letzten Gleichung ist ein Polynomvom Grade 2n in der Variablen z := eit.

Dieses hat höchstens 2n Nullstellen in C, wenn nicht seine Koeffizienten

(1

2αn−k −

1

2iβn−k), k = 0, . . . , n − 1, α0, (

1

2αk +

1

2iβk), k = 1, . . . , n,

allesamt verschwinden.

Dies ist gleichbedeutend mit dem Verschwinden aller α− undβ−Koeffizienten des ursprünglichen trigonometrischen Polynoms φ.

Da die Funktion t 7→ eit jedes Intervall [ρ, ρ + 2π) bijektiv auf denEinheitskreis in C abbildet, besitzt φ höchstens 2n Nullstellen in [ρ, ρ + 2π),also auch höchstens 2n Nullstellen in jedem seiner Teilintervalle, und dieHaarsche Bedingung ist demnach auf jedem solchen Intervall erfüllt.


Beispiel 5

Die Funktionen sin kt, k = 1, . . . , n, genügen der Haarschen Bedingung aufjedem Teilintervall [a, b] von (0, π), denn besitzt die Funktion

φ(t) =

n∑

k=1

αk sin kt

die n Nullstellen t1 < · · · < tn in [a, b], so hat φ wegen φ(−t) = −φ(t) für allet ∈ im Intervall (−π, π) wenigstens die 2n + 1 Nullstellen−tn < · · · < −t1 < 0 < t1 < · · · < tn, und nach dem letzten Beispiel ist diesnur möglich, wenn alle α−Koeffizienten verschwinden.


Beispiel 6

Sehr ähnlich wie im letzten Beispiel zeigt man, dass die Funktionen

1, cos t, . . . , cos nt

in jedem Teilintervall von [0, π) der Haarschen Bedingung genügen.


Satz 7.27Erfullen die Funktionen φk : [a, b] →, k = 1, . . . , n, die Haarsche Bedingung in [a, b]und sind tj ∈ [a, b], j = 1, . . . , m, m ≥ n, paarweise verschieden, so besitzt das linearediskrete Approximationsproblem fur alle bj ∈, j = 1, . . . , m, eine eindeutige Losung.

Beweis:Wir zeigen die Gültigkeit der Bedingung (**) aus Satz 7.19.

Ist nämlichn

∑

k=1

αkφk(tj) = 0 für alle j = 1, . . . , m,

so besitzt die Funktion

φ(t) :=

n∑

k=1

αkφk(t)

im Intervall [a, b] wenigstens m ≥ n Nullstellen.

Aus der Haarschen Bedingung folgt dann, dass αk = 0 für alle k = 1, . . . , nist. ¤


Vandermondesche MatrixAus Satz 7.27 folgt insbesondere für den Fall n = m, dass für jedesSystem φk : [a, b] → R, k = 1, . . . , n, von Funktionen, das auf [a, b] dieHaarsche Bedingung erfüllt, und für alle paarweise verschiedenentj ∈ [a, b], j = 1, . . . , n, die Matrix

V =

φ1(t1) φ2(t1) . . . φn(t1)

φ1(t2) φ2(t2) . . . φn(t2)

. . . . . . . . . . . .

φ1(tn) φ2(tn) . . . φn(tn)

regulär ist.

Die Matrix V heißt Vandermondesche Matrix zu {φk : k = 1, . . . , n} und{tj : j = 1, . . . , n}, det(V ) heißt die Vandermondesche Determinante.


Vandermondesche Matrix (2)

Die (klassische) Vandermondesche Matrix

V =

1 t1 . . . tn11 t2 . . . tn2...

.... . .

...1 tn+1 . . . tnn+1

,

ist in diesem Sinne die Vandermonde Matrix zum System der Monome

{tk : k = 0, 1, . . . , n}

und den Punkten{tj : j = 1, . . . , n + 1}.


Vandermondesche Matrix (3)

Aus der Regularität der Vandermondeschen Matrix folgt, dass das lineareGleichungssystem V x = b für alle b ∈ R

n eindeutig lösbar ist.

Definiert man mit der Lösung x die Funktion

φ(t) :=

n∑

k=1

xkφk(t),

so erfüllt diese offenbar φ(tj) = bj für alle j = 1, . . . , n, und sie ist dieeinzige Funktion in span{φ1, . . . , φn} mit dieser Eigenschaft.

Damit gilt


Satz 7.29Erfüllen die Funktionen φk : [a, b] →, j = 1, . . . , n, die Haarsche Bedingungauf [a, b], so besitzt das Interpolationsproblem

Bestimme bei gegebenen, paarweise verschiedenen tj ∈ [a, b]

und gegebenen bj ∈ R, j = 1, . . . , n, eine Funktion

φ(t) :=

n∑

k=1

xkφk(t)

mitφ(tj) = bj , j = 1, . . . , n.

eine eindeutige Lösung.


Bemerkung

Die Koeffizienten xk der interpolierenden Funktion φ lösen das lineareGleichungssystem V x = b.

Man sollte dieses Gleichungssystem aber nur in Ausnahmefällen zurLösung des Interpolationsproblems verwenden, da die VandermondescheMatrix häufig sehr schlecht konditioniert ist (die Lösung desGleichungssystems also sehr empfindlich auf Rundungsfehler reagiert).

Alternativ gibt es für viele Klassen von Funktionen (z.B. Polynome undtrigonometrische Polynome) spezielle Algorithmen zur Berechnung derInterpolierenden, die stabiler sind und wesentlich weniger Aufwanderfordern.


Bemerkung

Sind Messdaten (tj , bj) ∈ R2, j = 0, . . . , m, zur Bestimmung der Funktion

b : R → R gegeben und liegen keine Informationen über den Verlauf desGraphen von b vor, so werden oft als Ansatzfunktionen Polynomeverwendet.

Möglicherweise findet man es naheliegend, den Grad desAnsatz-Polynoms auch noch so groß zu wählen (= m), dass alsApproximation für die Funktion b das Interpolationspolynom p ∈ Πm zu denMessdaten gebildet werden kann.

Da man dann in den Messstellen tj die Daten mit demInterpolationspolynom reproduziert, erwartet man auch zwischen denMessstellen eine gute Übereinstimmung mit b.


Bemerkung (2)

Es zeigt sich häufig, dass das Interpolationspolynom sehr stark oszilliertund zur Beschreibung des untersuchten Vorgangs völlig ungeeignet ist.Dies ist insbesondere dann der Fall, wenn die Messungen fehlerhaft sind.

Besser ist es, bei der polynomialen Approximation den Grad n klein gegendie Anzahl m der Datenpunkte zu wählen und die Approximation q ∈ Πn

durch Ausgleich zu bestimmen.


Beispiel

Die nächste Figur zeigt das Interpolationspolynom p ∈ Π21 zu den Daten

ti = bi = −1 +2i

21, i = 0, . . . , 21,

wobei die bi mit einem zufälligen relativen Fehler von höchstens 0.1%verschmutzt wurden, und das Ausgleichspolynom q vom Grade 2.


Beispiel (2)

-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1


Lineare Regression

Besonders häufig tritt der Fall auf, dass zwischen den tj und bj ein linearerZusammenhang angenommen wird:

bj ≈ a1tj + a0, j = 1, . . . , m.

Man spricht dann von linearer Regression. In diesem Fall ist die Matrix

A =

1 t1...

...1 tm

,


Lineare Regression (2)

Die Normalgleichungen AT Ax = AT b lauten

mm∑

j=1

tj

m∑

j=1

tjm∑

j=1

t2j

(

a0

a1

)

=

m∑

j=1

bj

m∑

j=1

tjbj

,


Lineare Regression (3)

mit der Lösung

a0 =

(

∑mj=1 bj

)(

∑mj=1 t2j

)

−(

∑mj=1 tjbj

)(

∑mj=1 tj

)

m ·(

∑mj=1 t2j

)

−(

∑mj=1 tj

)2

a1 =m ·

(

∑mj=1 tjbj

)

−(

∑mj=1 tj

) (

∑mj=1 bj

)

m ·(

∑mj=1 t2j

)

−(

∑mj=1 tj

)2 .


heinrich voss - tuhh...heinrich voss [email protected] hamburg university of technology department...

Documents