generalisierte additive modelle seminar: statistische analysen zur wirkung von luftschadstoffen...
Post on 05-Apr-2015
105 Views
Preview:
TRANSCRIPT
Generalisierte additive Modelle
Seminar: Statistische Analysen zur Wirkung von Luftschadstoffen
Stefanie Sprung8.11.2004
2
Überblick
Lineare Modelle Verschiedene Splines Optimierung: Validierung AIC Freiheitsgrade GAM Beispiel
3
Lineares Modell
X Kovariablen, Y Responsevariablen
Additiver linearer Zusammenhang zwischen Y und X
Mit zufälliger Störgröße ε
),...,()( 0 pXXfxfY
ppXXY ...00
ppXXY ...00
4
Polynom 3. Grades
Rückführung des Modells auf einfaches lineares Modell mit:
Designmatrix
iiiiiii zzzzfy 33
2210)(
33
221 ,, iiiiii zxzxzx
32
31
211
1
::::
1
nnn zzz
zzz
X
5
Schätzung
Basierend auf KQ-Schätzung P ist Projektionsmatrix rgP= spP= rgX= Anzahl der Spalten =Anzahl
der freien Parameter
PyyXXXXXyEy ')'(ˆ)(ˆˆ 1
6
Smoother
Problem: bei manchen Datensätzen gibt es keine einfache Transformation
Lösung: Ersetzen der linearen Beziehung durch: f unspezifische Funktion, die bestimmten
Glattheitsforderungen genügt (etwa f stetig, stetig differenzierbar etc.)
xY 10
)(xfY
7
Basisfunktionsansätze
Approximiere die unbekannte Funktion durch möglichst flexiblen Funktionenraum
Darstellung der Funktion f als
Linearkombination einer endlichen Menge
von Basisfunktionen
)(...)()()( 1100 xBxBxBxf pp
8
Polynome vom Grad p
einfacher Basisansatz basiert auf Polynome als Basisfunktionen verwenden wir Problem: Wahl von p?
pp xxxY ...2
210
ppi xxBxxBxxBxB )(,...,)(,)(,1)( 2
210
9
Polynomial Splines
Intervall [a,b] R und Knoten
a-ξ1< ξ2<....< ξm-b Funktion s:[a,b]->R heißt Spline-Funktion Spline-Funktion
vom Grad l (Ordnung l+1), wenn S ist Polynom (max Grad k) auf [ξ j, ξ j+1] j=0,..,m S besitzt stetige Ableitungen der Ordnung l-1 auf [a,b]
Menge der Polynomsplines ist ein Vektorraum der Ordnung m+(l-1) (Anzahl der Knoten + Grad)
10
B-Splines
Basisfunktion für Splines
Dann erhalten wir für z [a,b]
0
1)(0 zB j sonst
z jj 1
)()()( 11
11
11 zBz
zBz
zB lj
jlj
ljlj
jlj
jlj
)()(1
1
zBzs lj
m
ljj
11
B-Splines
zur Berechnung benötigen wir 2l zusätzliche Knoten
Knotenmenge bildet erweiterte Partition äquidistante Knotenwahl: Intervall [xmin,xmax]
und erhalten Knoten Wie viele Knoten sollen spezifiziert werden? Wo sollen die Knoten plaziert werden?
lmmmll ......... 1121
1minmax
m
xxh hjxj )1(min
12
Bilder B-Spline
13
P-Splines
definiere eine relativ große Anzahl äquidistanter Knoten (ca. 20-40) um ausreichende Flexibilität des Splineraums zu gewähren
zu starke Abweichungen benachbarter Regressionskoeffizienten βj werden durch Strafterme basierend auf quadrierte Differenzen k-ter Ordnung bestraft
14
P-Spline
unbekannte Funktion f durch einen Spline vom Grad l approximieren
Bj ist eine B-Spline Basis
)()(0
xBxf j
p
jj
15
P-Splines
penalisierte Residuenquadratsumme
Differenzenoperator k-ter Ordnung Strafterm-> Verhindert zu starke Anpassung an Daten,
damit überfitten Glättungsparameter
2
1
2
01
)())(()( j
p
kj
kij
p
jj
n
ii xBySP
k)(
1j
p
kj
k
λ
16
Glättungsspline
x1<x2<…<xn
->min Lösung: natürliche kubische Splines
ist Polynom 3.Grades auf [xi;xi+1] für alle i f´´(xi) ist stetig in allen Beobachtungen f´´(x1)=f´´(xn)=0 d.h. am Rand verschwindet die 2.
Ableitung
dxxfxfyfSP i
n
ii
22
1
))(''())(()(
f
17
kubische Splines
a<x1<...<xn<b eine Unterteilung des Intervalls [a,b]
zusätzliche Randbedingung: s‘‘(a)=0, s‘‘(b)=0 in den Intervallen [a,xn] und [xn,b] ist s linear
bei Glättungssplines mehr Basisfunktionen notwendig penalisierter KQ-Kriterium wobei ein NKS in B-Spline Basis ist
dxxsxsySP i
n
ii
22
1
))(''())(()(
)()(1
xBxs j
p
jj
18
lokale Polynome
Nächste Nachbar Schätzer Lokale polynomiale Regression Locally-weighted running-line smoother im statistischen Programmpaket loessloess k nahsten Nachbarn
19
Nächste Nachbar Schätzer
„Mittelwert“ der Responsebeobachtungen in einer Nachbarschaft
formal: Ave Mittelwertoperator und N(xi) eine Nachbarschaft
von xi
symmetrische Nachbarschaft k nächsten Nachbarn (unsymmetrische
Nachbarschaft)
)(ˆ xf
)()(ˆ)( jxNji yAvexfi
20
Mittelwertoperatoren
Running mean Schätzer: arithmetisches Mittel der Beobachtung in N(xi) zur Bestimmung von
Running median Schätzer: Median der Beobachtung in N(xi), nichtlinearer Glätter
Running line Schätzer: Beim Running line Schätzer definieren wir KQ-Schätzer basierend auf Beobachtungen
)(ˆ xf
ii xxf 10ˆˆ)(ˆ
21
Lokale polynomiale Regression
Taylorapproximation
gewichtete Residuenquadratsumme
wobei als Schätzer bedingter Erwartungswert
p
j
jijiii xxxx
xfxxxfxfxf
10 )(...)²(
2
)(''))((')()(
),()(1 1
0 i
n
i
p
j
jiji xxwxxy
xx
Kxxw ii ),(
)(
),()|()(ˆ
xd
dyyxydxXYExf
22
Berechnung der lokalen Polynome
K nächste Nachbar von x0 wird identifiziert, bezeichnet als N(x0)
wird berechnet, Distanz des weitesten nahsten Nachbarn von x0
Gewichte wi sind zugewiesen zu jedem Punkt in N(x0), sie benutzen das tri-kubsiche Gewichtsfunktion:
||max)( 1)(0 0xxx oxN
23
Berechnung der lokalen Polynome
definierten Gewichte
mit 0≤u≤1
bestimmen durch gewichtete lineare Regression
))(
||(
x
xxKw i
i
0
)1()(
33uuK
)(ˆ xf
24
Glättungsparameterwahl
λ steuert den Ausgleich zwischen Bias und Variabilität
λopt minimiert ein Kriterium
mean average squared error
predicted squared-error
²)()(ˆ)(1
1ii
n
in xfxfEMSE
))²(ˆ(1
)(1
*i
n
ii xfyE
nPSE
25
Kreuz-Validierung
Leaving one out Schätzung aller Daten ohne (yi,xi)
Summe der neuen Gewichte Σ(sij/(1-sii))=1
))²(ˆ(1
)(1
ii
n
ii xfy
nCV
j
n
ijj ii
iji
i yS
Sxf
1 )(1
)()(ˆ
26
Generalisierte Kreuz-Validierung
Rechentechnisch einfacher
Sii durch Spur ersetzt
)))²((1
1(
))²(ˆ(1
)( 1
Sspn
xfy
nGCV
n
iii
27
Additive Modelle
Additivität der Einflußgrößen wird beibehalten,
während der lineare Einfluss fallen gelassen wird
f1,...,fp sind unbekannte „glatte“ Funktionen
iipii xxfy ),...( 1
iippiiii xfxfy )(...)( 110
28
AIC-Statistik
Erste Term bestraft eine mangelnde Anpassung an die
Daten Zweite Term bestraft die hohe Modellkomplexität Menge des AIC hat Form des Akaike-
Informationskriterium Matrix R ist Gesamtsmoothermatrix
)(²ˆ2²ˆ
)²ˆ(
1
Rspy
AICn
i
ii
Ry
29
Freiheitsgrade
SST =SSM+SSE n-1 = p +n-p-1 Freiheitsgrade σ²=SSE/n-p -> erwartungstreuer Schätzer
df=sp(Sλ) (alternativ: n-sp(2Sλ-SλSλT ) oder
sp(SλSλT)) Freiheitsgrade
Freiheitsgrade der Fehler
)2()2( )()()(Tjjj
Terrj RRRspRRRspdf
30
Projektionsmatrix
df(model)=tr(S) df(error)=E(RSS)=σ²(n-tr(2S-SST) S ist symmetrisch und idempotent Für polynomiale Regression, Regressions-
Splines df(error)=σ²(n-tr(S))
31
Generalisierte Lineare Modelle
Bedingte Verteilung gehört Exponentialfamilie an Es gilt:
Erwartungswertr hängt über Responsefunktion ab
),,()(
exp),,,|( iiiiii
iiiii wycwby
xwyd
)(')|( iiii bxyE
i
iii w
bxyVar
)('')|(
)( ii h 'ii x
32
Generalisierte additive Modelle
Lineare Prädiktor wird durch additiven ersetzt
Unbekannte Funktionen könne durch KQ-Algorithmus und Backfitting Algorithmus geschätzt werden
Residuenquadratsumme wird durch Devianzen ersetzt
)(...)( 110 ippii xfxf
33
Generalisierte additive Modelle
Loglikelihood in Abhängigkeit vom geschätzten Erwartungswert
Devianz: Je höher Devianz, desto schlechter Anpassung
)ˆ( iil ).ˆ(ˆ ii h
))()ˆ((2:)ˆ,(1
iii
n
ii yllyD
)²/)(1(
)ˆ,(/1)(
nRsp
ynDGCV
)(2 RspDAIC
34
Generalisiertes lineares Modell
50 100 150 200
02
46
81
01
2
PMME
RE
S5
35
Polynom 3. Grades
50 100 150 200
02
46
81
01
2
PMME
RE
S5
36
Kubischer Spline mit 3 Knoten
50 100 150 200
02
46
81
01
2
PMME
RE
S5
37
Kubischer Spline mit 7 Knoten
50 100 150 200
02
46
81
01
2
PMME
RE
S5
38
Lokal gewichteter Spline
50 100 150 200
02
46
81
01
2
PMME
RE
S5
39
Smoothing Spline
50 100 150 200
02
46
810
12
PMME
RE
S5
40
Quellenangabe
Studie „Assesing Confounding, Effect Modification, and Thresholds in the Association between Ambient Particles and Daily Deaths“ Joel Schwarz
„Generalized Additive Models“ Hastie/Tibsherani „Multivariate Statistical Modelling Based on
Generalized Linear Models“ Fahrmeir/Tutz „Computerintensive Verfahren der Statistik“ Stefan
Lang
top related