mathematische statistik eilt iii estent · likelihood-ratio statistik esttheotrie mathematische...
TRANSCRIPT
Likelihood-Ratio StatistikTesttheorie
Mathematische Statistik Teil III
Testen
R. Kovacevic1
1Institut für Statistik und Decision Support Systeme
Universität Wien
Wintersemester 2009
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
Dieses Werk ist urheberrechtlich geschützt. Jede Vervielfältigungohne Zustimmung des Autors ist verboten.
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
Gliederung
1 Likelihood-Ratio Statistik
2 TesttheorieEinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
Gliederung
1 Likelihood-Ratio Statistik
2 TesttheorieEinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
Likelihood Ratio Statistik
Im folgenden betrachten wir parametrische Modelle Pθ wobei θ ein Parameter der Dimension p
mit wahrem Wert θ0 ist. θ sei der Maximum-Likelihoodschätzer für θ0.
DenitionDie Likelihood-Ratio Statistik ist dann durch
W (θ0) =−2 · log L(θ0)
L(
θ
) = 2[l(θ)−l(θ0)
]
gegeben.
SatzDie Likelihood-Ratio Statistik konvergiert unter den Regularitätsbedingungen in Verteilung gegen eineχ2p verteilte Zufallsvariable:
W (θ0)D−→ χ
2p ,
wenn I (θ0)→ ∞.
Für eindimensionale Verteilungen: χ21
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
Pivots
Beobachtung: Die Likelihood-Ratio Statistik ist eine zufälligeFunktion von θ0, deren (asymptotische) Verteilung nicht von θ
abhängt ...
Denition
Ein exaktes Pivot ist eine Funktion der Daten und des wahrenParameters, deren Verteilung bekannt ist, also nicht vomunbekannten wahren Parameter abhängt.Ein näherungsweises Pivot ist eine Funktion der Daten und deswahren Parameters, deren asymptotische Verteilung bekannt ist,also nicht vom unbekannten wahren Parameter abhängt.
Exakte Pivots sind rar, aber asymptotische Pivots sind sehrhäug.Die Likelihood-Ratio Statistik ist also ein asymptotisches Pivot.R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
Pivots und Kondenzbereiche
Pivots spielen eine wichtige Rolle bei der Konstruktion vonKondenzintervallen.Vorgehensweise für eindimensionale Parameter, zweiseitiges(1−α)−Kondenzintervall:
Sei T (θ) ein Pivot mit Verteilung P [T (θ0)≤ t] = F (t)
P[t α2≤ T (θ0)≤ t
1− α2
]= 1−α, wobei tγ = F−1(γ)
P[t α2≤ T (θ0)≤ t
1− α2
]= 1−α
Auösen der Ungleichung t α2≤ T (θ0)≤ t
1− α2nach θ gibt
einen Kondenzbereich für θ .
Interpretation: Ein Zufallsexperiment (zB. mit Daten X1, . . . ,Xn)liefert ein Pivot, das die Konstruktion eines Kondenzbereicheserlaubt. Bei oftmaliger Wiederholung des Experimentes, würde derKondenzbereich den wahren Parameter θ0 mit Wahrscheinlichkeit1−α überdecken.
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
Kondenzintervalle für θ
Die Likelihood-Ratio Statistik ist ein asymptotisches Pivot undkann somit zur Konstruktion von Kondenzintervallen für θ0
verwendet werden.
Wenn asymptotisch W (θ0)∼ χ2p gilt und cp(1−α) das
1−α-Quantil der χ2p Verteilung bezeichnet, dann gilt
P [W (θ0)≤ cp(1−α)] = 1−α
und
K =
θ : l(θ)≥ l(θ)− 1
2cp(1−α)
ist ein 1−α-Kondenzbereich für θ0.
Ein einfacher Test für die Hypothese θ0 ∈ H0: Lehne dieHypothese ab, falls H ∩K = /0.
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
Parameters of Interest
Bisher haben wir stets alle Komponenten einesParametervektors gleichwertig behandelt.
Nun: θT =(ψT ,λT
), wobei ψ (p×1) die primär
interessanten Parameterkomponenten (parameter odinterest) enthält. λ (q×1) heisst auch nuisance-Parameter.
Das Hauptaugenmerk liegt auf ψ , aber λ kann nichtvermieden werden ...
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
Genestete Modelle
Denition
Zwei Modelle heissen genestet, wenn eines der beiden Modelle sichauf das andere reduziert, wenn ein Teil der Parameter xiert wird.
Ein Modell mit Parametern (ψ0,λ )ist in das allgemeinereModell mit Parametern (ψ,λ ) genestet. Die Parameterräumesind dann Ψ0×Λ und Ψ×Λ.
Für das restriktivere Modell bezeichnet λψ0 jenen Wert von λ
der die Log-Likelihood l(ψ0,λ )maximiert. Der Schätzer λ
maximiert die Likelihood über beide Parameterteile: l(ψ, λ ).
Es gilt: l(ψ, λ )≥ l(ψ0, λ )
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
Verallgemeinerte Likelihood-Ratio Statistik
Eine natürliche Statistik um zwei genestete Modelle zu vergleichen:
Wp(ψ0) = 2l(ψ, λ )−l(ψ0, λ )
Auch wenn nuisance-Parameter geschätzt werden, folgt dieLikelihood-Ratio Statistik unter den Regularitätsbedingungenasymptotisch einer χ2 Verteilung:
Wp (ψ0)D−→ χ
2p
Die Funktionlp(ψ) =max
λ
l(ψ,λ ) = l(ψ, λψ )
heiÿt Prol-Log-Likelihood.(1−α)Kondenzbereiche für ψ0 sind durch die Menge
ψ : lp(ψ)≥ lp(ψ)− 12cp(1−α)
gegeben.
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
Modellanpassung
Bisher haben wir stets angenommen, dass das Modell bis aufden Parameterwert bekannt ist.
In der Praxis ist das aber selten der Fall und es ist wichtig, dieModellannahmen zu Überprüfen.
Eine Vorgehensweise ist es, das Untersuchte Modell in eingröÿeres Modell (mit mehr Parametern) zu nesten und zuuntersuchen, ob das gröÿere Modell signikant besser an dieDaten angepasst ist.
Idee: Wir suchen einen möglichst guten t, aber auch mitmöglichst wenig zu schätzenden Parametern!
Durch eine solche Vorgehensweise kann natürlich das RIsikoeines fundamentalen Fehlers in der spezizierten Modellklassenicht beseitigt werden ...
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
Modellanpassung
Eine Vorgehensweise ist wiederum der Vergleich der verallgemeinertenLikelihood-Ratio Statistik.
Alternative: Der Score-Test
ψ hat Dimension p und λ hat Dimension q
Wir schreiben Iψ,λ = E[− ∂ 2l
∂λ∂ψT
], etc.
Idee: Wenn das restringierte Modell stimmt, sollte die maximale
Log-Likelihood l
(ψ0, λψ0
)nicht zu stark in Richtung ψ ansteigen:
Der Gradient ∂l(ψ,λ)∂ψ
, ausgewertet in(
ψ0, λψ0
)sollte klein sein ...
Asymptotisch gilt:∂l
(ψ0,λψ0
)∂ψ
∼ Np
(0, Iψψ − Iψλ I
−1λλ
Iλψ
)Daraus folgt (asymptotisch):
∂l
(ψ0, λψ0
)∂ψT
(Iψψ − Iψλ I
−1λλ
Iλψ
) ∂l
(ψ0, λψ0
)∂ψ
∼ χ2p
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten
Gliederung
1 Likelihood-Ratio Statistik
2 TesttheorieEinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten
Testproblem
Statistisches Experiment:(Ω,Σ,(Pθ )
θ∈Θ
)Welches θ?
Ein Testproblem liegt vor, wenn die Menge der möglichenVerteilungen (Pθ )
θ∈Θ in zwei disjunkte Teilmengen P0 undP1 zerfällt und die Frage beantwortet werden soll, ob dietatsächliche Verteilung Pθ0 aus P0 oder aus P1stammt.
P0 heiÿt auch (Null-)Hypothese und P1Alternative oderAlternativhypothese.
Ein Experiment heisst binär, wenn sowohl P0, als auchP1jeweils genau eine Verteilung enthalten: (Ω,Σ,P.Q)
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten
Erwartungswerte: Schreibweise
Im Folgenden setzen wir stets voraus, dass Pθ eine Dichtebezüglich eines Wahrscheinlichkeitsmaÿes ν besitzt.
EPθ[h (X )] =
∫h(x)dPθ (x) =
∫h(x)fθ (x)dν(x)
Spezialfälle:1 Ω = Rn, ν ist das Lebesguemaÿ, P hat die Lebesguedichte f :∫
h(x)dP(x) =∫h(x)f (x)dx =
∫. . .∫h(x1, . . . ,xn)f (x1, . . . ,xn)dx1 . . .dxn
2 Ω = N0, ν ist ein Zählmaÿ, f (i) eine Zähldichte∫h(x)dP(x) = ∑h(i)f (i)
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten
Testfunktion
Denition
Eine Abbildung ϕ : Ω→ [0,1] heiÿt Testfunktion oder kurz Test.
Randomisierung
nicht-randomisierte Testfunktion: Ω→0,1randomisierte Testfunktion: Ω→ [0,1]
Interpretation:
ϕ (x) = 0=⇒Entscheidung für Nullhypothese P0
ϕ (x) = 1=⇒Entscheidung für Alternative P1
0< ϕ (x) < 1=⇒Entscheidung für Alternative P1 mitWahrscheinlichkeit ϕ (x)
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten
Testfehler
DenitionTestfehler:
1 Fehler erster Art: Entscheidung für die Alternative Q (d.h. ϕ (x) = 1), obwohl P die wahreVerteilung ist. Die Wahrscheinlichkeit des Fehlers erster Art ist durch
α (ϕ,P) =∫
ϕ(x)dP(x)
gegeben.
2 Fehler zweiter Art: Entscheidung für die Nullhypothese P (d.h. ϕ (x) = 0), obwohl Q die wahreVerteilung ist. Die Wahrscheinlichkeit des Fehlers erster zweiter Art ist durch
β (ϕ,Q) =∫
(1−ϕ(x))dQ(x)
gegeben.
3 Die Güte (power) eines Tests beträgt
p(ϕ,Q) = 1−β (ϕ,Q) =∫
ϕ(x)dQ(x)
und kann als die Wahrscheinlichkeit, richtigerweise die Alternative anzunehmen interpretiertwerden.
Testkonstruktion: ϕ muss so gewählt werden, dass
1 Die Güte∫
ϕ(x)dQ(x) möglichst groÿ
2 und der Fehler erster Art∫
ϕ(x)dP(x) möglichst klein wird.
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten
Testparadigmen
Es gibt zwei grundlegende Herangehensweisen, um Tests fürdas binäre Testproblem zu konstruieren.
1 Neyman-Pearson Theorie: Ein Signikanzniveau α wird festvorgegeben. Gesucht wird dann ein ϕ mit∫
ϕ(x)dQ(x) →max
s.t.∫
ϕ(x)dP(x) ≤ α
2 Bayes-Testtheorie: Sei 0≤ λ ≤ 1 eine a-priori Gewichtung derbeiden Ziele. Gesucht wird dann ein ϕ mit
(1−λ )∫
ϕ(x)dP(x) + λ
∫(1−ϕ(x))dQ(x)→min
ϕ
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten
Neyman-Pearson Tests
Sei (Ω,Σ,(P,Q)) ein statistisches Experiment. P habeDichte f und Q habe Dichte g .
Bereiche:
N = x : f (x) = 0 ∧ g(x) > 0M = x : f (x) = 0 ∧ g(x) > 0A = x : f (x) = 0 ∧ g(x) > 0
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten
Neyman-Pearson Tests
Denition
Nicht randomisierte Neyman-Pearson Tests haben die Form
ϕ(x) = 0 für X ∈M
ϕ(x) = 1 für X ∈ N
ϕ(x) =
1 falls g(x)
f (x) > γ
0 sonstfür X ∈ A und ein γ > 0
N (P,Q) bezeichnet die Familie der Neyman Pearson Tests mit
Hypothesen P und Q.
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten
Neyman Pearson Tests
Satz
Wenn ϕ ∈N (P,Q) ein Neyman-Pearson Test ist, so gilt
1 0≤∫
ϕ dP ≤ 1−P (M)
2 Sei ψ ein beliebiger anderer Test, so gilt∫ϕ dQ−
∫ψ dQ ≥ γ ·
[∫ϕ dP−
∫ψ dP
]3 Q (N)≤
∫ϕ dQ ≤ 1
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten
Neyman Pearson Tests randomisiert
DenitionRandomisierte Neyman-Pearson Tests haben die Form
ϕ(x) = 0 für X ∈M
ϕ(x) = 1 für X ∈ N
ϕ(x) =
1 falls g(x)
f (x)> γ
b(γ) falls g(x)f (x)
= γ
0 sonstfalls g(x)f (x)
< γ
für X ∈ A und ein γ > 0
Konstruktion von Tests die genau den vorgeschriebenen Fehler 1. ArterreichenKonvexizierung der Menge aller Tests: Wenn ϕ1 und ϕ2 Tests sind, soist auch λϕ1+(1−λ )ϕ2 für 0≤ λ ≤ 1 ein randomisierter Test.
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten
Neyman-Pearson Lemma
Satz
(Lemma) Für jedes 0≤ α ≤ 1−P(M) gibt es einen
(randomisierten) Neyman-Pearson Test zum Niveau (Fehler 1. Art)
α .
Satz
(Neyman-Pearson Lemma) Sei ϕ ein Neyman-Pearson Test und ψ
ein beliebiger anderer Test.
1 Falls∫
ψ dP ≤∫
ϕ dP so folgt∫
ψ dQ ≤∫
ϕ dQ .2 Falls
∫ϕ dQ ≤
∫ψ dQ so folgt
∫ϕ dP ≤
∫ψ dP .
3 Also gilt:∫ϕα dQ = sup
∫ψ dQ : ψ ist ein Test mit
∫ψ dP ≤ α
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten
Beste Tests
Denition
Ein test ϕ heisst bester Test (most powerful), falls es keinenTest ψ gibt mit ∫
ϕ dP ≥∫
ψ dP
und ∫ϕ dQ ≤
∫ψ dQ.
In diesem Sinne sind alle Neyman-Pearson Tests beste Tests.
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten
Gütefunktion
Verteilung des Likelihoodquotienten unter der Alternative P:
GP (γ) = P
(g(X )
f (X )≤ γ
)
Fehler 1. Art:
1−GP (γ) = α
Verteilung des Likelihoodquotienten unter der Alternative Q:
GQ (γ) = Q
(g(X )
f (X )≤ γ
)
Fehler 2. Art:
GQ (γ)
Gütefunktion
1−GQ (γ)
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten
Bemerkungen
Neyman-Pearson Tests beruhen auf dem Dichtequotienten T (x) = g(x)f (x)
als Teststatistik. Dieser spielte auch im Likelihood-ratio Kapitel einewirkliche Rolle. Dort ging es allerdings aum asymptotischeTests/Kondenzintervalle, während in der Neyman-Pearson Testtheoriedie Verteilung des Quotienten bei endlichem Stichprobenumfangentscheidend ist.Es gibt zwei Versionen der Ablehnregel:
Ablehnung von H0, falls T (X )> γ(α) mit Randomisierung für denFall T (X ) = γ(α).Ablehnung von H0, falls 1−F (T (X ))< α, wobei F dieVerteilungsfunktion des Dichtequotienten unter P ist. DiesesVorgehen wird insbesondere in statistischen Programmpaketengewählt: Der ausgegebene Wert ist 1−F (T (X )), dieÜberschreitungswahrscheinlichkeit, oder p-Wert des Tests. Dabeiwird zu jedem gegebenen α automatisch der konservative Testausgeführt, es wird keine Randomisierung vorgenommen.
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten
Eziente Randfunktion
Denition
Unter der (ezienten) Randfunktion des Testproblems versteht man
h(α) = sup
∫ϕ dQ :
∫ϕ dP ≤ α
.
Falls P ≈ Q, so gilt h(α) = 1−GQ(G−1P (1−α)
)Satz
(Lemma) Die eziente Randfunktion hat folgende Eigenschaften:
1 h ist strikt monoton wachsend in [0,1−P (M)]
2 h ist nichtnegativ, konkav und stetig
3 h(0) = Q(N) und h(α) = 1 für α ≥ 1−P(M)
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten
Bayes Test
Sei 0≤ λ ≤ 1 eine a-priori Gewichtung der beiden Ziele.Gesucht wird dann ein ϕ mit
(1−λ )∫
ϕ(x)dP(x) + λ
∫(1−ϕ(x))dQ(x)→min
ϕ(1)
Satz
(Lemma) Die Lösung ϕ∗ des Optimierungsproblems (1) ist durchden Neyman-Pearson Test
ϕ∗(x) =
1 falls g
f > 1−λ
λ
0 falls gf ≤
1−λ
λ
gegeben.
Der Quotient der Kosten übernimmt die Rolle des α-Niveaus.Randomisierung ist für Bayes-Tests nicht notwendig.
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten
Fehlerfunktion
Denition
Die bayesianische Fehlerfunktion k(λ ) eines binären Testproblems(P,Q) ist durch
k(λ ) = infϕ
(1−λ )
∫ϕ(x)dP(x) + λ
∫(1−ϕ(x))dQ(x)
gegeben.
Entspricht dem Bayes-Risiko (Entscheidungstheorie)
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten
Zusammengesetzte Alternativen
Denition
Ein Testexperiment(Ω,Σ,H0 : .Pθθ∈Θ0
H1 : Qθθ∈Θ1
)wird
als Testexperiment mit zusammengesetzten Alternativenbezeichnet.
Insbesondere: H0 : θ ≤ θ0, H1 : θ > θ0 etc.
Problem: Die Testfehler und alle darauf beruhenden Begriehängen jetzt prinzipiell noch von unterschiedlichen Werten diein Null- und Alternativhypothese möglich sind, ab.
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten
Denitionen
Denitionen
Sei ϕ ein Test für das Problem H0 : .Pθθ∈Θ0H1 : Qθθ∈Θ1
1 ϕ hat Niveau (level) α , falls
maxθ∈Θ0
∫ϕ dPθ = α.
2 Die Gütefunktion (power function) von ϕ ist
θ 7→∫
ϕ dPθ .
3 Ein Test ϕ heiÿt unverfälscht (unbiased), wenn er Niveauα hat und ∫
ϕ dPθ ≥ α, ∀θ ∈Θ1R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten
Denitionen
DenitionenSei ϕ ein Test für das Problem H0 : .Pθ θ∈Θ0
H1 : Qθ θ∈Θ1
1 ϕ wird als gleichmäÿig bester Test (uniformly most powerful test - UMP) zum Niveau α
bezeichnet, falls ∫ϕ dPθ = sup
ψ
∫ψ dPθ :
∫ψ dPθ ≤ α ∀θ ∈Θ0
∀θ ∈Θ1
2 ϕ heiÿt zulässig (admissible), falls es keinen Test ψ mit Niveau α gibt mit
∫ϕ dPθ ≤
∫ψ dPθ ∀θ ∈Θ1
und ∫ϕ dPθ <
∫ψ dPθ
für mindestens ein θ ∈Θ1.
3 ϕ heiÿt Maximin-Test, falls
infθ∈Θ1
∫ϕ dQθ
= sup
ϕ
inf
θ∈Θ1
∫ϕ dPθ
:∫
ϕ dPθ′ ≤ α ∀θ
′∈Θ0
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten
Familien mit monotonem Dichtequotienten
Denition
Sei (Pθ )θ∈[a,b] eine Familie von Verteilungen mit Dichte (WF) fθ .
Solch eine Familie hat monotonen Dichtequotienten (Monotonelikelihood ratio), falls eine Statistik S(x) und für θ0 < θ1 einestreng monoton wachsende Funktion x 7→ hθ0,θ1(x) gibt, sodaÿ
fθ1(x)
fθ0(x)= hθ0,θ1(S(x)).
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten
Familien mit monotonem Dichtequotienten
Satz
Sei (Pθ )θ∈[a,b] eine Familie mit monotonem Dichtequotienten. Für dasTestproblem
H0 : θ ≤ θ0 vsH1 : θ > θ0
gibt es einen gleichmäÿig besten (UMP) Test ϕ∗. Dieser ist durch denNeyman-Pearson test für das Problem
H0 : θ = θ0 vsH1 : θ = θ1
für irgendein θ1 > θ0 gegeben. Der resultierendeTest hat - mit S(X ) ausDenition (20) - die Form
ϕ(x) =
1 S(x)> γ∗
b S(x) = γ∗
0 S(x)< γ∗.
R. Kovacevic Mathematische Statistik Teil III Testen
Likelihood-Ratio StatistikTesttheorie
EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten
Einparametrige Exponentialfamilien
Satz
Einparametrige Exponentialfamilien mit suzienter Statistik T (X )sind Familien mit monotonem Dichtequotienten. Der UMP Test für
H0 : θ ≤ θ0 vsH1 : θ > θ0 ist durch
ϕ(x)
1 T (x) > γ∗
b T (x) = γ∗
0 T (x) < γ∗.
Beispiel
Seien X1, . . . ,Xni.i.d. N(θ ,σ2
). Teste
H0 : θ ≤ θ0 vsH1 : θ > θ0.
R. Kovacevic Mathematische Statistik Teil III Testen
Anhang
Beste unverzerrte Tests
Für zweiseitige Tests H0 : θ = θ0 vsH1 : θ 6= θ0 existieren keine gleichmäÿig besten Tests.Unter Umständen können beste unverzerrte Tests konstruiert werden.
SatzSei fθ eine einparametrige (θ) Exponentialfamilie mit suzienter Statistik T (X ). Für das Testproblem
H0 : θ = θ0 vsH1 : θ 6= θ0
gibt es einen gleichmäÿig besten unverfälschten test (uniformly most powerful unbiased test, UMP),der durch durch eine Testfunktion der Form
ϕ(x)
1 T (x) > γ2 ∨T (x) < γ1
b∗1
T (x) = γ2
b∗2
T (x) = γ1
0 γ1 <T (x) < γ2
.
gegeben ist. Die Konstanten γ1 ,γ2 bestimmen sich aus den Gleichungen
∫ϕ(x)dPϑ0
(x) = α ,∫T (x)ϕ(x)dPϑ0
(x) = α
∫T (x)dPϑ0
(x)
R. Kovacevic Mathematische Statistik Teil III Testen