statistik und versuchsplanung - csl · 1/76 statistik +.1cm vorlesung ws 2012/2013 biosignale und...

1 / 76Biosign

aleun

dBenutzerschnittstellen–Statistik

+.1cm

Vorlesung WS 2012/2013

Biosignale und Benutzerschnittstellen

Statistik und Versuchsplanung

Prof. Dr. Tanja SchultzDipl. Math. Michael Wand

2 / 76Biosign

aleun


+.1cm

Fragestellung dieser VorlesungFolgende Themen haben wir bisher behandelt:• Biologische Grundlagen und Entstehung der

verschiedenen Biosignale• Ableitung/Messung von Signalen• Algorithmische Grundlagen der

BiosignalverarbeitungJetzt nehmen wir an, wir haben diese Kenntnisse be-nutzt, um ein Experiment durchzuführen.• Wir haben eine Reihe von Daten aufgenommen.• Wir haben diese Daten nach einer gewissen

Methode klassifiziert und haben beispielsweiseZahlenreihen von Erkennungsergebnissen o. ä.vorliegen.

Was ist nun der nächste Schritt?

3 / 76Biosign

aleun


+.1cm

Auswertung eines Versuchs

Wir sollten die Ergebnisse unseres Experiments statistisch auswerten!• Ist unser Erkennungsergebnis signifikant besser als ein

Zufallsergebnis, bzw. besser als schon bekannte Verfahren?• Welche Aussagen können wir über die Genauigkeit unserer Ergebnisse

treffen?• Was können wir aus den Ergebnissen schließen?• Können wir Aussagen über die Generalisierbarkeit der Ergebnisse

treffen?

4 / 76Biosign

aleun


+.1cm

Statistik und Versuchsplanung

Die Beantwortung dieser Fragen ist Gegenstand der Statistik. In dieserVorlesung wollen wir:• eine kurze Einführung in die Statistik geben• Fragestellungen der Statistik erläutern• einen statistischen Test vorstellen• ein Rechenbeispiel durchrechnen.• Außerdem: Wie muss ein Versuch aufgebaut werden, um auch gültige

Ergebnisse liefern zu können? Welche Entscheidungen muss man vorBeginn des Versuchs treffen?

5 / 76Biosign

aleun


+.1cm

Literatur

Jürgen Bortz: Statistik für Human- und Sozialwissenschaftler. 6. AuflageSpringer Verlag, 2005

http://en.wikipedia.org/wiki/Statistical_hypothesis_testingGute Einführung in das Thema, mit Hintergrundinformationen und auchMethodenkritik.

http://en.wikipedia.org/wiki/Statistical_hypothesis_testing

6 / 76Biosign

aleun


+.1cm

Übersicht

• Erinnerung: Elemente der Wahrscheinlichkeitstheorie

• Stichproben und Konfidenzintervalle

• Der t-Test

• Der Kolmogorov-Smirnov-Test

• Bemerkungen zur Versuchsplanung

7 / 76Biosign

aleun


+.1cm

Zufallsexperimente

Betrachten wir ein Zufallsexperiment, etwa den Wurf einer Münze. DerWahrscheinlichkeitsraum der möglichen Ausgänge dieses Experiments istder Raum Ω = Kopf,Zahl.Auf Ω existiert eine Wahrscheinlichkeitsverteilung, dieWahrscheinlichkeiten der möglichen Ausgänge des Zufallsexperimentsbeschreibt. Bei einer fairen Münze gilt etwaP(∅) = 0P(Kopf) = P(Zahl) = 1/2P(Ω) = 1.Eine Wahrscheinlichkeitsverteilung ordnet jeder Teilmenge desWahrscheinlichkeitsraumes eine Wahrscheinlichkeit zwischen 0 und 1 zu.

8 / 76Biosign

aleun


+.1cm

Zufallsvariablen

Eine Zufallsvariable (ZV) X ordnet den Ausgängen einesZufallsexperiments reelle Zahlen (oder auch Vektoren des Rn) zu. Beispiel:Jemand wettet um einen Euro, dass eine geworfene Münze “Kopf” zeigt.Dann wäre eine nützliche Zufallsvariable gegeben durch

X : Ω→ RKopf 7→ 1Zahl 7→ −1,

also durch den Gewinn in Euro bei dem entsprechenden Ereignis. DieVerteilung auf Ω überträgt sich auf R.

9 / 76Biosign

aleun


+.1cm

Diskete und kontinuierliche Zufallsvariablen

Die Verteilung einer ZV X kann• diskret sein, dann ist die Wahrscheinlichkeitsmasse auf höchstens

abzählbar unendlich viele Punkte x1, x2, . . . des Rn verteilt• kontinuierlich sein, dann ist die Wahrscheinlichkeitsmasse auf ein

ganzes Intervall verteilt.Im ersten Fall kann die Verteilung durch die Wahrscheinlichkeiten dereinzelnen Punkte charakterisiert werden, also P(xi ) = pi , im zweiten Fallkann man (oft) eine Dichtefunktion p angeben, dann gilt für A ⊂ R:

P(A) =

∫Ap(x)dx

10 / 76Biosign

aleun


+.1cm

Erwartungswert

Der Erwartungswert einer Zufallsvariablen ist folgendermaßen definiert:• Im diskreten Fall, wenn X die Werte xi mit Wahrscheinlichkeiten pi

annimmt:µ = E (X ) =

∑i

xipi =∑

i

xiP(X = xi )

• Im kontinuierlichen Fall:

µ = E (X ) =

∫Rx · p(x)dx .

Ist X die Summe von Zufallsvariablen Xi , so ist der Erwartungswert von Xauch die Summe der Erwartungswerten der einzelnen Xi :X =

∑i Xi ⇒ E (X ) =

∑i E (Xi ).

11 / 76Biosign

aleun


+.1cm

Schätzung des Erwartungswerts aus einer Stichprobe

• Betrachten wir eine Stichprobe x1, x2, . . . , xN .• Wir nehmen an, dass alle diese Werte xi unabhängige Realisationen

einer gewissen Zufallsvariablen X sind!• Wie können wir aus dieser Stichprobe eine möglichst genaue

Approximation (Schätzung) des Erwartungswertes von X gewinnen?• Welches Kriterium soll ein solcher Schätzer überhaupt erfüllen?

12 / 76Biosign

aleun


+.1cm

Schätzung des Erwartungswerts aus einer Stichprobe

Man kann zeigen: Der Stichprobenmittelwert

x =1N

N∑i=1

xi

der Stichprobe ist eine sehr nützliche Schätzung des Erwartungswertes:

• Dies ist der Maximum-Likelihood-Schätzer: Diese Wahl desStichprobenmittelwerts maximiert die Wahrscheinlichkeit derbeobachteteten Daten (also der Stichprobe).

• Diese Schätzung ist erwartungstreu: Im Mittel wird der “echte”Erwartungswert weder über- noch unterschätzt.

• Die Schätzung ist auch konsistent: Das Gesetz der großen Zahlen sichert invielen Fällen zu, dass der Stichprobenmittelwert bei wachsenderStichprobengröße gegen den Erwartungswert konvergiert.

Wir werden der Mittelwertsschätzung wieder begegnen, wenn wirKonfidenzintervalle betrachten.

13 / 76Biosign

aleun


+.1cm

Varianz

Ist µ = E (X ) der Erwartungswert einer reellen Zufallsvariablen, so ist dieVarianz durch

σ2 = Var(X ) = E ((x − µ)2)

definiert. Direkte Formeln lassen sich wieder für den kontinuierlichen undden diskreten Fall angeben:

σ2 = Var(X ) =∑

i

(xi − µ)2pi bzw.

σ2 = Var(X ) =

∫R

(x − µ)2p(x)dx .

14 / 76Biosign

aleun


+.1cm

Varianz

Die Varianz gibt die “Streuung” einer Zufallsvariablen an.

Das Bild zeigt zweiGaussdichtefunktionen mitunterschiedlichen Varianzen. DieForm der Verteilungen bleibt gleich,aber die grün eingezeichneteVerteilung ist viel “ausgebreiteter”.

Die Quadratwurzel der Varianz heißt Standardabweichung:

σX =√

Var(X ).

15 / 76Biosign

aleun


+.1cm

Varianzschätzung

Auch die Varianz einer Verteilung kann man aus einer Stichprobeabschätzen.Die naheliegende Formel

σ2X ,ML =

1N

N∑n=1

(xn − x)2

ist zwar der Maximum-Likelihood-Schätzer, führt aber dazu, dass dieechte Varianz unterschätzt wird.Das heißt, dieser Schätzer ist nicht erwartungstreu, das heißt, dass seinErwartungswert nicht gleich der (wahren) Varianz der Population ist,sondern davon abweicht (Bias). (Trotzdem kann man ihn für gewisseZwecke verwenden.)

16 / 76Biosign

aleun


+.1cm

Varianzschätzung

Um die Varianz erwartungstreu zu beheben, muss das Ergebnis noch mitN

N−1 multipliziert werden, das heißt, der übliche Schätzer für die Varianzeiner ZV ist die korrigierte Stichprobenvarianz

σ2X =

1N − 1

N∑n=1

(xn − x)2.

Wir haben also gelernt: Korrektes Schätzen ist nichttrivial, es gibtunterschiedliche Ansätze mit unterschiedlichen Vor- und Nachteilen!

17 / 76Biosign

aleun


+.1cm

Typische Verteilungen

Als nächstes besprechen wir einige häufig auftretendeWahrscheinlichkeitsverteilungen, die in der Statistik eine Rolle spielen,nämlich die:• Gleichverteilung• Normalverteilung

Außerdem besprechen wir Verteilungen, die im Wesentlichen beiHypothesentests verwendet werden:• χ2-Verteilung• t-Verteilung

18 / 76Biosign

aleun


+.1cm

Die Gleichverteilung

Die Gleichverteilung kann sowohl eine diskrete als auch einekontinuierliche Verteilung sein.Im diskreten Fall haben alle (endlich vielen) möglichen Ergebnissex1, . . . , xN des Zufallsexperiments die gleiche Wahrscheinlichkeit, alsopi = P(xi ) = 1/N, im kontinuierlichen Fall ist die Dichtefunktion aufeinem endlich großen Intervall konstant.Die Grundidee der Gleichverteilung ist es, dass es keine “Präferenz” für eingewisses Ergebnis eines Experiments gibt.

19 / 76Biosign

aleun


+.1cm

Die Normalverteilung

Die Normalverteilung kennen wir aus sehr vielen Anwendungsgebieten. Sieist eine kontinuierliche Verteilung. Im eindimensionalen Fall hat sie dieDichtefunktion

f (x) =1

σ√2π

exp

(−12

(x − µσ

)2).

Ihre besondere Bedeutung für die Statistik kommt vom zentralenGrenzwertsatz, der besagt, dass der Mittelwert bzw. die Summe von vielenunabhängigen, identisch verteilten Zufallsvariablen annäherndstandardnormalverteilt ist.Zwei Normalverteilungen sind in der Grafikabgebilet.

20 / 76Biosign

aleun


+.1cm


Ein Hilfsmittel zur Veranschaulichungder Normalverteilung und des zentralenGrenzwertsatzes ist das Galtonsche Nagelbrett.Man sieht auf dem Bild, wie Kugeln in siebenTrichter rollen. Auf dem Weg wird jede Kugelvon sechs Nägeln zufällig nach rechts oderlinks abgelenkt. Wenn die Trichter von links nachrechts mit 0, 1, . . . , 6 =: k durchnummeriertsind, so fällt eine Kugel genau dann in Trichter`, wenn sie `-mal nach rechts und 6 − `-malnach links abgelenkt wurde.

21 / 76Biosign

aleun


+.1cm


Durch Abzählen sieht man, dass dieWahrscheinlichkeit, dass eine Kugel in Trichter`, 0 ≤ ` ≤ k fällt, sich ergibt zu

p` =

(k`

)· 12k .

Eine solche diskrete Verteilung heißtBinomialverteilung.

Können Sie erkennen, dass die “Form” derBinomialverteilung einer Normalverteilungähnelt? Je mehr Trichter (und Nagelreihen)man verwendet, desto größer wird die Ähnlichkeit

22 / 76Biosign

aleun


+.1cm


Es gibt auch ein Argument, warum die Verteilungder Kugeln auf die Trichter annähernd eineNormalverteilung ist.Seien Xi (i = 1, . . . , 6) ZVen, die den Wert0[1] annehmen, wenn eine Kugel in Nagelreihei nach links[rechts] abgelenkt wurde (anwelchem der Nägel genau, ist völlig egal). Sinddie Nägel immer zentriert angebracht, so istP(Xi = 0) = P(Xi = 1) = 0.5.

23 / 76Biosign

aleun


+.1cm


Ist Y eine ZV, die die Nummer des Trichtersangibt, in den eine Kugel fällt, so ist Y dieSumme der (voneinander unabhängigen, identischverteilten) Xi :

Y = X1 + . . .+ Xk

und somit annähernd normalverteilt.Je mehr Xi (also je mehr Trichter undNagelreihen) man hat, desto genauer wirddie Normalverteilung approximiert.

24 / 76Biosign

aleun


+.1cm

Eigenschaften der Normalverteilung

• Die Normalverteilung wird durch Mittelwert µ und Varianz σ2

vollständig beschrieben. Man schreibt für eine normalverteilteZufallsvariable X :

X ∼ N (µ, σ2).

• Eine Normalverteilung mit Mittelwert 0 und Varianz 1 nennt manauch Standardnormalverteilung.• Für eine standardnormalverteilte ZV verwendet man oft das Symbol

z : Alsoz ∼ N (0, 1).

• Jede normalverteilte ZV X lässt sich durch Normierung in einestandardnormalverteilte ZV z überführen (z-Transformation):

z =X − µσx

25 / 76Biosign

aleun


+.1cm

Die Chi-Quadrat-Verteilung

Ist z eine standardnormalverteilte ZV, so ist ihr Quadrat χ21-verteilt:

χ21 = z2

Die Zahl 1 gibt die Anzahl der Freiheitsgrade (df, degree of freedom) derChi-Quadrat-Verteilung an.Summieren wir die Quadrate von dfunabhängigen, standardnormalverteiltenZufallsvariablen auf, erhalten wir eineχ2-verteilte ZV mit df Freiheitsgraden:

χ2df =

df∑n=1

z2n

Die rechte Grafik zeigt die Form der Chi-Quadrat-Verteilung fürverschiedene Freiheitsgrade.

26 / 76Biosign

aleun


+.1cm

Die t-Verteilung

Aus einer standardnormalverteilten ZV wird ein z-Wert gezogen, und auseiner hiervon unabhängigen χ2

df -verteilten ZV wird ein χ2df -Wert gezogen.

Der folgende Quotient definiert einentdf -Wert:

tdf =z√

χ2df /df

Die Verteilung dieser ZV heißtt-Verteilung mit df Freiheitsgraden.Die t-Verteilung wird uns später bei der Definition des t-Tests wiederbegegnen.

27 / 76Biosign

aleun


+.1cm

Übersicht



• Der t-Test



28 / 76Biosign

aleun


+.1cm

Stichproben

Nehmen wir nun an, wir haben eine Population von beliebigen Objekten,die alle ein Merkmal x aufweisen. Wir wollen der Einfachheit halber davonausgehen, dass sich dieses Merkmal als einzige reelle Zahl beschreibenlässt. Dabei kann diese Zahl sowohl kontinuierliche als auch diskreteWerte annehmen.Beispiele:• Das monatliche Einkommen von Bevölkerungsgruppen

(kontinuierlich)• Die Wirksamkeit eines Medikaments (diskret – entweder 0 oder 1)• Die Fehlerrate bei einem Biosignalexperiment am CSL (kann

kontinuierlich oder diskret sein)Wir wollen nun den Mittelwert dieses Merkmals bezogen auf die gesamtePopulation bestimmen. Warum ist das schwierig?

29 / 76Biosign

aleun


+.1cm

Stichproben

Warum können wir den Mittelwert eines Merkmals nicht einfachausrechnen?I Weil viel zu viele Daten zu betrachten sind.Beispiel: Wirksamkeit eines Medikaments, sagen wir, gegen Bluthochdruck

• In D ca. 15 Mio. Menschen betroffen(http://de.wikipedia.org/wiki/Arterielle_Hypertonie)• Diese 15 Mio. Menschen bilden die Population• Medikament an jedem einzelnen ausprobieren???

http://de.wikipedia.org/wiki/Arterielle_Hypertonie

30 / 76Biosign

aleun


+.1cm

Stichproben

Noch ein Beispiel: Fehlerrate eines Spracherkenners• Wie viele mögliche Sprachäußerungen gibt es eigentlich?• Nehmen wir eine Vorverarbeitung mit 13 Cepstralkoeffizienten, 100

Frames/Sekunde, jeder Koeffizient möge 256 verschiedene Werteannehmen können• Bei Äußerungen von 5 Sekunden Dauer 25613·100·5 unterschiedliche

Tokenfolgen???!Auf jeden Fall kann man nicht jedes einzelne Experiment durchführen.Man ist also auf eine Stichprobe angewiesen.

31 / 76Biosign

aleun


+.1cm

Stichproben

Eine Stichprobe sollte die Population möglichst gut repräsentieren.

• Medizin: Möglichst große Bandbreite der Probanden z.B. bezüglichVorerkrankungen, Alter etc.• In der Spracherkennung: Möglichst viele verschiedene

Sprachaufnahmen, unterschiedliche Sprecher, ... (“Zufallsstichprobe”)• Nehmen wir also an, wir haben eine zufällige Stichprobe der Größe N

aus der Population gezogen. Dann haben wir die N Merkmalswertex1, . . . , xN . Wir interessieren uns für den Mittelwert µ des Merkmalsinnerhalb der Gesamtpopulation.

32 / 76Biosign

aleun


+.1cm

Stichproben

Auf unserer Stichprobe können wir nun den Mittelwert x = 1N∑N

i=1 xi desMerkmals ausrechnen:Noch einmal zur Erinnerung:• µ = Mittelwert des Merkmals in der Gesamtpopulation• x = Mittelwert des Merkmals in der Stichprobe

Wie stehen µ und x in Beziehung? Um diese Frage zu beantworten,machen wir ein Gedankenexperiment und ziehen noch eine weiteregleichgroße Zufallsstichprobe.Dann erhalten wir einen neuen Mittelwert x ′, der wahrscheinlich etwas vonx abweicht, aber doch auch mit x und µ zusammenhängt.

33 / 76Biosign

aleun


+.1cm

Die Stichprobenkennwerteverteilung

Die entscheidende Beobachtung:Das Ziehen einer (Zufalls-)Stichprobe ist selbst ein Zufallsexperiment!Folglich ist der Stichprobenmittelwert x , der durch die Gleichung

x =1N

N∑i=1

xi

geschätzt wird, eine Realisierung einer ZV X !

Die Stichprobenkennwerteverteilung ist die (theoretische) Verteilung, diesich ergibt, wenn man Stichproben fester Größe aus der Population ziehtund jedes Mal den Kennwert (hier Stichprobenmittelwert) berechnet.

34 / 76Biosign

aleun


+.1cm


Welche Verteilung hat X?

• Man kann zeigen: Der Erwartungswert von X entspricht genau demMittelwert µ des Merkmals x in der Gesamtpopulation.• Die Schätzung von µ durch die Gleichung oben ist also

erwartungstreu.

Welche weiteren Eigenschaften hat X?

• Die Standardabweichung σx von X verringert sich mit zunehmendemStichprobenumfang (wer weiß, warum?).• Außerdem ist σx offenbar von der (möglicherweise unbekannten)

Streuung σ des Merkmals x in der Gesamtpopulation abhängig.

35 / 76Biosign

aleun


+.1cm


Die Standardabweichung von X lässt sich berechnen durch

σx =

√σ2

N.

Dabei ist σ die Standardabweichung des Merkmals in derGesamtpopulation. Das heißt, die Streuung von σx nimmt mit derQuadratwurzel der Stichprobengröße ab.Wenn σ unbekannt ist, kann man es ebenfalls abschätzen (hatten wirvorhin: σ2 = 1

N−1∑N

i=1(xi − x)2), und wir erhalten schließlich für σx dieAbschätzung

σx =

√∑Ni=1(xi − x)2

N · (N − 1).

36 / 76Biosign

aleun


+.1cm


Wie genau sieht die Verteilung von X denn nun aus? Der zentraleGrenzwertsatz der Wahrscheinlichkeitstheorie besagt, dass sich dieVerteilung von X bei genügender Größe der Stichprobe (etwa N > 30) derNormalverteilung annähert!Beispiel (Applet zum selberausprobieren) für den zentralen Grenzwertsatz:http://www.fernuni.de/newstatistics/applets/ZentralerGWS/ZentralerGWS.htm.

http://www.fernuni.de/newstatistics/applets/ZentralerGWS/ZentralerGWS.htm

http://www.fernuni.de/newstatistics/applets/ZentralerGWS/ZentralerGWS.htm

37 / 76Biosign

aleun


+.1cm


Noch einmal zusammengefasst: Für genügend große Stichproben ist derStichprobenmittelwert normalverteilt mit Mittelwert µ undStandardabweichung

σx =

√σ2

N.

Diese Verteilung ist ein Beispiel einer Stichprobenkennwerteverteilung fürden Mittelwert als Kennwert einer Stichprobe.Noch ein Hinweis: Bei dieser Verteilung handelt es sich um eintheoretisches Konstrukt. Auf den nächsten Folien werden wir sehen,welche praktischen Informationen und Methoden daraus ableitbar sind.

38 / 76Biosign

aleun


+.1cm

Punktschätzung und Intervallschätzung

Was schließen wir aus der Verteilung des Stichprobenmittelwerts?• Wenn wir nur eine Stichprobe haben und einen einzigen Schätzwert

für µ angeben wollen, bleibt x =∑N

i=1 xi die bestmöglicheSchätzung (erwartungstreu, minimaler quadratischer Fehler). Einesolche Schätzung nennt man Punktschätzung.• Problem bei der Punktschätzung: Es gibt keine Information darüber,

wie verlässlich der angegebene Wert eigentlich ist.• Wir können aber auch ein Intervall für µ angeben

(Intervallschätzung). Darin reflektiert sich, dass unsere Schätzungimmer etwas ungenau sein wird.• Die Wahrscheinlichkeitstheorie erlaubt uns aber, anzugeben, wie

ungenau diese Schätzung ist. Damit hat man einewahrscheinlichkeitstheoretisch verlässliche Aussage.

39 / 76Biosign

aleun


+.1cm

Konfidenzintervalle

Der Bereich, in dem sich ein gewisser (hoher) Prozentsatz aller mög-lichen Mittelwerte eines Populationsmerkmals befinden, die einengewissen Stichprobenmittelwert erzeugt haben können, heißt Konfi-denzintervall.Üblicherweise wird als Genauigkeit eines Konfidenzintervalls 95% oder99% festgelegt.Dies bedeutet: Wenn wir einen Stichprobenmittelwert x haben und einKonfidenzintervall für den Mittelwert µ auf der Gesamtpopulationangeben, dann ist die Wahrscheinlichkeit, dass µ wirklich innerhalb diesesIntervalls liegt, 95% bzw. 99%.

40 / 76Biosign

aleun


+.1cm

Berechnung des Konfidenzintervalls

Nehmen wir an, wir haben eine genügend große Stichprobe für einPopulationsmerkmal. Dann ist X normalverteilt mit Mittelwert µ undStandardabweichung σx . Wir können von X den Mittelwert abziehen unddurch den Standardfehler dividieren, dann erhalten wir sogar einestandardnormalverteilte Zufallsvariable Z :

Z =X − µσx

Dieses Z kennen wir bereits als die z-Transformierte von X .

41 / 76Biosign

aleun


+.1cm


Wir wollen das Konfidenzintervall zur Genauigkeit 95% berechnen.Eine Tabelle der Standardnormalverteilung liefert uns die Information, dasssich zwischen z± = ±1.96 95% der Gesamtwahrscheinlichkeitsmasse dieserVerteilung befinden. Das heißt, eine Realisierung z der oben definiertenZufallsvariablen Z liegt mit 95% Wahrscheinlichkeit im Bereich [z−, z+].

42 / 76Biosign

aleun


+.1cm


Eine Realisierung z der oben definierten Zufallsvariablen Z liegt mit 95%Wahrscheinlichkeit im Bereich [z−, z+].Durch Einsetzen in die Gleichung z = X−µ

σxergibt sich, dass dann eine

Realisierung x von X mit 95% Wahrscheinlichkeit im Bereich [x−, x+] mitx± = µ± 1.96 · σx liegt!

Also: Wenn wir eine Stichprobe mit der oben festgelegten Größe ziehenund auf dieser Basis den empirischen Mittelwert x berechnen, dann liegtdieser Wert mit 95% Wahrscheinlichkeit nicht weiter als 1.96 · σx vomechten Mittelwert µ entfernt!

43 / 76Biosign

aleun


+.1cm


Das Intervall Iγ der Breite 2 · c(γ) · σx um den Mittelwert x einerStichprobe nennt man Konfidenzintervall für den Parameter µ zumKonfidenzniveau γ.Der Wert von c ergibt sich aus dem gewünschten γ - für γ = 0.95 istc = 1.96.Damit haben wir eine Möglichkeit gefunden, die Lage des unbekanntenPopulationsmittelwertes stochastisch zu beschreiben: Für geeignetes c undeine geeignet große Stichprobe liegt des wahre Populationsmittelwert µmit Wahrscheinlichkeit γ innerhalb des Intervalls Iγ .

44 / 76Biosign

aleun


+.1cm

Beispielrechnung Konfidenzintervall

Eine Beispielrechnung: Bei einer Wahlumfrage geben 400 von 1000Personen an, Partei A wählen zu wollen. Welchen Anteil der Stimmen wirdPartei A in der Wahl bekommen?Wir betrachten die Zufallsvariable

X =

0 Ein Wähler wählt Partei A nicht1 Ein Wähler wählt Partei A.

Wir wollen eine Aussage über den Erwartungswert von X treffen. Die 1000befragten Personen stellen eine Stichprobe dar, aus der wir einKonfidenzintervall für µ = E (X ) ableiten wollen.

45 / 76Biosign

aleun


+.1cm


Unsere Stichproben seien x1, . . . , x1000. Als Punktschätzung für µ ergibtsich

x =1

1000

1000∑i=1

xi =4001000

= 0.4.

Wir erinnern uns: x ist eine Realisierung der Zufallsvariablen X . Aufgrundder Stichprobengröße können wir davon ausgehen, dass X normalverteiltist.

46 / 76Biosign

aleun


+.1cm


Wir haben jetzt eine Schätzung für µ = E (X ), nämlich µ = x = 0.4. DiePopulationsvarianz σ2 können wir auch aus der Stichprobe abschätzen,der Schätzwert σ2 ist

σ2 =1

1000

1000∑i=1

(xi − x)2 =1

1000(400 ∗ 0.62 + 600 ∗ 0.42)

= 0.4 ∗ 0.62 + 0.6 ∗ 0.42 = 0.24.

Alternativ verwende die Formel Var(X ) = E (X 2)− (EX )2.Da die xi voneinander unabhängig sind, gilt für die Varianz von X :

σ2X = Var(X ) =

σ2

N=

11000

· Var(Xi ) = 0.00024,

also σX ≈ 0.0155.

47 / 76Biosign

aleun


+.1cm


Das Konfidenzintervall zur Genauigkeit 95% ergibt sich mit diesenAbschätzungen zu

I95% = [E (X )− 1.96 · σX ,E (X ) + 1.96 · σX ]

= [0.4− 1.96 · 0.0155, 0.4 + 1.96 · 0.0155] = [0.37, 0.43].

Die Partei A wird also mit 95% Wahrscheinlichkeit zwischen 37% und43% der Stimmen erhalten. Möchte man eine höhere Genauigkeit, mussman mehr Personen befragen.

48 / 76Biosign

aleun


+.1cm

Zusammenfassung dieses Abschnitts

Wir haben im Abschnitt “Konfidenzintervall”• festgestellt, dass der Mittelwert einer Stichprobe selbst eine

Zufallsvariable ist• die darüber hinaus einer ganz bestimmten Verteilung, nämlich der

Normalverteilung, folgt (wenn die Population groß genug ist)• Auf dieser Basis konnten wir ein Intervall angeben, das eine 95%

sichere Schätzung eines Populationsmittelwerts erlaubt.

49 / 76Biosign

aleun


+.1cm

Übersicht



• Der t-Test



50 / 76Biosign

aleun


+.1cm

Statistische Tests

Das Konfidenzintervall liefert uns eine Aussage darüber, wo sich einbestimmter Populationsparameter (typischerweise der Mittelwert)befindet. Jetzt wollen wir noch einen Schritt weitergehen und eineWahrscheinlichkeitsangabe dafür fordern, dass eine gewisse konkreteAussage wahr ist. In der Medizin könnte die Hypothese lauten:

Ein neues Medikament A wirkt besser als ein klassischesVergleichspräparat B.

Solche Aussagen bezeichnet man als Hypothesen. Damit ist also dieArgumentationsrichtung anders als bei Punkt- oder Intervallschätzung:• Beim Schätzen schließen wir aus in einer Stichprobe erhobenen Daten

(Empirie) auf Eigenschaften der Population (Theorie).• Bei einen statistischen Test beginnen wir mit einer Hypothese über

die Population, die überprüft werden soll.

51 / 76Biosign

aleun


+.1cm

Die wissenschaftliche Hypothese

Bei der Formulierung einer Hypothese gibt es verschiedene Ansätze, diehier aus Zeitgründen nicht vollständig behandelt werden.Man unterscheidet typischerweise Unterschiedshypothesen undZusammenhangshypothesen. Eine typische Unterschiedhypothesespezifiziert einen Unterschied, etwa wie im Beispiel oben:

Ein neues Medikament A wirkt besser als ein klassischesVergleichspräparat B.

Dies ist sogar eine gerichtete Hypothese, die die Richtung des Unterschiedangibt. Für diese kleine Mühe, die Richtung zu spezifizieren, werden wirmit einer einfacheren statistischen Beweisführung “belohnt”.

52 / 76Biosign

aleun


+.1cm

Die statistische Hypothese

Die wissenschaftliche Hypothese muss nun in eine mathematischformulierbare statistische Hypothese H1 überführt werden. Im obigenBeispiel könnte rx die Heilungsrate der Patienten bei Anwendung einesMedikaments sein, dann wäre die statistische Hypothese

rA > rB

Aber vielleicht ist die Heilungsrate nicht der optimale Parameter? Es gibtoft verschiedene Möglichkeiten, eine statistische Hypothese zu formulieren!Es wird weiterhin eine konkurrierende oder inverse Hypothese aufgestellt,die man als Nullhypothese H0 bezeichnet:

rA ≤ rB bzw. A wirkt maximal so gut wie B .

53 / 76Biosign

aleun


+.1cm

Durchführung eines statistischen Tests

Der eigentliche Test besteht nun darin, mit statistischen Methoden dieUnwahrscheinlichkeit der Nullhypothese zu zeigen, um dann imUmkehrschluss auf die Richtigkeit der Alternativhypothese zu schließen.Nur wenn die Realität (gegeben durch die Stichprobe) “praktisch” nichtmit der Nullhypothese zu erklären ist, darf die Nullhypothese zugunstender Alternativhypothese verworfen werden.Merkregel: Die Nullhypothese stellt die Basis dar, von der aus ent-schieden wird, ob die Alternativhypothese akzeptiert werden kannoder nicht.

54 / 76Biosign

aleun


+.1cm

Fehler bei statistischen Entscheidungen

Jeder statistische Test kann eine falsche Aussage liefern, da er von derzufällig gewählten Stichprobe abhängt.Man unterscheidet Fehler 1. Art (α) und Fehler 2. Art (β).

In der Population gilt dieH0 H1

Entscheidung aufgrundStichprobe zugunsten:

H0 OK β-FehlerH1 α-Fehler OK

Ein β-Fehler bedeutet also, dass die neue Hypothese irrtümlich verworfenwird, ein α-Fehler bedeutet, dass die alte Hypothese irrtümlich verworfenwird. Je nach Aufgabenstellung muss man entscheiden, welcher Fehler diegravierenderen Konsequenzen hat und eher vermieden werden muss.

55 / 76Biosign

aleun


+.1cm

Der t-Test

Als Beispiel für einen statistischen Test wollen wir den t-Test behandeln,der auf der t-Verteilung beruht.Die typische Anwendung dieses Tests ist der Vergleich zweierStichprobenmittelwerte. Dies bedeutet, dass wir untersuchen wollen, obzwei Populationen identische Mittelwerte haben.Beispielhypothesen:• Sportliche Menschen sind kognitiv leistungsfähiger als unsportliche

Menschen.• Ein Medikament A heilt mehr Menschen (prozentual) als ein

Standardmedikament B .• Ein neuer Algorithmus klassifiziert mehr Samples korrekt als ein

klassischer Vergleichsalgorithmus.In jedem Fall werden zwei Stichproben gebildet und Mittelwerte µ1 und µ2der zu untersuchenden Größe abgeschätzt.

56 / 76Biosign

aleun


+.1cm

Der t-Test

Zunächst sollten wir die wissenschaftliche Hypothese in eine statistischeHypothese überführen. Allgemein betrachten wir also als statistischeHypothese:

H1 : µ1 − µ2 6= 0.

Die zugehörige Nullhypothese ist dann

H0 : µ1 − µ2 = 0.

Wir stehen nun wieder vor einem ähnlichen Problem wie bei der Angabeeines Konfidenzintervalls: Die Mittelwerte µ1 und µ2 müssen durchStichprobenmittelwerte abgeschätzt werden. In der Regel werden dieseStichprobenmittelwerte nicht identisch sein, aber wie unterschiedlichmüssen sie sein, um aussagen zu können, dass auch µ1 und µ2 verschiedensind?

57 / 76Biosign

aleun


+.1cm

Das Signifikanzniveau

Klar: Eine statistische Aussage kann man immer nur mit einer gewissenWahrscheinlichkeit treffen.Diese Wahrscheinlichkeit (Signifikanzniveau) muss man vor dem Testfestlegen. Üblicherweise verwendet man ein Signifikanzniveau von α = 5%oder α = 1%. Dieser Wert beschreibt die Irrtumswahrscheinlichkeit füreinen α-Fehler, also die Irrtumswahrscheinlichkeit, falls wir aufgrund derStichprobe H0 verwerfen und H1 akzeptieren.

58 / 76Biosign

aleun


+.1cm

Der t-Test

Betrachten wir wieder die Stichprobenmittelwerte x1 und x2 alsRealisiationen von Zufallsvariablen X1 und X2. Die Größen der Stichprobensollen n1 bzw. n2 sein. Der Standardfehler dieser Differenz ergibt sich zu

σx1−x2 =

√σ2

1n1

+σ2

2n2

Dieser Standardfehler kann auch auf Basis der Stichproben abgeschätztwerden.

59 / 76Biosign

aleun


+.1cm

Der t-Test

Es ergibt sich eine Testgröße

t =(x1 − x2)− (µ1 − µ2)

σ(x1−x2)

Setzt man entsprechend der Nullhypothese (µ1 − µ2) = 0, so erhält mandie Form

t =(x1 − x2)

σ(x1−x2)

Wir normieren also die Differenz der Mittelwerte an ihrer Streuung. Waskönnen wir über diese Zufallsvariable aussagen?

60 / 76Biosign

aleun


+.1cm

Der t-Test

Betrachtet =

(x1 − x2)

σ(x1−x2)

Man kann zeigen: Falls die Nullhypothese zutrifft,• hat t Mittelwert 0 und Standardfehler 1.• ist t t-verteilt mit n1 + n2 − 2 Freiheitsgraden.

Die t-Verteilung ist ähnlich wie die Standardnormalverteilung tabelliert.Jetzt können wir prüfen, welche Fläche der ausgerechnete t-Wert von dert-Verteilung abschneidet, ähnlich wie wir es bei der Berechnung desKonfidenzintervalls getan haben. Ist t so sehr von Null verschieden, dassdieses Ergebnise bei Gültigkeit der Nullhypothese sehr unwahrscheinlichist?

61 / 76Biosign

aleun


+.1cm

Der t-Test

Wir schauen, welcher Anteil der Fläche unter der t-Dichtefunktion mitn1 + n2 − 2 Freiheitsgraden vom empirischen t-Wert abgeschnitten wird.

Bei einer ungerichteten Hypothese muss der ermittelte Wert p(t) nochverdoppelt werden. Heraus kommt die Wahrscheinlichkeit, mit der wir unsirren, wenn wir H0 zugunsten von H1 ablehnen.Ist dieser Wert geringer als 0.05, so sagen wir, die Hypothese H1 trifft aufeinem Signifikanzniveau von 0.05 zu – dies bedeutet, dass µ1 6= µ2.Die Nullhypothese kann also nur dann abgelehnt werden, wenn der Wertder Testgröße t eine kritische Schwelle überschreitet, die man einerentsprechenden Tabelle entnehmen kann.

62 / 76Biosign

aleun


+.1cm

Voraussetzungen

• Sind die Stichproben klein (jeweils n1, n2 ≤ 30), so mussvorausgesetzt werden, dass der zu untersuchende Parameter in derPopulation normalverteilt ist.• Die Varianzen der beiden Stichproben müssen (annähernd) gleich

sein.• Die Stichproben müssen voneinander unabhängig sein. Ist dies nicht

der Fall, wird der t-Test für abhängige Stichproben verwendet.

63 / 76Biosign

aleun


+.1cm

t-Test: Rechenbeispiel

Ein kleines Rechenbeispiel für den t-Test (aus Bortz: Statistik für Human-und Sozialwissenschaftler, 6. Auflage, Seite 138):

• Man hat ermittelt, dass Ratten im Durchschnitt 170s benötigen, umeinen bestimmten Mechanismus zu bedienen.• Diese Zeiten sind annähernd normalverteilt mit einer Streuung vonσ = 12.• Es soll überprüft werden, ob Ratten, deren Eltern bereits

konditioniert (trainiert) waren, diese Aufgabe schneller ausführenkönnen (einseitiger Test, Signifikanzniveau α = 5%).• 20 Ratten mit konditionierten Eltern erzielen eine Durchschnittszeit

von 163s.

64 / 76Biosign

aleun


+.1cm

t-Test: Rechenbeispiel

In diesem Problem sind der Stichprobenmittelwert x = 163, derPopulationsmittelwert µ0 = 170 und die Streuung derStichprobenmittelwerts σx = 12/

√20 ≈ 2.68.

Der t-Wert ergibt sich zu

t =(x1 − x2)

σx=

163− 1702.68

≈ −2.61.

Der kritische Wert in der t-Verteilung mit 19 Freiheitsgraden, der voneiner Seite der Verteilung 5% abschneidet, ist t5% = −1.73. Wegen|t| > |t5%| ist das gefundene Ergebnis also signifikant: Ratten, derenEltern schon konditioniert waren, lernen schneller als Ratten mit nichtkonditionierten Eltern.Jetzt könnte man noch Konfidenzintervalle berechnen, um das Ergebnisnoch genauer zu quantifizieren.

65 / 76Biosign

aleun


+.1cm

Der t-Test für abhängige Stichproben

Eine kleine Variante des t-Tests: Wir betrachten Stichproben, derenObjekte paarweise verbunden sind.Beispiele für solche Stichproben:• (Irgendwelche) Eigenschaften von Ehemann und Ehefrau.• Medikamentenstudien an Paaren von Personen, die einander

möglichst ähnlich sind.• Messwiederholungen: Eine Messung wird vor und nach einer

bestimmten Handlung (etwa medikamentöse Behandlung)durchgeführt, oder die Ergebnisse zweier Klassifikationsalgorithmenauf demselben Datensatz werden verglichen (kommt am CSL sehrhäufig vor).

In einem solchen Fall betrachtet man nicht die Differenz von Mittelwerten,sondern man nimmt die Messwertdifferenz für jedes einzelne Sample undbetrachtet die Verteilung dieser Differenzen.

66 / 76Biosign

aleun


+.1cm

t-Test für abh. Stichproben: Durchführung

Wir nehmen an, wir haben eine Reihe von Messwerten x (1)i und x (2)

i ,i = 1, . . . ,N.• Für jedes Messwertpaar bilden wir nun die Differenz der Messwerte

di = x (1)i − x (2)

i .• Wir berechnen das arithmetische Mittel aller di -Werte

xd =

∑Ni=1 di

N.

• Der Standardfehler der Verteilung der Differenzmittelwerte ist wiegehabt

σxd =σd√n

wobei σd wie üblich eine Abschätzung der Varianz der Differenzen σdist.

67 / 76Biosign

aleun


+.1cm

t-Test für abh. Stichproben: Durchführung

Aus der durchschnittlichen Differenz berechnen wir wieder eine t-Testgröße

t =xd − µd

σxd

die sich vereinfacht, wenn wir die Nullhypothese annehmen:

t =xd

σxd

Dieser Wert wird (z.B. anhand einer Tabelle) mit dem kritischen t-Wertverglichen, der vom gewünschten Signifikanzniveau und von der Anzahlder Freiheitsgrade abhängt.

68 / 76Biosign

aleun


+.1cm

Übersicht



• Der t-Test



69 / 76Biosign

aleun


+.1cm

Der Kolmogorov-Smirnov-Test

Zur Vervollständigung machen wir noch ein weiteres Beispiel: DenKolmogorov-Smirnov-Test.Dieser Test kann verwendet werden, um1. zu prüfen, ob zwei Verteilungen von irgendwelchen Merkmalen

übereinstimmen2. ob ein Merkmal eine angenommene Verteilung hat.

Beispiel: Viele Tests (u.a. der t-Test) erfordern, dass dasPopulationsmerkmal eine gewisse Verteilung hat (z.B. Normalverteilung).Beachte: Gerade für die Normalverteilung gibt es auch bessere Tests!

70 / 76Biosign

aleun


+.1cm


Betrachten wir den zweiten Fall: Wie haben eine Datenmenge x1, . . . , xN ,und wir wollen feststellen, ob sie einer gewissen Verteilung folgt.Wie testet man so etwas? Nehmen wir an, die angenommene Verteilunghat eine Verteilungsfunktion F0, wenn f0 die Dichte ist, ist also

F0(x) =

∫ x

−∞f0(ξ)dξ.

Für die Datenreihe nehmen wir dementsprechend die empirischeVerteilungsfunktion

FX (x) =∑xi

I (xi ≤ x)

mit

I (y ≤ x) =

1 wenn y ≤ x0 sonst.

71 / 76Biosign

aleun


+.1cm


Die Nullhypothese soll sein:H0 : F0 = FX

mit der AlternativhypotheseH1 : F0 6= FX

Man kann zeigen: Falls die Nullhypothese gilt, so geht bei zunehmender Anzahlvon Samples FX gegen F0, und zwar gleichmäßig. Daher ist der maximaleAnstand von F0 und FX ein gutes Testkriterium:

d = maxx∈R|FX (x)− F0(x)| = ||FX − F0||∞

d ist die Realisierung einer Zufallsvariablen D, die der Kolmogorov -Verteilungfolgt. Diese ist ebenso wie die t-Verteilung tabelliert (bzw. inStatistikprogrammen enthalten).Nun muss man also nur d ausrechen - wenn d einen gewissen Schwellwertüberschreitet, wird H0 verworfen.

72 / 76Biosign

aleun


+.1cm

Zusammenfassung: Tests

Damit haben wir den Abschnitt “Statistische Tests” abgeschlossen.Wichtig war uns nicht so sehr die konkrete Anwendung (dazu müssten wirviel mehr Tests betrachten, sowie ihre Stärken, Schwächen, undVoraussetzungen), sondern die grundlegenden Ideen:• Wie funktioniert ein statistischer Test• Zwei Beispiele, was man so alles testen kann• Aufstellung der Hypothese

Weitere Details überlassen wir den Lehrbüchern.

73 / 76Biosign

aleun


+.1cm

Übersicht



• Der t-Test



74 / 76Biosign

aleun


+.1cm

Versuchsplanung

Worauf muss man achten, wenn man einen Versuch plant und dasErgebnis statistisch (z.B. durch t-Test) absichern will?Insbesondere gilt:Es muss zuerst eine Hypothese gefunden werden, die danach aneiner Testdatenmenge abgesichert wird.Üblicherweise erreicht man dies, indem man vor dem Versuch eineTestdatenmenge beiseite legt und erst zur Evaluation wieder betrachtet.Die verbleibenden Daten teilt man in Trainingsdaten undKreuzvalidierungsdaten auf.Während des Versuchs werden die Kreuzvalidierungsdaten zum Testen derModelle verwendet, um eventuelle Parameter zu optimieren.

75 / 76Biosign

aleun


+.1cm

Versuchsplanung

Nach einer Versuchsreihe (mit diversen Optimierungsschritten) könnte diewissenschaftliche Hypothese dann so aussehen:

Algorithmus A mit Parametern pi = γi erreicht eine bessereErkennungsrate als Algorithmus B.

Die Ergebnisse auf den Kreuzvalidierungsdaten lassen aber eineSignifikanzaussage nicht zu, weil wir eben auf der Kreuzvalidierungsmengeoptimiert haben!Jetzt werden zum ersten Mal die Testdaten betrachtet: Durch Ausführungder beiden Algorithmen (A und B) auf der Testdatenmenge ergibt sich einResultat, das man nun mit Hilfe eines geeigneten statistischen Testsüberprüfen kann, um so zu einer abgesicherten Aussage zu kommen.

76 / 76Biosign

aleun


+.1cm

Zusammenfassung

Wir haben in dieser Vorlesung folgendes gelernt:• Definitionen von Erwartungswert und Varianz – dies sind die

wichtigsten statistischen Größen überhaupt!• Abschätzung von Erwartungswert und Varianz• Wenn wir eine Stichprobe haben, sind Erwartungswert usw. selbst

wieder Zufallsvariablen und sind (annähernd) normalverteilt – darauskonnten wir ein Konfidenzintervall für den Erwartungswert berechnen.• Definition von statistischen Tests, Aufstellung von Hypothesen• Der t-Test als einfaches Beispiel:

• Berechnung einer Testgröße (in diesem Fall t-verteilt)• Feststellung, ob die Testgröße einen kritischen Wert überschreitet• Mögliche Ablehnung der Nullhypothese.


statistik und versuchsplanung - csl · 1/76 statistik +.1cm vorlesung ws 2012/2013 biosignale und...

Documents