meth11

24.06.2009

1

methodenlehre ll Clusteranalyse

Clusteranalyse

Thomas Schfer | SS 2009 1


Grundidee

MglicheAnwendungsgebiete

DieClusteranalyse

g g g

Vorgehensweise

Beispiele


24.06.2009

2


Grundidee:EineheterogeneGesamtheitvonFllen(Personen/Objekte)soll in homogene Gruppen oder Cluster aufgeteilt werden

DieClusteranalyse

sollinhomogeneGruppenoderCluster aufgeteiltwerden.DabeiwirddiehnlichkeitderFlleaufallenrelevantenVariablenbercksichtigt

DiezweizentralenFragen:

WiewirdhnlichkeitvonFllenbestimmt?

Thomas Schfer | SS 2009

WiewirddieGruppenaufteilungvorgenommen,wenndiehnlichkeitzwischenFllenbekanntist?

3

AnalyseeinerheterogenenGesamtheitvonObjekten,mitdemZiel,homogeneTeilmengenzuidentifizieren.


AufteilungvonPersonen/ObjekteninSubgruppen

ErstellenvonTypologien

Clusteranalyse:mglicheAnwendungen

yp g

Marktforschung(Konsumentengruppen,Kaufverhalten,Produktanalyse)

DifferenzierenvonBevlkerungsgruppen


24.06.2009

3


Clusteranalyse:Vorgehensweise

BestimmungderhnlichkeitPrfungderMerkmalsausprgungfrje2PersonenoderObjekteundMessungderUnterschiede/bereinstimmungenmitHilfeeinesZahlenwertes(Proximittsma)

AuswahldesFusionierungsalgorithmus

Personen/ObjektewerdenaufgrundihrerhnlichkeitswertezuGruppenzusammengefasst.

BestimmungderClusterzahlEntscheidungberClusteranzahl,Zielkonflikt:Handhabbarkeit(geringeClusteranzahl)&hoheLsungsgte(hoheClusterzahl)


g g ( )

InterpretationderClusterundberprfenderGte

InhaltlicheInterpretationderresultierendenCluster


BestimmungderhnlichkeitVariable1 Variable2 Variablej

Objekt1

Objekt2j.::

Objektk

Objekt1 Objekt2 ObjektkObjekt1

Rohdatenmatrix


Objekt2.::

Objektk

Distanz oderhnlichkeitsmatrix

24.06.2009

4


Proximittsmae

(hnlichkeits bzw.Distanzmae)

Auswahleineshnlichkeits/Distanzmaes

beiNominalSkalen beimetrischenSkalenTanimotoKoeffizientMKoeffizientKulczynskiKoeffizientRRKoeffizientDiceKoeffizient

L1 NormL2 NormQKorrelationsKoeffizientMahalanobisDistanz


.



Rohdatenmatrix

Objekt1

Objekt2

Objekt3 1 1 1 0 0 0

1 1 0 1 0 0

0 1 0 1 1 1


Objekt4 1 0 0 0 1 0

0 nichtvorhanden1 vorhanden

24.06.2009

5



ZeilensummeObjekt1

Ei h ft i htEi h ft

Objekt2

Eigenschaftnichtvorhanden(0)

Eigenschaftvorhanden(1)

Eigenschaftvorhanden(1)

Eigenschaftnichth d (0)

a

b

c

d

a+c

b+d


Spaltensumme

vorhanden(0) b d

a+b c+d

b+d

m



Rohdatenmatrix

Objekt1

Objekt2

Objekt3 1 1 1 0 0 0

1 1 0 1 0 0

0 1 0 1 1 1

b


Objekt4 1 0 0 0 1 0ab c

24.06.2009

6



Fallx

Fall y +

Nichtbereinstimmung sollkeineRollespielen Fally

+ a c

b d

z.B.TanimotoKoeffizient:

cbaaKoeffTanimoto++

= .

Nichtbereinstimmung sollbercksichtigtwerden(z.B.beiechtdichotomenDaten)

+ Eigenschaftvorhanden Eigenschaftnichtvorhandena:AnzahlderVariablen,indenen fr beide Flle die


( )z.B.MKoeffizient(SimpleMatching):

dcbadaM+++

+=

denenfrbeideFlledieEigenschaftvorhandenistb:AnzahlderVariablen,indenendieEigenschaftfrFallxvorhandenist,aberfrFallynichtusw.



AufbauderDistanz oderhnlichkeitsmatrixObjekt1 Objekt2 Objekt3Objektk

Objekt1

Objekt2

Objekt 3

1

? 1

? ? 1


Objekt3:

Objektk

? ? 1

? ? ? 1

24.06.2009

7



echtehnlichkeitsmae z.B.QKorrelationskoeffizient(wenn Kovariation inhaltlichwichtigist)

Abstandsmae z.B.MinkowskiMetriken(wenn absoluterAbstandinhaltlichwichtigist)

z.B.CityBlockMetrik(L1 Norm),EuklidischeDistanz(L2 Norm)




hnlichkeitsermittlungbeimetrischerVariablenstrukturamhufigstenangewandteDistanznorm:MinkowskiMetriken

EuklidischeDistanz:r=2

CityBlockMetrik:r=1:

==

J

jbjajba XXd

1,


(oftauchquadriert):

==

J

jba X bjX ajd

1

2,

x,x:WertderVariablenjbeidenObjektenk,l (j=1,2,J)

d:DistanzderObjektekundl

r>1:MinkowskiKonstante

k,l

k,j l,j

_

24.06.2009

8



k

Variable2

-

Xk,2

l,2

45

67


Variable1

l

X - Xk,1 l,1

X k

12345678

12

3

15


ZurMessungderhnlichkeitzwischenObjektensind


Distanzmaeimmerdanngeeignet,wennderabsoluteAbstandzwischenObjektenvonInteresseistunddieUnhnlichkeitdannalsumsogreranzusehenist,wennzweiObjekteweitentferntvoneinanderliegen.

hnlichkeitsmaeimmerdanngeeignet,wennderprimre


g g , phnlichkeitsaspektimGleichlaufzweierProfilezusehenist,unabhngigdavon,aufwelchemNiveaudieObjekteliegen.

16

24.06.2009

9



UnternehmenA Unternehmen BJahr

Gewinn

2006

2003

2000


dieProfilebeiderUnternehmensindgleich,einhnlichkeitsmawrdeeinenhohenWertliefern

diebeidenUnternehmenhabenaberabsolutgeseheneinengroenAbstand,einDistanzmawrdedahereinenkleinenWertliefern


Clusteralgorithmen

Clusterverfahren

HierarchischeVerfahren

agglomerativ divisiv

GraphentheoretischeVerfahren

PartitionierendeVerfahren

Austauschverfahren

Optimierungsverfahren

IteriertesMinimaldistanz

Verfahren


SingleLinkage

WardCompleteLinkage

AverageLinkage

Centroid Median

24.06.2009

10


PartitionierendeVerfahren Anfangsgruppierungvorgeben

S k i V l Obj kt i d G

Clusteralgorithmen

SukzessiveVerlagerungvonObjekteninandereGruppen Zielkriterium:MinimierungderVarianzinnerhalbder

Gruppen(Gruppeneinteilungreversibel)

HierarchischeVerfahren

a) agglomerativ:anfangssovieleGruppenwieFlle,


sukzessivesZusammenfassenderGruppen

b) divisiv:anfangsalleFlleineinerGruppe,sukzessivesAufteilenderFlleinGruppen(Gruppeneinteilungnichtreversibel)

19


AlgorithmenfrhierarchischeClusteranalyse

Singlelinkage

(nchster Nachbar)

Complete linkage

(entferntester Nachbar)(nchsterNachbar) (entferntesterNachbar)


Average linkage:mittlereDistanzallerFlleeinesClustersvonallenFllendesanderenClusters

24.06.2009

11


AlgorithmenfrhierarchischeClusteranalyse

SingleLinkageDasSingleLinkage VerfahrenneigtzurKettenbildung undkanndaherAusreierausfindigmachen.Nachdemmandieseentfernthat,kannmanmitVerfahrenfortfahren,dieschnehomogeneClusterbilden,z.B.Average Linkage oderWard.


Ward VerfahrenVereinigediejenigenObjekte,diedieStreuungineinerGruppeamwenigstenerhhen(homogeneCluster).


nachstatistischenKriterien z.B.EntwicklungdesHeterogenittsmaes( hl )

BestimmungderClusterzahl

(z.B.perFehlerquadratsumme)

Dendrogramm durchsachlogischberlegungen

Konfliktzwischender HeterogenittsanforderungderClusterzahlundderHandhabbarkeitderClusterlsung

auf die Clusterzahl beschrnken (nicht nach den in den


aufdieClusterzahlbeschrnken(nichtnachdenindenClusternzusammengefasstenFllengehen)

22

24.06.2009

12


DasHeterogenittsmagibtdiedurchschnittlicheUnhnlichkeitderObjekteindenClusternan.Diesesteigtnatrlich je weniger Cluster man whlt Gnstig ist es nach


natrlich,jewenigerClustermanwhlt.Gnstigistes,nacheinemSprungindiesemMazusuchen.

EsgibtimmereinenSchrittwenigeralsursprnglicheFlle.

VonderGesamtzahlderFlleziehtmandenSchrittvor demSprung


mglicheSprnge

a de Sc tt o de Sp u gab,umdieAnzahlderClusterzubestimmen.Hierz.B.16 11=5


DasDendrogramm gibtdasHeterogenittsmagewissermaengrafischwiederundhilftso,dieAnzahlvonClustern zu bestimmen


Clusternzubestimmen.

MansuchtsozusagendiegrteDistanz,aufdernichtspassiert.


24.06.2009

13


NachderBestimmungderClusterzahlmssendieClusterinterpretiertwerden.

Dazuschautman,welcheWertedieFlle

InterpretationderCluster

indenClusternnunaufdenAusgangsvariablenhaben,mitdenendieAnalysegemachtwurde.

Weiterhinkannmansichberlegen,wasdieFlleindenClusternverbindenknnte.

EineMglichkeitdafrist,dassmansichpotenzielleVariablen diefrdieClusterung verantwortlichseinknnten


ganzeigenlsst(Label immeralsString).

Soknntemanz.B.finden,dassbeizweiClusterndaseineClusterausFrauen,dasandereausMnnernbesteht.

25


Clusteranalysemitden4EntscheidungsstilendesDMQ(Vigilance,Hypervigilance,Buckpassing,Procrastination)

aufgrund dieser Variablen sollen Cluster von Studierenden gesucht

Beispiel

aufgrunddieserVariablensollenClustervonStudierendengesuchtwerden,diesichhnlichsind

betrachtenwir20Studierende(Flle)undbeginnenzunchstmitdemSingleLinkage Verfahren(nchsterNachbar),ummglicheAusreierzuentdecken


Ausreier

24.06.2009

14


nachEntfernenderAusreiersuchenwirmitdemWardVerfahrennachhomogenenClustern

Beispiel



frdiegefundenenClustersehenwirunsdieWertederenthaltenenPersonenaufdenAusgangsvariablenan,umzusehen,wiegenausiesichunterscheiden(z.B.mitBoxplots)

Beispiel

( p )


24.06.2009

15


diegefundenenClusterknnenanhandderAusgangsvariablennherbeschriebenwerden

k h h l h h

Beispiel

sieknnenvonnunanhinsichtlichverschiedenerAnwendungeneinzelnbetrachtetoderuntersuchtwerden(z.B.frForschungszwecke)

untersuchtmanzustzlich,obdieClustersichdurchbestimmteMerkmale(Label)systematischunterscheiden,kannmanauchdasalsweiteresForschungsergebnisbenutzen



StudievonJankowskiundZill(2009) LassensichBands(bspw.Korn,Metallica)nachbestimmtenKriterien

(bspw.AnzahlderMitglieder,Liedanzahl,amerikanischodernicht,

Beispiel2

( p g , , ,Bewertung)zuClusterngruppieren?

13Versuchspersonen(inverschiedeneAlbenhineingehrt)


24.06.2009

16


Beispiel2


dieseInformationenknntemanz.B.nutzen,umCDsimGeschftnachhnlichkeitzugruppieren


WielassensichdieStadtteilevonChemnitzzuhomogenenClusternzusammenfassen?

Variablen:Alt t kt

Beispiel3

Altersstruktur Geschlecht Familienstand Auslnderanteil Bevlkerungsdichte Bevlkerungsentwicklung Haushalte(Gren,Formen) Mobilitt/Wanderungen Hilfebedrftigkeit


FlchenimStadtteil StrukturderWohngebude Wohnungsgren Bausubstanzen WahlergebnisseBundestagswahl2005

32

Chempirica (http://www.chempirica.de/stadtteilanalyse.htm)

24.06.2009

17


ClusteranalysemitSPSSI



ClusteranalysemitSPSSII


24.06.2009

18


VergleichFaktorenanalyse Clusteranalyse

Variablen

FlleGemeinsameAusgangsbasis FlleAusgangsbasis

(meist)Variablen

(meist)Variablen

(meist)Flle

(meist)Flle

Korrelationsmatrix

Distanz/hnlichkeitmatrix


Variablen Flle matrix

ZIEL Dimensionsreduktion Gruppenbildung

meth11

Documents