applied multivariate statistics cluster analysis fall 2015 week 9

Applied Multivariate StatisticsApplied Multivariate Statistics

Cluster AnalysisCluster Analysis

Fall 2015 Week 9

Cluster Analysis

• Classification according to certain characteristics

• Widely used technique– Target marketing of groups– Biological classification– Classifying a number of observations into a

smaller number of more manageable groups without losing information

Cluster Analysis

• Used to identify groups or clusters of homogeneous individuals

• Observations in each cluster are similar to each other. Homogeneous within clusters

• Observations from one cluster are different from those from other clusters. Heterogeneous between clusters

Cluster Analysis - An Example .. 1

• Income and Education are the clustering variables

Observation A B C D E F

Income($ ‘000)

5 6 15 16 25 30

Education( Years)

5 6 14 15 20 19

AIncome

Education

B

C D

EF


• Use squared Euclidean distances and the centroid to measure distance from a cluster

Similarity M’x based on squared distancesA B C D E F

A 0B 2 0C 181 145 0D 221 181 2 0E 625 557 136 106 0F 821 745 250 212 26 0

Ff

(5-6)2+(5-6)2

(15-5)2+(14-5)2

(25-30)2+(20-19)2


• The observations A-B and C-D are close together & the 1st cluster could be formed by combining either pair. Choose A-B

• The centroid for this cluster is (5.5,5.5). Use this to calculate the similarity matrix

• Repeat the process combining the next pair (or cluster) of observations


Agglomeration Cluster Solution

Min. No. ofStep Dist2 Obs. Clusters Clusters 0 (A)(B)(C)(D)(E)(F) 6 1 2 A-B (A-B)(C)(D)(E)(F) 5 2 2 C-D (A-B)(C-D)(E)(F) 4 3 26 E-F (A-B)(C-D)(E-F) 3 4 169 (C-D-E-F) (A-B)(C-D-E-F) 2 5 388 ALL (A-B-C-D-E-F) 1


• Graphical representation of the heirarchial clustering process

DendrogramDistance

A B C D E F

1

3

2

4

5


• Determining the ‘best’ number of clusters. Fairly subjective decision. Can use a rapid increase in the agglomeration index (Dist2) as a guide

• For this example, there’s a large increase between Steps 3 (3 clusters) and 4 (2 clusters)

• Suggests 3 clusters are suitable for these observations.

• The dendrogram also indicates 3 as a suitable number of clusters.

Stage 1 .. The ProblemObjectives of Cluster Analysis

• Taxonomical description.– Forming a taxonomy - an empirical

classification• Data simplification.

– Grouping similar observations to simplify the following analyses

• Relationship Identification– Identifying relationships between observations

Stage 2 .. Design the Analysis

• Selection of the clustering variables– The derived clusters reflect the inherent

structure only as defined by the clustering variate

– Use theoretical, conceptual and practical considerations to select the clustering variate

• Outliers– Errors or are some groups under-represented ?– Can use profile diagrams. Tedious.

Stage 2 .. Design the Analysis .. 2

Observation Profile

0

2

4

6

8

10

12

X1 X2 X3 X4 X5

ABCDEF


• Measures of similarity. – Correlation– Distance (Most common)– Association (Applicable with non-metric data)

0123456789

0 1 2 3 4

Distance

Distance

Corelation

Corelation

Stage 2 .. Design the Analysis .. 3 Measures of Similarity- Distance

A

O B

Euclidian Distance = (A-O)2+(B-O)2

= (X1A-X1B)2+(X2A-X2B)2

Block Distance = |A-O| + |B-O| = | X1A-X1B | + | X2A-X2B |

X1

X2

X2A

X2B

X1A X1B

(XiA-XiB)Pi=1

nk

P is the number of variables


• Standardizing the data– Scaling alters the Euclidean distances and the

relative importance of each characteristic (Time measured in hours is 60 times less influential than time measured in minutes)

– When ever conceptually possible, variables should be standardized - expressed as the no. of s.d.’s from the mean

– multicollinearity implicitly increases the weights of the multicollinear characteristics

Standardizing the DataX1 X2 X3 X4 MEAN S1 S2 S3 S4 Z1 Z2 Z3 Z4

A 9 8 9 9 8,75 0,25 -0,75 0,25 0,25 4,88 2,88 2,38 2,38B 5 4 5 5 4,75 0,25 -0,75 0,25 0,25 0,88 -1,13 -1,63 -1,63C 7 8 6 4 6,25 0,75 1,75 -0,25 -2,25 2,88 2,88 -0,63 -2,63D 2 4 6 7 4,75 -2,75 -0,75 1,25 2,25 -2,13 -1,13 -0,63 0,38E 1 3 8 5 4,25 -3,25 -1,25 3,75 0,75 -3,13 -2,13 1,38 -1,63F 2 3 6 7 4,50 -2,50 -1,50 1,50 2,50 -2,13 -2,13 -0,63 0,38G 6 7 8 9 7,50 -1,50 -0,50 0,50 1,50 1,88 1,88 1,38 2,38H 1 4 5 7 4,25 -3,25 -0,25 0,75 2,75 -3,13 -1,13 -1,63 0,38

MEAN 4,13 5,13 6,63 6,63

CASE-WISE STANDARDIZATION

VARIABLE-WISE STANDARDIZATION

Stage 3 .. Assumptions of Cluster Analysis

•No important assumptions •It is mostly mathematical analysis•Statistical foundations are weak

Stage 4 .. Deriving the Clusters

• 2 main clustering algorithms – Hierarchical – Non-hierarchical

• Hierarchical algorithms. Illustrated by early example– agglomerative or divisive procedures– several measures of the distance between

clusters

Stage 4 .. Deriving the ClustersMeasuring the Distance Between Clusters

Stage 4 .. Deriving the ClustersMeasuring the Distance Between Clusters

• Centroid. Distance from the cluster centroids• Single linkage or nearest neighbor.

Minimum distance between members of the separate clusters

• Complete linkage or farthest neighbor. Maximum distance between members of the separate clusters.

• Ward’s method. The within cluster sum of squares is minimized over all clusters

Stage 4 .. Measuring the Distance Between

Clusters- Centroid

+

+

Stage 4 .. Measuring the Distance Between

Clusters- Single Linkage

Stage 4 . Measuring the Distance Between

Clusters- Complete Linkage

Stage 4 . Measuring the Distance Between Clusters- Ward’s Method

SS1

SS2

SS3

SS4Min{(SS1+SS2),(SS3+SS4)}

Stage 4 .. Deriving the ClustersNon-Hierarchical Clustering

• Start by selecting ‘cluster seeds’ as cluster centres• Sequential threshold. Cluster all observations within a

specified distance of the seed. Then add extra seeds.• Parallel threshold. Select several seeds and assign

objects within the threshold distance to the closest seed. • Optimization. Allows observations to be moved to a

cluster that has become closer• Selection of cluster seeds alters the clusters

obtained

Stage 4 .. Deriving the ClustersNon-Hierarchical Clustering- Stage 1

Stage 4 .. Deriving the ClustersNon-Hierarchical Clustering- Stage 2

+

+

Stage 4 .. Deriving the clustersChoosing between algorithms

• Problems with hierarchical methods– Influenced by outliers– Not amenable to analyzing very large samples (> 500)

• Problems with non-hierarchical methods– solution depends on the choice of seeds

• Perhaps a combination of methods gives the best result. – Use hierarchical method to find suitable seeds and

then a non-hierarchical method

Stage 5. Interpreting the Clusters

• Examine each cluster to assign a label describing the nature of the cluster

• Interpreting the clusters can confirm prior theories. Can check preconceived typology

Stage 6. Validation

• Ensure practical significance of clusters

• Use profile analysis to examine the results

Summary

• Cluster analysis is an art more than a science!

• Different measures and different algorithms can effect the results

• Final selection of the clusters is based on both objective and subjective considerations

LIFE STYLE SEGMENTATION

AN APPLICATION

VARIABLESS24.1. cevre dostu urunlere daha fazla para verebilirimS24.2. kendimi daha da gelistirmek isterimS24.3. eglence,hayat dolu bir hayat benim için önemliS24.4. günlük yasamda işlerim yolundaS24.5. kendimi mutlu ve huzurlu hissediyorumS24.6. çevremdeki insanlari güvenilir buluyorumS24.7 Ev işleri ve çocuklarla erkekler de ilgilenmeliS24.8. param oldugunu gösteren ürünleri satin alirimS24.9. evimi çok para ile hos ve çekici hale getirdimS24.10 önümüzdeli yillarda hayatin tadini çikarmak istiyorumS24.11 teknolojik ilerleme yasam zevkini yok ediyorS24.12 ailem ve yakin arkadaslarimla olmayi tercih ederimS24.13 dünyada olup bitenlerden haberdar olmak isterimS24.14 zihinsel ve ruh sagligim önemlidirS24.15 satin aldigim ürünlerle aramda duygusal bag oluşurS24.16 samimi ve içten konusurumS24.17 kendimi sikinti ve strese sokmadan yaşamaya çalisiyorumS24.18 gerçekten ise yarayan isler yapmak beni mutlu ederS24.19 risk alıp sansımı denerimS24.20 modayi sürekli takip ederimS24.21 yeni ve degisik seyleri denemeyi severimS24.22 sosyal bir yasantim varS24.23 geleneklere bagli bir insanimS24.24 ihtiyacim olan seyleri satin alirim

DESCRIPTIVESDescriptive Statistics

736 1,00 4,00 1,8152 ,9057

736 1,00 4,00 1,4620 ,6399

735 1,00 4,00 2,2218 ,9659

736 1,00 4,00 1,6780 ,6605

736 1,00 4,00 1,5856 ,6563

735 1,00 4,00 2,2299 ,9117

736 1,00 4,00 1,6508 ,8739

735 1,00 4,00 3,0844 ,9978

735 1,00 4,00 2,0626 ,8959

736 1,00 4,00 1,7731 ,8452

736 1,00 4,00 2,2052 ,9911

736 1,00 4,00 1,3193 ,5495

736 1,00 4,00 1,4185 ,6732

736 1,00 4,00 1,1916 ,4837

734 1,00 4,00 2,6608 1,0985

733 1,00 4,00 1,3233 ,5536

736 1,00 4,00 1,6033 ,7452

736 1,00 4,00 1,1834 ,4399

736 1,00 4,00 2,1481 ,9848

736 1,00 4,00 2,8152 1,0080

735 1,00 4,00 1,9619 ,9033

734 1,00 4,00 2,2411 ,9004

724 1,00 4,00 1,6754 ,8154

731 1,00 4,00 1,3146 ,5560

710

S24@1 S24.1.cevre dostu urunlere daha fazla para verebilirim

S24@2 S24.2.kendimi daha da gelistirmek isterim

S24@3 S24.3.eglence,hayat dolu bir hayat benim için önemli

S24@4 S24.4.günlük yasamda iþlerim yolunda

S24@5 S24.5.kendimi mutlu ve huzurlu hissediyorum

S24@6 S24.6.çevremdeki insanlari güvenilir buluyorum

S24@7 S24.7ev iþleri ve çocuklarla erkekler de ilgilenmeli

S24@8 S24.8.param oldugunu gösteren ürünleri satin alirim

S24@9 S24.9.evimi çok para ile hos ve çekici hale getirdim

S24@10 S24.10.önümüzdeli yillarda hayatin tadini çikarmak istiyorum

S24@11 S24.11.teknolojik ilerleme yasam zevkini yok ediyor

S24@12 S24.12.ailem ve yakin arkadaslarimla olmayi tercih ederim

S24@13 S24.13.dünyada olup bitenlerden haberdar olmak isterim

S24@14 S24.14zihinsel ve ruh sagligim önemlidir

S24@15 S24.15satin aldigim ürünlerle aramda duygusal bag oluþur

S24@16 S24.16samimi ve içten konusurum

S24@17 S24.17.kendimi sikinti ve strese sokmadan yaþamaya çalisiyorum

S24@18 S24.18.gerçekten ise yarayan isler yapmak beni mutlu eder

S24@19 S24.19.risk alýp sansýmý denerim

S24@20 S24.20.modayi sürekli takip ederim

S24@21 S24.21yeni ve degisik seyleri denemeyi severim

S24@22 S24.22.sosyal bir yasantim var

S24@23 S24.23.geleneklere bagli bir insanim

S24@24 S24.24.ihtiyacim olan seyleri satin alirim

Valid N (listwise)

N Minimum Maximum Mean Std. Deviation

Mean Std. Deviation

Mean Std. Deviation

Mean Std. Deviation

S24.1.cevre dostu urunlere daha fazla para verebilirim 1,67 0,79 2,19 1,05 1,83 0,91S24.2.kendimi daha da gelistirmek isterim 1,33 0,52 1,76 0,78 1,46 0,64S24.3.eglence,hayat dolu bir hayat benim için önemli 1,89 0,82 2,92 0,88 2,22 0,97S24.4.günlük yasamda işlerim yolunda 1,65 0,65 1,75 0,68 1,68 0,66S24.5.kendimi mutlu ve huzurlu hissediyorum 1,54 0,61 1,68 0,70 1,58 0,64S24.6.çevremdeki insanlari güvenilir buluyorum 2,24 0,89 2,23 0,95 2,24 0,91S24.7ev işleri ve çocuklarla erkekler de ilgilenmeli 1,65 0,88 1,67 0,88 1,66 0,88S24.8.param oldugunu gösteren ürünleri satin alirim 2,96 1,02 3,40 0,87 3,10 0,99S24.9.evimi çok para ile hos ve çekici hale getirdim 1,88 0,81 2,45 0,95 2,06 0,90S24.10.önümüzdeli yillarda hayatin tadini çikarmak istiyorum 1,52 0,66 2,29 0,93 1,76 0,83S24.11.teknolojik ilerleme yasam zevkini yok ediyor 2,27 1,01 2,05 0,92 2,20 0,99S24.12.ailem ve yakin arkadaslarimla olmayi tercih ederim 1,33 0,54 1,29 0,55 1,32 0,55S24.13.dünyada olup bitenlerden haberdar olmak isterim 1,31 0,58 1,63 0,79 1,41 0,67S24.14zihinsel ve ruh sagligim önemlidir 1,16 0,41 1,25 0,58 1,19 0,47S24.15satin aldigim ürünlerle aramda duygusal bag oluşur 2,47 1,10 3,07 0,98 2,66 1,10S24.16samimi ve içten konusurum 1,29 0,50 1,39 0,66 1,32 0,56S24.17.kendimi sikinti ve strese sokmadan yaşamaya çalisiyorum1,53 0,68 1,76 0,86 1,60 0,75S24.18.gerçekten ise yarayan isler yapmak beni mutlu eder 1,18 0,42 1,19 0,44 1,18 0,43S24.19.risk alıp sansımı denerim 1,86 0,87 2,75 0,94 2,14 0,98S24.20.modayi sürekli takip ederim 2,51 0,94 3,55 0,67 2,84 0,99S24.21yeni ve degisik seyleri denemeyi severim 1,63 0,66 2,65 0,95 1,95 0,90S24.22.sosyal bir yasantim var 2,02 0,77 2,73 0,94 2,25 0,89S24.23.geleneklere bagli bir insanim 1,77 0,85 1,46 0,68 1,67 0,81S24.24.ihtiyacim olan seyleri satin alirim 1,31 0,54 1,30 0,58 1,31 0,55

Cluster 1 Cluster 2 Total

SEGMENT PROFILESNO STANDARDIZATION

1,00

1,50

2,00

2,50

3,00

3,50

4,00

S24

.1.c

evre

dos

tu u

runl

ere

daha

fazl

a pa

ra v

ereb

ilirim

S24

.2.k

endi

mi d

aha

da g

elis

tirm

ek is

terim

S24

.3.e

glen

ce,h

ayat

dol

u bi

r hay

at b

enim

için

öne

mli

S24

.4.g

ünlü

k ya

sam

da iş

lerim

yol

unda

S24

.5.k

endi

mi m

utlu

ve

huzu

rlu h

isse

diyo

rum

S24

.6.ç

evre

mde

ki in

sanl

ari g

üven

ilir b

uluy

orum

S24

.7ev

işle

ri ve

çoc

ukla

rla e

rkek

ler d

e ilg

ilenm

eli

S24

.8.p

aram

old

ugun

u gö

ster

en ü

rünl

eri s

atin

alir

im

S24

.9.e

vim

i çok

par

a ile

hos

ve

çeki

ci h

ale

getir

dim

S24

.10.

önüm

üzde

li yi

llard

a ha

yatin

tadi

ni ç

ikar

mak

istiy

orum

S24

.11.

tekn

oloj

ik il

erle

me

yasa

m z

evki

ni y

ok e

diyo

r

S24

.12.

aile

m v

e ya

kin

arka

dasl

arim

la o

lmay

i ter

cih

eder

im

S24

.13.

düny

ada

olup

bite

nler

den

habe

rdar

olm

ak is

terim

S24

.14z

ihin

sel v

e ru

h sa

glig

im ö

nem

lidir

S24

.15s

atin

ald

igim

ürü

nler

le a

ram

da d

uygu

sal b

ag o

luşu

r

S24

.16s

amim

i ve

içte

n ko

nusu

rum

S24

.17.

kend

imi s

ikin

ti ve

stre

se s

okm

adan

yaş

amay

a ça

lisiy

orum

S24

.18.

gerç

ekte

n is

e ya

raya

n is

ler y

apm

ak b

eni m

utlu

ede

r

S24

.19.

risk

alıp

san

sım

ı de

nerim

S24

.20.

mod

ayi s

ürek

li ta

kip

eder

im

S24

.21y

eni v

e de

gisi

k se

yler

i den

emey

i sev

erim

S24

.22.

sosy

al b

ir ya

sant

im v

ar

S24

.23.

gele

nekl

ere

bagl

i bir

insa

nim

S24

.24.

ihtiy

acim

ola

n se

yler

i sat

in a

lirim

Cluster 1 Cluster 2

EXAMPLE

Variable No VariableS24.1. cevre dostu urunlere daha fazla para verebilirimS24.2. kendimi daha da gelistirmek isterimS24.3. eglence,hayat dolu bir hayat benim için önemliS24.4. günlük yasamda işlerim yolundaS24.5. kendimi mutlu ve huzurlu hissediyorumS24.6. çevremdeki insanlari güvenilir buluyorumS24.7 ev işleri ve çocuklarla erkekler de ilgilenmeliS24.8. param oldugunu gösteren ürünleri satin alirimS24.9. evimi çok para ile hos ve çekici hale getirdimS24.10 önümüzdeli yillarda hayatin tadini çikarmak istiyorumS24.11 teknolojik ilerleme yasam zevkini yok ediyorS24.12 ailem ve yakin arkadaslarimla olmayi tercih ederimS24.13 dünyada olup bitenlerden haberdar olmak isterimS24.14 zihinsel ve ruh sagligim önemlidirS24.15 satin aldigim ürünlerle aramda duygusal bag oluşurS24.16 samimi ve içten konusurumS24.17 kendimi sikinti ve strese sokmadan yaşamaya çalisiyorumS24.18 gerçekten ise yarayan isler yapmak beni mutlu ederS24.19 risk alıp sansımı denerimS24.20 modayi sürekli takip ederimS24.21 yeni ve degisik seyleri denemeyi severimS24.22 sosyal bir yasantim varS24.23 geleneklere bagli bir insanimS24.24 ihtiyacim olan seyleri satin alirim

1-Çok uygun

2-Uygun

3-Uygun değil

4-Hiç uygun değil

Descriptive Statistics

736 1.00 4.00 1.8152 .9057

736 1.00 4.00 1.4620 .6399

735 1.00 4.00 2.2218 .9659

736 1.00 4.00 1.6780 .6605

736 1.00 4.00 1.5856 .6563

735 1.00 4.00 2.2299 .9117

736 1.00 4.00 1.6508 .8739

735 1.00 4.00 3.0844 .9978

735 1.00 4.00 2.0626 .8959

736 1.00 4.00 1.7731 .8452

736 1.00 4.00 2.2052 .9911

736 1.00 4.00 1.3193 .5495

736 1.00 4.00 1.4185 .6732

736 1.00 4.00 1.1916 .4837

734 1.00 4.00 2.6608 1.0985

733 1.00 4.00 1.3233 .5536

736 1.00 4.00 1.6033 .7452

736 1.00 4.00 1.1834 .4399

736 1.00 4.00 2.1481 .9848

736 1.00 4.00 2.8152 1.0080

735 1.00 4.00 1.9619 .9033

734 1.00 4.00 2.2411 .9004

724 1.00 4.00 1.6754 .8154

731 1.00 4.00 1.3146 .5560

710

























Valid N (listwise)

NMinimu

m Maximum MeanStd.

Deviation

Cluster Number of Case

21

Mean

3.5

3.0

2.5

2.0

1.5

1.0

.5

S24.15satin aldigim

ürünlerle aramda duy

S24.16samimi ve içte

n konusurum

S24.17.kendimi sikin

ti ve strese sokmada

S24.18.gerçekten ise

yarayan isler yapma

S24.19.risk alıp san

sımı denerim

S24.20.modayi sürekl

i takip ederim

S24.21yeni ve degisi

k seyleri denemeyi s

S24.22.sosyal bir ya

santim var

S24.23.geleneklere b

agli bir insanim

S24.24.ihtiyacim ola

n seyleri satin alir

Rotated Component Matrixa

.752

.690

.690

.575

.758

.697

.537

.524

.674

.656

.540

.508

.596

.565

-.553

.750

.548

.528

.692

.657

.664

.614

























1 2 3 4 5 6 7

Component

Extraction Method: Principal Component Analysis. Rotation Method: Varimax with Kaiser Normalization.

Rotation converged in 9 iterations.a.

Number of Cases in each Cluster

459.000

251.000

710.000

26.000

1

2

Cluster

Valid

Missing

Final Cluster Centers

.05870 -.10734

-.27904 .51028

-.43037 .78701

.06345 -.11603

-.01579 .02887

-.32864 .60099

.05578 -.10201

FAC1_3 REGR factor score 1 for analysis 3







1 2

Cluster

FAC1_3 REGR factor score 1 for analysis 3FAC2_3 REGR factor score 2 for analysis 3FAC3_3 REGR factor score 3 for analysis 3FAC4_3 REGR factor score 4 for analysis 3FAC5_3 REGR factor score 5 for analysis 3FAC6_3 REGR factor score 6 for analysis 3FAC7_3 REGR factor score 7 for analysis 3

Variables

1 2

Cluster

-0.40000

0.00000

0.40000

0.80000

Valu

es

Final Cluster Centers

applied multivariate statistics cluster analysis fall 2015 week 9

Documents