1) klāsteru analīze

Praktiskā ekoloģija, Līga Strazdiņa Botānikas un ekoloģijas katedra

DATU GRUPĒŠANA

MĒRĶISklasificēt datu kopu apakšgrupās jeb klāsteros. Katrā klāsterī tiek apvienoti savstarpēji visciešāk saistītie objekti.

JĒGAsaprast, cik līdzīgi (jeb atšķirīgi) ir objekti, kas tiek grupēti.

REZULTĀTS

dendrogramma.

HIERARHISKA klasifikācija

no apakšgrupām pakāpeniski vairākos soļos tiek veidotas lielākas grupas.

Ethem Alpaydin http://www.cmpe.boun.edu.tr/~ethem/i2ml/

NEHIERARHISKA klasifikācija

datu kopai tiek meklēta optimālā struktūra, kurā grupas var arī nebūt savstarpēji saistītas un nesastāv no apakšgrupām.

PIEMĒRS.ar vidējā k (k-mean) metodi

datu kopu atkārtoti grupē klāsteros pēc objektu tuvākas

atrašanās klāstera centram

A B C D E

D , E

A , B

C , D , E

A , B , C , D , Egrupu apvienoša

na

klāsteru sadalīša

na

Kuras grupas

?

AGLOMERATĪVĀ (APVIENOŠANAS) metode

apakšgrupas hierarhiski apvieno lielākās, līdz iegūst tikai vienu grupu ar visiem objektiem.

DALĪŠANAS metode

datu kopu dala divās grupās, tās dala atkārtoti, ...

DISTANCE MEASURE(detalizētāks apraksts iepriekšējās lekcijās).

Visbiežāk tiek izmantoti:+ Sorensen (Bray-Curtis vai Relative)+ Euclidean (Pythagorean vai Relative)

Mazāk piemēroti:- Jaccard- Correlation- Chi-squared

PARAMETRIizvēloties grupu savienošanas metodi (Group linkage method), jāņem vērā, kā tiks mērīts līdzīgums/atšķirīgums starp pētāmajiem objektiem (Distance measure).

GROUP LINKAGE METHODgrupu savienošanas metodes tiek vērtētas pēc parametriem:

KOMBINATORISKA STRATĒĢIJA – atšķirības starp grupām aprēķina ar kombināciju vienādojumu.

NEKOMBINATORISKA STRATĒĢIJA – grupu atšķirības aprēķina pēc katra soļa, tādēļ metode ir lēnāka un aizņem vairāk datoratmiņas.

SAVIENOJAMAS ar attāluma jeb atšķirības mērīšanas metodi – vairākām grupu savienošanas metodēm neder Sorensen metode.

NEMAINĪGS LAUKS – apvienojot grupas, to sākotnējais attālums paliek konstants (pozitīva īpašība).

MAINĪGS LAUKS – apvienotās grupas pietuvojas (lauku saspiež) vai attālinās (lauku izpleš) vēl atlikušajiem objektiem un izmaina to sākotnējo attālumu. Rezultātā veidojas kļūdainas dendrogrammas.

GROUP LINKAGE METHODNEAREST NEIGHBOR

attālums starp divām grupām =attālums starp diviem tuvākajiem objektiem no pretējām grupām

+

+G1

G2

- atšķirību starp grupām nosaka tikai pēc diviem objektiem

- nespēj apstrādāt lielu populāciju datus

- saspiež lauku

- dendrogrammai gari ‘zari’

+

+G1

G2

GROUP LINKAGE METHOD

FARTHEST NEIGHBOR

attālums starp divām grupām =attālums starp diviem tālākajiem objektiem no pretējām grupām

+ veido daudz blīvus klāsterus

- atšķirību starp grupām nosaka tikai pēc diviem objektiem

- izpleš lauku, tādejādi veido grupas, pat ja nevajadzētu – uzsver outlier jeb nepiederošos datus

GROUP LINKAGE METHODMEDIAN & CENTROIDTikai ar Euclidean distance measure!!

attālums starp divām grupām =

attālums starp grupu centroīdām, ko mēra ar Eiklīda metodi

G1G2

- abas metodes saspiež lauku, tiek pievienotas grupas, kas varētu veidot atsevišķus klāsterus- nav savienojamas ar Sorensen metodi

GROUP LINKAGE METHOD

GROUP AVERAGE

+

+G1

G2

attālums starp divām grupām =vidējā vērtība no attāluma starp visiem vienas grupas objektiem ar visiem otras grupas objektiem

+ nemaina lauku- dendrogrammai gari ‘zari’

GROUP LINKAGE METHODWARD’S METHODTikai ar Euclidean distance measure!!

+ nemaina lauku+ veido līdzīga izmēra klāsterus- nav savienojama ar Sorensen metodi

GROUP LINKAGE METHODFLEXIBLE BETAß = -0.25 - līdzīga dendrogramma kā Ward’s metodeiß = 0 - līdzīga dendrogramma kā McQuitty’s metodei

+ nemaina lauku

GROUP LINKAGE METHOD

MCQUITTY’S METHODTikai ar Euclidean distance measure!!

- saspiež lauku- nav savienojamas ar Sorensen metodi- lieliem populāciju datiem dendrogrammai gari ‘zari’

SECINĀJUMI

par piemērotākajām metodēm uzskatāmas:

DISTANCE MEASURE GROUP LINKAGE METHOD

Sorensen & Euclidean Group averageEuclidean Ward’s methodSorensen & Euclidean Flexible beta (ß = -0.25)

PAPILDUS FUNKCIJAsadala parauglaukumus vairākos grupu līmeņos

PAPILDUS FUNKCIJA

izvērtē, cik grupu līmeņi ir piemēroti esošai datu kopai. Mazākā iespēja ir divas grupas.

KĀ INTERPRETĒT KLĀSTERANALĪZES REZULTĀTUS?

Distance (Objective function) – norāda informācijas zudumus aglomerācijas (grupu apvienošanas) procesā

Information Remaining (%) – norāda %, cik informācijas vēl nav apstrādātas

A1; A55; ... Parauglaukumu numuri

atsevišķi klāsteri

KĀ INTERPRETĒT KLĀSTERANALĪZES REZULTĀTUS?

grupu savienošanas metode

attāluma jeb līdzīguma/atšķirīguma mērīšanas metode

‘chaining’ jeb virknēšana ir secīga mazu grupu pievienošana lielai. Jo lielāks rādītājs, jo grūtāk interpretējama dendrogramma