cluster analysiscms.dm.uba.ar/.../analisis_multivariado_ii/cluster-2018.pdfi 2rp, el prop osito del...
TRANSCRIPT
![Page 1: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/1.jpg)
1/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Cluster Analysis
Graciela Boente
![Page 2: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/2.jpg)
2/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Datos de Planetas EnanosNombre Nodo1 Inclinacion2 Eje3
1935RF 130.916 4.659 2.25621941FD 132.200 4.700 2.1300195QT 130.070 4.790 2.1893
1940YL 338.333 16.773 2.74651953NH 339.625 16.067 2.7335
1930SY 80.804 4.622 2.18901949HM 80.804 4.622 2.1906
1929EC 115.072 2.666 3.16761948R0 89.900 2.100 3.35001951AM 115.072 2.666 3.1676
• 1: angulo, en el plano de la orbita terrestre, en el cual el planeta cruza la orbita terrestre
• 2: angulo entre el plano de la orbita terrestre y el plano de la orbita del planeta
• 3: Maxima distancia del planeta al sol dividida por la distancia de la tierra al sol.
![Page 3: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/3.jpg)
3/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Datos de Planetas Enanos
• Existen varios planetas enanos entre Marte y Jupiter.
• En una fotografıa versus estrellas fijas, un planeta menor se vecomo una lınea curva a partir de la cual elementos orbitalespueden ser calculados.
• Muchos astronomos ven los planetas menores como ruido queoscurece la observacion de otros movimientos que ellosconsideran interesantes.
• Hay mas de 700.000 planetas enanos de los cuales 518.420estan numerados.
![Page 4: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/4.jpg)
4/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Datos de Planetas Enanos
• Es importante decidir que visiones corresponden al mismoplaneta.
• En particular si se dice haber descubierto un nuevo planetahay que chequear que las observaciones hechas de el nocorresponden a ningun otro planeta identificado con unnombre.
El dar nombre a los planetas menores y la clasificacion de lasobservaciones hechas es un tıpico problema de agrupamiento. Losobjetos son las visiones y dos objetos son considerados similares si,teniendo en cuenta el error de medicion, las observaciones puedanser posiblemente del mismo planeta.
Un grupo es entonces un conjunto de observaciones del mismoplaneta.
![Page 5: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/5.jpg)
4/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Datos de Planetas Enanos
• Es importante decidir que visiones corresponden al mismoplaneta.
• En particular si se dice haber descubierto un nuevo planetahay que chequear que las observaciones hechas de el nocorresponden a ningun otro planeta identificado con unnombre.
El dar nombre a los planetas menores y la clasificacion de lasobservaciones hechas es un tıpico problema de agrupamiento. Losobjetos son las visiones y dos objetos son considerados similares si,teniendo en cuenta el error de medicion, las observaciones puedanser posiblemente del mismo planeta.
Un grupo es entonces un conjunto de observaciones del mismoplaneta.
![Page 6: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/6.jpg)
5/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Comentarios
• Hemos visto como asignar una nueva observacion a grupos yaconocidos.
• Un problema mas complejo es el de descubrir cuales son esosgrupos, si no hay un criterio claro.
• La validez de los clusters obtenidos por muchos de losmetodos existentes es cuestionable debido a la falta dedesarrollo de aspecto probabilısticos y estadısticos quejustifiquen esa metodologıa.
![Page 7: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/7.jpg)
6/71
Introduccion Metodos Jerarquicos Metodos Particionantes
DefinicionesCluster Analysis es el proceso a traves del cual objetivamenteagrupamos juntas entidades en base a sus semejanzas o diferencias.
Estos metodos se conocen tambien como
• Metodos de clasificacion automatica o no supervisada
• Reconocimiento de patrones sin supervision
• Metodos de conglomerados
Los metodos de cluster pueden ser
• jerarquicos
• particionantes
• Clusters superpuestos
![Page 8: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/8.jpg)
7/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Analisis de clustersDados x1, . . . , xn, xi ∈ Rp, el proposito del cluster analysis es
• Dar un esquema de clasificacion para agrupar los objetos x1, . . . , xnen k grupos
0 50 100 1500
2040
6080
100
120
x1
x 2
• Hallar, para un numero de clusters dado una segmentacionadecuada, de modo tal que los grupos sean homogeneos peroseparados entre sı.
0 50 100 150
020
4060
8010
012
0
x1
x 2
![Page 9: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/9.jpg)
7/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Analisis de clustersDados x1, . . . , xn, xi ∈ Rp, el proposito del cluster analysis es
• Dar un esquema de clasificacion para agrupar los objetos x1, . . . , xnen k grupos
0 50 100 1500
2040
6080
100
120
x1
x 2
• Hallar, para un numero de clusters dado una segmentacionadecuada, de modo tal que los grupos sean homogeneos peroseparados entre sı.
0 50 100 150
020
4060
8010
012
0
x1
x 2
![Page 10: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/10.jpg)
7/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Analisis de clustersDados x1, . . . , xn, xi ∈ Rp, el proposito del cluster analysis es
• Dar un esquema de clasificacion para agrupar los objetos x1, . . . , xnen k grupos
0 50 100 1500
2040
6080
100
120
x1
x 2
• Hallar, para un numero de clusters dado una segmentacionadecuada, de modo tal que los grupos sean homogeneos peroseparados entre sı.
0 50 100 150
020
4060
8010
012
0
x1
x 2
![Page 11: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/11.jpg)
8/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Clusters particionantes
Los clusters particionantes tratan el siguiente problema.
Dados x1, . . . , xn que sospechamos son heterogeneos, se deseadividirlos en k grupos de modo tal que
• cada elemento pertenezca a uno y solo uno de los grupos
• cada individuo quede clasificado
• cada grupo sea internamente homogeneo.
Esto metodos usan la matriz X de datos.
![Page 12: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/12.jpg)
8/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Clusters particionantes
Los clusters particionantes tratan el siguiente problema.
Dados x1, . . . , xn que sospechamos son heterogeneos, se deseadividirlos en k grupos de modo tal que
• cada elemento pertenezca a uno y solo uno de los grupos
• cada individuo quede clasificado
• cada grupo sea internamente homogeneo.
Esto metodos usan la matriz X de datos.
![Page 13: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/13.jpg)
8/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Clusters particionantes
Los clusters particionantes tratan el siguiente problema.
Dados x1, . . . , xn que sospechamos son heterogeneos, se deseadividirlos en k grupos de modo tal que
• cada elemento pertenezca a uno y solo uno de los grupos
• cada individuo quede clasificado
• cada grupo sea internamente homogeneo.
Esto metodos usan la matriz X de datos.
![Page 14: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/14.jpg)
9/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Clusters jerarquicosLos clusters jerarquicos desean estructurar los datos de acuerdo a susimilitud pero en forma jerarquica.
• En lugar de tener una particion se tienen niveles cada vez mas finos,de modo que los niveles superiores contengan a los inferiores. Esusual al clasificar plantas o animales.
1 3 2 4 5
• Estrictamente hablando estos metodos no definen grupos, sino laestructura de asociacion en cadena que pueda existir entre loselementos.
![Page 15: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/15.jpg)
9/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Clusters jerarquicosLos clusters jerarquicos desean estructurar los datos de acuerdo a susimilitud pero en forma jerarquica.
• En lugar de tener una particion se tienen niveles cada vez mas finos,de modo que los niveles superiores contengan a los inferiores. Esusual al clasificar plantas o animales.
1 3 2 4 5
• Estrictamente hablando estos metodos no definen grupos, sino laestructura de asociacion en cadena que pueda existir entre loselementos.
![Page 16: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/16.jpg)
10/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Clusters jerarquicos
• Sin embargo, la jerarquıa obtenida permite tambien unaparticion en grupos.
1 3 2 4 5
Esto metodos pueden usar la matriz X de datos para construirsemejanzas o la matriz de similaridad.
![Page 17: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/17.jpg)
10/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Clusters jerarquicos
• Sin embargo, la jerarquıa obtenida permite tambien unaparticion en grupos.
1 3 2 4 5
Esto metodos pueden usar la matriz X de datos para construirsemejanzas o la matriz de similaridad.
![Page 18: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/18.jpg)
10/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Clusters jerarquicos
• Sin embargo, la jerarquıa obtenida permite tambien unaparticion en grupos.
1 3 2 4 5
Esto metodos pueden usar la matriz X de datos para construirsemejanzas o la matriz de similaridad.
![Page 19: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/19.jpg)
11/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Clasificacion de variables
• En problemas con muchas variables (p grande o p >> n) esinteresante hace un estudio exploratorio inicial para dividir lasvariables en grupos.
• Este estudio puede orientarnos para plantear modelos formalesde reduccion de dimension como los vistos.
• Podemos usar agrupamientos particionantes o jerarquicos.
Para agrupar variables, se parte de
• la matriz de correlacion para variables continuas y
• para variables discretas la matriz se construye a partir delcoeficiente de contingencia.
![Page 20: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/20.jpg)
12/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Tipos de cluster
Los clusters pueden ser de varias formas y tamanos
Esfericos Elıpticos Encandenados
−4 −2 0 2 4 6 8
02
46
810
x1
x 2
−6 −4 −2 0 2 4
02
46
810
x1
x 2
A
B
C
−1 0 1 2
12
34
5
x1
x 2
CB A
![Page 21: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/21.jpg)
13/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Tipos de cluster• Para clusters esfericos la mayorıa de los metodos llevan a una descripcion
adecuada.
−4 −2 0 2 4 6 8
02
46
810
x1
x 2
• Para clusters elıpticos, un metodo que usa la distancia entre puntospuede llevar a resultados erroneos.
−6 −4 −2 0 2 4
02
46
810
x1
x 2
A
B
C
Un algoritmo que tiende a formar clusters compactos va a formar 4clusters en lugar de 2 pues la distancia de B a C es mayor que la de B a A.
![Page 22: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/22.jpg)
13/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Tipos de cluster• Para clusters esfericos la mayorıa de los metodos llevan a una descripcion
adecuada.
−4 −2 0 2 4 6 8
02
46
810
x1
x 2
• Para clusters elıpticos, un metodo que usa la distancia entre puntospuede llevar a resultados erroneos.
−6 −4 −2 0 2 4
02
46
810
x1
x 2
A
B
C
Un algoritmo que tiende a formar clusters compactos va a formar 4clusters en lugar de 2 pues la distancia de B a C es mayor que la de B a A.
![Page 23: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/23.jpg)
13/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Tipos de cluster• Para clusters esfericos la mayorıa de los metodos llevan a una descripcion
adecuada.
−4 −2 0 2 4 6 8
02
46
810
x1
x 2
• Para clusters elıpticos, un metodo que usa la distancia entre puntospuede llevar a resultados erroneos.
−6 −4 −2 0 2 4
02
46
810
x1
x 2
A
B
C
Un algoritmo que tiende a formar clusters compactos va a formar 4clusters en lugar de 2 pues la distancia de B a C es mayor que la de B a A.
![Page 24: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/24.jpg)
14/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Tipos de cluster
Algunos algoritmos usan el concepto de vecino mas cercano y porlo tanto producen un efecto cadena en datos como en la figura
−1 0 1 2
12
34
5
x1
x 2
CB A
ya que C es cercano a B, B a A y si trabajamos con pares depuntos, obtendremos un solo cluster.
![Page 25: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/25.jpg)
15/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Cluster poblacional: Hartigan (1975)
• Un cluster es una region de alta densidad.
• Dado f0 > 0, un cluster de alta densidad de nivel f0 parax ∼ f es el mayor conjunto convexo conexo de la forma
{x : f (x) ≥ f0}
−1 0 1 2 3
12
34
5
x1
x 2
0.01
0.1
0.1
0.2
0.2
0.3
0.3
![Page 26: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/26.jpg)
16/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Cluster poblacional: Hartigan (1975)
• Una familia de tales clusters T forma un arbol en el sentidoque
Dados A,B ∈ T , se cumple una de las tres
• A ⊂ B• B ⊂ A• A ∩ B = ∅
Para arboles jerarquicos es deseable que la sucesion Tn dedendogramas definida por la muestra x1, . . . , xn ∼ x converja enalgun sentido a T .
Si A ∩ B = ∅, y si An y Bn son los menores clusters de Tn tales que
A ⊂ An y B ⊂ Bn entonces P(An ∩ Bn = ∅)→ 1.
![Page 27: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/27.jpg)
17/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Metodo noparametricoEsta nocion permite definir metodos de cluster a partir deestimadores de la densidad como, por ejemplo,
fn(x) =kn
nHpk λ(V1)
donde
• λ(V1) es el volumen de la bola unidad V1 = {u : ‖u‖ = 1}• Hk = Hk(x) es la distancia de x a su k−esimo vecino mas
cercano entre x1, . . . , xn.
• Si f es continua, tenemos que
• si kn →∞ y kn/n→ 0 fn(x)p−→ f (x)
• Si ademas kn/ log(n)→∞, fn(x)a.s.−→ f (x) y la convergencia
es uniforme sobre compactos.
![Page 28: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/28.jpg)
17/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Metodo noparametricoEsta nocion permite definir metodos de cluster a partir deestimadores de la densidad como, por ejemplo,
fn(x) =kn
nHpk λ(V1)
donde
• λ(V1) es el volumen de la bola unidad V1 = {u : ‖u‖ = 1}• Hk = Hk(x) es la distancia de x a su k−esimo vecino mas
cercano entre x1, . . . , xn.
• Si f es continua, tenemos que
• si kn →∞ y kn/n→ 0 fn(x)p−→ f (x)
• Si ademas kn/ log(n)→∞, fn(x)a.s.−→ f (x) y la convergencia
es uniforme sobre compactos.
![Page 29: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/29.jpg)
18/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Metodo noparametrico
• Mas aun, tasas optimas de convergencia se obtienen si
kn = an2p .
Los clusters quedan definidos por
{x : fn(x) ≥ f0} .
De esta forma obtenemos un arbol Tn en el sentido antesmencionado que va a converger a T si se cumple kn →∞,kn/n→ 0 y kn/ log(n)→∞.
El metodo de single linkage corresponde a la eleccion kn = 1. Porlo tanto, no se obtiene un estimador consistente de la densidad, loque explica su tendencia excesiva a encadenar.
Sin embargo, si p = 1 el metodo de single linkage es consistente,pero no lo es para p > 1.
![Page 30: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/30.jpg)
18/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Metodo noparametrico
• Mas aun, tasas optimas de convergencia se obtienen si
kn = an2p .
Los clusters quedan definidos por
{x : fn(x) ≥ f0} .
De esta forma obtenemos un arbol Tn en el sentido antesmencionado que va a converger a T si se cumple kn →∞,kn/n→ 0 y kn/ log(n)→∞.
El metodo de single linkage corresponde a la eleccion kn = 1. Porlo tanto, no se obtiene un estimador consistente de la densidad, loque explica su tendencia excesiva a encadenar.
Sin embargo, si p = 1 el metodo de single linkage es consistente,pero no lo es para p > 1.
![Page 31: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/31.jpg)
18/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Metodo noparametrico
• Mas aun, tasas optimas de convergencia se obtienen si
kn = an2p .
Los clusters quedan definidos por
{x : fn(x) ≥ f0} .
De esta forma obtenemos un arbol Tn en el sentido antesmencionado que va a converger a T si se cumple kn →∞,kn/n→ 0 y kn/ log(n)→∞.
El metodo de single linkage corresponde a la eleccion kn = 1. Porlo tanto, no se obtiene un estimador consistente de la densidad, loque explica su tendencia excesiva a encadenar.
Sin embargo, si p = 1 el metodo de single linkage es consistente,pero no lo es para p > 1.
![Page 32: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/32.jpg)
19/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Ejemplo: k−vecinos con k = 10
−1 0 1 2 3
12
34
5
x1
x 2
0.05
0.1
0.1
0.2
0.2
0.3
0.3
0.3 0.5
−1 0 1 2 3
12
34
5
x1
x 2
0.05
0.1
0.1
0.2
0.2
0.3
0.3
0.3 0.5
![Page 33: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/33.jpg)
19/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Ejemplo: k−vecinos con k = 10
−1 0 1 2 3
12
34
5
x1
x 2
0.05
0.1
0.1
0.2
0.2
0.3
0.3
0.3 0.5
−1 0 1 2 3
12
34
5
x1
x 2
0.05
0.1
0.1
0.2
0.2
0.3
0.3
0.3 0.5
![Page 34: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/34.jpg)
20/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Como elegir k
• En la practica no existe un metodo satisfactorio para elegir k
• Una forma es plotear para cada xi de
log(k) versus Hk(xi )
• En la frontera de un cluster deberıan producirse cortes en elplot.
• Muy costoso si hay muchos datos.
![Page 35: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/35.jpg)
21/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Distancias o disimilaridades
Sea N = {1, · · · , n} identificaremos a xi con su ındice i .
Los metodos jerarquicos parten de una matriz de distancias o desimilaridad entre elementos de la muestra.
Definicion. Diremos que d : Rp × Rp → R es una disimilaridad si
• d(x, y) ≥ 0
• d(x, y) = 0 si y solo si x = y
• d(x, y) = d(y, x)
Se dira una metrica si ademas d(x, y) ≤ d(x, z) + d(z, y).
![Page 36: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/36.jpg)
22/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Disimilaridades
Sea N = {1, · · · , n} identificaremos a xi con su ındice i .
Dada una matriz D = (dij)1≤i,j≤n diremos que D es una matriz dedisimilaridad si
• dij ≥ 0
• dii = 0
• dij = dji
Es metrica si ademas dij ≤ di` + d`j .
![Page 37: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/37.jpg)
23/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Disimilaridades
Si las variables son continuas, las disimilaridades mas usadas son
a) la distancia euclıdea d(x, y) =√∑p
j=1(xj − yj)2
Inconvenientes:
• Los cambios de escala afectan el ordenamiento de las distancias
• Depende de las variables con valores mas grandes
b) la distancia euclıdea de las variables estandarizadas univariadamente
d(x, y) =
√√√√ p∑j=1
(xj − yj
sj
)2
![Page 38: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/38.jpg)
24/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Disimilaridades
b) la distancia euclıdea de las variables estandarizadas univariadamente
d(x, y) =
√√√√ p∑j=1
(xj − yj
sj
)2
−5 0 5 10
−5
05
10
x1
x 2
−5 0 5 10
−5
05
10
x1
x 2
![Page 39: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/39.jpg)
24/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Disimilaridades
b) la distancia euclıdea de las variables estandarizadas univariadamente
d(x, y) =
√√√√ p∑j=1
(xj − yj
sj
)2
−5 0 5 10
−5
05
10
x1
x 2
−5 0 5 10
−5
05
10
x1
x 2
![Page 40: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/40.jpg)
25/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Disimilaridades
b) la distancia euclıdea de las variables estandarizadas univariadamente
d(x, y) =
√√√√ p∑j=1
(xj − yj
sj
)2
Inconvenientes:
• Estandarizar las variables puede diluir las diferencias entre clusterscon respecto a las variables mas discriminatorias.
• Las distancias entre puntos dentro de los grupos pueden resultarmayores respecto de las distancias de puntos entre clusters y losgrupos resultan menos diferenciados.
![Page 41: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/41.jpg)
26/71
Introduccion Metodos Jerarquicos Metodos Particionantes
DisimilaridadesEn general, no se usa la distancia de Mahalanobis, ya que la matriz decovarianza muestral de toda la muestra puede deformar el analisis
−2 0 2 4 6
−2
02
46
x1
x 2
−2 0 2 4 6
−2
02
46
x1
x 2
En este caso cada uno los dos grupos fue generado con matriz decovarianza I2
pero el aspecto del conjunto de todos los puntos hace pensar en una correlacion
positiva. De hecho la correlacion estimada con todos los datos es 0.36.
Inconvenientes:
Las distancias entre puntos dentro de los grupos crecio respecto de las
distancias de puntos entre clusters y los grupos resultan menos diferenciados.
![Page 42: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/42.jpg)
26/71
Introduccion Metodos Jerarquicos Metodos Particionantes
DisimilaridadesEn general, no se usa la distancia de Mahalanobis, ya que la matriz decovarianza muestral de toda la muestra puede deformar el analisis
−2 0 2 4 6
−2
02
46
x1
x 2
−2 0 2 4 6
−2
02
46
x1
x 2
En este caso cada uno los dos grupos fue generado con matriz decovarianza I2
pero el aspecto del conjunto de todos los puntos hace pensar en una correlacion
positiva. De hecho la correlacion estimada con todos los datos es 0.36.
Inconvenientes:
Las distancias entre puntos dentro de los grupos crecio respecto de las
distancias de puntos entre clusters y los grupos resultan menos diferenciados.
![Page 43: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/43.jpg)
27/71
Introduccion Metodos Jerarquicos Metodos Particionantes
SimilaridadesEste problema se agrava si hay variables binarias. Por eso, sesuelen usar matrices de similaridad.
Definicion. Diremos que C = (cij)1≤i ,j≤n diremos que C es unamatriz de similaridad si
• cij ≤ 1
• cii = 1
• cij = cji
Podemos crear una disimilaridad a partir de C como
• dij = 1− cijo
• dij =√
2(1− cij) que es metrica si C es definida positiva
![Page 44: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/44.jpg)
28/71
Introduccion Metodos Jerarquicos Metodos Particionantes
SimilaridadesDefinicion. El coeficiente de similaridad de la variable ` entre doselementos i y j se define como
• cij ,` ≤ 1
• cii ,` = 1
• cij ,` = cji ,`
Gower (1971) propone contruir una similaridad entre los individuosi y j como
cij =
∑p`=1 wij ,` cij ,`∑p
`=1 wij ,`
wij,`
{0 si la comparacion no es posible o no se quiere incluir a la variable `1 caso contario
![Page 45: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/45.jpg)
28/71
Introduccion Metodos Jerarquicos Metodos Particionantes
SimilaridadesDefinicion. El coeficiente de similaridad de la variable ` entre doselementos i y j se define como
• cij ,` ≤ 1
• cii ,` = 1
• cij ,` = cji ,`
Gower (1971) propone contruir una similaridad entre los individuosi y j como
cij =
∑p`=1 wij ,` cij ,`∑p
`=1 wij ,`
wij,`
{0 si la comparacion no es posible o no se quiere incluir a la variable `1 caso contario
![Page 46: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/46.jpg)
29/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Similaridades: Como definirlas?
• Para variables continuas wij ,` = 1 y
cij ,` = 1−|xi` − xj`|
R`
donde R` es el rango de la variable `. Si todas son continuascorresponde a la llamada metrica de Gower.
• Para variables binarias, o sea, si xi` = 0 o 1 para todoindividuo i ,
cij ,` =
{1 si xi` = xj`0 caso contrario
![Page 47: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/47.jpg)
30/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Similaridades: Como definirlas?• Se pueden agrupar las variables binarias en grupos
homogeneos y tratarlas conjuntamente. Supongamos que xtiene todas sus variables binarias entonces podemos definir latabla
xi1 0
xj 1 α β0 γ δ
• Criterio de proporcion de coincidencias
cij,` =α + δ
ppues α + β + γ + δ = p
• Criterio de proporcion de apariciones
cij,` =α
α + β + γ
![Page 48: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/48.jpg)
31/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Similaridades: Como definirlas?
• Otras propuestas
cij ,`(λ, µ) = 1− λ(β + γ)
α + λ(β + γ) + µδ=
α + µδ
α + λ(β + γ) + µδ
es metrica si λ ≥ 1 y µ = 0 o 1.• µ = 0 se usa para el caso antisimetrico• µ = 1 se usa para el caso simetrico.
Observemos que β + γ =∑p
`=1 |xi` − xj`|• Si λ = 2 se da el doble de peso a las coincidencias.
• Para variables discretas con mas de dos estados, Gowerpropone tomar wij ,` = 1 y
cij ,` =
{1 si xi` = xj`0 caso contrario
![Page 49: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/49.jpg)
32/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Similaridades: Como definirlas?
Si x tiene p1 variables continuas, p2 variables binarias y p3
variables discretas de mas de dos valores, podemos definir unasimilaridad entre los individuos i y j como
cij =
p1∑`=1
{1−|xi` − xj`|
R`
}+ α2 + m3
p1 + (p2−δ2) + p3
con
• α2 y δ2 los empates en 1 y 0 para las p2 variables binarias,respectivamente
• m3 el numero de empates para las p3 variables discretas nodicotomicas
![Page 50: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/50.jpg)
33/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Tipos de Clusters
Dada una matriz de disimilaridades D = (dij)1≤i ,j≤n, se deseaclasificar cada punto en un grupo.
Los algoritmos jerarquicos son de dos tipos:
• Algomerativos: Parten de elementos individuales y los vanuniendo en grupos
• de division: Parten de todo el conjunto de datos y los dividensucesivamente hasta llegar a los individuos.
Los metodos aglomerativos son mas rapidos y son los mas usados.
![Page 51: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/51.jpg)
34/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Clusters Algomerativos: Algoritmo
1. Empiece con Cj = {j}, 1 ≤ j ≤ n. La distancia d(C`, Cr ) entre dosclases C` y Cr es d(C`, Cr ) = d`r
2. Seleccione los elementos mas proximos en la matriz de distancias yforme con ellos una clase.
Es decir, si C` y Cr son tales que
d(C`, Cr ) = mini 6=j
d(Ci , Cj)
definaC(new)` = C` ∪ Cr
3. Tire la columna y fila r de la matriz de distancias usada en 2. ycambie todas las distancias en las que interviene el cluster ` deacuerdo a uno de los criterios que daremos a continuacion.
4. Volver a 2.
![Page 52: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/52.jpg)
34/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Clusters Algomerativos: Algoritmo
1. Empiece con Cj = {j}, 1 ≤ j ≤ n. La distancia d(C`, Cr ) entre dosclases C` y Cr es d(C`, Cr ) = d`r
2. Seleccione los elementos mas proximos en la matriz de distancias yforme con ellos una clase.
Es decir, si C` y Cr son tales que
d(C`, Cr ) = mini 6=j
d(Ci , Cj)
definaC(new)` = C` ∪ Cr
3. Tire la columna y fila r de la matriz de distancias usada en 2. ycambie todas las distancias en las que interviene el cluster ` deacuerdo a uno de los criterios que daremos a continuacion.
4. Volver a 2.
![Page 53: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/53.jpg)
34/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Clusters Algomerativos: Algoritmo
1. Empiece con Cj = {j}, 1 ≤ j ≤ n. La distancia d(C`, Cr ) entre dosclases C` y Cr es d(C`, Cr ) = d`r
2. Seleccione los elementos mas proximos en la matriz de distancias yforme con ellos una clase.
Es decir, si C` y Cr son tales que
d(C`, Cr ) = mini 6=j
d(Ci , Cj)
definaC(new)` = C` ∪ Cr
3. Tire la columna y fila r de la matriz de distancias usada en 2. ycambie todas las distancias en las que interviene el cluster ` deacuerdo a uno de los criterios que daremos a continuacion.
4. Volver a 2.
![Page 54: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/54.jpg)
34/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Clusters Algomerativos: Algoritmo
1. Empiece con Cj = {j}, 1 ≤ j ≤ n. La distancia d(C`, Cr ) entre dosclases C` y Cr es d(C`, Cr ) = d`r
2. Seleccione los elementos mas proximos en la matriz de distancias yforme con ellos una clase.
Es decir, si C` y Cr son tales que
d(C`, Cr ) = mini 6=j
d(Ci , Cj)
definaC(new)` = C` ∪ Cr
3. Tire la columna y fila r de la matriz de distancias usada en 2. ycambie todas las distancias en las que interviene el cluster ` deacuerdo a uno de los criterios que daremos a continuacion.
4. Volver a 2.
![Page 55: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/55.jpg)
34/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Clusters Algomerativos: Algoritmo
1. Empiece con Cj = {j}, 1 ≤ j ≤ n. La distancia d(C`, Cr ) entre dosclases C` y Cr es d(C`, Cr ) = d`r
2. Seleccione los elementos mas proximos en la matriz de distancias yforme con ellos una clase.
Es decir, si C` y Cr son tales que
d(C`, Cr ) = mini 6=j
d(Ci , Cj)
definaC(new)` = C` ∪ Cr
3. Tire la columna y fila r de la matriz de distancias usada en 2. ycambie todas las distancias en las que interviene el cluster ` deacuerdo a uno de los criterios que daremos a continuacion.
4. Volver a 2.
![Page 56: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/56.jpg)
35/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Clusters Algomerativos: AlgoritmoLance y Williams (1967) proponen tomar como distancia en el punto 3.de acuerdo al siguiente procedimiento.
Sean C1, C2 y C3 tres clusters y sea C(new) = C1 ∪ C2, etonces
d(C(new), C3) =2∑
`=1
αjd(C`, C3) + βd(C1, C2) + γ |d(C1, C3)− d(C2, C3)|
α` β γ
Single linkage 12 0 − 1
2
Complete linkage 12 0 1
2
Average linkage n`n1+n2
0 0
Centroide n`n1+n2
− n1n2
(n1+n2)2 0
Ward n`+n3
n1+n2+n3− n3
n1+n2+n30
Mediana 12 − 1
4 0
![Page 57: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/57.jpg)
35/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Clusters Algomerativos: AlgoritmoLance y Williams (1967) proponen tomar como distancia en el punto 3.de acuerdo al siguiente procedimiento.
Sean C1, C2 y C3 tres clusters y sea C(new) = C1 ∪ C2, etonces
d(C(new), C3) =2∑
`=1
αjd(C`, C3) + βd(C1, C2) + γ |d(C1, C3)− d(C2, C3)|
α` β γ
Single linkage 12 0 − 1
2
Complete linkage 12 0 1
2
Average linkage n`n1+n2
0 0
Centroide n`n1+n2
− n1n2
(n1+n2)2 0
Ward n`+n3
n1+n2+n3− n3
n1+n2+n30
Mediana 12 − 1
4 0
![Page 58: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/58.jpg)
36/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Single Linkage
d(C(new), C3) = min {d(C1, C3), d(C2, C3)}
Dados dos clusters C1 y C2
d(C1, C2) = min{drs : r ∈ C1, s ∈ C2}
• Este criterio solo depende del orden entre las distancias, por lo quees invariante por tranformaciones monotonas de las mismas.
• El criterio no recobra clusters compactos
• Tiende a formar clusters alargados por efecto de encadenamiento.
![Page 59: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/59.jpg)
36/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Single Linkage
d(C(new), C3) = min {d(C1, C3), d(C2, C3)}
Dados dos clusters C1 y C2
d(C1, C2) = min{drs : r ∈ C1, s ∈ C2}
• Este criterio solo depende del orden entre las distancias, por lo quees invariante por tranformaciones monotonas de las mismas.
• El criterio no recobra clusters compactos
• Tiende a formar clusters alargados por efecto de encadenamiento.
![Page 60: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/60.jpg)
36/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Single Linkage
d(C(new), C3) = min {d(C1, C3), d(C2, C3)}
Dados dos clusters C1 y C2
d(C1, C2) = min{drs : r ∈ C1, s ∈ C2}
• Este criterio solo depende del orden entre las distancias, por lo quees invariante por tranformaciones monotonas de las mismas.
• El criterio no recobra clusters compactos
• Tiende a formar clusters alargados por efecto de encadenamiento.
![Page 61: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/61.jpg)
36/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Single Linkage
d(C(new), C3) = min {d(C1, C3), d(C2, C3)}
Dados dos clusters C1 y C2
d(C1, C2) = min{drs : r ∈ C1, s ∈ C2}
• Este criterio solo depende del orden entre las distancias, por lo quees invariante por tranformaciones monotonas de las mismas.
• El criterio no recobra clusters compactos
• Tiende a formar clusters alargados por efecto de encadenamiento.
![Page 62: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/62.jpg)
37/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Complete Linkage
d(C(new), C3) = max {d(C1, C3), d(C2, C3)}
Dados dos clusters C1 y C2
d(C1, C2) = max{drs : r ∈ C1, s ∈ C2}
• Este criterio solo depende del orden entre las distancias, por loque es invariante por tranformaciones monotonas de lasmismas.
• Tiende a formar cluster esfericos.
• Puede verse distorsionado por outliers.
![Page 63: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/63.jpg)
37/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Complete Linkage
d(C(new), C3) = max {d(C1, C3), d(C2, C3)}
Dados dos clusters C1 y C2
d(C1, C2) = max{drs : r ∈ C1, s ∈ C2}
• Este criterio solo depende del orden entre las distancias, por loque es invariante por tranformaciones monotonas de lasmismas.
• Tiende a formar cluster esfericos.
• Puede verse distorsionado por outliers.
![Page 64: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/64.jpg)
37/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Complete Linkage
d(C(new), C3) = max {d(C1, C3), d(C2, C3)}
Dados dos clusters C1 y C2
d(C1, C2) = max{drs : r ∈ C1, s ∈ C2}
• Este criterio solo depende del orden entre las distancias, por loque es invariante por tranformaciones monotonas de lasmismas.
• Tiende a formar cluster esfericos.
• Puede verse distorsionado por outliers.
![Page 65: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/65.jpg)
37/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Complete Linkage
d(C(new), C3) = max {d(C1, C3), d(C2, C3)}
Dados dos clusters C1 y C2
d(C1, C2) = max{drs : r ∈ C1, s ∈ C2}
• Este criterio solo depende del orden entre las distancias, por loque es invariante por tranformaciones monotonas de lasmismas.
• Tiende a formar cluster esfericos.
• Puede verse distorsionado por outliers.
![Page 66: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/66.jpg)
38/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Average Linkage
d(C(new), C3) =n1
n1 + n2d(C1, C3) +
n2
n1 + n2d(C2, C3)
Dados dos clusters C1 y C2
d(C1, C2) =1
n1 n2
∑r∈C1
∑s∈C2
drs
• Este criterio no es invariante por tranformaciones monotonas.
• Tiende a formar clusters con poca variabilidad.
• Tiende a formar grupos con igual variabilidad.
![Page 67: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/67.jpg)
38/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Average Linkage
d(C(new), C3) =n1
n1 + n2d(C1, C3) +
n2
n1 + n2d(C2, C3)
Dados dos clusters C1 y C2
d(C1, C2) =1
n1 n2
∑r∈C1
∑s∈C2
drs
• Este criterio no es invariante por tranformaciones monotonas.
• Tiende a formar clusters con poca variabilidad.
• Tiende a formar grupos con igual variabilidad.
![Page 68: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/68.jpg)
38/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Average Linkage
d(C(new), C3) =n1
n1 + n2d(C1, C3) +
n2
n1 + n2d(C2, C3)
Dados dos clusters C1 y C2
d(C1, C2) =1
n1 n2
∑r∈C1
∑s∈C2
drs
• Este criterio no es invariante por tranformaciones monotonas.
• Tiende a formar clusters con poca variabilidad.
• Tiende a formar grupos con igual variabilidad.
![Page 69: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/69.jpg)
39/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Ejemplo
D =
0 1 4 2.51 0 2 32 2 0 4
2.5 3 4 0
![Page 70: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/70.jpg)
40/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Ejemplo: Single Linkage
0.0
0.5
1.0
1.5
2.0
2.5
1 2 3 4
![Page 71: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/71.jpg)
41/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Ejemplo: Single Linkage
4 3 1 2
1.0
1.5
2.0
2.5
Cluster Dendrogram
hclust (*, "single")distancia
Hei
ght
![Page 72: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/72.jpg)
42/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Ejemplo: Complete Linkage
0.0
0.5
1.0
1.5
2.0
2.5
3.0
3.5
4.0
1 2 4 3
![Page 73: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/73.jpg)
43/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Ejemplo: Average
3 4 1 2
1.0
1.5
2.0
2.5
3.0
Cluster Dendrogram
hclust (*, "average")distancia
Hei
ght
![Page 74: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/74.jpg)
44/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Metodo del CentroideSe aplica generalmente con variables continuas cuando se usa comodisimilaridad el cuadrado de la distancia euclıdea, es decir,
dij = ‖xi − xj‖2 .
Dados dos clusters C1 y C2, la distancia entre ellos es la distancia alcuadrado entre sus centroides
d(C1, C2) = ‖x1 − x2‖2 xi =1
ni
∑`∈Ci
x` .
Luego, si C(new) = C1 ∪ C2, el centroide de C(new) es
x =n1x1 + n2x2
n1 + n2.
![Page 75: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/75.jpg)
44/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Metodo del CentroideSe aplica generalmente con variables continuas cuando se usa comodisimilaridad el cuadrado de la distancia euclıdea, es decir,
dij = ‖xi − xj‖2 .
Dados dos clusters C1 y C2, la distancia entre ellos es la distancia alcuadrado entre sus centroides
d(C1, C2) = ‖x1 − x2‖2 xi =1
ni
∑`∈Ci
x` .
Luego, si C(new) = C1 ∪ C2, el centroide de C(new) es
x =n1x1 + n2x2
n1 + n2.
![Page 76: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/76.jpg)
45/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Metodo del Centroide
Si C(new) = C1 ∪ C2
d(C(new), C3) =n1
n1 + n2d(C1, C3)+
n2
n1 + n2d(C2, C3)− n1 n2
(n1 + n2)2d(C1, C2)
• Puede no dar funciones monotonas de la distancia en cada paso
• Es menos sensible a datos atıpicos
• Grupos pequenos pierden identidad al fundirse con los grandes
![Page 77: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/77.jpg)
45/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Metodo del Centroide
Si C(new) = C1 ∪ C2
d(C(new), C3) =n1
n1 + n2d(C1, C3)+
n2
n1 + n2d(C2, C3)− n1 n2
(n1 + n2)2d(C1, C2)
• Puede no dar funciones monotonas de la distancia en cada paso
• Es menos sensible a datos atıpicos
• Grupos pequenos pierden identidad al fundirse con los grandes
![Page 78: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/78.jpg)
46/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Metodo de la medianaComo el del centroide se aplica a variables continuas y
dij = ‖xi − xj‖2 .
Si C(new) = C1 ∪ C2, el centro de C(new) es
x =x1 + x2
2.
d(C(new), C3) =1
2{d(C1, C3) + d(C2, C3)} − 1
4d(C1, C2)
• Puede no dar funciones monotonas de la distancia en cada paso
• Se introdujo para solucionar la tendencia del metodo del centroide aque grupos pequenos pierdan su identidad al fundirse con losgrandes.
![Page 79: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/79.jpg)
46/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Metodo de la medianaComo el del centroide se aplica a variables continuas y
dij = ‖xi − xj‖2 .
Si C(new) = C1 ∪ C2, el centro de C(new) es
x =x1 + x2
2.
d(C(new), C3) =1
2{d(C1, C3) + d(C2, C3)} − 1
4d(C1, C2)
• Puede no dar funciones monotonas de la distancia en cada paso
• Se introdujo para solucionar la tendencia del metodo del centroide aque grupos pequenos pierdan su identidad al fundirse con losgrandes.
![Page 80: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/80.jpg)
46/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Metodo de la medianaComo el del centroide se aplica a variables continuas y
dij = ‖xi − xj‖2 .
Si C(new) = C1 ∪ C2, el centro de C(new) es
x =x1 + x2
2.
d(C(new), C3) =1
2{d(C1, C3) + d(C2, C3)} − 1
4d(C1, C2)
• Puede no dar funciones monotonas de la distancia en cada paso
• Se introdujo para solucionar la tendencia del metodo del centroide aque grupos pequenos pierdan su identidad al fundirse con losgrandes.
![Page 81: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/81.jpg)
47/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Ejemplo
D =
0 1.3 1.4 6
0 1.6 50 8
0
![Page 82: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/82.jpg)
48/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Ejemplo: Metodo de la Mediana4 3 1 2
12
34
56
Cluster Dendrogram
hclust (*, "median")distancia
Hei
ght Niveles:
6.293751.175001.30000
![Page 83: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/83.jpg)
49/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Metodo de Ward
Supongamos tener dividido en K clusters y definamos
W =K∑i=1
∑`∈Ci
(x` − xi )(x` − xi )t xi =
1
ni
∑`∈Ci
x`
• El procedimiento empieza con K = n y por lo tanto, W = 0.
• Luego, se unen los elementos que producen el incrementomınimo de tr(W), lo que corresponde a buscar los dospuntos mas proximos en distancia euclıdea.
• Se sigue el proceso sucesivamente
![Page 84: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/84.jpg)
50/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Metodo de Ward
El incremento al unir C1 con C2 en la suma de cuadrados total (tr(W))es
IC1,C2 =∑
`∈C1∪C2
‖x` − x‖2 −2∑
i=1
∑`∈Ci
‖x` − xi‖2
donde
x =n1x1 + n2x2
n1 + n2
Se unen los clusters que minimizan IC1,C2 .
Los grupos que se unen son tales que minimizan la distancia entre suscentros
n1n2
n1 + n2‖x1 − x2‖2
![Page 85: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/85.jpg)
50/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Metodo de Ward
El incremento al unir C1 con C2 en la suma de cuadrados total (tr(W))es
IC1,C2 =∑
`∈C1∪C2
‖x` − x‖2 −2∑
i=1
∑`∈Ci
‖x` − xi‖2
donde
x =n1x1 + n2x2
n1 + n2
Se unen los clusters que minimizan IC1,C2 .
Los grupos que se unen son tales que minimizan la distancia entre suscentros
n1n2
n1 + n2‖x1 − x2‖2
![Page 86: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/86.jpg)
50/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Metodo de Ward
El incremento al unir C1 con C2 en la suma de cuadrados total (tr(W))es
IC1,C2 =∑
`∈C1∪C2
‖x` − x‖2 −2∑
i=1
∑`∈Ci
‖x` − xi‖2
donde
x =n1x1 + n2x2
n1 + n2
Se unen los clusters que minimizan IC1,C2 .
Los grupos que se unen son tales que minimizan la distancia entre suscentros
n1n2
n1 + n2‖x1 − x2‖2
![Page 87: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/87.jpg)
51/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Metodo de Ward
• El procedimiento supone que se trabaja con una mezcla denormales con matrices de covarianza λ I
• Sensible a outliers.
![Page 88: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/88.jpg)
52/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Arrestos en USA
Arrestos por 100.000 residentes por
• asalto
• Asesinato
• Violacion
en los 50 estados de USA en 1973.
Se da tambien la variable poblacion urbana.
![Page 89: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/89.jpg)
53/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Arrestos en USA
Murder
50 150 250 10 20 30 40
510
15
5015
025
0
Assault
UrbanPop
3050
7090
5 10 15
1020
3040
30 50 70 90
Rape
USArrests data
![Page 90: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/90.jpg)
54/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Arrestos en USA: Average Linkage
Flo
rida
Nor
th C
arol
ina
Cal
iforn
iaM
aryl
and
Ariz
ona
New
Mex
ico
Del
awar
eA
laba
ma
Loui
sian
aIll
inoi
sN
ew Y
ork
Mic
higa
nN
evad
a Ala
ska
Mis
siss
ippi
Sou
th C
arol
ina
Was
hing
ton
Ore
gon
Wyo
min
gO
klah
oma
Virg
inia
Rho
de Is
land
Mas
sach
uset
tsN
ew J
erse
yM
isso
uri
Ark
ansa
sTe
nnes
see
Geo
rgia
Col
orad
oTe
xas
Idah
oN
ebra
ska
Ken
tuck
yM
onta
naO
hio
Uta
hIn
dian
aK
ansa
sC
onne
ctic
utP
enns
ylva
nia
Haw
aii
Wes
t Virg
inia
Mai
neS
outh
Dak
ota
Nor
th D
akot
aV
erm
ont
Min
neso
taW
isco
nsin
Iow
aN
ew H
amps
hire
050
100
150
Cluster Dendrogram
hclust (*, "average")dist(USArrests)
Hei
ght
![Page 91: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/91.jpg)
55/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Arrestos en USA: Average Linkage
Flo
rida
Nor
th C
arol
ina
Cal
iforn
iaM
aryl
and
Ariz
ona
New
Mex
ico
Del
awar
eA
laba
ma
Loui
sian
aIll
inoi
sN
ew Y
ork
Mic
higa
nN
evad
aA
lask
aM
issi
ssip
piS
outh
Car
olin
aW
ashi
ngto
nO
rego
nW
yom
ing
Okl
ahom
aV
irgin
iaR
hode
Isla
ndM
assa
chus
etts
New
Jer
sey
Mis
sour
iA
rkan
sas
Tenn
esse
eG
eorg
iaC
olor
ado
Texa
sId
aho
Neb
rask
aK
entu
cky
Mon
tana
Ohi
oU
tah
Indi
ana
Kan
sas
Con
nect
icut
Pen
nsyl
vani
aH
awai
iW
est V
irgin
iaM
aine
Sou
th D
akot
aN
orth
Dak
ota
Ver
mon
tM
inne
sota
Wis
cons
inIo
wa
New
Ham
pshi
re
050
100
150
Cluster Dendrogram
hclust (*, "average")dist(USArrests)
Hei
ght
![Page 92: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/92.jpg)
56/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Arrestos en USA: Average Linkage
Flo
rida
Nor
th C
arol
ina
Cal
iforn
iaM
aryl
and
Ariz
ona
New
Mex
ico
Del
awar
eA
laba
ma
Loui
sian
aIll
inoi
sN
ew Y
ork
Mic
higa
nN
evad
aA
lask
aM
issi
ssip
piS
outh
Car
olin
aW
ashi
ngto
nO
rego
nW
yom
ing
Okl
ahom
aV
irgin
iaR
hode
Isla
ndM
assa
chus
etts
New
Jer
sey
Mis
sour
iA
rkan
sas
Tenn
esse
eG
eorg
iaC
olor
ado
Texa
sId
aho
Neb
rask
aK
entu
cky
Mon
tana
Ohi
oU
tah
Indi
ana
Kan
sas
Con
nect
icut
Pen
nsyl
vani
aH
awai
iW
est V
irgin
iaM
aine
Sou
th D
akot
aN
orth
Dak
ota
Ver
mon
tM
inne
sota
Wis
cons
inIo
wa
New
Ham
pshi
re
050
100
150
Cluster Dendrogram
hclust (*, "average")dist(USArrests)
Hei
ght
![Page 93: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/93.jpg)
57/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Arrestos en USA: Ward
Ala
ska
Mis
siss
ippi
Sou
th C
arol
ina
Del
awar
eA
laba
ma
Loui
sian
aIll
inoi
sN
ew Y
ork
Mic
higa
nN
evad
aC
alifo
rnia
Mar
ylan
dA
rizon
aN
ew M
exic
oF
lorid
aN
orth
Car
olin
aM
isso
uri
Ark
ansa
sTe
nnes
see
Geo
rgia
Col
orad
oTe
xas
Was
hing
ton
Ore
gon
Wyo
min
gO
klah
oma
Virg
inia
Rho
de Is
land
Mas
sach
uset
tsN
ew J
erse
yN
ebra
ska
Ken
tuck
yM
onta
naId
aho
Indi
ana
Kan
sas
Ohi
oU
tah
Con
nect
icut
Pen
nsyl
vani
aW
est V
irgin
iaM
aine
Sou
th D
akot
aN
orth
Dak
ota
Ver
mon
tH
awai
iM
inne
sota
Wis
cons
inIo
wa
New
Ham
pshi
re0e+
001e
+05
2e+
053e
+05
4e+
055e
+05
Cluster Dendrogram
hclust (*, "ward")dist(USArrests)^2
Hei
ght
![Page 94: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/94.jpg)
58/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Arrestos en USA: Ward
Ala
ska
Mis
siss
ippi
Sou
th C
arol
ina
Del
awar
eA
laba
ma
Loui
sian
aIll
inoi
sN
ew Y
ork
Mic
higa
nN
evad
aC
alifo
rnia
Mar
ylan
dA
rizon
aN
ew M
exic
oF
lorid
aN
orth
Car
olin
aM
isso
uri
Ark
ansa
sTe
nnes
see
Geo
rgia
Col
orad
oTe
xas
Was
hing
ton
Ore
gon
Wyo
min
gO
klah
oma
Virg
inia
Rho
de Is
land
Mas
sach
uset
tsN
ew J
erse
yN
ebra
ska
Ken
tuck
yM
onta
naId
aho
Indi
ana
Kan
sas
Ohi
oU
tah
Con
nect
icut
Pen
nsyl
vani
aW
est V
irgin
iaM
aine
Sou
th D
akot
aN
orth
Dak
ota
Ver
mon
tH
awai
iM
inne
sota
Wis
cons
inIo
wa
New
Ham
pshi
re0e+
001e
+05
2e+
053e
+05
4e+
055e
+05
Cluster Dendrogram
hclust (*, "ward")dist(USArrests)^2
Hei
ght
![Page 95: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/95.jpg)
59/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Arrestos en USA: Centroide
Cal
iforn
iaM
aryl
and
Ariz
ona
New
Mex
ico
Del
awar
eA
laba
ma
Loui
sian
aIll
inoi
sN
ew Y
ork
Mic
higa
nN
evad
aA
lask
aM
issi
ssip
piS
outh
Car
olin
aF
lorid
aN
orth
Car
olin
aM
isso
uri
Ark
ansa
sTe
nnes
see
Geo
rgia
Col
orad
oTe
xas
Rho
de Is
land
Mas
sach
uset
tsN
ew J
erse
yW
ashi
ngto
nO
rego
nW
yom
ing
Okl
ahom
aV
irgin
iaId
aho
Indi
ana
Kan
sas
Neb
rask
aK
entu
cky
Mon
tana
Ohi
oU
tah
Con
nect
icut
Pen
nsyl
vani
aH
awai
iW
est V
irgin
iaM
aine
Sou
th D
akot
aN
orth
Dak
ota
Ver
mon
tM
inne
sota
Wis
cons
inIo
wa
New
Ham
pshi
re
050
0010
000
1500
020
000
Cluster Dendrogram
hclust (*, "centroid")dist(USArrests)^2
Hei
ght
![Page 96: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/96.jpg)
60/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Arrestos en USA: Centroide
Cal
iforn
iaM
aryl
and
Ariz
ona
New
Mex
ico
Del
awar
eA
laba
ma
Loui
sian
aIll
inoi
sN
ew Y
ork
Mic
higa
nN
evad
aA
lask
aM
issi
ssip
piS
outh
Car
olin
aF
lorid
aN
orth
Car
olin
aM
isso
uri
Ark
ansa
sTe
nnes
see
Geo
rgia
Col
orad
oTe
xas
Rho
de Is
land
Mas
sach
uset
tsN
ew J
erse
yW
ashi
ngto
nO
rego
nW
yom
ing
Okl
ahom
aV
irgin
iaId
aho
Indi
ana
Kan
sas
Neb
rask
aK
entu
cky
Mon
tana
Ohi
oU
tah
Con
nect
icut
Pen
nsyl
vani
aH
awai
iW
est V
irgin
iaM
aine
Sou
th D
akot
aN
orth
Dak
ota
Ver
mon
tM
inne
sota
Wis
cons
inIo
wa
New
Ham
pshi
re
050
0010
000
1500
020
000
Cluster Dendrogram
hclust (*, "centroid")dist(USArrests)^2
Hei
ght
![Page 97: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/97.jpg)
61/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Arrestos en USA: Centroide0
5000
1000
015
000
2000
0Re−start from 10 clusters
hclust (*, "centroid")dist(cent)^2
Hei
ght
![Page 98: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/98.jpg)
62/71
Introduccion Metodos Jerarquicos Metodos Particionantes
ObjetivosTenemos x1, · · · , xn ∈ Rp. Supongamos querer formar k grupos.
Los metodos particionantes buscan C1, . . . , Ck tales que
• #{Cj} > 0
• Ci ∩ Cj = ∅
• ∪ki=1Ci = {1, . . . , n}
El numero de posibles particiones es
S(n, k) =1
k!
k∑j=1
(−1)j(
kj
)(k − j)n ≈ kn
k!
Por ejemplo, S(19, 3) = 1.9× 108.
Si k no se especifica tenemos T =∑n
k=1 S(n, k) configuraciones. Para
n = 25, T > 4× 1018.
![Page 99: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/99.jpg)
62/71
Introduccion Metodos Jerarquicos Metodos Particionantes
ObjetivosTenemos x1, · · · , xn ∈ Rp. Supongamos querer formar k grupos.
Los metodos particionantes buscan C1, . . . , Ck tales que
• #{Cj} > 0
• Ci ∩ Cj = ∅
• ∪ki=1Ci = {1, . . . , n}
El numero de posibles particiones es
S(n, k) =1
k!
k∑j=1
(−1)j(
kj
)(k − j)n ≈ kn
k!
Por ejemplo, S(19, 3) = 1.9× 108.
Si k no se especifica tenemos T =∑n
k=1 S(n, k) configuraciones. Para
n = 25, T > 4× 1018.
![Page 100: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/100.jpg)
62/71
Introduccion Metodos Jerarquicos Metodos Particionantes
ObjetivosTenemos x1, · · · , xn ∈ Rp. Supongamos querer formar k grupos.
Los metodos particionantes buscan C1, . . . , Ck tales que
• #{Cj} > 0
• Ci ∩ Cj = ∅
• ∪ki=1Ci = {1, . . . , n}
El numero de posibles particiones es
S(n, k) =1
k!
k∑j=1
(−1)j(
kj
)(k − j)n ≈ kn
k!
Por ejemplo, S(19, 3) = 1.9× 108.
Si k no se especifica tenemos T =∑n
k=1 S(n, k) configuraciones. Para
n = 25, T > 4× 1018.
![Page 101: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/101.jpg)
63/71
Introduccion Metodos Jerarquicos Metodos Particionantes
FundamentosSupongamos tener k grupos C1, . . . , Ck y que usamos la distanciaeuclıdea.
Definamos nj = #Cj• El centro del grupo Cj como
xj =1
nj
∑`∈Cj
x`
• La varianza del grupo Cj
e(Cj) =∑`∈Cj
‖x` − xj‖2
• El cuadrado de la distancia de xi al centro mas proximo
m(xi ) = min1≤`≤k
‖xi − x`‖2
![Page 102: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/102.jpg)
64/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Fundamentos
El algoritmo de k−medias require las siguientes etapas
1. Seleccione K puntos x(0)j , 1 ≤ j ≤ K como centros iniciales.
Puede hacerse de alguna de las siguientes formas:
1.1 Divida aleatoriamente las observaciones en K grupos y tome x(0)j
como el centro del grupo j .
1.2 Tome como centros los puntos mas alejados entre sı.
1.3 Contruya grupos iniciales con informacion a priori y calcule sus
centros.
1.4 Seleccione centros iniciales con informacion a priori.
2. Calcule ‖xi − x`‖2 y asigne xi al grupo grupo ` cuyo centro es mascercano, o sea, si
m(xi ) = ‖xi − x`‖2
La asignacion es secuencial y al incorporar un nuevo elemento algrupo se recalculan el nuevo centro.
![Page 103: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/103.jpg)
64/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Fundamentos
El algoritmo de k−medias require las siguientes etapas
1. Seleccione K puntos x(0)j , 1 ≤ j ≤ K como centros iniciales.
Puede hacerse de alguna de las siguientes formas:
1.1 Divida aleatoriamente las observaciones en K grupos y tome x(0)j
como el centro del grupo j .
1.2 Tome como centros los puntos mas alejados entre sı.
1.3 Contruya grupos iniciales con informacion a priori y calcule sus
centros.
1.4 Seleccione centros iniciales con informacion a priori.
2. Calcule ‖xi − x`‖2 y asigne xi al grupo grupo ` cuyo centro es mascercano, o sea, si
m(xi ) = ‖xi − x`‖2
La asignacion es secuencial y al incorporar un nuevo elemento algrupo se recalculan el nuevo centro.
![Page 104: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/104.jpg)
64/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Fundamentos
El algoritmo de k−medias require las siguientes etapas
1. Seleccione K puntos x(0)j , 1 ≤ j ≤ K como centros iniciales.
Puede hacerse de alguna de las siguientes formas:
1.1 Divida aleatoriamente las observaciones en K grupos y tome x(0)j
como el centro del grupo j .
1.2 Tome como centros los puntos mas alejados entre sı.
1.3 Contruya grupos iniciales con informacion a priori y calcule sus
centros.
1.4 Seleccione centros iniciales con informacion a priori.
2. Calcule ‖xi − x`‖2 y asigne xi al grupo grupo ` cuyo centro es mascercano, o sea, si
m(xi ) = ‖xi − x`‖2
La asignacion es secuencial y al incorporar un nuevo elemento algrupo se recalculan el nuevo centro.
![Page 105: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/105.jpg)
64/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Fundamentos
El algoritmo de k−medias require las siguientes etapas
1. Seleccione K puntos x(0)j , 1 ≤ j ≤ K como centros iniciales.
Puede hacerse de alguna de las siguientes formas:
1.1 Divida aleatoriamente las observaciones en K grupos y tome x(0)j
como el centro del grupo j .
1.2 Tome como centros los puntos mas alejados entre sı.
1.3 Contruya grupos iniciales con informacion a priori y calcule sus
centros.
1.4 Seleccione centros iniciales con informacion a priori.
2. Calcule ‖xi − x`‖2 y asigne xi al grupo grupo ` cuyo centro es mascercano, o sea, si
m(xi ) = ‖xi − x`‖2
La asignacion es secuencial y al incorporar un nuevo elemento algrupo se recalculan el nuevo centro.
![Page 106: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/106.jpg)
64/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Fundamentos
El algoritmo de k−medias require las siguientes etapas
1. Seleccione K puntos x(0)j , 1 ≤ j ≤ K como centros iniciales.
Puede hacerse de alguna de las siguientes formas:
1.1 Divida aleatoriamente las observaciones en K grupos y tome x(0)j
como el centro del grupo j .
1.2 Tome como centros los puntos mas alejados entre sı.
1.3 Contruya grupos iniciales con informacion a priori y calcule sus
centros.
1.4 Seleccione centros iniciales con informacion a priori.
2. Calcule ‖xi − x`‖2 y asigne xi al grupo grupo ` cuyo centro es mascercano, o sea, si
m(xi ) = ‖xi − x`‖2
La asignacion es secuencial y al incorporar un nuevo elemento algrupo se recalculan el nuevo centro.
![Page 107: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/107.jpg)
65/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Fundamentos
3. Defina como criterio de optimalidad el que minimiza
VK =K∑j=1
e(Cj) =n∑
i=1
m(xi )
4. Verifique si reasignando alguno de los xi mejora el criterio.
5. Repita 2,3,4 hasta que no haya mas cambios.
Observemos que si
W =K∑i=1
∑`∈Ci
(x` − xi )(x` − xi )t xi =
1
ni
∑`∈Ci
x`
B =K∑i=1
ni (xi − x)(xi − x)t x =1
n
K∑i=1
nixi
![Page 108: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/108.jpg)
65/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Fundamentos
3. Defina como criterio de optimalidad el que minimiza
VK =K∑j=1
e(Cj) =n∑
i=1
m(xi )
4. Verifique si reasignando alguno de los xi mejora el criterio.
5. Repita 2,3,4 hasta que no haya mas cambios.
Observemos que si
W =K∑i=1
∑`∈Ci
(x` − xi )(x` − xi )t xi =
1
ni
∑`∈Ci
x`
B =K∑i=1
ni (xi − x)(xi − x)t x =1
n
K∑i=1
nixi
![Page 109: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/109.jpg)
66/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Criterio de la traza
VK = tr(W)
• El criterio equivale a minimizar la traza de W y se llama criterio dela traza.
• Equivalentemente, el criterio maximiza tr(B).
• El criterio de la traza mınima forma grupos con medias separadas yfunciona bien si las matrices de covarianza son de la forma λj Ip.
Hay otros criterios que minimizan det(W) o maximizan tr(W−1B).
![Page 110: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/110.jpg)
66/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Criterio de la traza
VK = tr(W)
• El criterio equivale a minimizar la traza de W y se llama criterio dela traza.
• Equivalentemente, el criterio maximiza tr(B).
• El criterio de la traza mınima forma grupos con medias separadas yfunciona bien si las matrices de covarianza son de la forma λj Ip.
Hay otros criterios que minimizan det(W) o maximizan tr(W−1B).
![Page 111: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/111.jpg)
67/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Elijo K
VK = tr(W)
Una opcion es estudiar la reduccion de variabilidad al considerar K + 1grupos en lugar de K .
Sea
F =VK − VK+1
VK+1(n − K − 1)
• Se compara F con el percentil de una Fp,p (n−K−1).
No tienebuena justificacion ya que los grupos no tienen porque sergaussianos
• Hartigan (1975) sugiere considerar K + 1 grupos en lugar de K siF > 10
![Page 112: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/112.jpg)
67/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Elijo K
VK = tr(W)
Una opcion es estudiar la reduccion de variabilidad al considerar K + 1grupos en lugar de K .
Sea
F =VK − VK+1
VK+1(n − K − 1)
• Se compara F con el percentil de una Fp,p (n−K−1). No tienebuena justificacion ya que los grupos no tienen porque sergaussianos
• Hartigan (1975) sugiere considerar K + 1 grupos en lugar de K siF > 10
![Page 113: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/113.jpg)
68/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Arrestos en USA: k−medias
2 4 6 8 10 12 14
050
000
1500
0025
0000
3500
00
Number of Clusters
With
in g
roup
s su
m o
f squ
ares
![Page 114: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/114.jpg)
69/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Arrestos en USA: k−medias
Grupo Asesinato Asalto Poblacion Violacon
1 8.2143 173.2857 70.6429 22.8429
2 11.7667 257.9167 68.4167 28.9333
3 5.5900 112.4000 65.6000 17.2700
4 2.9500 62.7000 53.9000 11.5100
5 11.9500 316.5000 68.0000 26.7000
![Page 115: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/115.jpg)
70/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Arrestos en USA: k−medias
−3 −2 −1 0 1 2 3
−2
−1
01
2CLUSPLOT( mydata )
Component 1
Com
pone
nt 2
These two components explain 86.75 % of the point variability.
AlabamaAlaska
Arizona
Arkansas
California
ColoradoConnecticut
Delaware
Florida
Georgia
Hawaii
Idaho
Illinois
Indiana IowaKansas
KentuckyLouisiana
MaineMaryland
Massachusetts
Michigan
Minnesota
Mississippi
Missouri
Montana
Nebraska
Nevada
New Hampshire
New Jersey
New Mexico
New York
North Carolina
North Dakota
Ohio
OklahomaOregon Pennsylvania
Rhode Island
South Carolina
South DakotaTennessee
Texas
Utah
Vermont
Virginia
Washington
West Virginia
Wisconsin
Wyoming
1
2
3
4
5
![Page 116: Cluster Analysiscms.dm.uba.ar/.../analisis_multivariado_ii/Cluster-2018.pdfi 2Rp, el prop osito del cluster analysis es Dar un esquema de clasi caci on para agrupar los objetos x 1;:::;](https://reader034.vdocuments.mx/reader034/viewer/2022051902/5ff1dff11c3608796f08ddae/html5/thumbnails/116.jpg)
71/71
Introduccion Metodos Jerarquicos Metodos Particionantes
Arrestos en USA: k−medias
2
251
21
3
2
5
1
4
3
2
3
4
33
2
4
5
1
2
4
2
1
33
2
4
1
2
2
5
4
3
11
3
12
4
1
1
3
4
11
4
4
1
−20 −15 −10 −5
12
34
56
dc 1
dc 2