alternatives to the k-means algorithm that find better

8
Alternatives to the k-means algorithm that find better clusterings Greg Hamerly Department of Computer Science and Engineering University of California, San Diego La Jolla, CA 92093 [email protected] Charles Elkan Department of Computer Science and Engineering University of California, San Diego La Jolla, CA 92093 [email protected] ABSTRACT Categories and Subject Descriptors General Terms 1. INTRODUCTION

Upload: others

Post on 11-Jun-2022

3 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Alternatives to the k-means algorithm that find better

Alternatives to the k-means algorithmthat find better clusterings

Greg HamerlyDepartment of Computer Science and

EngineeringUniversity of California, San Diego

La Jolla, CA 92093

[email protected]

Charles ElkanDepartment of Computer Science and

EngineeringUniversity of California, San Diego

La Jolla, CA 92093

[email protected]

ABSTRACT����������� ����������������������������������������� ��!"���#�$ �%����&#���%&('*),+$�����#-�.�/ ������������� . �����������#+0����&12������%� . � . ���������������������3�4��56�����7'*)������+$����� - +$������8� . �����������#+9& / �3���;:<�����#�;����& - � .�. ����� / ���=! /�>�>�? '*)@+$�������=�AB� / 22�����C��DFE�� - �%���������F)@+��GDF��+$� > �G�������H=�����&I�@JK��#��JL���G���M���*��N��!H'�),���G��+$���#� - +$�����#�ONP / �Q����+R��N���TS���& J"��� - ���2E�� - ��U��!V���#��2�C� . �������4����+$ - �����2����� / ���I���WS���&F���#�W���*��& -�.�/ )���������#���=<��T��E�E���2��&8��� - ���������������������� . ��JX)@Y / � . �4� ?8. � - � . ��E#)����+ / +7OZ�[�[&F�� - �������(��� - �\� . �����������#+]���\� / ���4S���&^!_�%��+$��)J`����a��������K���*�2����& /#- ��K2��E����%�G��� -�.�/ �����X+$��+b������2����E$����&6&����%�J`�������*�U! / � - �������#�ON���I�������82����Jc�����G�"�����d� . �������4����+$T&#�b����)������e���� ? &#�4f<�������*� .4? !M����+c��� - �C�����#���g���d2��+$E . � . ��JX)@&#��+$���#2������� . ? �*��������� - &��G�%��2����B����&h��+������b2����+$���*�%���������i�%��2aF�=j����&7�����G����#�7'*),������+$����� - +$������W+$��������&(��$ / E�����������OlkB���������3�32��!_�+$��+W������2�#��EU! / � - �������C��j��22���*����� . !m���gS���&#���#�K�������F)@Y / � . �4� ?T-�.�/ )���������#���=n� / �d�����F���#�7�o�#���F) - ���� �%���*� &����%��JK���������C! / � - ����������/ 2��! /#. � . 2�#O

Categoriesand SubjectDescriptorsk O pFO p q r�sgt@u�v�wix�y�z_u�s[{j|H}�y�~#w�}���5j���F!m����+��G�������b�F���G� - �C����&d�U��)�2��������� .�� ��O ��O pdq � u<w3�V�gy�zmsg����~Fy��guj�gu��_u���z_~F}��,5n�n���2�������d�U� - ����)�#�4�������

GeneralTerms� .�/ �����������bY / � . �4� ? a*),+$������ea*)@������+$����� - +$�����# / �# / E���������2��&-�. ��22�4S - �G�������

1. INTRODUCTION�B���%� -�.�/ ���������#�#=#J"��� - �h��"�����B�%��2ao��!nS���&F����������� / �%� . ����� / E#)���#��B���3&����%��=<��d���i��+$E����2�%���*�U�%��2ah����+�� - ������� . �������#�����o����&E����2�������7��� - �������4�������HOI� ? E#� - � .�.4? ��� -�.�/ �����������$��������� ��T�������#�E����2!m� - �e2� .�/ �������W���"�����QE#����� . ��+7=�� / �e� . �������4����+$n2����aB���T+$�����4)+$� > �"� - ���2�%������+��G������+��G��� - � .F- ���4�����������h�mJ"�#� - ������������e�����@JK������ . �������4���#+$%��O��8������+$� > �����h /#- � - �����������M�h�� aF�#��J"�����7���$�B�n)�����%&�!m���d���#�W���������%� . EF����� . ��+���!KE����2���4�������#�����8�)@&F��+$����2������� .&#���%�1�������L'^2����[q ����O�� . �������4����+$ . ��a��'�),+$������o2����a . � - � .

�%�����#���e�������b�����`� . ����� . +$���#��+ / +�2� .�/ ���������=� / � - ���������e � /�- a���`E��*���X2� .�/ �������#�OQ�@��������2� - ��2��KJK� - ���#2��&#���K�������`� 2� .�/ �������J"��� - �h�����2�����T+$������+$� > ��X�����C+������#��+������ - � .H- ���������������1�m!m���T��������+$�d� / +W�����`��! - ���*������%�Q���W���C�W�����2�����2)@Y / � . �4� ?�-�.�/ �����������FO

�[� / 2�6������������+ � - ���*�����2),����2��& -�.�/ ���������#��¡����i����!_�������������!���+$� .�? ��!#� . �������4����+$H /�- �C��H'�),+$������H����&BAB� / 22�����b��DFE�� - �%���������F)+���DF��+$� > ���������H=#2��� - �d����� ?6/ 2�C��� / +W�����K��!C� - ���*������2¡����W����EF)����2���*�T����&�¢G���TE����2���4�������o�����d����E / �U&��G�%�FO`£Q� - � - ���*�����T&#��S������ -�.�/ �����KJ"�4���7� - ���*�2�%� . E��������X����&�E���������E�K� - �G����������� - �B+���)�2���4D<O � ���*�����2),����2��& -�.�/ ���������#�$� . �������4����+$"���������8J"�4���h�b� / ��2����� / �T�����C2� .�/ �������H=H����&8�������7����S����C�����CE���2�4�������#B��! - ����������/ �*��� . ����� - �������3� . � - � . ��EF����+ / +7Oh�K����2�6+$��������&F - ���[JK����aJK� .�. =�� / �`����� ?�- ���7� . 2� - ������������I���$� . � - � . +$���#��+ / +¤�����G�"��!��G�Q!M����+¤�����`� . ����� . +$������+ / +7=G��O ��O����#� -�.�/ ���������#�B�������N����n��������������� �QY / � . �4� ? � -�- ���%&#�����B���U����� - ������������������� / 2��O � �������������������C����& . � - � . ��E#����+��d��Q��� . �G����&����C2���#2�4�������4� ? ���C�����4����� . � > �G�������H=����&o��T�WE#����+���� ? EF����� . ��+¥��!N&��G�%� -�.�/ �����������#O

�K���$���� . ��!`������BJK����a3��d��� / ��&#���� �%����&3����&3��D�������& - ���������2)����2��& -�.�/ �����������$� . �������4����+$X���WS���&6���*��&F)@Y / � . ��� ?6-�.�/ ���������������¤2E��G���M� . &#���%�FO¦�T� - ���*� .�? =C+���� ? JX�%��E�E����3+$�����#��&#��������������§E#����E���2��&^���;��+$EF������� -�.�/ �����������;2� .�/ �������#�O¨�¨JX�%��EF)E����b+$��������&3��b���#�6������� �2�%���� !_����+$C����������E / �b���b� / ��E / �b��!����� -�.�/ �����������7� . �����������#+7=e����&�¢G��� / 2��C���#�$� . �������4����+©+ /#. ����)E . ������+$���OoPI�#� - ��+$+$��� .4?�/ 2��&iJX�%��E#E���� +$��������&���C2��+$E .4?� / �#�������"����� -�.�/ ���������#�B� . �������4����+¤2�������%� . ����+$��g!_����+¤&#�4f<��������� �%���2�����#�BE������*��"����!_����� - � .�. ��&b�%����&F��+ª���� �%�G�2����=*����& �%��aF���#�I��������� �n2� .�/ �������jOe� . �������4����+$g /#- � �� / 2��&d����q4«�¬��FE / 2�d������H��� - �F)����Y / � ���8�4��d��D��2����+$��=H�G�d����� - �� � ��! - ��+$E / �%���������HOW�T�����������JX�%��E#E����Q+$��������&W��N2����� - �����#�B!m���Q�����X���� �N�����4����� . � > �G��������XE��� )2��� . � � ������T����T������� . �*��a���&3�G�B���(q4«���=N«�­�=jpG�,OB�K����I��I!M� / �4�2! /#.����2���G� - �j=*��n+���� ?d-�.�/ ���������#�B� . �������4����+$e�G���K2���#2��������Q���T��������������4����� . � > �����������OoPT�������B����2���G� - �lq4«���=`«�®G�N����d������� . �*��a����#�7�G�S���&#�����h���#�8��E�E#����E#���������o� / +W�����b��! -�.�/ �������=X����&1����� .4?F> ����������C&F�4f<������� - �d������J`�����8���#� -�.�/ �����T2� .�/ �������h����&o�����C&#���%��2����O�K����N�� / 2��! /#. J"�����������"��E#E#����E#���������"� / +b�����e��! - ����������Q�� / �#)a�����J"�H=#���"���#�d� . �������4����+¯��U � /#- a6�G�I�b / �#),��E#����+�� . 2� .�/ �������HO

�K����2�B��E#E#����� - ����`�����I��������S - ��� . =�� / �`����� ? �����T���2����+$E#�������B���S�D8�����WEF����� . ��+$B��! -�.�/ �����������8� . �������4����+$d��D���������� .�.4? =��%����������������3���7��+$EF�������b����� -�.�/ �����������7� . �����������#+$d������+$2� . ����O��[������N���*�������� ����&B���C��+$E#���G�����#�`����� -�.�/ �����������T� . �����������#+$V&F����� - � .4?���C+���a�K���#��+ . ��2`2���#2�4�������U���d�����4����� . � > �G��������"����&�������U�����2�����2� .�/ ���������O¥PT! - � / ��2��=d��� ?;-�.�/ �����������L� . �������4����+°&#���� . ��E���&- � /�. &8�����#��S��X!M����+±JX�%��E#E����U+$��������&F�O

Page 2: Alternatives to the k-means algorithm that find better

²"z_���gvG~c³�´iµb�g~(u�v�zM��zmsgx��8¶�gx�sV�V·cz�w3x#��~¸�V}�~F��t,u�v3}�~F�#¹wi~#s<y�x#y�z_u�sQºBµb�H~$z�w3x#��~6}�z_»~�zm}C¼�½#¾V¿#À8�nz_¾j~#�_}Ix�sV��zm}Bt��g�m�Á u��_u�v*º

�U� - ����� .4? =�:������#�bÂ�ÃVÄ�Å�Æ����*�2����& /#- ��&C�"����J -�.�/ �����������T� . �������4����+- � .�. ��&c'�),���G��+$���#� - +$���������Çdkd�h�W�������8������2��o!M����+È���^��E#)����+$� > �G������� - ���4�����������¸����2��&1���(���������G��+$����� - +$�����^q ­�­�=K­�«��,O�K�#��X� . �������4����+±2�#�GJ"XEF����+$��2�U���$S���&#���#� ���*��& -�.�/ �����������b2��).�/ ��������dY / � - a .4? =�����&7� / ��E����2!m����+$B'*)@+$������ ��Ç �h�"����&iAB� / )2�����[��DFE�� - �%�G�������#),+���DF��+$� > ���������¸�,AB£Q�h�I����+���� ? ���� ���O$�K�#�ÇdkB�9� . �����������#+°� . 2�¸����6�[���G�� . !_����� / �����������6�������o+$��������FÉ / ��� - �����i&����%��E������*��b�������������8�#���bJK� .�. ),+$��&#� . ��&(� ? ���#�-�.�/ �����������b2� .�/ �������j=�� / �X�� / ��a�����J"������J^��+$E����2�%���*�K������`!_����)� / ���d���OKP / �XJK����ao��U�bS��� �U���� J`���T���b������"Y / �� �������jO

�@�$������KE���E�����=�JK�TE#����2���*�K� / ���4S���&�!M�%��+$��J`����a�!m��� . �*��a��������G�- ���*�����2),����2��& -�.�/ ���������#�C� . �����������#+$�=�����&b�������$&#��������K�@JK�d�#��J� . �������4���#+$B������� �G��������2��&�����EF����E����2������d��!KÇ �¦����&�Çdkd�3O�K�#�C� . �������4����+$T����� - ��+$E�������&8����� .4? ��� - � .�.4? ����&o��+$E��4��� - � .�.4? O

2. IMA GE SEGMENTATION���K+$�������������`���#�K������&C!_���Q���*��&�)�Y / � . �4� ? -�.�/ ���������#�d� . �������4����+$J"�4���3������+������b2����+$���*�%���������i��D#��+$E . ��OI�@+������b2����+$���*�%�����������I���#�b�%��2a7��!`����� / E������������ E��4DF� . B��!K���3��+�������� -�- ���%&F�����o���- � . ����=����DF� / ����=�����& . � - ���������jO � .�/ �����������d��N���b��+$E����2�%���*�eE��G�2���!X��+������$2����+$���*�%�G�������HO��K�#�����$�G������JK�oE��G�2��C���o��+������W2����)+$�����%�G�������HOnÊV���� ��=*J`�I&F��S��#�U�C2���`��! / 2��! /#. !m���G� / ����Q������+������E#�4D#� . o�� /�- �1��bE���2�4�������H= - � . ����=K����&�����D�� / ���G�d�������W����� / 2��&��C��������E / �I���o� -�.�/ �����������8� . �������4����+7Ob�F� - ����&j=�JK� !m����&����#�&#���%�8���*���7� -�.�/ ���������#�h� . �������4����+7=n����& -�.�/ �����C�4�C���8EF����& /�- ����#�d2����+$�����%�G�������HO

��� / 2�B���#�d��+������h�@������&#¡7��2���bÊV��� / ����«G�K!_����+ - ��+$E / �����"���4)2����� . �4�����%��� / ���7q Ë���O��T�����#���B������� / 2����� - ��+$E . � - �G����&i!_����� / ���� /#- �3��T����D�� / ��� ��� - � . ���C���� �������%��+$�=jJK�b2��+$E .4?h- ���F�����2�I���#���+������h���1�(&��G�%��2���6J"�4���§��&#��+$���#2�������Oª�K���hS��� ����J`�1&#�4)+$����2�����#X�����I���#�TE#�4D#� .j- �*���%&#����������d��ÌgÍ Î���=F����&������ . �� �X���#�����&F��+$����2�����#"�����I���#� - � . ���U��� .�/ ��d��Ï@Í2ÐHÍ2ÑF�`���7ÒHÓTÔ - � . ���U2E�� - ��OÒjÓIÔ���o�� �%����&��G�%&;��� - ��+$E / ���������%��E���� - �!m���o����E#����2���*��������$E���� - ��E#� / � .�.4? ) / ���4!m����+ - � . �����OBPT�������T��+������W�G�2�2����� / ����U+�� ?���8+$�����7��E�EF����E#�����G���(����O �#Ol����D�� / ���82��+$� . �G���4� ? ��� - � . ���6���� )�������%��+©J"����&#��J" ����� / ��&i��� - �[E��4DF� . ��=V� / �BJ`�������$���*�������� ����&���7���#� -�.�/ ������������� . �������4���#+7=�����&8�����"�����d����E / ��X���������C� . ����)���4���#+7ObPT�������d��+������W2����+$���*�%����������+$�����#��&#Wq ËF=Q«�Õ��Q� . 2� / 2�2��+$� . �����4� ? +$���2��� - B!m���W2E�������� . ��Ì1����&3Î#��= - � . ����=N����&3����D�� / ������F!m����+��G�������HO

����������+�� . � > �6��� - �1&#��+$����2�����[��� > ������),+$�����(����& / �#��� �������4)��� - ��=V����&7������� -�.�/ �����B�����b&��G�%� / 2���#�6�@JK�o� . �����������#+$$��Ç �����&�ÇdkB�h��=���J`�C&#�4f<�������*�N�����4����� . � > ����������d��Ê������ ? ����&W�T����&#��+�n�G�2���4�������H=<&F�� - ��������& . �G�����U���o�����dE���E�������=�����&8'$Öc� -�.�/ �������O

Ê������ ? �I����&F��+±E����2���4�������

²"z_���gvG~�×j´Wr�w3x#��~�}�~��<wi~#s<y�x#y�z_u�slvG~F}��V�_y�}�º$²gvGu<wÈy�u��cy�uØ u�y�y�u�w¸´ Ù7�ÛÚVÙ7Ü7�Ûºgݪ~ Á �gu�}�~h'�Ö§� Á �_�V}�y�~�v�}�u�sLy��H~�gx#y�x;��ÌgÍ Î<Í2Ï@Í2ÐgÍ2ÑF�Iu�tTy��H~iu�v�zM��zmsgx��Uz_sg�n�gy6z�w3x#��~L¶�gx�sg�V·VºÞTx Á �L}�~��<w3~Fsjybzm} Á u��_u�vG~F� Ø |1y��H~hxFß�~�vGx���~ Á u��Mu�vou�tTy��H~}�~��<w3~Fs<y�º(àd�_~�x�}�~L}�~�~[xLt��g�m�M¹ Á u��_u�v[ß�~�v�}�z_u�s\u�tby��gzm}7�Vx#¹�e~�v$t@u�v�y��H~ Á u�vGvG~ Á y$ßgzM~Fáoºdâ8u�y�~hy��gx�yWÙ7Ü7�ã�gx�}$wiu�vG~Á �_~�x#v��M|±}�~��<w3~Fs<y�~F�Ûy��g~§�gx�sV�±t,v�u�wãy��g~ Ø x Á�ä ��vGu��VsV�NÚx�sg�Lz_y�}�}�~��<w3~Fsjy�x�y�z_u�sLzm}by��g~h}�x�w3~8t,u�v Ø u�y��;zmsVz_y�zMx��mz_»�x#¹y�z_u�sV}�ºBµ �g~ Ù7�9}�~��<w3~Fs<y�x�y�z_u�s8ßFx�v�z_~F}"�g~��e~#sg�Vzmsg��u�shz_y�}zmsVzMy�z_x��_z_»x�y�z_u�sQÚex�sV�[z_y�}d}�~��<wi~#s<y�x#y�z_u�sV}Tx�vG~��Nu<u�vG~�v*ºCâ8u�¹y�z Á ~7y��gx#y y��g~7�gx�sV�1zm}W}��V�mz_ybzmsjy�u3y%ábu�}�~��<wi~#s<y�} Ø |[Ù7�á$z_y��(²gu�vG��|izmsVz_y�z_x��mzM»x�y�zMu�sQÚex�sg��y��g~6�VzMåQ~�vG~#s Á ~F}Bx�vGu��VsV�y��g~�y�zM�lu�tUy��g~�zmsV�H~F¾1æesg��~Fv*º

�[� !m� / ��&������G�CÇdkd�çJK�� ��� . �b���oS���&i���� �2)�Y / � . �4� ?�-�.�/ �����2)������ - ��+$E��G����&$J"�����oÇ �3=#� -�- ���%&#�����b���b�����IÇ �¨Y / � . �4� ? +$���2)��� - OQ�V��� . �W«d2����J"K���#�BÇ �¨Y / � . �4� ? +$���2��� - !m���"�������8Ç �¨����&Çdkd�¨� . ��JK���`��Q�����2��������On� . 2�F=�Çdkd�è!m� / ��& �����X���+$�X2����+$���F)�%���������[!m���b�������[� ? E���d��!U�����4����� . � > �����������=NJ"��� . �6Ç �é�������G����&���� ? &F��f<�������*� .�? &F��E�����&F�����W���8�����I���#�4���M� . � > ���������jO

ÊV��� / ���U­T2����J"n�����K� / ��E / ��g!_���N�����`��+������X2����+$���*�%��������� �%��2a�=J"�4���('iÖè� -�.�/ �������O6£N� - �[2����+$�����B���i������� / ��E / �C��+���������- � . ������&8� ? �����I������%����� - � . ���UJ"�4���#���6�����T2����+$���*��ON� . ����2�d2����6! /�.�. ) - � . ��� �����2��������!`������dE���E����d!_���d����� - ���2��� - � �F����JdOW�K���2����+$���*�%���������6� ? Ç ��&#�*��XE��*��� .4? ��� - � / 2�B�4�X2E . �4��K�����T������&���*���[��JK�(2����+$���*��$J"�4���cÊ������ ? �����4����� . � > ���������H=d����&;�4�o����8�E��*���62����+$���*�%���������;��!B���#�7����&#��D¸S��������$J"�4���;�T����&F��+é�n�G�2)���4�������l�����4����� . � > �G�������HO\kI��JK��������="Çdkd�ê&F�*��8�3�����2�����Cë ���l��!-�. ���G� .�? 2����+$���*�������d�����U������&$��JX� ? !M����+Û���#�"��� - a������ / ��&�����&����K�C���� / � .�.4?$- ����2�� �����*�K2����+$���*�%���������6� - ����2X�����4����� . � > �G���������O�K� / $JK��2���h�������������h�����2�����2)�Y / � . �4� ?¸-�.�/ ���������#�§��� -�- ���%&#��������W���#�BÇ �ìY / � . �4� ? +$���2��� - �`����X��������h�W�����2�����2)@Y / � . ��� ? ��+������2����+$���*�%���������[� / E����o�F�� / � . ���#2E�� - ����������O

�F������%� . ��� - ���*��� . �������4����+$h���§��+������32����+$���*�%�G�������Ûq4«�ÕF=$«�pG������o����2��&(���1������������ - ����� - ��+$E / �%����������W���¸&#�� �%��� - �o+��G�2���4)- ���On�K����2����2E�� - �2�%� . ¡C� . �������4����+$e ��� .�.�/ 2�"'*),+$�����#e��N�IE��� �2)E#��� - ��22����� ����E����BS���&W�����"� - � / � . 2����+$���*�%�G�������H= / / � .�.4? �����. ��JK���2)@&#��+$���#2������� . 2E�� - �X�������W�����X������������� . ���#E / ��OV�K� / e�������������h�����������#����&����h���G���6���*��&F)@Y / � . �4� ?(-�.�/ ���������#�3� . �������4���#+$

Page 3: Alternatives to the k-means algorithm that find better

. ��a�i'*)@+$�������O¤�I&�&F�4��������� .�.4? =X���#��2��2E�� - �2�%� . � . �����������#+$8�G�����D#E�����2����B��� / 2��= - �� �����#�6í���îHïG�`����+$�B��� / 2��=�J"������� î3��U���#�� / +W�����W��!d����E / ��&#���%�iE������*���O^�T�#�����#��� -�. ��2���! -�.�/ ���������#�� . ���������*��+$�=#����� . ��+$���%�G������ -�.�/ ���������#�W� . �������4���#+$�= - �� �Uí���îHð������+$����� - ��+$E��G����������&F�� �%��� - �� ������JK�����1� .�. E����4��C��!"E������*���OÊ#��� . �G��������+��������=<���T����� . )�����+$�b����&#���62����+$���*�%���������H=<2E�����&h����22���*���M� . O8�[���G�������*�������� ����&���� . �������G�2),����+$�$í���îH� -�.�/ ���������#�� . �������4���#+$�=�J"��� - �7��XJ"�����"J`� - ���#2�M&F���U���8������"E���E�����O

µKx Ø �_~ª³�´cñ��gx��mzMy�|Ûu�t6}�u��m�gy�zMu�sV}(t@u�vLzmw3x���~c}�~��<wi~#s<y�xF¹y�z_u�sQº1â8�nw Ø ~�v�}8x�vG~1t,u�vhy��g~¸'*¹%w3~�x�sV}8òH�gx��mz_y%|�w3~�y�v�z Á#ó�Mu#á ~�v�ß#x��m�g~F}Cx�vG~ Ø ~�y�y�~�v*º µb�g~oÙ7Ü7�ôx��M��u�v�z_y��nwõt@u��gsV�Ø ~�y�y�~�v�¹�òj�gx��_z_y�| Á �m�V}�y�~�v�zmsg��}iy��Hx�s¤Ù7�ÛÚKx�sV�\t,u��Vsg�ªy��g~}�x�w3~ Á �m�g}�y�~�v�z_sg�1v�~���x#v��V�_~F}�}�u�tUzmsVz_y�z_x��mzM»x�y�zMu�sQº

Ê������ ? �T����&#��+±�n���2���4�������Ç � «�¬�p�Õ�ö «�¬­�Ë�ËÇdkd� «�¬F«�p® «�¬F«�p�®

3. CENTER-BASED CLUSTERING�K�#�`� . �������4���#+$g'*),+$�����#�=�AB� / 22����� ��D#E�� - �%���������F),+���DF��+$� > ���������j=! /�>�>�? '�),+$�������=H����&3'*),������+$����� - +$�����#d�����b��������� !���+$� .4? ��!- ���*�����2),����2��& -�.�/ ���������#�1� . �����������#+$�Oª�K�#� ? ��� - �l������7���#���4���J"������ë � - ������U! / � - �������H=*J"�#� - �6&#��S�����Q�#�GJ;���*��&�� -�.�/ ���������#�2� .�/ �������¸���O[�K�#�o���� . ��!U��� - �¸� . �����������#+÷��b����+$������+$� > �$�4�����Fë�� - ������6! / � - �������jO[����� - �$������2�o���Fë�� - �������! / � - �������# - ������������o+$������+$� > ��&1&#�4��� - � .4? =NJK� / 2�8�4�����%�G������ / E<&#�����o� . �������4����+$J"�#� - � - ������������d��� . � - � . +$������+��FO

3.1 General iterati veclustering��� - ���L!m����+ /#. �G���7�i�����#���%� . +$��&#� . !_���$�����o!���+$� .4? ��! -�.�/ )���������#�7� . �������4����+$T������� / 2�W�4�����%�G������W��E#����+$� > ���������j=<!m� .�. ��J"�����q öG�,=Q����& / 2�$���#��C!_�%��+$��JK����a����h+���a�� - ��+$E�������2���#W�����@JK������ . �������4���#+$�O��I��S��#�[�1�)�&F��+$����2������� . 2���h��!WîR&����%�¸E������*��øùÖ0ú�Ìgû�Í�ü�ü�ü�Í2Ì�ý�þ[��o���#��&��G�%�(���(��� -�.�/ ��������&jOR�I��S��#����)@&F��+$����2������� . 2���I��!`' - ���*������IÿªÖªú�� û Í�ü�ü�ü�Í�����þ$��U���#� -�.�/ )���������#��2� .�/ �������7�����G�U���7�4�����%�G�������C� . �����������#+¥����S��#���O

�Û+$��+W������2�#��Ei! / � - ��������������� Ì��,�d&#��S�����d���#��E#����E����2�������(��!&#���%�¸E������*��Ì � �����G�h��� . ���#��h��� - ��������� � � J"�4��� - ���� �2�%�����*���3������ Ì��@���ç¬1����&�� ���� û �3����� Ì��,��ÖÈ«�O±�F��+$��� . �������4����+$/ 2�U���#Ä����X+$��+b������2����E ! / � - �������j=+$�������������3������ Ì��@����ú�¬FÍ�«Gþ*=J"�#� . �$���������� / 2��� ��!#"�Ãe+$��+W������2����Eh! / � - �������j=g+$�����������o¬%$�3������ Ì��@��$§«�ONÇd���G����U����& - � .�. ����� / ��I������B����� .4?#> ��&o�����C&F�4!_)!_������� - ��g������JK�����C�����%&I����&B2��!_�g+$��+W������2�#��ET!_����+\���d���#!m����+����������F)���#����������� - �%����&#E��������6q Õ���OhPI���$��!X���#��������2���� �������b'*),+$�����#- ��� - ������������Q���UE��*���e2� .�/ ��������e��n& / �Q���U�4��n�����%&C+$��+b������2����E! / � - �������HO§kT�GJ`�������=`�����7�����%&L+$��+W������2�#��E1! / � - �������l+���a��E���22��� . �W+���� ?o- ��+$E / �%�G��������� . ��E#����+$� > ���������#T�������I&#�$�����B�G!_)!_� - �I� -�-�/ �%� -�? ��!V�����d� . �������4���#+7=� /�- �7�� / 2�����$'��)��2������Cq4«�Ë��,O

�¥JK�������*��! / � - �������'&b��Ì � �W&#��S�����W����J¥+ /#- �(���FÉ / ��� - �8&����%�E���������Ì��I��������¸��� - ��+$E / �������7���#� - ���*�����WE��G�%��+$��������W���(���#��#��D��i�������%���������j=bJ"�4��� - ���� �2�%�����*�(&b��Ì � �*)°¬FO÷�¦& ? ����+$� - =��� - �����������#�#=eJK��������� ! / � - �������1JK��b���*�2����& /�- ��&3���cq ­�«���O[AI���*)���#�6����������� . �C���FÉ / ��� - �d����&#���%�$��� -�.�/ ����������������T����� . ��������B������*�� �������1���^ / E���������2��& . ���G���������cq ®G��O £N� - �^��E#E#���� - �^�������+$�����WJK�������*�d���7&��G�%�oE������*��B������� �����W�������,JK� .�. ) - �G�������&F¡7� ?���#� -�/ �2�����*��2� .�/ �������jO(ÓI� . ��a�6���*�� �����#�#=N������$��E#E#����� - �L&F�*���#��� - �����G���C���7����2��+b� . �B��!V2� .�/ �������#�O

�I��J1JK� - ���$&F��S��#�X�I���������%� . +$��&#� . ��!��4�����%���������= - ���*�����2),����2��&-�.�/ ���������#�#OQ�K���d ����E�U������5

«�OK�����4����� . � > �d�����B� . �����������#+¥J"�����8� / ��22��& - ���*������TÿbO­�OXÊ����H��� - �C&��G�%�XE������*�gÌ�� = - ��+$E / ���n����j+$��+b������2����E+�3������ Ì��@����o��� - � - ���������,� � ����&o�4��"JK���������-& ��Ì � ��O

pFOXÊ����n��� - � - ���������.���*=���� - ��+$E / ���N���� . � - �G�������b!M����+¤� .�. &#���%�E������*��QÌ��H� -�- ���%&#���#� ���B���#���4�`+$��+b������2����E#Q����&bJ`�������*���5��� Ö � ý�/� û ����� � Ì � �#& ��Ì � ��Ì �� ý�/� û ������� Ì��,�#& ��Ì���� � «G�

Ë#OK�T��E������" ����E#I­b����&8p / �*��� .<- �������������� - ��O

�I��J¸JK� - ��� - ��+$E������"� . �������4����+$N����2��&����b�������4�Q+$��+W������2�#��E����&¸J`�������*�$! / � - �������#�Oc�T�L� . ����������������7���#������� . � > �G�������cE#��� - ��)& / ���T��N���b� / ��2`���������4����� . E��G�2�����������H=F����&��������$ �%�G�2�K�����T� . ����)���4����+¨!M����+ì ����E(p�Oo�K��� - ��+$E / �%�G��������� .e- ��+$E . ��D#�4� ? ��!X��� - �� . �������4����+¯���8������"E���E����U��Tí���îj'��F�X!_���U��� - � / E<&��G���d�������%�����������£NY / ���������[«���OT�K��� � . �������4����+$I����� ? � ?8- ���� �%�����T!�� - ������T� / �������T�����B���+$�d���%&#��� - ��+$E . ��DF�4� ? O

3.2 K-means�K���3'*)@+$������o� . �������4����+ ��Ç �h�hq4«�«��bE����2���4�������#7&��G�%�(���*���¸'2�����OC�K�#�W2� .�/ �������i��T�������i�$2���d��!K' - �����������=H��� - �i��!`J"�#� - ��� . � - �G����&c���6����� - ���*�2�����M&L��!C������&#���%��!m���8J"�#� - �^�4�8��������-�. ��2�� � - ���*������OVÊ����H�����e+$��+W������2����EI! / � - �������H=���� - � &��G�%�"E����������� . ���#��K��� �4��X�����G���� � - ���*������=�!_����+$�����b� ÔN������������E����2���4�������o��!�����7&����%��O^�K�#�7����ë � - �������8! / � - �������¸�����G�$�����8Ç �ê� . �������4���#+��EF����+$� > ��"��0 1R��ø7Í�ÿd�9Ö

ý2 �3� û +$����5476 û�8 8 8 ��9 : Ì��<;����: ð �,­��

�K����X���Fë�� - ������B! / � - �������o��������"���8� . �����������#+±J"��� - �o+$������+$� > �������oJ"�����#���#) -�.�/ ����������������� - �[�m���#�7�Y / �G����&L&F�� �%��� - �h������J`�������� - � - ���*�����U����&8�4��T��22��������&h&����%�bE������*��%��O

�K���d+$��+W������2�#��Eo����&6J`�������*�"! / � - �������#"!_���TÇ �¨������5�%=?>i����@� Ì��,�9Ö A « � �4!eÏjÖ^�����Q+$��� � : Ì � ;B� � C ð¬ � ���������2J"��2� ��p�&-=?>���Ì����9Ö « ��Ë*�Ç �±����`�B�����%&W+$��+b������2����EC! / � - �������j=�����&�� - ���� �%���*�eJK�������*�! / � - �������[������� ��������W� .�. &��G�%�8E������*��b��Y / � . ��+$E����2�%��� - ��O7Ç ���d���� ? ��� / ��&#���� �%����&�����&i��+$E . ��+$������=�+���a������6���d�6E���E /�. �G�� . �������4����+¥!m��� -�.�/ �����������FO

3.3 Gaussianexpectation-maximization�K���6AB� / 22��������DFE�� - �%���������#),+���DF��+$� > ���������¸�,AB£Q�h�C� . �������4���#+!m��� -�.�/ ���������#� / 2��7� . �������G� - ��+W�#����������������!��)@&#��+$���#2������� .AB� / 22�����3&#�� �2����� / ��������T��I���#� - ���*�������O"�@�T+$������+$� > ��"�����C���F)ë � - ������B! / � - �������

DFE 1¤��ø7Í%ÿd�9Ö ; ý2 �/� û . ���%G �2��� û�H ��Ì��I ����� H �������#J �,���

J"������� H ����I �����N��`���#�IE#����������� . ��� ? ��!g��g���������6�������X�4�`��X���������2)������&8� ? ���#� AB� / 22�M���i&#�� �2����� / �������8J"�4��� - ���*�����-� � =�����& H ��� � ���T���#�dE#�������IE#���������#� . �4� ? ��! - ���*�����,���OX�[� / 2�b� . ��������4���#+Z���

Page 4: Alternatives to the k-means algorithm that find better

+���a�`���#�X+������ ����2�����I�mJ"��� . �X����� - �����������#�B�����K2� .�/ ����������=*����&J`�$���������������#����� .�/ �$2�8�������dJK� - ���[+$������+$� > � �����$Y / ���*����� ?����KJK�d&F� J"�4���6�����I���������X� . �����������#+$KJK�B������� �����������G��O`�F���Wq ­�=E������� ��Õ�KF®�pG�Q!_���C+$�����W����� / �I������d� . �������4����+7Ob�K���b+$��+W�����2)2�#��Eh����&6JK�������*�U! / � - ��������"��!QAB£`�ì�����

� LNM > ��� � Ì � �êÖ H ��Ì��� ����� H �������H ��Ì � � �����& LOM >���Ì��,�êÖ « �,®��P`� ? ��RQQ� /#. �7�� / 2��&(��� - ��+$E / ���o�����o2��!M�o+$��+W������2�#��Ej=Q����&�%LOM > �� �oEF����������� . �4� ? 2��� - �W���#�W!�� - ������ ���[£NY / ���������[�8�G���EF����������� . �4�������OìAB£Q� ������ - ���# �%���*�7JK�������*�7! / � - �������c�����G��������Q� .�. &#���%�IE������*��e��Y / � .�.�? ��+$E����2�%��� - ��= . ��a��XÇ �3O��T�����K�����G�& LNM >���Ì����K��U�#���"�����I���+$�d�� H ��Ì�����O3.4 Fuzzy k-means�K�#�i! /�>�>�? '*)@+$������o� . �������4����+ ��ÊVÇ � � � . 2� - � .�. ��&l! /#>�>�? ��)+$������%�dq4«��e��B���i��&���E#�%�G����������!e�����CÇ � � . �������4���#+������G� / 2���b2��!_�U+$��+b������2����E�! / � - �������jOeÓI� . ��a�IÇ ��J"��� - �7��22�����#T��� - �&#���%�6E������*�I���8�4�� -�. ��2�� � - ���*������=<�����bÊVÇ �÷� . �������4����+©� .�. ��J"�W&����%�bE������*�U���W��� . �����WE����2� .4? ���$� .�.H- ���*�������= . ��a�� AB£`�3O

S�0 1R��ø7Í�ÿd�°Öý2 �/� û �2�T� û Ð�U� � : Ì��O;(����: ð ��ö��

�K�#�bE����%��+$�������TÐ�� �$&F����������T���#� EF����E����2����������!`&����%��E��������IÌ���������b�����22��������&(��� - ���*�����V� � =N����&[�� / ��&F���C����� - ���� �2�%�����*��� ��T� û Ð�� �8Ö¨«$!_���W� .�.?W ����&[Ð�� � �è¬�Oh�K�#�6E����%��+$��������X8�������#� - ���# �2�%�����*�?XV�c«�ON� . �G�������K��� .�/ �X!m����XB+���a���N���#�"+$��������&�@+$�����B! /�>�>�? O ¡PQ� > &#��a;����&L������������������h2��E��G�%����� / E<&#�����8! / � - ���������!m���6Ð � �����&Y���*Oe�K���UÐ�� � / E<&��G���"��Y / ���������o&F��E�����&#N��� .4? ���oÿ�����&�ø�=2�iJK�o��� - ����E����%�����7�4�� / E<&��G���6! / � - �������L���*��������� / E<&��G���6!_�������OU�K�#���8JK� - ���7����E#����2�����IÊVÇ �ì���7���#�B!m����+���!N���#�C�����#���%� .�4�����%�G������ / E<&#�����K��!<£QY / ���������8«�Oe�K���X+$��+W������2�#��E ����& J`�������*�! / � - ��������X!_���IÊVÇ �©�G����5�%ZO=?>h������ Ì��,�êÖ : Ì � ;�� � : [ ð�\R] U [ û_^� ���� û : Ì��O;(����: [ ð�\�] U [ û_^ ��Õ��

&-ZN=?>h��Ì��,�êÖ « � «�¬�ÊVÇ �è����n�U2��!M�e+$��+W������2�#��EB! / � - �������j=����& � - ���� �%���*�VJ`�������*�! / � - �������HO[�TVX7������&Fb����JX�G�%&^«6!_����+÷�����G���=N�����6� . �������4����+�����������U+$����� . ��a�C �%����&#���%&h'*),+$�����#�=�����&8����� - ���*������U2���G������#�C&��G�%�WE������*�� . ��2�O

3.5 K-harmonic means�K�#� '�),���G��+$���#� - +$������U� . �������4����+ç��Çdkd�h�K��B��+$�����#��&82��+�)� . �������3Ç �õ�����G��������2��$!_����+0�3&F�4f<�������*�$����ë � - ������7! / � - �������q ­*«���O"�K���CÇdkB�ì���Fë�� - ������d! / � - ������� / 2��"�����d������+$���#� - +$�������!n�����d&F�� �%��� - �B!_����+¯��� - �8&��G�%�WE������*�"���$� .�.j- ���*�������O

0 ` 1R��ø7Í%ÿd�9Öý2 �/� û '� ���� û ûa a b�c [ed#f a a g � «�«G�

kT����� H ��6���L����E / ��E��G�%��+$��������=K����&¸� ? E#� - � .�.4? H �¨­�O§�K�#�������+$����� - +$�������������K� ���*��&3� . ��JT�Q - �����T!m���K��� - �8&#���%�CE������*�J"�#���3������� &#���%�oE��������C�� -�. ��2�����8��� ? ���#� - ���*������O��K����C��C�EF����E����2� ? ��!T�����6������+$����� - +$����� � ������W2��+$� . ���$���������o+$�����4)+ / +¤! / � - ������� / 2��&�� ? Ç �3=�� / �Q���`��K�C2+$�*������&#�4f<��������������� . �! / � - �������HO

�K���d+$��+W������2�#��Eo����&6J`�������*�"! / � - �������#"!_���TÇdkd�¨�G����5

�%=?h?>h������ Ì����°Ö : Ì��O;(����: [i�[ ð� ��T� û : Ì � ;B� � C [�ij[ ð � «G­��

&-=?h?>i��Ì��@�°Ö� ���� û : Ì � ;(� � : [�ij[ ðk � ��T� û : Ì��N;(���: [ijl ð � «�p��

�I�����T�������XÇdkB�Z����"� 2��!_�"+$��+b������2����E�! / � - �������H=F����&6� . 2�������� ? ������JK�������*�B! / � - �������HO �K�#��BJK�������*�B! / � - �������i�������B�#���������JK�������*�U���bE������*��K�����G�"�����B!m���U��JX� ? !_����+è������ ?�- ����������=#J"�#� - �����&F"���#� - ���*������X���72EF������&F���#�W��� - �G����U���#�d&��G�%�FO

�K���o��+$E . ��+$���*�%���������¸��!BÇdkB�È������&#W���3&#��� . J"�����1����� - ��2�J"�������KÌ��HÖm����Og���C������ - ��2�QJK�`!_� .�. �GJl:������#� / 2�����I+��GD<�I: Ì���;� � :4Íon%�V����& / 2�X�T2+�� .�. E���2��������X��� .�/ �K��!<n�OH�[�X� . 2�C��E�E .�? ���#����� - ���#�MY / �T!m���TÊVÇ �¨����&������I� . �����������#+$U&#�� -�/ 22��&o���h��� - �������pFOn���I���G���I�����X��� - � / ����������&o��� ? � / +$����� - � . E#����� . ��+$K���8��� ?��!e� / �X���� ���O

4. NEW CLUSTERING ALGORITHMS�[���G���h������������ ����&l���;�����8E#����E����2������o��!d�����h����J�� . �������4���#+Çdkd�3OU�,������i�;2��!_�i+$��+b������2����Ec! / � - �������\����&��;����� ? �����JK�������*�7! / � - �������j=BJ"��� - ��+���a��o��� / ����Y / �i��+$�����1������� . ����)���4����+$dJK�$������$��� - � / �*��������&jOoÇdkd�¦���� �������(2����J"�����h���. ��2U2����2�4������B���������4����� . � > �G�����������8 ? �*��������� - &����%�oq ­*«���O

kI�����IJK�d����� .�?F> �T��JK�W��2E�� - ��U��!nÇdkd�ç�m�����I+$��+W������2�#��E6����&�����XJ`�������*�K! / � - ��������%�Q����&$&F��S��#�"�@JK�C����J^� . �������4����+$NJK� - � .�.k ? �F���M&[«�����&�k ? �F���M&i­*O��K�#� ? ����������+$��&7!_���C����� !�� - �d������������ ? �����K� ? �#����&C� . �������4����+$V�����G� - ��+b�������e!m����� / ����N��!�Ç �±����&Çdkd�3O��K���WE / ��E���2� !_��� - ��������������������2�W� . �������4����+$I��I����S���&� / ��J"�����6��f<� - ��$�����h+$��+b������2����EL����&1JK����������! / � - ��������6��!Çdkd��������B� ? ������+$2� . ����O

4.1 Hybrid 1: hard membership,varying weightsk ? �F���M&(«h��k «G� / 2��d�����������%&3+$��+W������2�#��Eh! / � - ����������!XÇ �3O

£e���� ? E������*�"��� . ���#��"��� .�? �����4�� -�. ��2�� � - ���*������OekI��JK�������=#kb«/ 2��U���#�dÇdkd��JK���������U! / � - �������H=�J"�#� - �7�������U+$�����BJK�������*�T���E������*��I�������C�G���W!��G�d!_����+������� ?h- ���*������Od�[�b��DFE�� - �B�������I���#��� . �������4����+02��� /�. & - ������������h+$�����hY / � - a .4? �������lÇ �ê& / �8��������UJK�����������=#� / �`J"� .�. ��� .�. ������UE#����� . ��+$`��� . ������&6���b���#�I�����%&+$��+b������2����EW! / � - �������HON�UQ!��G�"��QJK�Ia��#�GJd=F��&�&F���#�dJK�������*��X���������"+����#�����`����Ç �¨��U�W�#��J§��&#����O

�K���C&F��S��#�4��������X��!V�����T+$��+W������2�#��E8����&$JK�������*�"! / � - ��������X!m���kb«d������5

� h û���� @ Ì � �9Ö A « � ��!NÏ<Ö^�G���`+$��� � : Ì � ;B� � : ð¬ � ���������2J"��2� � «�Ë�

& h ûG��Ì � �9Ö� ��T� û : Ì��N;(���: [i�[ ðk � ���� û : Ì � ;�� � : [i l ð � «G���

4.2 Hybrid 2: soft membership,constantweightsk ? �F���M&7­h��kB­�� / 2��U�����d2��!_�d+$��+b������2����E6! / � - �������h��!`ÇdkB�3=

����&o����� - ���# �%���*�"JK�������*�"! / � - �������7��!eÇ �3O��K���C&F��S��#����������"��!

Page 5: Alternatives to the k-means algorithm that find better

���#�d+$��+W������2����E6����&�JK���������U! / � - ��������X!m���TkB­W������5�%h ð ����� Ì��,�9Ö C Ì � ;�� � : [i�[ ð� ���� û : Ì��O;(����: [�ij[ ð � «���

&-h ð ��Ì��,�9Ö « � «�®���T�����d�����G�IkB­b����2��+b� . ��TÊVÇ �3O����8!m� - ��=�!m��� - ���2�%��������� .�/ ��T��!XI����& H ����� ? �����"+��G������+��G��� - � .�.4? ��Y / ����� . ������Og�@�N��Q���*�������� �����#����b��������=#���#���H=*�������X���#�I+$��+b������2����E$! / � - �������o��!nÇdkB� �m!_����+J"�#� - ��J`������� kd­��d����&�ÊVÇ �0�G���6� . 2�h���� ? 2��+$� . �G��O8�������#)���� ����������Tkd­d����&$ÊVÇ ����`2��E����%�����T���*���4������Q���Ca����E -�. �����K���#�!m� - �b�����G�bJ`�8�G���6������� ���������������������$+$��+b������2����E�����&�J`�������*�! / � - ��������"��!eÇdkd��2��E����%����� .�? O

5. EXPERIMENT AL SETUP���[E����2!_����+ê��J`�l2�������!���DFE�������+$���*��8���l&F��+$���# �2�%���������#�EF����E����2������d��!`���#�W� . �������4����+$C&F�� - ��������&����[��� - �������#dp8����&hË#O��� JK���*�I���o���# JK���B2������%� . Y / �� �������#�5"����JR&#�6&F��f<�������*�B�����4)����� . � > �G��������6�Gf<� - �$��� - �L� . �������4����+7=NJ"���G�$��W�����6���#É / ��� - �o��!2��!_�U����� / K���G�%&o+$��+b������2����Ej=�����&�J"�����"��X�����I��������S#�X��! / )���#�����G� ? ���#������� / - ���# �%���*�"JK�����������O

�K�#� / ������� - �W� . �������4����+R+$������+$� > ��e�I&F�4f<�������*�e����ë � - �������K! / � - )�������H=<JK�b+$���� / ���b�����bY / � . �4� ? ��!`��� - � -�.�/ �����������62� .�/ ��������� ?���#�b�Y / ������)����*���I��!e����� '*),+$�����#T���Fë�� - ������C! / � - ������������£QY / ��)�������^­�Ol�@�$��6�i������2������� . �h+$���2��� - � ? J"�#� - �L���6ë / &#��� -�.�/ )�����6Y / � . �4� ? =`����&¸� ?(/ 2���#�[�i2���#� . �h+$���2��� - J`� - ��� - ��+$E��G���&F�4f<�������*��� . �������4����+$�O¸�[� / 2�8���#�o�Y / �����8���*���$��� - � / 2�8���#��Y / ������&(&F�� �%��� - ��������+ - ���(��D#���������%�G���6���#�$2��������4� ? ��!"E��*���2� .�/ �������#�ON��� - ���#2��&#������&W� / ���#���#�BÇ �¥���W���#�U� / ��E / �e��!j��� - �� . �������4���#+7=�2�W�������"�����BÇ �¨���Fë�� - ������d! / � - ������� - � /#. &o���B�����2)�����Q+$���#��+$� > ��&jOj�[�`!_� / ��& �������n������N&#��& �����e�#� . EW2�����#�4S - ����� .4? =2��J`�C&#�b�����T&F�W������X��������O

P / �6��DFE�������+$���*�� / 2�h��JK�1&#���%��2����7� . ������& ?;/ 2��&L���l��� - ���*���+$E��4��� - � . J`����a$��� -�.�/ ������������� . �������4���#+$Bq ­�pF=<«�Ë���=�����&��CE�����)�������%��E�����!H�B������&W!M����+Zq Ë���ON�K���T� . �����������#+$QJ`�"���� �X�����"Ç �3=ÇdkB�3=FÊVÇ �3=Fkb«�=�kB­�=#����&6AB£`�3O��K��� - ��&#�U!m���"��� - �o��!g������2�� . �������4���#+$U��X� / �X��J"���mJX���4�2�����o���h�7��� . ������=F��D - ��EF�X!m���TAB£Q���Ê��� ���8�4D - ��&F�TEF��������&#��&W� ? q4«�öG�_��ON���"������&W���d / E�E .�? �����X���#�ÇdkB�3=�k «�=#����&okB­CJ"�4���8�����IE����%��+$������� H =#����&8ÊVÇ ��J"�4���%X�O���"2��� H Ö^p�ü �I!_���X� .�. ���� ���=���Q�����G�QJK��N�����X���� �Q��� .�/ �X!m� / ��&� ? :������#�#OV���X2���pXdÖ\«�ü p�=F��e�������e��e�����X���� �N��� .�/ �KJ`�K!m� / ��&����2��&o���7� / �"E#��� . ��+$�����G� ? ���� ���O

�K�#�$��JK�������4����� . � > �G��������WJ`� / 2�6�����$�����6Ê������ ? ����&��T����&#��+�n�G�2���4��������+$�����#��&#�q4«�����O��K�#�$Ê������ ? +$�����#��& - ���*��2��C'i&����%�E����������!M����+¦���#�h&��G�%��2���o���$�%����&F��+é����& / 2���������+é������#����#������� .V- ���*�������O`�K���d�T����&#��+¯�n�G�2���4�������h+$��������&o��22�����#I��� - �&#���%�iE������*�$�������%����&F��+ - ���*������=`���#��� - ��+$E / ����b���#�7�����4����� .. � - �G�������6��!j��� - � - ���*�����`��e����� - �����2������&���!j�4��`��22��������&$E������*���O�K�#� Ê������ ? +$�����#��&o������&#X����2E#������& - ���*������"� / �T���o�����C&��G�%�F=J"�#� . �T�����U�I����&#��+è�n�G�2���4�������o+$��������&W������&#Q��� E . � - �T���#� - ���#)������`�����d2+�� .�. �G�����d�����G�`�����"+$��&�& . �X��!<�����U&��G�%��2����Oe�T����&#��+�n�G�2���4�������oJK��`!_� / ��&���� ���T�CE#����!_���%��� . �T�����4����� . � > ���������8+$��������&!_���I����U2��+$E . � - �4� ? ����&7Y / � . �4� ? ���(q4«��F=g«G­G��OUÊ����dAB£Q�3=�J`� � . 2����#������� . � > � H ��� � �eÖ\«5q�'b����&C�����4����� . � > �K����� - �G���G���M��� - �N���I���`¬Fü ­sr�=J"�#������r$��U���#�B��&#���*���4� ? +��G�2����D<OPQ��!m����� -�.�/ �����������F=�� .�. &��G�%��2���� / 2��&6���7�������o��DFE�������+$���*��X�G���2�#�4!_����&7����&�����), - � . ��&o���W������d��� - �8&#��+$����2����� > �����W+$�����8����&/ ���4�B����������� - ��OB�K����B��I���#�b �%����&��G�%& > ), - ����� �2�%���� !_����+��G�������HO�K�#�� - ���[���$�7���*��&���&#���7����!_����� / 2���#�h� . �������4����+$ ����2��&����

−2 −1.5 −1 −0.5 0 0.5 1 1.5 2−2

−1.5

−1

−0.5

0

0.5

1

1.5

2K−means:1 iterations. Quality:412.3576

−2 −1.5 −1 −0.5 0 0.5 1 1.5 2−2

−1.5

−1

−0.5

0

0.5

1

1.5

2K−means:1 iterations. Quality:13784.0551

²"z_���gvG~utj´õÞU¾H�e~�v�z�w3~Fsjy ³�´õ²gu�vG��|wv �M~Ft,ysx�x�sV�zy$x�sH¹�gu<wÈàTx�vGy�zMy�z_u�s{v�v�z_���<ysx�zmsVzMy�z_x��_z_»x�y�z_u�sV}8t,u�v6y��g~B|WrTy��bÜ�gx#y�x�}�~�y�º�� ~Fsjy�~�v�}�x�vG~(}��guFá$sczmscy��g~(�gx#v ä^Á u��_u�v*Ú"�Hx�y�x�eu�zms<y�}8z_scy��g~��_z_���<y Á u��_u�v*º6µb�gzm}o�Hx�y�x�}�~Fy��Hx�}�x[��v�zm�^u�t³�½�¾e³�½[sHx�y��gvGx�� Á �m�V}�y�~�v�}�º

&#�� �%��� - ��+$���2��� - �=V�� �4�C��������B�����b���+$�����#É / ��� - �b���o��� - �[&F�4)+$���#2�����HO

5.1 Experiment 1: BIRCH�K���dE / ��E���2�B��!n� / �XS#�� �"��DFE�������+$���*�X��K����� .�.�/ �2�%�����B����� - ���F)���������� - �IE#����E����2������X��!H�����T&#�4f<�������*�"� . �������4���#+$�=�����&$���b2�#��J�������#����&3���h��+$E#���G�� -�.�/ ������������� . �������4����+$�Oh��� / 2�6�8�%���F)&#��+ .4? �����#���%������&¸ ? �*��������� - &��G�%��2����J`� - � .�. PQ��� � kb=N��$&#��)S��#��&(� ? q ­�p���Ol�K�����&��G�%��2���$�����'LÖ÷«�¬�¬��2� / � -�.�/ ��������G�2)�%���#����&3���[��«�¬�D<«�¬7������&����[�iÖ¥­7&#��+$���#2�������Oo£N� - � -�.�/ ��������������%�G����6«�¬�¬h&#���%�7E������*��d!_����+ç�4��C��J"�¸AB� / 22�M���1&#�� �2����� / )�������j=n!m�����7�����%� . ��!UîcÖ�«�¬�Í%¬�¬�¬3&#���%�7E������*���Oi�K���6&F�� �%��� - ������@JK�����o��JK����&�ë � - ����� -�.�/ �����U+$�����#X��"Ë7} ­ J"�4��� -�.�/ �����"�%�G)&#� / ��!,} ­���+$�����������6����������������� - ��������� - �[&#��+$����2�����[���«���O�[��� / �[��� - �1� . �������4����+©��J"� - ��=Q��� - �$J"�4���[������Ê#����� ? �����4����� . )� > ���������H=j����&8��� - �dJ"�4���7�����C�I����&F��+¯�n���2���4�������������4����� . � > �G�������HOÊV��� / ���"pB2����J"n�����`�@JK�d�����4����� . � > �����������Oe�[� / 2�K�����K���+$�K�%���F)&#��+ .4?7- ����2���3�����4����� . � > �G��������d!m���C� .�. � . �������4����+$�O P / �I���� /#. �������d2��+$� . ���U!m���T���������"�%����&#��+¥�����4����� . � > ���������#�O

5.2 Experiment 2: Pellegand Mooredata�K���o2� - ����&L��D#E�������+$����� / 2����i ? �*��������� - &����%��2���$����2��&¸���JK����al� ? q4«�Ë���OèkT�����hJK�h� / �^+���� ? ���� ������¸&#��������+$���#�7�����������%������) - ��2�o���������F�����W��!U���#��� . �������4����+$�O7�������� ��&#���%��2������!Q&F��+$����2�����#B­*=<Ë#=<����&h�����$2����J\�������I� .�. ������2�b� . �������4���#+$JK����aoJ`� .�. ��� . ��Jª&#��+$����2�������OX£N� - ��&��G�%��2���I����I'�Ö���¬��2� / ����G� / �%� .g-�.�/ ������"J"�#� - �h���������%�G���CîhÖ§­���¬�¬������%� . &��G�%�WE������*���O�K���N�2� / � -�.�/ ����� - ���*������n����� - �#��2���b���g�%����&F��+����C����� / �#���g� ? )E���� -�/ ����=*�������7­���¬�¬b&��G�%�bE������*��X�G���I���������%�G����&o� ?$- ���*��2���#���-�.�/ �����n�%����&F��+ .4? =�����& ���������%���������I�I&��G�%�UE��������n� -�- ���%&#�����T���I�AB� / 22�����6&#�� �2����� / ��������J"�4���6 �%����&#���%&�&F�����M�G��������~TÖl�F� ¬�ü ¬�«G­����&6+$�����o���K���#�T�2� / � -�.�/ ����� - ���*������On�[�T�����#���%�����d&#���%�C���������K+$�����U2��E����%������&i� -�.�/ ������K������ . ��2K�G���� . ��E��e�������$�����"JK����a� ? �V� .�. ���W����&6�8�*�������mJ"��� / 2��&�~UÖl����¬Fü ¬­�����=#��� - � / 2�U���#��E#����2���*��b�o+$�����$&F�:� -�/�. �d�%��2a����8���#� -�.�/ ���������#��� . �����������#+$�O�K����V��H��� - � / 2�`�4�V��V�����%&F���H!_��� - ���*������H���U+$�G��V!_����� .�? ���F��� / ��������TJ"��� . � &��G�%��2���T& / �I��������E#T�����@JK�����8���G� / �%� .H-�.�/ �������O

Ê����K��� - ���Y�iú�­�Í�Ë#Í2�*þIJK�U�����#���%�����C«�¬�¬b&#���%��2�����=�����&W�@JK� ���#�4)����� . � > ����������C���I����&F��+ �n���2���4�������o����&6Ê#����� ? �n!m���K��� - �8&#���%��2����O�K�����3JK������ �b��� - �(� . �������4����+ì!_����+ì����������!K������2�$���#�4���M� . � > ��)�������#�O$Ê����C��� - �[� . �������4����+¨J`�$� .�. ��Jè�4�d���6� / ��!m���$«�¬�¬8�4�����%�G)�������#�=�J"��� - �8��UE . ���*� ? !_���U�����d� . �������4����+$X��� - �������������O

Page 6: Alternatives to the k-means algorithm that find better

µKx Ø �_~i×j´BÞT¾j�e~Fv�z�wi~#s<yo³�´bñ��gx��mzMy�|¸u�tT}�u��m�gy�zMu�sV}�t,u�v�u�sg~v��Vs¤u�s¤y��H~*|WrTy��bÜ9�gx#y�x�}�~�y�ÚB�V}�zmsg�§²gu�v���|\x�sg��y$x�sH¹�Hu<w àTx#v�y�z_y�z_u�sÛzmsVz_y�z_x��mzM»x�y�zMu�sV}�º{�Nu#á ~�v3òj�gx��mz_y%|¤} Á u�vG~F}x#vG~ Ø ~�y�y�~Fv*º ¶��b�m�V}�y�~Fv�}èt,u��Vsg�V·ézm}Ûy��g~©sH�Vw Ø ~�v±u�ty�v��H~ Á �m�V}�y�~�v�}�v w3x�¾Hz�w��nw÷³�½�½<x"zms3á$�gz Á ��y��g~Wx��_��u�v�zMy��nw�V�_x Á ~F�;x#y$�_~�x�}�yWu�sg~ Á ~Fs<y�~�v�º

} 0 1 òj�gx��mz_y%| � �m�V}�y�~�v�}�t@u��VsV�Ê#����� ? �I� Ê#����� ? �I�

AB£Q� «G��O ��p�¬ ­�ËFO p�Õ�Õ ®�® Ë�ÕÇ � «G­�O ®�®�« «�ö�O p�Õ�� ö�p ��¬kb« «G­�O�«���Õ «G�*O ­�Ë*­ ö�� ®�­ÊVÇ � «�«�O ��«G­ «�¬�O Ë�Ë#« ö�Õ Õ�pkd­ «�¬FO ��®�¬ ÕFO Õ�¬�ö Õ­ Õ��Çdkd� «�¬FO ­���� ÕFO Õ�Õ�Õ Õ�Ë Õ��

6. EXPERIMENT AL RESULTS6.1 Experiment 1: BIRCH� / �#�������6��� - �(� . �������4���#+ì���3���#�YP`�@� � k±&��G�%��2��� ��� - ����������������*� / ����������!_���d�#��Jª��� - ���������G�����OBÊV��� / ����p$2�#�GJ"T�����d��J`����#������� . � > �G��������NJK� / 2��On�K�#�K���� /�. ��n��!�Ç �3=*AB£Q�3=����& Çdkd�(Q � / ��I�����W2�#��J"�3���iÊV��� / ���bË8����&7����� -�.�/ �����CY / � . �4������B!m���C� .�.�G���b2�#��J"�h���i�V��� . �b­�OTÊVÇ �3=�kB­�=<����&7ÇdkB�ç� .�. !m� / ��&7���*��&-�.�/ ������������"!_���U��������� ? E���`��!n�����4����� . � > �G���������=�����&������ ? �G���d� .�.2��!_�T+$��+W������2����E6� . �����������#+$�O

�K�#�N�@JK�"���G�%&d+$��+W������2�#��Ed� . �������4����+$�=�Ç �Û����&Bkb«�=�������N&#�� )����� - � .4? &#�4f<�������*�d���������F�����B!m���d�����b�@JK�6�����4����� . � > ���������#�O��*�%���2�2)���#�8!_����+©Ê������ ? ���#������� . � > �G�������[������2����JK�8� . �������4����+$CE����2!m����+������2������� .�? JK� .�. =I� / �6 �%���2�����#�1!M����+0�����h�T����&#��+õ�n�G�2��������������#��2��� . �������4����+$ - �������������J"�4���[+���� ?�- ����������C����+������������8������#�b+$��&#& . �C��!`���#� &����%��2����=j¡��2�%��E�E���&F¡6���#�����b� ? �����%&���22�����#)+$������Oo�K�#�� ��b��� - � / 2�������$���G�%&�+$��+b������2����E�! / � - �������[EF����)�����*�� - ���*������V!_����+R+$���������U�4!������ ? &F�I�#���e��J"�����#� / ���WE������*���O�@���V��� . �T­UJK�X2�#��J¸���#�X� / +W�����V��!��2� / � -�.�/ ������N!_� / ��&j=�J"��� - ���d�����W� / +W�����I��!X�2� / � -�.�/ ���������� / �C��!I«�¬�¬��I�������d��� - �������&3�- ���*�����U� ? ���#�C� . �������4����+7O

� . ����� / ���ªAB£`� ������L2��!_�i+$��+W������2����E^! / � - �������j=C���i&F�*��E��*��� .4? �����������&��G�%��2����& / �����l2��+$� - ���*����������������#�;�������4)��� - �d�������U��U���*� . �������W����&o�%��a����#���G����U2������%� .g-�.�/ �������O"�K�#�� / ��E / �X��!NAB£`�¨�����4����� . � > ��&7� ? �T����&#��+±�n���2���4�������h��E�E����G��"���������K+$����� - ���*������ - ��� - ���*�2�%�G����&b���W���#�K+$��&�& . �Q��!����#�X&��G�%��2����=J"�#�����b���#� - ���*������I��������jOd�K�#��I��T2��+$� . �G�B���$�����C���G�%&�+$��+�)������2����E(���� /�. ���O3�K���6Ê��� ���8��D[��+$E . ��+$���*�%���������3JK� / 2��&�!_���AB£Q�õ �%�G�2����&3J"�4���l«�¬�¬ - ���*������ ����&�����+$�G��� - ���*������CJ"����2�EF�������b��� - ��+$�b���*�h2+�� .�. O7Ê����C������d������2���H=n�4�b����&F��&iJ"�4���(Õ�ö��Ê#����� ? �W����&¸öF«����I����&#��+¦�n�G�2������������� - ���*�������&#��E�����&#�����i������#�b���#������� . � > �G�������HOdÊ��� ���8�4Dh����T���#� ����� . �4� ? ����2���G� - ��!m���I���#�� / +W�����`��! - ���������� / 2�����W&#���#2��� ? �� ����+����������jOn�[�I�2������&6 �%���2�2)���#�bÊ��� ���8�4D�J"�4����� / �`�CEF����)@&#��S�����& � / +W�����e��! - ���*�������=F����&��4�!_� / ��&h­�pFO

6.2 Experiment 2: Pellegand MooredataP / �$2� - ����&1��DFE�������+$���*�W2�#��J"������o�G�����%�����7E����2!m����+���� - �8��!���#�(� . �������4����+$ - ��+$E�������&��G�����+���� ? �%����&F��+ .4? �����#���%������&&#���%�I2����Q���W2������%� . &#��+$���#2�������OeÊ#���N��� - �$&#���%��2���QøV�s� � J"�#������ �(ú�­*Í�Ë#Í��þ�����&[«�$ W $¤«�¬�¬�JK� - ��+$E / ���C����� ��E#����+�� . Ç �E����2���4�������ií,�5� � � ? � / �#�������WÇ �¨��� - �������������� - �C �%�G�2�����#�$J"�����

Ê������ ? �T����&#��+¯�n�G�2���4�������

−2 −1.5 −1 −0.5 0 0.5 1 1.5 2−2

−1.5

−1

−0.5

0

0.5

1

1.5

2K−means:100 iterations. Quality:163.1047

−2 −1.5 −1 −0.5 0 0.5 1 1.5 2−2

−1.5

−1

−0.5

0

0.5

1

1.5

2K−means:100 iterations. Quality:338.435

−2 −1.5 −1 −0.5 0 0.5 1 1.5 2−2

−1.5

−1

−0.5

0

0.5

1

1.5

2K−harmonic means (p=3.5):100 iterations. Quality:105.1674

−2 −1.5 −1 −0.5 0 0.5 1 1.5 2−2

−1.5

−1

−0.5

0

0.5

1

1.5

2K−harmonic means (p=3.5):100 iterations. Quality:99.98

−2 −1.5 −1 −0.5 0 0.5 1 1.5 2−2

−1.5

−1

−0.5

0

0.5

1

1.5

2fuzzy km (r=1.3,P=2):100 iterations. Quality:134.8514

−2 −1.5 −1 −0.5 0 0.5 1 1.5 2−2

−1.5

−1

−0.5

0

0.5

1

1.5

2fuzzy km (r=1.3,P=2):100 iterations. Quality:109.022

−2 −1.5 −1 −0.5 0 0.5 1 1.5 2−2

−1.5

−1

−0.5

0

0.5

1

1.5

2hybrid 1 (p=3.5):100 iterations. Quality:147.8599

−2 −1.5 −1 −0.5 0 0.5 1 1.5 2−2

−1.5

−1

−0.5

0

0.5

1

1.5

2hybrid 1 (p=3.5):100 iterations. Quality:232.34

−2 −1.5 −1 −0.5 0 0.5 1 1.5 2−2

−1.5

−1

−0.5

0

0.5

1

1.5

2hybrid 2 (p=3.5):100 iterations. Quality:113.8546

−2 −1.5 −1 −0.5 0 0.5 1 1.5 2−2

−1.5

−1

−0.5

0

0.5

1

1.5

2hybrid 2 (p=3.5):100 iterations. Quality:98.168

²"z_���gvG~õÀg´ ÞT¾j�e~Fv�z�wi~#s<y¦³�´ � u�s<ß�~�vG��~Fs Á ~éu�s y��H~|WrTy��bÜÈ�gx�y�x�}�~�y�º3²gvGu<w]y�u��\y�u Ø u�y�y�u<w1´(�oÞI� ÚXÙ7�ÛÚÙ7Ü7� Ú$²"Ù7�ÛÚ�Ü3³�Ú8Üh×jº��oÞI� x�sV��Ù7� Ø u�y�� Á u�sH¹ß�~�vG��~3y�uLß�~�vG|l�_uFáW¹�òj�gx��mz_y%|^u��Vy�z�wixHÚKá��Vzm�_~�Ù7Ü7� �gu<~F}sgu�y�ºB²gx�}�y��ªz_¾7}�u�t@y%á x�vG~W��~Fsg~�vGx�y�~#��y��g~W�n�_u�y�}Ut@u�vV�oÞI�ÛÚ}��guFá$zmsg��y��g~(³¹�}�z_��w3x Á u�sjy�u��gv�}�º

Page 7: Alternatives to the k-means algorithm that find better

0 10 20 30 401

1.2

1.4

1.6

1.82

2.22.42.62.8

3

iteration #

aver

age

perf

orm

ance

tim

es o

ptim

alKMKHMp(p=3.5)FKM(r=1.3)H1(p=3.5)H2(p=3.5)GEM (final result)

0 10 20 30 401

1.2

1.4

1.6

1.82

2.22.42.62.8

3

iteration #

aver

age

perf

orm

ance

tim

es o

ptim

al

²"z_���gvG~��<´^ÞT¾j�e~�v�zmw3~Fsjy[×j´c�Cu�sjß�~�vG��~Fs Á ~ Á �gvGß�~F}[}�y�x�vGy�z_sg�ªt,v�u�w ²gu�vG��|�v�y�u��px3x�sg��y$x�sV�Hu<wãàUx�vGy�z_y�zMu�s�v Ø u�y�y�u�w�xz_sVz_y�z_x��mz_»x#y�z_u�sg}�u�s¤×F¹2�ª}�|gs<y��g~�y�z Á �gx�y�xHº(µ �g~[¾<¹2x#¾gzm}h}��Hu#á$}oy��g~1sj�nw Ø ~�vhu�t z_y�~�vGx�y�z_u�sV}�ÚTx�sV��y��g~(|<¹2x�¾Hzm}�v �Mu��c} Á x��M~�x}��Hu#á$}7x�ß�~�vGx���~ Á �m�V}�y�~�v�zmsg�§òj�gx��mzMy�|�} Á u�vG~�ÚIá��g~�v�~¸�_uFá ~Fv�ßFx��m�H~#}7x#vG~ Ø ~�y�y�~�v*º*��sV�_|\y��g~(æesgx��BvG~F}��V�_y�}�t,u�v��oÞI� x#vG~}��Hu#á$sNºCâ8u�y�~�y��Hx�y$Ù7�ùx�sV�m�oÞI� �e~�vGt@u�v�wõábu�v�}�~hy��Hx�s;~�ß�~�vG|(u�y��g~�v6x��_��u�v�zMy��nw¸º

���#� - ���*������X�������"���������%�G����&o�����B&����%�b2�����OQ�K�����6JK� - ��+$E / ������#�d - �����d��!N� -�.�/ ���������#��ÿ �5� �Q��X�����I�%�G�����

�-�s� � Ö � 0 1R��øV�s� � Í%ÿ��5� � �0 1¤��ø��5� � Í�í,�5� � � � «�ö�

�g��� . � Ë$2����J"T���#�C+$�����h����&7 �%����&��G�%&h&#���������������i��!��,�5� � !_������ - �;� . �������4����+7= - ��+$E / ����& / 2���#�¸«�¬�¬3&����%��2����$���l­�&#��+$���F)2�������OC�V��� . ��p$2�#�GJ"T����� E������*�2),J"��2� - ��+$E�������2������!Q��� - �3� . )�������4����+�!m���n���#�Q���+$�`��DFE�������+$���*��OH�@�n�� -�. �����n!_����+\������n��VJK� .�.�������e2��!_�N+$��+W������2����EC� . �������4����+$"��Çdkd�3=�ÊVÇ �3=�kd­��gE����2!m����+�����2�����X�������6�����%&6+$��+W������2�#��E�� . �����������#+$d��Ç �3=Fkb«G�N���6�������������%�����bE����2!m����+���� - �W����&h����������� - ��Od�K�#� ���� /�. ��I!m���BËo����&h�&F��+$����2������� . &��G�%��2���� �����W���� ? 2��+$� . �G��=V2�8J`�$&#�7�#���d����E����2����#��+¥��������O

ÊV��� / ���$�$2����J"I���#�b2E�����&i��! - �������������� - �b��!Q��� - �i� . �������4����+!_���d�6Ö\­�&F��+$����2�����#�OB�K�#� D�)@��DF��U2����J"I�����C�4�����%�G�������3� / +�)������=�����&$����� ? )��GDF��`2����J"K�����T������%�����d'*)@+$������`Y / � . �4� ? �%�G������G�X�����G�"�������%���������j= - ��+$E / ����& / 2�����b���#�W«�¬�¬�&��G�%��2�����Oe��� - ���2���T�����G�XAB£Q������&�Ç ���G��� / ���4!m����+ .4? ���#!m���������K���C������ ? �����#���� . �������4���#+7=�����&o�����G�"�����d2��!M�B+$��+b������2����Eo� . �������4����+$UÇdkd�3=kB­�=Q����&1ÊVÇ �õ+$�G��6Y / � - a .4? ����S���&[���*��&¸2� .�/ ���������O1PI� .4?���#�8S���� . ���� /�. �$!_���8AB£`�9���E . ���2����&L��$JK� - �����#��� - ��E#� / ���-�.�/ �����������$EF����������2T����!_�����B���#�CÊ��� ���8�4Do2��!_�@JX�G���C������+$�����������O

Ê��� ���8�4D�����Q�����T���#� . �4� ? ��� ��&�&�����&�����+$�G�� - ���*������N��� �����2�����S#�C�4��b&#���%��O�Ê��� ���8�4D���&#&#C� - ���������C��!`�����W+$��&F� .e/ ��&#����EF����)&F� - ��B�����b&��G�%�8����&7����+$�G���d� - ���*�����d�4!`����IE#�������CEF����������� . �4� ?������*� . ��JdO1�[�o��DFE�� - �b�������$Ê��� ���8�4D<Q ������ . �4� ? ������&�& - ���#)������QJK� /�. &$���"��� . E#! /�. ���6�C&��G�%��2���`����J"�#� - � -�.�/ ������K�����"JK� .�. )2��E����%�G����&jONÊ#���e��DFE�������+$���*�e­*=*Ê��� ���8�4Db��������bJ"��������¬ - ���*����������&i��� .4? ����+$�G���& - �����������O�Ê��� ���8�4D - �������������&iJ"�4���[�������*)���%�����6��!"Ë�öFO p�Õ - ���*������6��Ê������ ? �d����&3ˬFO�«�p - ����������6���T����&#��+�n�G�2���4���������`���������I­G)@&#��+$���#2�����$���� ��ON�K����X2����J"`�������UAB£Q����� . 2�$2����2�4������B����E��*���I�����4����� . � > �G���������O

µKx Ø �_~oÀH´BÞU¾H�e~�v�z�w3~Fsjyb×j´Iµ �g~7wi~Fx�s[x�sV�(}�y�x�sV�gx#v��¸�H~�¹ßHz_x�y�zMu�siu�t�� ð � � Ú#y��g~ vGx�y�z_u Ø ~�y�á ~�~#soy��g~b'�¹%wi~Fx�sV}"òH�Hx��mz_y%|x�sg�¯y��g~�u��Vy�z�w��nw¸Ú�uFß�~�vc³*½�½R�gx�y�x�}�~�y�}�Ú�zmsZפ�Vz�w3~FsH¹}�z_u�sg}�º��QuFáb~�v6ß#x��m�g~F}$x�vG~ Ø ~�y�y�~�v*º�y$~F}��V�_y�}�t@u�v8À1x�sV�c¿�Vz�wi~#sg}�z_u�sV}�x#v�~i}�z�w3zm�_x�v*Úex�sV�l�gx�ß�~7y��H~3}�x�w3~7vGx�s ä zmsH�gº

�7���#�R� �p�R������ ¢¡N�R�_£_¤ £#¤¥���¦�§©¨ ª�« ¬�­�®�­�¯±°T².³j«¥ªo¬R´5­ ­j« ¬�®�µ�¬¶¯±°T²©³j« ´�´5·5¸¹ ¨ ª�«¥ªo·�³�·�¯±°T².³j« ³�·�µ�¬ ­j« ³�·�³�µ¶¯±°T²©³j« ­�®jªo®º ª ª�«¥ªI´s¸R¬�¯±°T².³j« ³�®�µ�³ ª�« ¸R®R´�´�¯±°T²©³j« ­R´5³�¬�N¹ ¨ ª�«¥ªo­�»jª-¯±°T².³j« ³�®�¬5¸ ª�« ³�·�»�·¶¯±°T²©³j« ³R´5·�·º ­ ª�«¥ªo³5¸�¸F¯±°T².³j« ³�µ�¬�® ª�« ³5¸R»�»¶¯±°T²©³j« ³R´�ªo®¹±º ¨ ª�« ³5¸R³�µ�¯±°T².³j« ³�¬jªo³ ª�« ³�®�³�µ¶¯±°T²©³j« ³�­�·R´

7. CONCLUSIONSP / �H��DFE�������+$���*�� -�. ����� .4? 2�#��J3���#�N / E������������4� ? ��!������N'*),������+$����� -+$������n� . �������4����+¯��ÇdkB�h�j!m���nS���&F����� -�.�/ ������������N��!��#������Y / � . )�4� ? ��� . ��J�&#��+$���#2�������O^P / �6� . �������4����+$$k «h����&LkB­ . ��� / � / & ? ����� ��f<� - ��B��!N����� Çdkd�ìJK�������*�C����&h+$��+b������2����Eh2��EF)���%�G��� .4? O��K��� ? 2����J¯�����G�o2��!_�o+$��+W������2����E1��6��22���*����� . !m���S���&#�����8���*��& -�.�/ ���������#���=Q��bkd­8E����2!_����+$ �����G� .�? �� JK� .�. ��Çdkd�3=H� / �B�����G� ���G� ? ���#�oJK�������*��b�G���$��������S - ��� . J"�4���(�8�����%&+$��+b������2����E3! / � - �������H=N2��� - �ok «�E����2!m����+$W�����2����� �������(Ç �3OÔQ��� ? �����3J`�������*��6�����h���*� / �4������ .4? 2��+$� . �G�����������8J`�������*��6��EF)E . ����&����b�2�%�����#���#�W��D#��+$E . ��X� ? ���*�� �����#�7q ®G��O`�,�K����+������#K���W���2�����oJ"�������#���"������"����� . ��� ?7- ���7���B+���&F�BE#��� - ��2��O

�n��������� / "JK����a8���7�����4����� . � > ���������3+$�����#��&#"���� - ��� -�.�/ &#��&6������������i�T����&F��+È�n���2���4�������§+$��������&l��7���*��&c!_���iAB£Q� ����&l!m���Ç �3=N� / �$� / �$��DFE�������+$���*���&F������� - ���#S���+ ������ - ��� -�.�/ 2�����HO�K���UÊ������ ? +$��������&W��!j���#�4���M� . � > ���������i� - �#�*��2�����d�%����&#��+RE������*����"�����4����� .<- ����������%�QJK����a�"���� �K!_���IAB£Q�3=�Ç �3=#����&ok «�OQPI����2)� .�. ="� / ������ /�. ��� / ������ �������G�$�����7���� �6� . �����������#+$6�G����� . ��� . �����&�� ? �G���WÊVÇ �3=�kd­�=j����&7ÇdkB�3=������4����� . � > ��&�� ? �����C�T����&F��+�n���2���4�������h+$��������&jO

Page 8: Alternatives to the k-means algorithm that find better

µKx Ø �_~¼t<´7ÞU¾H�e~�v�z�w3~Fsjy8×j´h� u<w3�e~�y�z_y�z_u�s¤w3x#y�v�z_¾ct@u�vi×F¹��\�Hx�y�xL}�y�x�vGy�z_sg�lt,v�u�w ²gu�v���|{v �_~�t@y5x6x�sV�½y$x�sV�Hu<w àUx�vGy�z_y�zMu�sv@v�zM���jy5x(z_sVz_y�z_x��mz_»x#y�z_u�sg}�ºçÞTx Á �è~Fs<y�vG|è}��guFá$}[y��H~�sj�nw Ø ~Fv(u�toy�zmw3~F}½v w3x�¾Hz�w��nw ³�½�½<x3y��gx#y(y��g~cx��_��u�v�z_y��nw zms±y��H~Á u��m�nw�s1�gx��(x Ø ~Fy�y�~�vG¹2òH�gx��mz_y%| Á �m�V}�y�~Fv�zmsH�3y��Hx�s(y��g~6x��_��u�v�z_y��nwõzms[y��g~ov�uFá8ºIµb�H~ovG~F}��V�_y�}Ct,u�vWÀhx�sV�1¿h�Vz�w3~FsV}�z_u�sV} x#vG~}�zmw�zm�_x#v�ÚN}�u3áb~8�gu[sHu�yWvG~��eu�vGy�y��g~#w0�g~�v�~�ºBr�sL�gx�vGy�z Á �g�_x�v*ÚQÙ7Ü7�ãzm} Ø ~�y�y�~�v�y��gx�s;Ù7�ôt@u�v�¾�¾iy�u¸³�½�½iu�tB³�½�½iy�z�w3~F}�zms~�x Á �L�Vz�w3~FsV}�z_u�sly�~F}�y�~F�Qº¦�§©¨ ¹ ¨ ¹±º ¨ �O¹ ¨ º ª º ­¦�§�¨ ·5¸ ªo³�³ ªo³�³ ·�» ªo³�³¹ ¨ ¬ ·�· ·jª ¸R¬ ·jª¹±º ¨ ³ ª ªoµ ¸ ­R´�O¹ ¨ ³ · »�µ ªo· ®�­º ª ­ ­5¸ ·�¬ »jª ·�³º ­ ³ · ¸R® ¬�» ªo³¿#À  �Á µ ªI´5¬ ´5µ�¬ ¬�­�µ ­�³5¸ ¬�®5¸

¦�§©¨ ¹ ¨ ¹±º ¨ �N¹ ¨ º ª º ­¦�§�¨ ªo³�³ ªo³�³ ªo³�³ ªo³�³ ªo³�³¹ ¨ ³ ªo³�³ ªo³�³ ªo³�³ ªo³�³¹±º ¨ ³ ³ ­jª ³ ¬R´�O¹ ¨ ³ ³ ¸R· ³ ¸R³º ª ³ ³ ªo³�³ ªo³�³ ªo³�³º ­ ³ ³ ®�® ¬�³ ³¿#À  �Á ³ ªo³�³ ´�´5µ ¬�µjª ­�³�³ ´5³R´� .�/ �����������C���$��������&F��+$����2�����#Q����N�������$���$��E����$EF����� . ��+¤!_���+���� ?B? ���G���OVkI��J`�������=���� - ���*�V����2����� - �b����n2�#�GJ"�C�����G�n�4�n+�� ?���"EF����!m���%��� . �X��� / 2�"&F��+$����2������� . �4� ? ����& /#- ����������� - ���#�MY / ��n����)!_����� -�.�/ �����������F="����&1���#��� / 2�7� . �GJX)@&F��+$����2������� ."-�.�/ ���������#�� . �������4���#+è /�- ����`'�),������+$���#� - +$�������=��%���������`������� -�.�/ ���������#����6�����I�#�����7&F��+$����2�����o&#�4��� - � .�? OV���iq ���H���#�B� / �������"2����J"K�����G�/ 2�����C�I2��+$E . ��=�������DFE����#2����� . ���#�����QE#���Gë � - �������$E#����2�������N+ /�- ���!X������EF����E����2������ ��!U&#���%���� /#- ���� -�.�/ �����b&F�� �%��� - ��%��=VJ"��� . �+���a����#�I�4�e����2�����Q���IS���&d����� -�.�/ �������Oe�K� / V���#�����X��e�I������& !_������*��&F)@Y / � . �4� ? =#!m�� � -�.�/ ������������� . �����������#+$X!m��� . ��JX)�&F��+$����2������� .&#���%��=� /�- �7��U'�),���G��+$���#� - +$�����#�O

8. REFERENCES ª�Ã,Ä�«�Å�«7Æ�ÇIÈ � ÇIÉ�«ÊÌË�ÍÎÍ�ÏTÐ�Ñ�Ò.Ï�Ó�Ô#Õ5Ñ7ÖCÍÎÖ/Ô5Ñ�×NÖ/Í/ضÙeÚ5Û�ÛIÜYÝpÞ3ßIÏ�ÓTÍÎÖCàRÏÙeÚjÑ�ÓoÍÎÖ3Ô�Ñ�á�â Õ5Ô5Ð�ÖCÍ/Ø�ã+ä#« ¡©å Ç � À  �¡O� Ç ¿#¿oæ7ç Ç�è�é ��� É æ ªo·�»jª�«Â ­�Ã+Å�«�¨ê«jÆ ¤ ¿#ë ��ì «�íîÏTÚ�ÐïË5â�íîÏTÍ3שÔ�Ð#ð�äOñ�Ô�Ð�ÊpË�ÍÎÍ�ÏoÐ�Ñ�ÒÌÏ�Ó�Ô#Õ5Ñ7ÖCÍÎÖ/Ô�Ñ7«Å å:�R� Ç ��������¡©� Ç ¿_¿Tæ�ò�ó�ô ���#� æ ªo·�·�µj«Â ¬�à ¡ «�õ�«7Æ �#�R��å Ç �V�R����ö «7¨ê« ���I���s�R� « � Ç�÷ �j¤¥����¤¥��¤ £_¤:�Råì���¤¥�5£ ¿pô ���¹ ²ø¨�Ç �R� ¿pù å À�¿ £ Ç �#¤¥��� «jú � ÊÌÐïÔoÓRû©ü5ý�Í/Ø�þ�Ñ7Í�ÏoÐ�Ñ�Ë�ÍÎÖ3Ô�Ñ�Ë�â�ÿNÔ�ÑTñoûNÔ�Ñ� Ë5ÓIØ�ÖCÑ�Ï��eÏ�Ë�Ð�Ñ7Ö/Ñ�Õ æ ì7�R� Ç ¿ ·jª���·�·j«�¨ ���#�5�R��¹±� À�ô  ¶�R��� æ õ �R��7���R� ù ¤ ¿_ù � æ Å�� æ ªo·�·�»j«Â ´RÃ��,«7Å �� ¶�R�j¤ ù ¤ À �R����¡ «7¨�ÇIÇ � «�¨�Ç �R� ¿#ë ¤ ô £oÁN�+�#� À�¿ £��Rì�ì��_�5� ù�ë£_� è �R�_� ô Ç ��£ À � Ç ¿ ì7� ù Ç �R�7�Rå � ¿ ¤ ¿ «7þ�� �����7ÐïË�Ñ7ä�Ë5ÓTÍÎÖ/Ô�Ñ7ä,Ô�ÑÊpË�ÍÎÍÎÏTÐ�Ñ�á�Ñ�Ë5â Ü�ä�ÖCäîË5Ñ�� � Ë5ÓIØ�ÖCÑ�ϱþ�Ñ7Í�ÏTâCâ Ö ÕsÏoÑ�Ó�Ï æ ­�³�³jª�«Â µ�Ã+õ�«�� � ¿ � À ìj£#� «7§ ó ì Ç �#¤¥  Ç �5£ ¿ è ¤ £ ë ���R���j�� �ì��_��� Ç ù £_¤¥��� «7ú �� Ñ�Ó#ÏTÐ�Í�Ë�ÖCÑ7ÍÎÜ�Ö/Ñ�á�Ð�ÍÎÖ �©ÓTÖ/Ë�â�þ�Ñ7Í�ÏTâCâ Ö ÕsÏoÑ�Ó�Ï��ÌÊ.Ð_ÔoÓ�Ï�Ï��5ÖCÑ�Õ5ä-Ô_ñîÍCØ�Ï��Ö �5Í�Ï�ÏoÑ7Í/ØêÿOÔ�ÑTñ�ÏTÐïÏTÑ�Ó#Ï�� � á�þ�� �"!#!#!�$ æ ì7�R� Ç ¿ ªI´5¬%��ªoµjª æ õ �R��7���R� ù ¤ ¿_ù � æ Å�� æ ­�³�³�³j«7¨ ���#�5�R��¹±� À�ô  ¶�R����¡ À �奤 ¿#ë Ç � ¿ «Â ®�Ã�� �_¤¥� Ç � ¿Tæ �7�_¤ ÇIÈoÇ æ ¹±�R�j�7�R� æ'& Ç  �ì7�Rå:� æ �R��� & ¤¥�7�I� «�Å å À�¿ £ Ç �#¤¥���¤¥��å:�R�_� Ç �����Rì ë�¿ �R�j�� ¶��£_�#¤ ù Ç ¿ «�ú � �NÝ�(pá��eá+ÿ � �)��þïá ���Ü�ã+*�Ô�ä�ÖCÚjã�Ô�Ñ,(±Ö/ä�ÓoÐïÏTÍ�Ï?á?â ÕsÔ�Ð�ÖCÍ/Ø�ã+ä-�3á�ÿNÔ�ÑTñ�ÏTÐïÏTÑ�Ó�Ï+Ô5Ñ�eØjÏ�Ô�Ð_ÏoÍÎÖ/Ó�Ë�âOË�Ñ��-����*jÏoÐ�Ö/ã+ÏTÑ7Í�Ë�âá�Ñ�Ë�â Ü�ä�ÖCäîÔ_ñ.(îÖCä�ÓTÐïÏoÍ�Ïá�â Õ5Ô5Ð�ÖCÍ/Ø�ã+ä/$ æ ªo·�·�·j«Â ¸TÃîé+« �7� Ç À �����R����� «�õ ù#ë �Rì�¤¥� Ç�«0� ¿_ë ���_£p¤¥�5£#�_��� Àjù £_¤¥����£_����� ¿ £#¤¥�j� «21jË�*�Ë5Ñ�Ïoä�Ï��ÔoÓTÖ/ÏTÍÎÜ�ñ�Ô�Ð?á�Ð�ÍÎÖ �©ÓTÖ/Ë�â�þ�Ñ7Í�ÏTâCâ Ö ÕsÏoÑ�Ó�Ï æªI´ Á ¸�¸�ª��j¸R»�³ æ ªo·�·�·j«Â »�Ã��,« ¹±�Rå £#��� æ ¡ «43 �R����å Ç � æ ¹ «45 �R� ¿ £#�76 æ �R��� Ä�«�é �s� «¦�Ç � Ç ���R奤 ÈIÇ � ù å À�¿ £ Ç �#¤¥��� æ�¿#À ì Ç ��8�¤ ¿ Ç ��å Ç �R�_��¤¥��� æ �R�j���7��£#�� ¿#¿ ¤¥����  Ç �s£ «�ú � ÊÌÐïÔTÓ#Ï�Ï���Ö/Ñ�Õ�ä-Ô#ñ±Í/ØjÏ��ÏTà�ÏTÑ7Í/Ø�þ�Ñ7Í�ÏTÐ�Ñ�Ë�ÍÎÖ/Ô�Ñ�Ë�âÿNÔ�ÑTñIÏoÐ_ÏoÑ�Ó�ÏFÔ�Ñ:9-Ñ�Ô�×pâ Ï��TÕsÏ�(îÖCä�Ó�Ô�à�ÏTÐ�ܶË�Ñ��;(îË5ÍÎË � ÖCÑ7ÖCÑ�Õ æì7�R� Ç ¿ ­�·�·%��¬�³R´ æ õ �R���7���R� ù ¤ ¿_ù � æ Å�� æ ­�³�³jª�«'��Å.¨ ¡©� Ç ¿_¿ «Â ·�Ã,¨ê« ¹ Ç �R�_� ¿Tæ é+«7¨ �R� ¿ � À � æ �R��� �-«jé,« ç � «4� �¤¥� ô ���# ¶��£_¤¥��� ² £ ë Ç ��� Ç £_¤ ù �R�7�Rå � ¿ ¤ ¿ � ôOë �R�#�V�R��� ¿ � ô £p� ¿#¿ ¤¥����  Ç �s£  Ç £ ë ��� ¿Ìô ��� ù å À�¿ £ Ç �_¤¥��� «�ú � Ê.ÐïÔTÓ�Ï#Ï���Ö/Ñ�Õ�ä,Ô_ñ � Ñ�Ó�ÏoÐ�Í�Ë�Ö/Ñ7ÍÎÜ�ÖCÑá�Ð�ÍÎÖ �©ÓTÖ/Ë5â�þ�Ñ7Í�Ïoâ/â Ö¥Õ5ÏTÑ�Ó�Ï æ ì7�R� Ç ¿ ­�»�­%��­�·�¬j«��+�<��ú æ ªo·�·5¸�«Â ªo³�Ã��,«43 ¤ É � ¿oæ�ç « & å:� ¿_¿ ¤ ¿Tæ �R��� Ä7« & Ç �� ÇIÇIÉ�«0= ë Ç ��å¥�7�Rå É5²   Ç �R� ¿ù å À�¿ £ Ç �#¤¥���F�Rå¥�����#¤ £ ë   «'=�Ç ù�ë �j¤ ù �Råe� Ç ì����_£ æ Å �� �ì À £ Ç � õ ù ¤ Ç � ù Çú � ¿ £#¤ £ À £ Ç æ öp��¤ 8 Ç � ¿ ¤ £��¶� ô �   ¿ £ Ç �#�7�R  æ = ë Ç ç Ç £ ë Ç �#å:�R��� ¿oæ� Ç �� À �R�_� ­�³�³jª�«�ú>�±õs² ö & ��²�³jª�²ø³�­j«

 ª�ª�Ã+Ä7«7¨ � ù7?�À ÇoÇ � «�õ ��  Ç   Ç £ ë ��� ¿Ìô ��� ù å:� ¿_¿ ¤ ÷ ù ��£_¤¥�����R�����R�7�Rå � ¿ ¤ ¿� ô   À å £_¤ 8��R�#¤:��£ Ç � ¿ Ç ��8���£_¤¥��� ¿ «7ú � 3©«�¨ê«'3�ÇTÅ �R  �R�j�Ä7« ç Ç �j ¶�R� æ Ç ��¤ £_��� ¿oæ ÊÌÐïÔoÓ�Ï�Ï���ÖCÑ�Õ5ä,Ô#ñ?Í/ØjÏîÙ©Ö ñ�Í/Ø�@�ÏTÐ#ð�ÏTâ ÏTÜ��Ü�ã+*�Ô5ä#Ö/Ú�ã Ô�Ñ � Ë�Í/ØjÏTã+Ë�ÍÎÖ3Ó#Ë5âA��Í�Ë�ÍÎÖ/ä#ÍÎÖ3Óoä±Ë�Ñ���Ê.Ð_ÔsÞ#ËsÞIÖ/â Ö/ÍÎÜ æ85��å À   Ç+ª æ ì7�R� Ç ¿ ­�»jª���­�·5¸ æ Æ�Ç � É�Ç å Ç � æ ÅB� æ ªo·�®5¸�« öp��¤ 8 Ç � ¿ ¤ £��V� ôÅ �R奤 ô ���#�j¤:�,¡©� Ç ¿#¿ «Â ªo­�Ã+¨ê«7¨�Ç�C D å:�+�R��� �,« º Ç ù É�Ç �# ¶�R� «4� � Ç ó ì Ç �_¤¥  Ç �s£#�Rå ù �� �ì7�R�_¤ ¿ ���� ô  ��s� Ç å ² 7� ¿ Ç � ù å À�¿ £ Ç �#¤¥�j�F  Ç £ ë �s� ¿ « � Ë5ÓIØ�ÖCÑ�Ï+â Ï#Ë5Ð�Ñ7ÖCÑ�Õ æ´5­ Á ·%��­�· æ ­�³�³jª�«Â ªo¬�Ã��,« ç � æ ¨ê«�Ä ���_�7�R� æ �R�j� é+«"5�Ç ¤ ¿_¿ « ò � ¿ ì Ç ù £#�#�Rå ù å À�¿ £ Ç �#¤¥����Á� �7�Rå � ¿ ¤ ¿ �R�����R���Rå¥�����#¤ £ ë   «�íîÏTÚ�ÐïË5â�þ�ÑTñ�Ô�Ð�ãFË�ÍÎÖ/Ô5Ñ�ÊÌÐïÔoÓ�ÏTä#ä�Ö/Ñ�Õ��Ü�ä�Í�ÏTã,ä æ ªI´ æ ­�³�³�­j«Â ªI´RÃ-�,« ¡ Ç å¥å Ç ���R��� �-«7¨ �s��� Ç�«'� ùIù Ç å Ç ����£_¤¥��� Ç ó � ù £+E ²   Ç �R� ¿�Rå¥�����#¤ £ ë   ¿ è ¤ £ ë � Ç ��  Ç £_�#¤ ù � Ç � ¿ ����¤¥��� «7ú � ÊÌÐïÔoÓ�Ï�Ï���ÖCÑ�Õ5ä,Ô#ñ?Í/ØjÏÙ�Ö ñ�Í/Ø�á+ÿ � ��þ�F�9G(.( þ�Ñ7Í�ÏTÐ�Ñ�Ë�ÍÎÖ/Ô�Ñ�Ë5â.ÿNÔ�ÑTñ�ÏTÐïÏTÑ�Ó�Ï+Ô5Ñ9-Ñ�Ô5×Ìâ Ï��TÕsÏ�(îÖCä�Ó�Ô�à�ÏTÐ�Ü�Ë�Ñ��;(-Ë�Í�Ë � ÖCÑ7Ö/Ñ�Õ æ ì��R� Ç ¿ ­5¸�¸H��­�»jª�«�+�+��ú ¡©� Ç ¿#¿Tæ ªo·�·�·j«Â ªoµ�Ã-�,« ¡ Ç å¥å Ç ���R��� �-«7¨ �s��� Ç�«'I�²   Ç �R� ¿ Á § ó £ Ç ����¤¥����J ²   Ç �R� ¿è ¤ £ ë Ç�K ù ¤ Ç �5£ Ç ¿ £_¤¥ ¶��£_¤¥���V� ô £ ë Ç � À  - Ç �p� ô<ù å À�¿ £ Ç � ¿ «7ú �ÊÌÐïÔTÓ#Ï�Ï���Ö/Ñ�Õ�ä+Ô_ñ±Í/ØjÏ+ü"L�Í/ØVþ�Ñ7Í�ÏTÐ�Ñ�Ë�ÍÎÖ/Ô�Ñ�Ë�â.ÿOÔ�ÑTñIûNÔ�Ñ � Ë5ÓIØ�ÖCÑ�Ï��Ï#Ë5Ð�Ñ7ÖCÑ�Õ æ ì7�R� Ç ¿ ¸R­5¸H�j¸R¬R´�«�¨ ���_�5�R��¹±� Àjô  ¶�R��� æ õ �R��7���R� ù ¤ ¿#ù � æ Å�� æ ­�³�³�³j«Â ªo®�Ã+Ä7« ¡ ÇNM�7� æ Ä7«43 � È �R��� æ �R���V¡ «43 �R�#�#� M�7�R�5� «0� � Ç  �ì�¤¥�#¤ ù �Råù �� �ì��R�#¤ ¿ ����� ô<ô � À �p¤¥�j¤ £#¤:�R奤 È ��£_¤¥���V  Ç £ ë ��� ¿pô ���.£ ë DZÉ5²   Ç �R� ¿�Rå¥�����#¤ £ ë   «7ÊÌË�ÍÎÍ�ÏTÐ�Ñ ÐïÏ�Ó�Ô#Õ5Ñ7ÖCÍÎÖ/Ô�Ñ�â ÏTÍÎÍ�ÏoÐ�ä æ ­�³ Á ªo³�­5¸H��ªo³R´5³ æ ªo·�·�·j«Â ªT¸Tà ¡ «7õ �R���Y�R��� �,«�¨ ����� Ç5« � Ç ì7�R¤¥�_¤¥��� ô � À å £��� �¤ ó £ À � Ç  ��s� Ç å ¿À�¿ ¤¥���+� Ç � ¿ ¤ £�� Ç ¿ £_¤¥ ¶��£#¤¥��� «�ú � Ê.Ð_ÔoÓ�Ï�Ï��5ÖCÑ�Õ5ä-Ô_ñîÍCØ�Ï+üNO�Í/Øþ�Ñ7Í�ÏoÐ�Ñ�Ë�ÍÎÖ3Ô�Ñ�Ë�â.ÿNÔ�ÑTñoûNÔ5Ñ � Ë5Ó�ØjÖCÑ�Ï��eÏ�Ë�Ð�Ñ7ÖCÑ�Õ5«7¨ ���_�5�R�¹±� Àjô  ¶�R�j� æ õ �R�V�7���R� ù ¤ ¿_ù � æ ÅB� æ ­�³�³jª�«Â ªo»�à ¡ «7õ �R���Y�R��� �,«�¨ ����� Ç5« ��� ¿ £_ �¤ ó¶ù å À�¿ £ Ç �#¤¥��� ¿ � ô £ è �R� Ç æ ­�³�³�­j«P#QQ�RTS UU%VVVTWYXZ[WYX�\"]TW>^�_�]"U'`�R4Z7a�b#_NU «Â ªo·�Ã+Ä7«�õ ë ¤��R�j� Ä�«�¨ �R奤 É�« ç ���# ¶�R奤 ÈIÇ � ùIÀ £ ¿ �R�j��¤¥ ¶�R� Ç¿ Ç ��  Ç �s£#��£#¤¥��� «þ�� �����7ÐïË�Ñ7ä�Ë5ÓTÍÎÖ/Ô�Ñ7ä,Ô�Ñ�ÊpË�ÍÎÍÎÏTÐ�Ñ�á�Ñ�Ë5â Ü�ä�ÖCäîË5Ñ��� Ë5ÓIØ�Ö/Ñ�ϱþ�Ñ7Í�Ïoâ/â Ö¥Õ5ÏTÑ�Ó�Ï æ ­�­4c3»#d Á »�»�»%��·�³�µ æ ­�³�³�³j«Â ­�³�Ã�3©«�e �R� Ç ë « � À ÈIÈ � ¿ Ç £ ¿ «7þ�ÑTñ�Ô�Ð�ãFË�ÍÎÖ/Ô�ÑêË�Ñ���ÿNÔ�Ñ7ÍÎÐïÔ�â æ » Á ¬�¬�»%��¬�µ�¬ æªo·�®�µj«Â ­jª�Ã+Æ�«�e ë �R��� «¦�Ç � Ç ���R奤 ÈIÇ � É5² ë �R�# ����j¤ ù   Ç �R� ¿ � ���� ¿ £#¤¥���+¤¥�À � ¿#À ì Ç �Y8j¤ ¿ Ç �Vå Ç �R�#��¤¥��� «'=�Ç ù#ë ��¤ ù �Rå�� Ç ì����ï£?ºp¡ 3e²ø­�³�³�³�²#ªo¬5¸ æº Ç�è å Ç £ï£ ² ¡N� ù É �R�_� 3 �� ¿oæ ­�³�³�³j«Â ­�­�Ã+Æ�«�e ë �R��� æ ¨ê« º ¿#Àeæ �R���Yö «0� �I�s�Rå « ¹ ² ë �R�_ �����¤ ù   Ç �R� ¿ � ��7��£�� ù å À�¿ £ Ç �_¤¥�����Rå¥�����#¤ £ ë   «"=�Ç ù�ë ��¤ ù �Rå<� Ç ì����ï£�ºp¡ 3e²#ªo·�·�·�²�ªo­R´ æº Ç�è å Ç £ï£ ² ¡N� ù É �R�_� 3 �� ¿oæ ªo·�·�·j«Â ­�¬�Ã�=î«0e ë �R�j� æ � « ���R ¶� É �#¤ ¿_ë �7�R� æ �R��� ¨ê«43 ¤ 8��s� «�Æ�ú � Å º-Á��+� Ç�è�7��£�� ù å À�¿ £ Ç �_¤¥�����Rå¥�����#¤ £ ë  ¢�R����¤ £ ¿ �Rì�ì�奤 ù ��£#¤¥��� ¿ « 85��å À   Ç,ª æì7�R� Ç ¿ ªI´�ª���ªo»�­ æ ªo·�·5¸�«