ordered similarity measures taking into account the rank of documents

20
Ordered similarity measures taking into account the rank of documents Christine Michel * ,1 Laboratoire CEM-GRESIC, MSHA ± Universit e Bordeaux III, Esplanade des Antilles, 33607 Pessac Cedex, France Received 21 March 2000; accepted 26 June 2000 Abstract Indices of similarity are used to quantify the dierence between two sets of documents. Usually, they are based on the number of elements that they have in common. Indeed, they are calculated from the results of the intersections or unions of the compared sets. But many studies show that order of presentation of the documents is an important fact to be taken into account, particularly in the case of system's evaluation, which is not the case as far as usual measures are concerned. In this article, we propose a general method for the construction of measures of similarity taking into account the rank of presentation of the document. We will call them Ordered Similarity measures, i.e., measures of OS. Then, we present an experimentation of evaluation used to quantify the ®ltering impact of a system. This protocol is based on a large scale interrogation of the system and on a comparison of answer sets. We present simultaneously the results of comparisons obtained by a classical measure and by an OS measure. Finally we show how to construct OS measures derived from recall and precision. Ó 2001 Elsevier Science Ltd. All rights reserved. Keywords: Metrics; Similarity measure; Rank; Evaluation; Information retrieval 1. Introduction In information retrieval contexts, similarity measures are used to quantify the distance between sets of objects represented in particular space. Usually, similarity measures are used to extract relevant information answering a request. There are more or less adapted ones, in function of the model of the information system used. For example, in the case of vector models, the similarity is Information Processing and Management 37 2001) 603±622 www.elsevier.com/locate/infoproman * Tel.: +33-5-56-84-6813; fax: +33-5-56-84-6810. E-mail address: [email protected] C. Michel). 1 Study made in Laboratoire RECODOC, Universit e Claude Bernard LYON I, Bat 721, 43 Bd du 11 novembre 1918, 69622 Villeurbanne Cedex, France. 0306-4573/01/$ - see front matter Ó 2001 Elsevier Science Ltd. All rights reserved. PII:S0306-457300)00040-6

Upload: christine-michel

Post on 16-Sep-2016

215 views

Category:

Documents


2 download

TRANSCRIPT

Page 1: Ordered similarity measures taking into account the rank of documents

������� �������� ������� ��� ��� ����� �� �� ����������

�������� ������ ���

����������� �� ���� ���� � ����������� �������� ���� �������� ��� ��������� �� !" #����$ ����� %���$�

�������� �� ���� ����� ������ �� ��� ����

��������

!������ �� �������� �� ���� � "����� �� ��#������ $�%��� %� ��� �� ��������& '������ ��� ��$��� �� �� ���$�� �� ������� � ��� ��� �� ������& !������ ��� �� ������� ���� �� ������ ���� ����������� �� ������ �� �� ������� ���& (� ��� ������ ���% � ����� �� ��������� �� ���������� �� � ������ �� � $� �� ��� ������ ��������� �� �� ��� �� �����)� ��������%���� �� �� �� ��� � �� � ���� ������� �� ���������& !� ��� ������ %� ������� ������ �������� �� ���������� �� ������� �� �������� ��� ��� ����� �� �� �� ��������� �� �� �������&*� %��� ��� ��� ������� +������� �������� �&�&� ������� �� �+& ,���� %� ������ � �-������������ ������� ���� � "����� �� .������ ���� �� �����& ,��� ������� �� $��� �� ���� �������������� �� �� ����� �� �� ��������� �� ��%�� ���& *� ������ ������������ �� ������ ������������ �$���� $� ������� ������ �� $� � �+ ������& /����� %� ���% ��% � ������� �+������� ������� ���� ����� �� ���������& � ���� 0������� +������ 1�& 2�� ����� ��������&

&�'(����) ������� +������� ������� �� � 0������� !�������� �������

� ���� ������

!� ��������� ������� ����-�� �������� ������� �� ���� � "����� �� ������ $�%������ �� �$3��� ���������� �� ������� ����& '������ �������� ������� �� ���� � �-�������� ��������� ��%����� ��"���& ,���� �� ���� �� ���� ���� ����� �� ������� �� ������� �� �� ��������� ����� ����& /�� �-����� �� �� ��� �� ����� ������� �� �������� ��

!�������� 4��������� �� ������� 56 7����8 ��59���%%%&��������&���:����:���������

� ,��&; <55=>=>�=?@=�?�5� �-; <55=>=>�=?@=�?��&

�*��� �������) ��������&������A�������&�=$�����-&�� 7�& ������8&� +��� ��� �� 1$������ �0��B��� '��������� ����� (����� 1C�D !� ( 6��� @5 (� �� �� �����$��

�E�?� �E��� F������$��� ����-� /����&

�5��=@>65:��:G = ��� ���� ��� � ���� 0������� +������ 1�& 2�� ����� ��������&

4!!; +�5��=@>657��8���@�=�

Page 2: Ordered similarity measures taking into account the rank of documents

���� ������� $� ������ ������� �� �� ��� �� (����� ������� ��� �� �� ������� ���� ���� H����� ������ �� �� 0������� ������& � 2�� ���� ������� �� ���� �� �� ����������� ���� �� �$�� �� ����� �� ��������& !� ��� �� ���� � �-�� �������� �����$���� ��� �� ��� ���� �� ��������� �������� �� �� �� ��� � �� ����& ,��� ��� ��$� ���� �� ������ �������&

!� ������� ����-�� ������� �� �������� �� ���� � "����� �� ��#������ $�%��� %� ����� ��������& 2 �� �� ��� �� �������� �� (����� ����%� �� I�� 7�EE@8 �� 1���� 7�EE�8&,�� ��� ������ ���� "����� �� ���-���� �� %� ��� $� ������� �� ���$�� �� �������� ��� ��� �� ������& /�� �-����� �� � �� � �� �� ��� �� �������� � $� �������;

� �� ���J���� �� ���� �� ������� $��� � ��

��� � ��� � �� � �� ��� � ���� � ���

� �� ������ 7+��� K ��L���� �E?58 $��� � ����������������������� �

� �� B��� ���J���� $���� � ����� � ���&

,�� ��� ������ ��������� �� �� ��� �� ������� ��� �������� � �� ������� �� ����������� ���� �� �� ����� �� �� 4�������� 7+�� K F� ��3�$������ �E6�� ��$�������EE@8& ,��� �� ��� ���� � � � ������ ������ �� ��������� ��� ��� �� ��������� 7+=������ � I���� ������ K ,�������� �E??� +������ K I���� �E??$��8& ,�� ������ ���������� �� � ��%�� �� �� ����� ������� � �� ���� ��%�� � �� �� ��������� �� �������)� "���� �����$��& ,���� ������� �� ���� �� ����������� �� �������� �� � ��%��&!� ���� �� ��� ��������� �������� ���� �� �������� $��� �� �� ��������� ���� ��=������� ��������� �� �� ��������)� ������ 7H���� �EE�� H��� K H��� �EE6� ��MM��� �EE6�4� � �EE@8� ���� ������ �� ������� �������� �������� ����� � ���� �� ����������� �� ���� ���� �� !�������� ������� +�����& ,�� ����%�� ,�0� %���� $��� ���EE� 7��$������ �EE�� �EE@8 �� �� $��� �������� �� � �� ��� ����� ���%� �&

���� ��������� �� ��� �� %�� �� ��������� �� ���� �������& 2�������� � ,��� 7,�����EE�� ,���=+����#�� �EE>� /��� ��� �EE?8 �� ��������) �� �� ��������� �� ��� �� �� .������� � � ��� ����� � ����� �� "���� �� � ��������� ������� ����� �� �� ���������� ������� �����& 5 !����� NN��+����,*�$���' ���-�� ��������� ������� ��$�*� �������������� �������� �' ����� �����+ ������� ��*�. /,� 0��+�*��� �� �� �$$�����$� (��, �,� �����1 �'��*�$ �������������� ���$������� �2 � ���� �� ��*������ ��2��*����� ��������� ���-)) 7(������ K !��%������

� !� � � ���� � � � � ��� � � � � ����� � ���� � � � � ��� � � � � ��� %�� �� ��� �� �� �� ��� ��� ��� ������ �� H�����;

����� � ����� ��� � ��� �� 0������� ������; ����� �

������������������������������������� � ����

�&

5 /�� �-����� �� ������� �� �������)� "���� �� ��������� �� �� � �$3����� ����& !� ��$3����� ����

%���� ������� �� ������� ���� �� ������� �����)� ����-� �� �� ����� �� ������ �� ��� �� �� �������&

,�� �������� ��� �� ,���=+����#� 7�EE>8 �� � �� ������ $� �����$��� ��� � ���������)� �������� � ������ ��

��%�� �������� �� � ����� %���� �������� ��� ������� ����� �-���� �� ���������& 2 ��������� �������

��%�� �� ������ ����� NN����))& ,��� �� �� ������� �������� � ������� ������� �� ����� ���=��$�������

�� $� �$����� ���� �������� 3�������� �� �� ����& ,��� ���� NN���� ����)) ������ ������� ��%�� %����

�������; .�� �� ���� ��������� �� �� ��������� ��� ������ �� �� �������� ���� ���� ���������� ����

�� ���� ���� ���������� ��& 2�������� � ��� �� � ,��� ������� ������ �� �� "���� �� ��������� �� ���

������� �������� � ��%�� � "����& +�� � "���.�� ���� �������� �� �� ��� �� ��� NN������=����=���))&

��@ . ��$,�� 3 ��2��*����� #��$�����+ ��� ����+�*��� �" 45!!67 !�� 55

Page 3: Ordered similarity measures taking into account the rank of documents

�EE?8& ,��� "���� ��� ������ %���� �������� �� ���� ������� �� �� �������� �� � ��=�������� ����� ������� $� �����$�� ����.���� �� ��� ����� �� ��������� 7,���=+����#���EE�8& ������� �� ������ 4��������� ����� ������� B��� � � � ���� �� �� ��� �� ��������� ���������� �� �������� �� �������� �� �� � ��� ����� �� ��������) ����� �� ���=������& ,��� �� ������� ���� �� ������ �� �� ����������� �� ������ �� �� ������� ���&

,�� ��� �� ��������� ���J���� �� �� �� ���� �� "�������� �� ��#������ �� �� ������� ��������) ��������� $�%��� %� ���& ,��� ���J���� �� ���� %��� �� %� ��� ������ �������& (� �� �� ��� �� ��������� ������� ������� �������� ���� ��%�� ��� ���������� ������ �������& !������ �������� �� ������� �� �������� �&�& �� ������& L����������� ������ �� �� �� �� ����� �� ��������� �������� �� �"���� �� �� �� ����& I��%���� ��� �� +�! �� ���%�� �� �� ��%���� ��� ����� ����� � $� ������&

!� ��� ����� %� %��� ��.��� �� ������� ��������� ������� �� ������� �������� 7�+8&*� %��� ������� %���� ��������� ��� ���& 2��� �� %� %��� �� ������ ����� �� ���=������� � �+ ������& ,���� ����� ���� ��� ������ ����������� %� %��� ���� ������������� �� �+ ������� �� ����� ����� �� 4�������� ��� ��� ����� �� ��������) �� �� ���������& *� %��� .���� ������ �������� �-���������� %�� ������� �+������ ������� ���� ����&

� ��� �� �������� ������� �� �� ��� ����������

5.6. %��*����* �2 �,� ������*

L���� "������ 8� ������� � � ��%�� �� �������� � � ������� ���� �� ������& *� ���� �� 7.���8 �� �� �� �����$�� ������ $��� ���� �� ���� �� �� "���� 8& 2 ���� �� � �� ���� ��%�� �������� ����-�� $� ���� ��� �� 8&

*� �������� ��% �� �� $��� �� �� ��%��� � 8; ����� ������ �� ��

�� ��"���������� � �� ������� �� � ����-�� $� �� ������� ������ � %���� ��������� �� �����)� �� ���$�� �� ���.�� �� ��������� ��;

%���������; � � ����� � ��� �� ���� � ��� �� � � �&

9��0��������; � � ����� � ��� ��� �� �� � � � �� � � � � �&

/�� ����� �������� ������������ �� ��������� � �������� �� �����%��� �����; /���� � �� � �� %� ���; �� �� ������ �� ��

�$���� $� ����� � �� ������� � �� ������ �� � �� �� ���� ����

�� � �� �� � � � � �� �� �� � � � � �� � ��� � ���

� ��� �

1� �� ���� � �� ������ �� �� �� �����$�� ��%��& !������ ������ ����� ����������� ��� � �� ����� $����� ���=���� ���& ,� �� %�� %� ��� � �� �� �� �����$�� ��%���&� �� ���� ��$�� �� ��

� �������� �� ��"������ �� ����� $������ $� .-�� ���$�� � 7� ����� �-���� �� ���$�� �� �������� �� �� �$��8& 1� � �� � � $� %� ��%���&+� �� � %��� $� %���� �; � ������������ �� � � ��

������������ %�� �� � � �� �� �&

. ��$,�� 3 ��2��*����� #��$�����+ ��� ����+�*��� �" 45!!67 !�� 55 ��>

Page 4: Ordered similarity measures taking into account the rank of documents

L���� %� ��� �� �� ��� ������ ������� ���� ��#������ $� ���� �� ������� ����=���� �������� 9� %���� ����� �� �����%��� ���������&

���������� � ���������� � �� �� � ���� ���� ����� ���8& !� � �� � �� ��������� ��� �� �

�� �� ������� �������� ������ ��� ������ @;

�& �� ���� ���& � � �� �� ���� �� ��� � ��5& � � � � �� �� ���� �� ��� � �&

����)� ������ �� ������ ������ ���� �� �� ���������� ����� ���� ���������&!� �����$�� � �-��� �� ��.����� �� � ��� ������� �� %�� ���� ����.�����& !� ��� ����

4�������� � �� 5 �� �������� �� 4������ � ��� $� �������� $�; ��� �� ������������� � � � �������������� � ��� � � �� �� ���� �� � � �� �� ���� �-��� �������� ��� �� �� ��� � � � ��� ���� � �� ������

� � ���& !� ��� �����$�� � ������� �-������� ��������� �������� ��������& /�� �-����� �� �� ���������� �$��� �� �-������ �� ���� ����=���� ��.��� �� �;

�$�� �� ����������� ��

� ��������

�����

������ ����

���� �� �

1� �� ���� �� �$�� �� �� � ��� ����� �� �� �� �� ������� ������ �� ������������� �� ����� %���� �� ��#���� �������� � �� �� � �� ���������� � ������ ��=������ � �$��&

+�� ��� �� �� � ������� �������� ������� %���� �� ��� ����� �� ����� �� ���=������ �� �� ��������& *� ��� �������� �� ������ ������ � $� �������� �� 7�����������$8& *� %��� ������� ��� ���� $� ����� ������� ��������� �&�&� %�� ��� �� �� ����������� �� ��� �� �� �� ������ �� ��������& ,�� ��������� �� �� ��� �� $�� ����;� ,�� ������� �������� ��� $� ���������� � ������� �������� ������� �������� 2�=

������� �&� ��� ���� �������� �� ����� ���������; ,�� �������� �� %� ��� �� ��������� %�� ���� ������

��#������ �� ������ �&�&� �� �������� �� �� ����� �� ��������� �� ��� �� ��� ������ � ������ ���& !� �� �����%��� �-���� 7/���& � �� �8� �� �� �� � ������ ���� �� � �&� �� � 7����������� � �� �8 ��� �� ��� ���$�� �� ��������& ,�� ���������� $�%����� ������� ��� ����� �� �� $�� ��� ��� ������� �� ������� �� �������� � ��������������� �������� �� ��� �� �"��� $� �� ������ ��#������ �� ����� $�%��� � �� �7�� � �� �� �� �����������8 �� ������ �� $�%��� � �� � 7�� � �� �� �� ������=�����8& +� �� �������� $�%��� � �� � �� ������ �� $�%��� � �� �& ,��� �������� %��� $��-������� �� �� 4������ @ �� �� �+ ������ ��.�����&

� ����� ����� ���������; ,�� �������� �� %� ��� �� ��������� %�� ��=�� ���� �&�&� �� ����=��� �� ����� �� �� ������ �������� �������� ���� � �� ����& (����� �� ����� ���������� �� �������� ��� ���� �������� ��������� ������ �������� ��������

@ ��������� ������� ������� �� ���� �� ������� �������� ��� � ��� �� ��&

��� . ��$,�� 3 ��2��*����� #��$�����+ ��� ����+�*��� �" 45!!67 !�� 55

Page 5: Ordered similarity measures taking into account the rank of documents

�� ��� �� �� ��%�� �� ���� ������ �� �� ���� �������� �� �� ���������& !� �� �����%����-���� 7/���& 5 �� @8� �� ������� ��� �� � � �� ���� ��� �� ��� ����������� ���������& > ,�� ������ ��#������ �� ����� �� �"�� � 5 7�� > �� �� � �� /��& 5� �� @ ��� �� /��& @8� $� �� /��& @ ������� �� �������� ���� � �� ����& +� � ������ � �� ��=�� =��� ��������� �� �������� $�%��� � �� � �� ������ �� $�%��� � �� & ,��� �������� %���$� �-������� �� �� 4������ > �� �� �+ ������ ��.�����&

/��& 5&

/��& �&

2

1

3

4

5

6

1

3

2

A B

/��& �&

> +�� ���$�� �� �������� ��� � �� �� �� ��� �� �& !� $�� ����� ��� ������� �� ������&

. ��$,�� 3 ��2��*����� #��$�����+ ��� ����+�*��� �" 45!!67 !�� 55 ��6

Page 6: Ordered similarity measures taking into account the rank of documents

1� �� ������M� ��� $� ��������� ��.����� �� ������� �������� ������ %���� �������������� ������� ���� �&

��������� ��!� "������ #���� ���� �� $�� �"# �� $��%8& 1� � � �� $� �� �� �����$�� �=

�%��� � "������ && *� ��.�� ' � �� �-���� ����� �� � ������ �� �& 1� �� $� %���� �� � ���� �; � ���������������� �� � ��

������������ ��� �� &

*� ��.�� � �+ ������ $� ������� (; � �� � !�� ��������� �� ��- �����%��� ����=�����;

�������� � !� � �� � �� �� ������� ���� ��� ( �� �������� ������ 7 �&�&� ��������� ����������� ��.��� �� 2�������� �8&

�������� � ,�� �+ ������ �� ���������� �&�&� � � �� � �� ������� �&

�������� � � �� � �� %���� ����� ��� �� ���

� �� ������ � � �� �� ���� �� � �&

�������� � �� � ������ � � �� �� ���� �� � � � �&

�������� ! ��� � ����� � ������� �������� �� ������ ��������� �� �� � 7� .-��8 ���������� �� ������ ��������� �� �� � 7 ) .-��8&

�������� " ��� � ����� � ������� �������� �� ������ ��������� �� �&

,�� �+ ������ �� $� �������� �� �� 7 �&�&� � � �� � ������ � �����&,��� %��� $� ��������� $� �� ������� ������ ��� ��������� ��� � %��� $� ���� 7�&�&� ������ ��������� ����� �� 4�������� � �� ��8&

/��& @&

� '��� �� ���� �� ��������� �������&

��? . ��$,�� 3 ��2��*����� #��$�����+ ��� ����+�*��� �" 45!!67 !�� 55

Page 7: Ordered similarity measures taking into account the rank of documents

#����$ ,�� ������� �$�� ����� �� �������� ��� ���� �� ����� 4�������� @ �� >& ,� ��� ��������� �$��������� �� ����� �� �� � 7� .-��8 �� �� �� � 7 ) .-��8� �� �� ����� �� �&

*� ������� ����� � ������� �� �� � ���� ���� ����� ��� 7��������� � �-� ��������������� ����� 2�������� �8 ��� "# �� $��*

,� ������ �� �� ��%��� %� ��� ������� � ���� �� ��������� �� �� ��������� ���� �$���� ������ �� ��� ��& ,��� �����$���� �� ������� %��� $� �������� �� �� 2�������� �&

���������� � ����� �������� � �!� �$��� �� ��� ����8& !� � �� � � �� %� ��%����� �� ��� ��"��� & �� �; � ������������ �� � � ��

������������ � %�� ��� ��� � �� �� ��

���� ��� ������ ���� �-��� ��� ��� �� ������ ���� � �� � ��� �� �&

*� %��� ��% ��� �� ����� �� ������ �� ������� �������� �������&

5.5. /,����* �2 :� *�������

1� � $� �� �� �� �� �����$�� ��%��� � �� "������ & �� � �� �-��� ����� �� ������� �� �&

1� � $� �� �� �� �������� ������ ����� ���� ��� "������&1� ��� � � $� %� ��%��� � ��� "������; � ������������ �� � � ��

������������

%�� ��� ��� � �� � �������� ��&1� �� ���� � �� � �-�����+������ � � ���.�� 2�������� � �� � 2�������� � �� ���.��&*� ��.�� � �+ ������ O; � �� � ��� �� �;

���� ������

���

���

����� � ��� �� ��

%���& ��� � ����� � ���������� �� � ���& �� �������

���

��� ��� �� � ��5& ��� � ����� � ���������� �� �� ������ ��������� �� �� � 7� .-��8�@& ��� � ����� � ���������� �� �� ������ ��������� �� �� � 7 ) .-��8�>& �� ��������� �� �� ������ ��������� �� �&

,��� ��� ������ ( �� � 7�8 ����.�� �� ��- ��������� �� �� ��.����� �� �+ ������&

5.�. 9�*����������

1� � $� �� �� �� �����$�� ��%��� � "���� &&1� � $� �� �� �� �����$�� ������ $��� %�� ��� "������&1� � �� � $� %� ��%��� �� ��"��� & �� �� ����;

� ������������ �� � � �������������� %�� ��� ���� � �� � ��

1� �� � �-�����&

. ��$,�� 3 ��2��*����� #��$�����+ ��� ����+�*��� �" 45!!67 !�� 55 ��E

Page 8: Ordered similarity measures taking into account the rank of documents

+������ � �� �������� �� �����.���� ���������� 72�������� �8 �� ���� ��& 1� � $� ������� �������� ������� ���� ��� 2�������� �&

5.;. 9�*���������� �2 #������' !

!� %� ������ � ������������ �� � � �������������� � � ��������� ��%�� %� %��� ���;

� ����������

� � �� �� � � �����������

�� � ��

��

���� ������

���

���

����� � ��� �� �

��

���

��

���

������� � ��� �� � �����

�� � ��� ���

(� ��.��������

��� ��� �� � � �� ���� �� � � �� ��� �� � �& +� ���� � ���&4������ � �� ������&

5.<. 9�*���������� �2 #������' 6

���� ������

���

���

����� � ��� �� ��� �� ���

��� � �� ��� �� � �

+� ����� �&1� ����� � �� � �2�������� � 2�������� � %����� �� ������� ���� �-��� ��� ��� �� ������ ���� �

�� � ��� �� �&

H���� %� �� ��.�� � �������� � � ������ � ������ ���� � � �� �� �� ������ ���� � �

��� � �&+� ���� � ���

��� ������� � �������&

2�������� � �� ��.����� �� � �������� �&

+� ����� ���

��� �������&(� ��.����� 7���8 �������������� �� ��

���

��� ��� �� � �&+� ����� �&+� 4������ � �� ������&

5. . 9�*���������� �2 #������' 5

1� �� ������� � ���� � �&

���� ������

���

���

����� � ��� �� � ��

+������ � �� � �&2�������� � 2�������� � 7� �� �� ���������� �� 4������ �8� %� �� ��.�� �������

� � ������ � ������ ���� � � � ���� � ���

��� ������� � �������

1� ������� � ���� �-��� � ������� %���� � �� ���&

��� . ��$,�� 3 ��2��*����� #��$�����+ ��� ����+�*��� �" 45!!67 !�� 55

Page 9: Ordered similarity measures taking into account the rank of documents

(� �������� 7���8; ������� � ��� ��� �����

� � ���� ����

���

������� � ��� ���

(� ��.����� �������� �� �����

� � ���� ����

���

��� ��

�� $� �������� 7��8;���

��� ��� �� � � �� � � ���� � �� %���� �� $����&+� �� ������ � � ���� �����

� � ���� ����

���

����� � ��� ���

1� �� ������� � ���� �-�� � ������� %���� ����� � �� ���

� ����

���

����� � ��� �� �

���

���

��� ��

�� $� �������� 7��8;���

��� ��� �� � � �� � � ���� � �� %���� �� $����

�� ������ ����� � ��

(� �� ��������� �� � ��� ������ �� ������� � � �� �� ����� � �&

!� � � ��� � �� �$����� � ���� � �&+� 4������ � �� ���� ��&

5.". 9�*���������� �2 #������' �

1� �� ����� � � � � �&+� �� �������� ������� � � �

� � �&2�������� � ��.����� �� � 72�������� �8� � �� � ����� � ������ � ���

�� � �&+� �� � � � � ��� ���� � �&���������� �� ������� � ���� � ��

���

������ ���

�� � ��� �� � �&(� �������� 7�8 � �� � ����� � ������� ��� �� � �&+� � �� � ����� � ������ � ���

�� � �&+� $� ��.����� �� �� � �� � ����� � ������� � � �

� � � �&�& � � � �&+� ���� � � �� �� ���� �� � � � �� ������� 4������ 5&

5.=. 9�*���������� �2 #������' ;

D�% %� %��� ���� �� ��������� ���������� �� ��P����� �� �� ������� �� �� &

�������� ������

���

���

����� � ��� ���

. ��$,�� 3 ��2��*����� #��$�����+ ��� ����+�*��� �" 45!!67 !�� 55 ���

Page 10: Ordered similarity measures taking into account the rank of documents

(�

�� � �� �� � � � � �� �� �� � � � � �� � ��� � ��� �

� ��� �

��

�� � �� �� � � � � �� �� �� � � � � �� � ��� � ��� ��

� ��� �

,�� ��� � �� � �� �� ������ �� � �� 3&+� ��� � ����� � ������� � �� �� � �� �� � � �

� � �&+� �������� � ���

�� � ��� �� � �� � ����� � ������� ����� �� �����&

+� �� �� � $� �������� 7���8 ��� � ����� � ���������� �� �� ������ ��������� �� �� � 7� .-��8&+� �������� �� ������ ��������� �� �� � 7� .-��8&!� �� � $� �������� 7��8 ��� � ����� � ���������� �� �� ������ ��������� �� �� � 7 ) .-��8&+� �������� �� ������ ��������� �� �� � 7 ) .-��8&+� 4������ @ �� ���� ��&

5.>. 9�*���������� �2 #������' <

�������� ������

�����

����� � ��� ���

2� $��� $� ��.����� �� �� �� ���� �������� � ����� � ��� �� �� ������ ���

�� �������&

(� �������� 7�8 �� ��������� �� �� ������ ��������� �� �&+� �� ������������� �� ������ ��������� �� �&

5.6!. ���� �������'

+ ��� � ��������� ���� � �������� ���&B���������;

���� ������

���

���

����� � ��� ���

!� � �� �������� ����� � �

����

���� ������

���

���

����� � ��� ���

��� ���� � ����&+� �-� �������� �� ���� ��&

��� . ��$,�� 3 ��2��*����� #��$�����+ ��� ����+�*��� �" 45!!67 !�� 55

Page 11: Ordered similarity measures taking into account the rank of documents

%&�������������� ������������ �� �� �� ������� ���'� ���� (�����

�.6. 9�?������ �2 �� :� *������ ������� 2��* @�$$���

*� %��� ������ � ��.�� � ������� ���� ������&� %��� $� �� ���� ������� ,� ��.��� ��� ��� �� � �� � $�

����� � � � �� ��� � � �� � � � � �� � �

*� %��� ������ � � � �� ���� ������� �� ���$����� �� %� ����� ��������&!�����;

��� �� � ���� �������� � ��� %���� ��� �� � ��� � �� � �� � ��� � ��� � �� � �� � ������� ��.��� $� ��� � �����

�� � ���� %����

��� � � � �� �� �������

��� � �

�����������������������������������������������������������@

� � ��5� � ?��

� � 5�� � �

��5�

��

*� %��� ���%� � � ���� � �� ��������� 7�897�8&��� �� ������ ������� ������� �� ��� � ����� � ���������� �� � �� �� 7�8 �� ���� ��&

���

���

��� �� ����

���

��� � �� � � �� �� ���� �� � �����������������������������������������

���

�� �� �

���

��� �

�� ����

���

�� �

�� �

���

� �� �

���

��� �� � �

���

���� � ���

� �

�@�

�����

���

���

+�

�� � �5� � ��

� � �

���

� �

�@�

������

���

���

�����

�� � ��� ����� ���

7���������� �� �� ������ 68

+�

�� � �5� � ��

� � �

���

� �

�@�

���� � ����� � ���

� ��@� � ��5

� � ?��� � 5�� � �

��5�

� ������������������������������������������������������������@

� � ��5� � ?��

� � 5�� � �

��5�

6 B���������; �� ��5 � �5 � 5�� � 5�� ���5 � �� ��5 � 5�� ��� � 5�� �� � �� � � � � �5 � �5 � 5� �� �5� �� �5 � �5 � 5� �� � 5� �� �& (� ������� ���� "���� %� �$��; �� ��5 � 5

����� �

� � 5�����

� � �� �& +������ �

� � ����5 �� ��� � 5 �

� � �� �� ����

��� �� � ����������

� &

. ��$,�� 3 ��2��*����� #��$�����+ ��� ����+�*��� �" 45!!67 !�� 55 ��5

Page 12: Ordered similarity measures taking into account the rank of documents

�� ������� 7��8 �� ���� ��&

�� ������� � � �� �� � �� � � � �� �� � � ��

+� �� �� � � ��� � � �� �� �� � � ��� � �� ��� �� ������ ��������� �������� ������� �� � � ���� � ����� �� ����� �� � � ���� � ����� �� ��� �� � ���������� �� �����.-�� ����� �� ������� ����� � �� ��� �� �� ������ ��������� �� )&

+� 7���8 �� ���� ��&B��������� �� ������� 7��8 �� �������&

��� �� � ����� ������ �� ������ ��������� ������� �� � �� ��� �� �� ������ ��������� �� �&+� 7�8 �� ���� ��&!� 2�������� � �� ����.��&*� %��� ��.�� �� � ��� �� �� �+ ������ ������� ���� ���� �� �;

�� � � �� � ��� ��

����� ������

���

���

������ � ��� � �� � �� � ��� � ��� � �� � �� � ���

%��

����� � � � �� ��� � � �� � � � � �� �

��

��� � �����

� � � ��� �� � � ��� � � �����������5

������������������������������������������������������������@

� � ��5� � ?��

� � 5�� � �� �

� �� �

���

#����$ �� �� ������ �� 0����� ? � %���� ��� $��� $��� � ��� ��������� ���� ������������ �� ���$����� �� �����)� ����& !������ �� �#�� �� �� %���� $� ����.�� �� �� .������ �� �� �� ������ ���&

!� ������� ���� ! %��� ��� �� �����%��� ���� �������;

� � �� �� � � �

� � �����

��� �� � �

������ ���� � ��

����-����

%��

� � @�� � �

5�@���

? 1��$��� '��������� ������� (������&

��@ . ��$,�� 3 ��2��*����� #��$�����+ ��� ����+�*��� �" 45!!67 !�� 55

Page 13: Ordered similarity measures taking into account the rank of documents

�.5. �*�������� ����' �2 $�����$�� @�$$��� *������ ��� :� @�$$���1� *������

�.5.6. #����������� �2 $������*� ��� ��� � �-���������� �� ������� �� � ��������� ������� ����� �����

4��.�=B��& NN�!� �� � �!� ���� � �� � ��� �$� ���������� ���� ��- �� � ����� ���� ����$.��������� �� $�� ����� �� ����� ����. ���������� -��! �!� �� � $������ ������� * "��� �!� ������ ���� ����$ ! ���� ������. ���$���� �� ��- �� � � �� $�� �� ��������� �� �� � � ��!������$�� �� ����� $�� &$����)) 71����=���M��� 1������ 1���� K (�� 2$����� �EE�8& +�� ������� �� �� ��������� �� � ��� ������� .������ �� ��������� �������� �� ���.�� ���� ���� +4!�!,�� E �� ���� ���� � �-�� �������� ���� �� ���� �- � $��� ����%����� � ������ ��%�� �������� ��� ������� ����� ������ $���� �� �� �� ����� �� ��������� �� ���� 7/����� �EE68&

,�� ��"��� �� ���� �� ��������� �� �� ��� ��� �� ���� ������ "������� �� �� ������ ���� �� ���� ������� ���� � ����� �� .���&

*� ��� ��� � ������� �-������� �� ����� � �� �� ����� �� .������& ,�� ������������ �� �������� �� 7������� ����8& (���P�� %� ��� $��� ������ �� �>� ��"���� ����� �� ����� �� �@ ��#���� .������ ����-�� �� %� ��� ������� ��� ��%�� ����� �� ���.������ ���&

,�� .������ �� ������� �� %���� �� ����� �� ��������� �� �������� �� ������ ����.��&+�� � ������ �� ��%�� ���� %� %��� ���� ������ ��� ��� ����� ��� ��& !� �� ��� ��+4!�!,�� �� ������ �� ������� �� �������� ������ ������� �������� � �� ������-�� ���� $����� �"����� $��� ���� �� ���������� %����& D����������� �� �������� �� ��������� ������ ����& !� %� ������� � �� ����� ���%� "���� �� ���� ������ �� ���$����� �� ���� �������� ���� � .���� ��� %� �� �� �� ��� �� ����.���� �� 2�=������� �& !� ��� ���� �� ���������� �� �� ���� �� �-���� ���� �� %���� �� �� "�������� ���� ������& 1� �� ��% ���� %� ��#���� .���� �� �� ��� "������ �� ���� ��=���� 7�&�& ���� ���� ������ ��� $��� ������8& 2 ������� �������� �� �� %� ��%��� %���$� ��������� �� ���� ������$�� $� �� ��� $����� �"����& ��������� �� %� ��%�� ���%��� ��� ���� ������ ������ ��������� �������&

!� ��� ��� %� %��� ������ ���� �� �� ������ �$���� $� �������� �� ���-���� �� ��%����� �$���� %�� ��� �� �� �@ ������� �� .������ �� ��%�� ��� �$���� %���� �� .�=�����& *� %��� ������ %� ������ �� �� ��� ������; ������ �� ������� %�� ������� ��=����� �� ���� ,� �� ������� %�� �� �+ ����)� ������ �� �������� $���%&

����)� ������� �� ������� �� ��$�� �� �� ��%�� 7������ �� ��������8& +� �� �� %�%��� ������

����

�����

������ ����

����

�&�&� �� ���� �� , %������ $� ��&

E +����� �� ���$$������ ����-��� �� ������� ��������� ����� 7+4!�!,8 �� ��������� ������ �� ,&L!B&

+������ $�� +4!�!, �� ��� �������� � �� �02=B!+, 72���� 0����� ���������� 9 +�����.� �� ,�����"��

!�������� B�������8 9 ��;::%%%&���&��&��:&

. ��$,�� 3 ��2��*����� #��$�����+ ��� ����+�*��� �" 45!!67 !�� 55 ��>

Page 14: Ordered similarity measures taking into account the rank of documents

/�� ��� �� �� �>� ��"���� %� %��� ������ �� �� ���& ,���� ����� �� ������ $� �� /=-��&

2������ �� ����� �� $��� ��������� �� ����� �� �� �� �� ��������� .��� ����� ��������� ������� �� ���

& ,� � � �� ������ ���� �� ������ %��� $� �������� �������� � �� �������������� �� ��& ,��� ���� ��� ���� � ����� %� %��� �� $� $�� � ������ �� ������ ���� ��0=-�� $����� �� �� � �� �� "������� �� ��#����&

2�� �� ������ �� �������� �� 7������� �EEE8� %� ���� ������ ��- �� ��� ����&

�.5.5. �������,�� ������ �� ���%� �� /���& >9?&

�.5.�. �**�� $,���$�������$�,���� ��- ������ ��� ���� ��#���� �����& ,��� �� �����"����� �� �� ���� �� ������

.������& (����� �� �� ����� �� ������� �� ������ �� ���� �� �� ����- �� ���� $����

���� �%�� ������ �� � �� ���& ,��� �� ������� %�� �� ��.����� �� �� � $��� �� ��������� �� ����& ,�� ���

����� ������� $��� �� �� ����� �� �����"����� �� �� ������ �� ����������� ������� ��� & 4�������� %� �� �$����� ����� �� ���

$���% �� �����& ,��� ���=������� �� �-������ $� �� �������� �� �� ����� �� �� ����- �� ���� �� ��� ��

/��& >& +������� �� +� �� +�&

/��& �& +������� �� +� �� +�@&

��� . ��$,�� 3 ��2��*����� #��$�����+ ��� ����+�*��� �" 45!!67 !�� 55

Page 15: Ordered similarity measures taking into account the rank of documents

�-���� �� �� ������ �� �� ������� ���& !� � �� �� �� �� ���$��� �� ������ �� ���������� ��%�� �� �� ���� �� ����� ��#������ $�%��� � �� ��� ��� ���

����� $� ��%���� �� ������������� ���� ��& ,�� ����� �� ������ ���

�� �� %��� ���� %� � �� ���������� �� .������ %��� $� �� �� ���������� �� �� ��������&

,�� .�� ���� ������ ���� �-������ ��#����& H�%���� %� �� ����� ������ �����������&!� �������� � �� �����$�� � �� �� ��� ����� �������� � ���� M����;1��� �; ���

�� �� �� ������� � �& *� %��� ��� ��� M��� �� NN��� �� �����))&1��� �; ���

�� �-������ ���$�� ����� ������� � ��& *� %��� ��� ��� M��� �� NN��� �������))&1��� 5; ���

�� �� ��� ��� �� ��� �%��� �& *� %��� ��� ��� M��� �� NN�� �������))&

�.5.;. #����$���� $,���$�������$�,�� ������ ��#�� ���� ���� � ����� �� �������� � �� ������� �� �� ��� ��������� M���� �9

5& ,�� M���� �95 �� ��� �� �� �� ������ �� �� ��������� ������& !� �� ��� �� �� �����4��.�=B�� 7������� �EEE8� .������ �� ������ ��� $����� �� ������� ������� $� �� ������

/��& ?& +������� �� +� �� +>&

/��& 6& +������� �� +� �� +�6&

. ��$,�� 3 ��2��*����� #��$�����+ ��� ����+�*��� �" 45!!67 !�� 55 ��6

Page 16: Ordered similarity measures taking into account the rank of documents

����� ����������� �� �� ��� �� �� �������� �������� � �� ���� ���.��& Q���� �95 ������������� � ��%��� �� �����$�� $� �� .������ ������� 7�&�&� .������ %��� �� ��� ��������#�� �� ���� "�������8& ,�� ��%��� $���� �������� ���

�� �� %��� $� �� ���& ,�� M������������ ��������� � $� �$������ �� M��� �� �� NN��� �� �����))& !������ � �� ��� M��� %����3���.�� �� ��� �� ������ �� �������� ��� ��� ����� �� ��������) �� �� ���������� �� ����& /�� ���� ���� .�� ������� �� ��� M��� �������� ����-����� �� �:5 �� �� ��%���&

,�� %� �� ������ �� ���� �������& ,��� ������ �� ���������� �� ����� ���� %�M����� �� ��� �� �� �� �� ����� $���� ���=�-����& /��& E �� ���� ���� �� �� ��� ������������� ����� �� ������ �%��� �& ,�� ������ �� ��%�� ��������� �� �� ���� � ��� $������� �� � ����������& *� �� ��� �������� � ������� ����� E �� �� ���� �#����� �� .�=�����& ��� ��%��� ��� �������� �� � �� ��� ������� ����� �� �� ������ �� ���������� ����� E& ����������� �� /��& �� ��� �$������ ��� �� ���� ������ ����� ��������� �� �& *� �� �������� ���� � � ����� �� �� ��������� �#����� ����� ��� �:5 �� ��"�������� �� �������� �� ����&

*� �� ��� � �� ��� �� � �+ ������ ����� ��������� ������& !������ �� NN��� �������))� �&�& �� �� ��� %���� �� ���-������ �� �� ���

�� ���� ������ ��� ����-������� �:5 �� �� ��%���& ,�� $�� �� ����� �&�& �� �-���� �� �� ������� ������ �� ���

������� � �� �� ���$�� �������� � �� ������� �� .������& ������������ ��� �-��� ���

��� �-�������� ������ �� ��& ,��� �� ��������� �� �������� �� ���� �� ���� �� ����=��� �������� � ����� � � �� � �����$�� � �$�� ���� ������� ������&2���; ,�� �� �������� �� �� ����- �� ���� ���

�� �� "����� �� �� ��� �� �� ������ ��,� ������� ��� ��� ����� $� ��& *� ��� ������ ��� ����� � �������� �� ���� �� ��� & *������ ��� ������ � ������ ���� �������&

I��%��� � �� ������ �� ���3����� %� ���

���� ������

���

���

�������

/��& E& +������� �� +� �� +E&

�� /���& >9?&

��? . ��$,�� 3 ��2��*����� #��$�����+ ��� ����+�*��� �" 45!!67 !�� 55

Page 17: Ordered similarity measures taking into account the rank of documents

,�������� ���� ����&

+�� �� ��������� ����������� %���� ��� $��� ������� �� %� �� ������� �� %�� ,&

! )����������� �� �� �������� ���'� ���� #����� �� ���������

������� �� ����� �� 4�������� �� NN��������� ��������))& (���� ���� ��� NN�� $�� �������� ��� ����� ���)) 7(���� � �&� �EE@8 $����� ��� ��� �� ������� �� $���� ������� ���� .-�� ��������� ��& ��� �����"����� �� � ��� ���) ��������&

!� �� ��� �� � ������� ��� %� �� �������� �� ����� �� ��������� � $���%&!� 3 �� �� ��%�� �� �� ����� ��� �� "���� �� �� ����� �� �� �� �� �������� ���������� �

$� ������ $� �� �-���� 7�� �� ���������8� �� L� �� �� �� �������� ���������� � $����������� %� %��� ��� 7/��& ��8;

L� �� L� �� ���3�����& ,�� ����� �� L� �� L� %��� ���� L %���� ��������� �� �� ���=����� �� �� �$��& ,�� ����� �� �� ��������� ����� �� � ������;

,�� �� �� �-���� ������ ��������; �� � �� � � �,�� �� �� �-���� ��������� ��������; �� � �� � � �,�� �� �� �� �-���� ������ ��������; �� � ���

%���� �� ��%�� 3 �� �� ���3����� ����� �� �� %� ���� ���������� ��.���� �� �� ��&7� � �� � �� �� �� � �� � �8&

/��& ��&

/��& ��& +������� �� +� �� +��&

. ��$,�� 3 ��2��*����� #��$�����+ ��� ����+�*��� �" 45!!67 !�� 55 ��E

Page 18: Ordered similarity measures taking into account the rank of documents

1� �� � �� � $� ����������� �� ������� �� �� ��� ������ �� �� � ��& ������ ���� ���� 4��������� ���� �� %��� $� ��� ��.��� $�;

����� � � � � �� � ��� �� ���� � �� ���� � ��� �

� ��� ���� � � �� � ��

�� �� � ��� ���� � �

4�������� � � � � �� � ��� �� ���� � � � ���� � ��� �

� ��� ���� � � ��� � �

��� ��� � �

1� �� ������� ��% � �� ��%�� �� �������� �� �� ���� �� ������ ��������� 2�������� �7���������� �� �����.����8& 2�� ������ 3 �� � �� ��� � ������� .������ ���������� ����$��� �� �� � �������� �� ��������) ��%���� �� ��$�� �� $���� ���3����� %� $� %�;

1� �� � ��������������� $� ���� �; �� �� �������� �� ��� �� ����-�� %�� �� "����)� �������� ��� �& !� � �� �� �� ���� ��� ��� ������� $���� �� �� �� �� �� �&

����� �� 4�������� ������ �� ������� �� 2�������� �� �� �� %� ������� � 2�������� ��� ���.��� � �� �����$�� � ��� �� ������ � ������� �+ ������� �� ����� �� 4��������&

�+ ����� � � � � �� � �� �� � ���� � �+�� ���� ���

��

���� ������ ����� ���

�+ 4�������� � � � � �� � ��� �� ���� � �+� � ���� ���

��

���� ���

�� �� ��� ���,�� ������� � ������� �� � $��� �� �� ��� �� �� �+ ������ ������� ���� ���� ����

����� �����������5

������������������������������������������������������������@

� � ��5� � ?��

� � 5�� � �� �

� �� �

���

�� ���� � ������� �+ ������ ������� ���� ����� �� 4��������&,�� ���������� ���� �������

��� �� � 5�@��

@�� � �

���������� �5�@��

@�� � �

���-����

�� ���� ��&

" )���������

!� ��� ����� %� ������� �������� � ��.�� �� ������ �� ������� ��������& ,��� ���=����� � �� � �����$�� � � ��� ����� ��������) ����� �� ��������� �� �� ����������� 3������� �� �������� �� �� ��%��& ,��� �������� �� �� ������ $� �� ������� ��������� ���������& !������ �� ������ +�! ������� � ����� �� ��������) ��%��� �� ���� ��������� �������� � ���� �� �������� ������� ������� � �� ��"��� �� �� ����& 2 $������� �� ��������� ����� NN����)) �� ������ %���� ����.�� �� ������� �� �� ���������� �� � ��%��& *� ������� ��.����� �� �� ������� +������� �������� �&�& ��������������� ���� �� �� ������� ���& !� ����� � ������� ������� %� ������� ����� �����NN������ �� �+ �������))& ! ���%� 9 ����� ���� �� ������� �� �������� 9 � $���� � �+

��� . ��$,�� 3 ��2��*����� #��$�����+ ��� ����+�*��� �" 45!!67 !�� 55

Page 19: Ordered similarity measures taking into account the rank of documents

������ ��������� �� ��������� ��.�����& ,��� ����� �� ��� $� ������ �� �� ��� ����������� ���������� �� �������� �� � �� ����� �� �� 4��������&

! �� �����$�� � $���� ������ ������ ����� ���� ���� ������& ,�� �-���������� ��������� �-����� %� ������ �� %�� �+ ������ ������� ���� ���� %�� ���$����� ��NN�����)) ���� �������& ,�� ������ ���% � �� ��� �� � �+ ������ ����� ��������������� �� � �� � �����$�� � �$�� ���� ������� ������& 2� � �� ��� �� +����� �� � %���� $����� � �� ���������� ���� ������� � ������� �� �������� �#�� �� �� .�� �� � �� ����������&

��$��*�� +������

! %���� �� � � �� ,������ 1����� 7'�������� 1��� !� /����8 %�� %� �� 4�&B& ,������������ �� ���� ���� ��� ������ �� .�� ������� �� ��� %�� & +������� ! �� �� $�����4������� ������ 7'�������� ���������� !!� /����8 %�� ������ �� %�� �� ������� ���=����� �� �� �����������& 2�� .���� ! %� � �� 1�� 0���� 71��$��� '���������������� (������8 %�� �� ��� �������� ���������� �� ��� ���� �� ��� ����� �� ������ ����� �� ��� %�� &

#���������

(������� 4&� K !��%������ 4& 7�EE?8& ������� �� ������ �������� �� �� �� H��&1��� ; 4��������� �������� ���

�������� !�& #��$�����+� �2 �,� 56�� �� �� �� ��2����$� �� ������$, ��� 9������*��� �2 ��2��*�����

��������� 7��& 5�@955�8& ���$������ 2�����; 2�� 4����:C�� 4����&

(����� (& �&� ����%� �& ,&� K I��� B& H& 7�EE@8& �������*��� �� ��2��*����� �$���$�& D�% C�� ; 2������ 4����&

/����� �& 7�EE68& +4!�!,&*5 ; 2 �����$��� �����& 1����� !���-��� �� +���� 0�����& #��$�����+ �2 �,� �A/ >"�

/,� ������, ������ ��2����$� �2 �,� �������� ��$���'& �@9�6 ���� I�� 1������ �����&

/��� ��� �& 7�EE?8& �� ,���=+����#� �� �������� ���������& ��2��*����� #��$�����+ ��� ����+�*���� �;7@8� 5?>9

5E@&

H���� +& 4& 7�EE�8& F����� �� �������� �������� �� ��������� �� ������� �#���������& @������ �2 �,�

�*���$�� ��$���' 2�� ��2��*����� �$���$�� ;"7�8� 569@E&

H���� +& 4&� K H��� �& 2& 7�EE68& 0������ �� ��������� ������� ������; 2��������� !������ �� ������&

������ �����( �2 ��2��*����� �$���$� ��� /�$,����+'� �5� �9E5&

1����=���M��� +&� 1������ ,&� 1���� & 4&� K (�� 2$����� D& 7�EE�8& !�������� ��������� ������� $� ���$�����

���� ���.�� �� ������� ���������& ��2��*����� #��$�����+ ��� ����+�*���� �5758� 5�>95�>&

1����� �& �& 7�EE�8& /,� �$���$� �2 ��2��*�����. �������*��� ��� �����$������& D�% C�� ; 2������ 4����&

������� �& 7�EEE8& ��������� �� �'����*�� �� ��$,��$,� �1��2��*������ $�*������� ��� 2��$����������� �� ?����+�� ��� ���

*������ ����+�����. ������������ �� ���������� �1�� ������'�� �� �'����*� �� ��$,��$,� �1��2��*����� ���$ ?���� ����� ���

���?�� ��� ������������& 4�&B& ,����� 7�& 5��8& '�������� 1��� !!& � ���� �EEE&

������� �& 7����8& B������� 0������ �� ��������M�� .������ ��������� ������� �����& ���������� ��

�-�������� ������& #��$�����+ �2 ���: 5!!! BB������������ �����*���� ��2��*����� �$$���11& 4���� ��9�@ 2����

����&

������� �& 7����$8& ������� ������ �� ������ �������� ������� �� ��������� ������� �������& #��$�����+�

�2 �� 5!!! ��$��� ������������� $��2����$� �� ���+��+� ������$� ��� ����������� 2����� L������ 5� ��9� ���

����� ��& �>�E9�>�5&

��MM��� +& 7�EE68& �������� ; �� %���� ������& @������ �2 �,� �*���$�� ��$���' 2�� ��2��*����� �$���$�� ;=7E8� ?��9

?5�&

. ��$,�� 3 ��2��*����� #��$�����+ ��� ����+�*��� �" 45!!67 !�� 55 ���

Page 20: Ordered similarity measures taking into account the rank of documents

4� � ,& I& 7�EE@8& ,�%�� ����� �� ����=$��� ��������; ��� ��� ��% ������ �� ��"����& @������ �2 �,�

�*���$�� ��$���' 2�� ��2��*����� �$���$�� ;<� �5>9�@�&

��$������ 0& +& 7�EE�8& �� �� ������� �� !� ������& ��2��*����� #��$�����+ ��� ����+�*���� 5=7@8� @>69@��&

��$������ 0& +& 7�EE@8& �*����� ���������. %�2�' '���� �2 ��2��*����� ���+����. � 0������ �2 ��$�*�������� �����(&

0���� $� (��� � F�� ���& 2+1!(&

+���� L&� K ��L���� �& & 7�E?58& �������$���� �� ������ ��2��*����� ���������& D�% C�� ; ��L�% H���&

+������ � ,&� I���� 4&� ������ 2& C&� K ,�������� B& 7�E??8& 2 ���� �� ��������� ��� ��� �� ���������&

!& (� ������ �� ����������& @������ �2 �,� �*���$�� ��$���' 2�� ��2��*����� �$���$�� �>� ���9�6�&

+������ � ,&� K I���� 4& 7�E??$8& K 2 ���� �� ��������� ��� ��� �� ���������& !! '����� "�������� ��

�#���������& @������ �2 �,� �*���$�� ��$���' 2�� ��2��*����� �$���$�� �>� �669�E�&

+������ � ,&� K I���� 4& 7�E??�8& 2 ���� �� ��������� ��� ��� �� ��������� !!!& +�������� �������� ��

������& @������ �2 �,� �*���$�� ��$���' 2�� ��2��*����� �$���$�� �>� �E69���&

+�� � & I&� K F� ��3�$������ �& & 7�E6�8& !�������� ������� �� ���������& @������ �2 9�$�*��������� �57�8� >E9

6>&

,���� & 7�EE�8& �� �� ��M��; ���� �������������� �� ������& @������ �2 ��2��*����� �$���$�� 6 7�8� �E95>&

,���=+����#�� & 7�EE>8& ��������+ ��2��*�����. �� ��2��*����� �����$�� ������$�����& D�% C�� ; 2������ 4����&

,���=+����#�� & 7�EE�8& +��� ����������� �� �� ������� �� ��������� ������� ������& @������ �2 �,� �*���$��

��$���' 2�� ��2��*����� �$���$�� ;"7�8� �95&

��� . ��$,�� 3 ��2��*����� #��$�����+ ��� ����+�*��� �" 45!!67 !�� 55