shape matching and object recognition using shape context belongie pami02

14
Shape Matching and Object Recognition Using Shape Contexts Serge Belongie, Member, IEEE, Jitendra Malik, Member, IEEE, and Jan Puzicha AbstractÐWe present a novel approach to measuring similarity between shapes and exploit it for object recognition. In our framework, the measurement of similarity is preceded by 1) solving for correspondences between points on the two shapes, 2) using the correspondences to estimate an aligning transform. In order to solve the correspondence problem, we attach a descriptor, the shape context, to each point. The shape context at a reference point captures the distribution of the remaining points relative to it, thus offering a globally discriminative characterization. Corresponding points on two similar shapes will have similar shape contexts, enabling us to solve for correspondences as an optimal assignment problem. Given the point correspondences, we estimate the transformation that best aligns the two shapes; regularized thin-plate splines provide a flexible class of transformation maps for this purpose. The dissimilarity between the two shapes is computed as a sum of matching errors between corresponding points, together with a term measuring the magnitude of the aligning transform. We treat recognition in a nearest-neighbor classification framework as the problem of finding the stored prototype shape that is maximally similar to that in the image. Results are presented for silhouettes, trademarks, handwritten digits, and the COIL data set. Index TermsÐShape, object recognition, digit recognition, correspondence problem, MPEG7, image registration, deformable templates. æ 1 INTRODUCTION C ONSIDER the two handwritten digits in Fig. 1. Regarded as vectors of pixel brightness values and compared using L 2 norms, they are very different. However, regarded as shapes they appear rather similar to a human observer. Our objective in this paper is to operationalize this notion of shape similarity, with the ultimate goal of using it as a basis for category-level recognition. We approach this as a three- stage process: 1. solve the correspondence problem between the two shapes, 2. use the correspondences to estimate an aligning transform, and 3. compute the distance between the two shapes as a sum of matching errors between corresponding points, together with a term measuring the magni- tude of the aligning transformation. At the heart of our approach is a tradition of matching shapes by deformation that can be traced at least as far back as D'Arcy Thompson. In his classic work, On Growth and Form [55], Thompson observed that related but not identical shapes can often be deformed into alignment using simple coordinate transformations, as illustrated in Fig. 2. In the computer vision literature, Fischler and Elschlager [15] operationalized such an idea by means of energy mini- mization in a mass-spring model. Grenander et al. [21] developed these ideas in a probabilistic setting. Yuille [61] developed another variant of the deformable template concept by means of fitting hand-crafted parametrized models, e.g., for eyes, in the image domain using gradient descent. Another well-known computational approach in this vein was developed by Lades et al. [31] using elastic graph matching. Our primary contribution in this work is a robust and simple algorithm for finding correspondences between shapes. Shapes are represented by a set of points sampled from the shape contours typically 100 or so pixel locations sampled from the output of an edge detector are used). There is nothing special about the points. They are not required to be landmarks or curvature extrema, etc.; as we use more samples, we obtain better approximations to the underlying shape. We introduce a shape descriptor, the shape context, to describe the coarse distribution of the rest of the shape with respect to a given point on the shape. Finding correspondences between two shapes is then equivalent to finding for each sample point on one shape the sample point on the other shape that has the most similar shape context. Maximizing similarities and enfor- cing uniqueness naturally leads to a setup as a bipartite graph matching equivalently, optimal assignment) pro- blem. As desired, we can incorporate other sources of matching information readily, e.g., similarity of local appearance at corresponding points. Given the correspondences at sample points, we extend the correspondence to the complete shape by estimating an aligning transformation that maps one shape onto the other. IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 24, NO. 24, APRIL 2002 509 . S. Belongie is with the Department of Computer Science and Engineering, AP&M Building, Room 4832, University of California, San Diego, La Jolla, CA 92093-0114. E-mail: [email protected]. . J. Malik is with the Computer Science Division, University of California at Berkeley, 725 Soda Hall, Berkeley, CA 94720-1776. E-mail: [email protected]. . J. Puzicha is with RecomMind, Inc., 1001 Camelia St., Berkeley, CA 94710. E-mail: [email protected]. Manuscript received 09 Apr. 2001; revised 13 Aug. 2001; accepted 14 Aug. 2001. Recommended for acceptance by J. Weng. For information on obtaining reprints of this article, please send e-mail to: [email protected], and reference IEEECS Log Number 113957. 0162-8828/02/$17.00 ß 2002 IEEE

Upload: irisshicat

Post on 06-May-2015

1.913 views

Category:

Technology


0 download

TRANSCRIPT

Page 1: Shape matching and object recognition using shape context belongie pami02

����� ������ �� ������������ ��� ����� �������

����� ������� ������� ����� ������ ����� ������� ����� �� �� ������

��������� � ������ � �!�� �������� �� "������ �"����# ���$�� ������ �� ������ � %�� ������ �������& ' ���

%��"�$���� ��� "������"�� �% �"����# � �������� �# () ���!� %�� ������������� ���$�� ���� � ��� �$� ������� *) ���

��� ������������� �� ���"��� � ���� ����%��"& ' ����� �� ���!� ��� ������������ ������"� $� ������ � ���������� ���

��� � ������ �� ���� ���& +�� ����� ������ �� � ��%����� ��� �������� ��� �������� �% ��� ��"�� ���� �����!� �� �� ����

�%%��� � �������# ����"��!� �������������& ���������� ���� � �$� �"��� ������ $�� ��!� �"��� ����� ��������

����� �� �� ���!� %�� ������������� �� � ���"�� ����"�� ������"& ,!� ��� ��� �������������� $� ���"��� ���

����%��"��� ���� ���� ���� ��� �$� ������- ���������� ��.����� ����� ���!�� � %������ ����� �% ����%��"��� "��� %�� ���

�������& +�� ���"����# ���$�� ��� �$� ������ � ��"����� �� � ��" �% "����� ������ ���$�� ���������� ����� ��������

$�� � ���" "������ ��� "������ �% ��� ���� ����%��"& � ����� ������� � ������.������ �����%���� %��"�$��� ��

��� ������" �% %�� ��� ������ ������#�� ����� ���� � "��"���# �"��� �� ���� ��� "���& ������� ��� �������� %�� �����������

�����"����� ���$���� ����� �� ��� � '/ ���� ���&

��� ����������� ������ �������� ��� �������� ������������ ������"� ��0,1� "��� ���������� ��%��"����

��"������&

� �� ����� ���

�������� � � �������� ����� �� ���� �� ���������� ��� �� � ����� �������� ������ ��� � �����

����� �� � � �! �" ��� ���" ��������� # �����! ���������� ������ �" ������ ���� �� ���� � � �� ����������� �$����� �� �� ����� �� ����� ����%� �� � � � ����� �� �����"! �� � ��� �� � �� � ����� � �� � ������ � ���� �"&����� ��� ���� �� '� ���� �� �� �� � ���&���� �� ����(

�� � ��� � � ����� ������ �� ��� ������ � � �����!

�� ��� � � ����� ������� ��� �� �� ������������� � ! ���

�� � ��� � ������� ������ � � ����� �� ��� � ����� ��� �� ������ � ����� ������ ���! ���� �� � �� �������� � ����&��� � � �������� ����� � �� ��

) � ��� � �� ���� �� �� � ����� � � �����

����� �" ��� � �� � � ��� �� ����� � ���� �� ��� ���*

�� �+)��" , �� �� �� �� ������� � �*! �� ���� ��

�� -../! , �� � ������� � ������ �� � ��������

����� ��� ��� �� ��� � �� �� ����� �� ����� �� ���

� ������ ����� � �� ��! �� ��������� �� ���� 0� �� �� ���� ���� � ��������! ������� ��� ��������� -�./ ����� ����%�� ��� �� ���� �" ���� � �����" ���& �%�� � �� � ���&������ ���� 1�������� � ��� -0�/����� ��� ��� ����� �� � �� ��������� ������ 2����� -3�/����� ��� �� �� ������ � � ��� � ���� � ����� ���� �" ���� � ����� ���&������ ���� ���%�� ����! ����! � � �"��! �� � � ��� � ��� ����� �������������� )� �� ����&*� �� � ���� ��� ���� �� ���� ���� ��� ����� ��� �" 4���� � ��� -5�/ ����� ���������� ��������� ��� ��" � ������ � �� �� � �* �� � � ��� ���

�� ��� ��� �� � � ������� � ����� ������� ������������ ����� ��� ���������� �" � �� � � ��� �� ������ � ���� � � ��� 6"������" �77 � � ����� � ��� ���� ���� �� � ��� � �� ���� ���� � ��� ����8�,��� �� � ��� ������� �� � � � ���� ,�" ��� ����9����� �� ���� ��*� � �������� ���� �! ���: �� ����� �� �� ����! �� ���� ���� ���� �� �� �� �������"��� ����� '� ��� ���� � ���� ������� �! ������ ������! �������� � � ���� �������� � � � ��� �� ���� �� ������ � ����� � �� � � ������������ � ����� ������� ������ � ����� �� ���9������� ������� � � ��� �� ��� � �� � �� ����� �� ��� � �� � � �� ���� � �� � ��� ���� ���� � ���� ;��� �%��� �� �������� ��� ��� �&���� ���9������ �������" ����� � ���� �� � ����������� ����� 6�9��������"! �� �� ������ ��8 �� &��� � )� �������! �� ��� ��� �� ��� �� � ����� � ����� ��� � �� � ������"! ����! �� �����" � � ������������� � � ����� ����� � ����1���� � � ����� ������� � �� ��� � ���! �� �����

� � ����� ������ � � ���� ���� �" ��� ���� ���������� ����� � �� � � ��� �� ���� � � ���

'000 +�23�2�+' 3� 3 �2++0�3 232/4�'� 235 �2�6'30 '3+0//',03�0� 7 /& *8� 3 & *8� 2��'/ *99* :9;

� �� ������� �� ���� ��� ��������� � ������ ������� �� ������������� ! ���� ���� "� #$%&� '��(����) � ��������� ��� ����� *�+���� �� ,&-,%.-//#� �.����0 �123������ �� ��

� +� !���4 �� ���� ��� ������ ������� ��(����� '��(����) � �������� ����4���)� 5&6 � � 7���� ��4���)� �� ,#5&-./558��.����0 ����43���2�4���)�� ��

� +� ��9���� �� ���� "���!�� � :���� /--/ ������� ���� ��4���)� ��,#5/-� �.����0 1��3������ ����

!�������� ����(� -, ��� &--/; �(��� /% ���� &--/; ������� /# ����&--/�"������ � � ���������� 2) +� <����� �������� � 2������� ������ � ���� ������� ������ ��� �.���� �0�����3��������� �� ������� :����� *� =��2� //%,65�

9(<*.==*=>9*>?(1&99 � *99* '000

Page 2: Shape matching and object recognition using shape context belongie pami02

) ������� �������� � � �� ���� �� �� ����� �� ���� 0� ,������ � �� �� ��� �� ���*�� �� ��" � � �� ��� ��� �����<�� ��� ���� ���������! ������! ��� ��������%���� ���� ������� �� ���� �� �������� ��� )������� ������������ �� ������ � �� ���! "� �������! ������ � ������ �����"� ,� ����� �����" ������ � � ����� ���� � �� � ���� �� � �� � ����� ��� �� ������� ����� ����� � ���! ���� �� � �� �������� � ������� � � �������� ����� � �1���� ��� � ����� �����" ������! �� ��� ���

������&����� � ����9��� � � �$�� ��� ���� �� =�� &� ������"! ������&����� � ����9��� ��� �� ������ �� "��&����� ��� ���� � �� ����� ��� �" � �� ->?/��� � �� � ��� ->@/� ,�" ��� � �������� � ���� � ����� ������� �� � ��9�����< ��" � ������������� �����" �������'� �� ����� �$�� ��� ���� � �� � ���� �����" �

������� '� ���� �� 0� �$���! ����! � ;���, ��� �� � �������� ����� 6���� @8! ��� ���� 6����� �� ��� �58��� ���� ��*� 6���� �08! �� ���� �� 5� �$��� �� �� �� ��� ���4 ��� ��! ����� ����� ������ �����6���� �78� ,��� ��� �����" ���� ���� ��*� ��� ������ �� ���� � �� � ������� ���� � �� � ��� ��� ��� � � � ��� ��� �� � ������� ����'� ��� ��� ����� ��� � ����9�� � � �������� �

�� ��� � � ��� ����� � � ��� �$�� ���� �" ����� � �������� � �����"� )� �� �������� �! �� � � � � � �5� �$��� �� � ���4&07 ��� ��! �� ��� ���� �� � � ��0�. ������ ������������� � ��� � ����� ��" �� ������� �� �� ����� ��� �$�� 6��� ����� A ��� �78�,� ������� � �� ����� �� �� � �� ��( '� �������

������ � �* �� ���� � 0� �� ���� � 5! �� �������� ������& ����� � � �� ������ ��� ����� � �� � ��� �� �������� �� ���� � >� '� �� ������� ��� ��� � �������� ���� �� �����" �� ���� � . ����� ����� �� �� � ��� ������ � � �����" �

�������� ��������� �������� ����� ��� ������� �5� �$��� �� ���� � 3� '� � ������ �� ���� � ?�

� ����� ���� �� ����� �� �����

;�� ������� "������" ������ ���� �� �� �9�������������� ����� � �� �� � ����� � �� ��� ,�� ������� � ����� ���� �� � � ��� � ������ ����"���� ,�� ��" ������ ��� � ����� ��� �����" � �� �� '� ���� ���� � � � � � �" � ���� �� �����" � ���� ��������,� ���������+� ������� � � ����! ����! B *���� -3/ �C������ -0A/! ��������� � �� ��� � ���� �������! ������ �� � � ����� ������� ��� *� ��� ��� ������������ ���� ���� � ����� � � � ��9���� � ����� �&������<����! �� � ��� � ���� ������ ��� �� � �������������� �� ��� �� ���� � ���<�� ��� ����9��� ��� ������� ������� ���� ��� � �� � �� � �� ��������� �� �����" �� ��� ���� ������ �� � ��"� � �"��������! �� ����" ��� ��� ����� 1 �� ���� -07/�)� �������� �����" � ���� ����� �� � ����

���� � ��� �� � ��� �� -.@/! -00/� B� ���" ����*���! ��� ���� ���� ����( �8 ������&�����! ��� ��� ��� � ��� ������� ������� ��� � ������� ������� ��� �� ������� ��� � $���� ��! ��� 08 ��������&�����! ��� �*� �� ����� ��� � ����� �����������

��� ���!��"#��� ���$%�

) ���� ���� � ������� � ���� �� �����" �� ���� � ������� � � �������� � ��������� � ����� ����� ��� ����� � ��� ��� � ������� ��*����! � ��� ������ �������� ��� � ��������" ���������� �" � ������&�� �������� ��� ��� �� ���� ���%�� �" �������� ����" � �*���� � ����� ������� ��! ����! -30/! ->5/� B�� +� ����� ��������� � �� ��� �� �� ������ � ��� ������� �� ���� �� � ���� ������� � � �*��� � �" C� ��!D��*�� ��� � ���� �� ��! ����! ����� � ��� -.5/� ,��� ����� � ��� ��� ������ ����� �������" �"�� ���� ��� ��� ���� ���� � � �����! ����! -�?/! ��� ����� ��� ������� ������ ������� ,�� ��� �� �� ��� ����������� ������� *���� � ����� � �� � ��������� � ��������� � ��� ������ �� ) � ��������� � ����� � ��������� ���� ������� �� � � � ������ ��� ���� ���� �� �� ��� � � ;=�1&? ������� �����" -55/! �� �������� ���� ���� ����� �� ��� 4���*� � ��� -55/ ���; *����� � ��� -5A/�

:(9 '000 +�23�2�+' 3� 3 �2++0�3 232/4�'� 235 �2�6'30 '3+0//',03�0� 7 /& *8� 3 & *8� 2��'/ *99*

@�& (& 0��"���� �% �$� ���$���� ����& ' ���"� �% ����.��.����

��"������� ����� �$� "���� ��� A��� �%%����� ��� �� ��� ��"�

�����!��� ��� ������ ������ �� �� �"���&

@�& *& 0��"��� �% �������� ����%��"���� ������ �$� %��� %��" 5B2��# +��"���B� �� �� �� �� � �� C::D& +��"��� �����!�� ���� �"���

�������� %��"� ����� �� ������� �# "��� �% �"��� "����"����� ����%��"���� ���$�� � � � �� E&�&� ����������) %�������& 0��"���� �%

��"������� %������� ����� ����� �% �#�� �� �% ������ %� ���&

Page 3: Shape matching and object recognition using shape context belongie pami02

��� ���� ��� ����� �����" �� ��� �� ���� �������& �� � � ������� �$���: �" ��� �� ������� � � ��� ������ �������� ����� �� ���� � ����� ; �� �� ����� ������� ���� � ��� � ���� �� � �� � � ��� �� �0� � ���� �������� ��� �� �� � ��� �� ���� � ��� ��� <����! �� ��� $�� ��� �� ���� ���� �� #���&� ��� � ��� ����� ��� � �� �� �� ���� �" ����� �� #���� ��� ������� -05/: �� ��� �� ������� ������ ������ ����� ��� ������ ) �������* � � ������ ��� �� � � � � � �� � ����� � ����� �&������� ;� �� ����� � ������� ,����� � �! ��� ��-�3/! ��� �� ���� �� ����� ��� ����� � �� ��������,� � �* � ����� �� ��� =������ -.7/ �� ������������

� � �������� �& � ���& ����� ����� ���� ����:��� ��� -.0/! -.�/! -.?/� �� �� ���� ��! �� ��� � ��� ��� � ��� ��� ��� �� � ����� ��� �� ������& ��� ������ � ����� ������� ��� � ��� �" � ������ ��� ������� �� ; � �� ���" ������ �� ���� �� �� � � �* � 1 �� � ��� -�A/ ��� ��� ��� �������$�� -A/! ��� ����������� �� ���� � 5�>�,��� ��� ���� ������� ���� ���� ���� ��� ���� �

����� � ������ � �������� �� � � � ��� �� ��� �*�"� ��� � ���� ��*�� �� �� ���� ����� -50/! ���� �������� �� ��� ���� � � � � � ��� �� ���������" � ����� � � � ����� �������� ) � � ��� -�/ ���������� � ���� � � ��� ���� � �" �������� ������ ������������ � �������� �� � *�"� ���� 4���� � ��� -5./!�� �� ��� ; � ->A/! ��� 4 �� -53/ ����� ����" ������"&����� ��� � �� � � � *�"� ��� �� ���� ������������ ������ � ���� � � ��� �� � �� � � ��� �$������ ����������� *�" � ��� 6��* � � ������ � ��������8! ��� ����� *�" � ��� �� �� ���������� � ������� � �� � ��������� �� � � �� �� � �$�� � � ����

��� #�&'$����"#��� ���$%�

B�������&����� 6 � ����������&�����8 � �� ���� �� ��� ����" ���� ������&����� � ��� ������ �� ������ � � ���� � � �������� � � �� � ��������� �������! ��� ���� ���� �*� ����� ��� � ����" ������ ���� � ������� � �� � � � �$��� ��� ������ �������� ��� � �� � �� �� � � ��� �� �*���� � ���� ���� �"! �� ��� � � �� � ��������"

���� � ����� �������E����� �� ����� ���"����� �������2����� -3�/ ������� � ���" �������� ���� �� �� ����������� ������ *���� � ����� � �� �� ��� �� ������ � ������ � ��� �� �����"! �� � ������� �� ����� � � � ��&�������� � ����� ��� � ��������" �������%�� � ��� �������� ��� ������� ������� 4���� ���� -5�/ ��� ������ ���� �����! �� ���� �� �

��� ���� � �� ��" ��� � ���� ������� �� �� � � � ��� ������� �� ����� � 1������� ��������� $���F��� � ��� -.A/ ��� � �� � ��� -�7/ � ���� �������������� �� ���� �� � ���� � � ���� � ���� �� ����� � ����� � ����� ������ ������,� ��� �� ���� �" �������� �� � �� � �����

����������� �� � ��������" ������� � ����� �������� ����� ���� ����! �� ������ � � �������� ��� �� �����

�� �� ��� ���� ��9���� � ���� ����� ������������ ��� ���� � ���� ��� ���� �! � � ���������� ������ �������������� � � ���� ����"��� 6=�)8 -.>/! -.3/ ����������"

��� ���� �� � �� ��������� ��� �� �* -5@/� ;����� ���

��"�� ������� ��� ����� 5� �$�� ��� ���� � ->7/�

������� �� �� ��� ������� ������ ������ ����������� �

� �� �� � ����������&����� ���� ����� ��� �&

� �*� � � ��� ���� ��� � 4��� ���������� -5>/! �

� �� ��� ��� ������ ��� �* � � �������� ���� ��� ���&

� �! ��� � ���� � F�� � ;����� 6�F;8&����� � ��

� ->�/ 6� � ������ ������ ������ � ����� � ����������

����� � 0� ������ � ���������8 ��� -��/! -?/ 6� � ���&

����� ���� ��� ���� �8� ,� ;���, ������� � ���&

����� ����� �� � ����������" � � ��� ��� �� �� ��"

�������� ����� ��� ���� � ��� �� � ��� ���� ���� �

�� '� ���� � � �� ������ � ;���, �� ���� � 3���

( �� ����� �� � ����� ��� �) �

�� �� ���� ��! �� ��� �� �$�� �� � 6� �����" �������8� �� �� ��� �� ���� � � � ���� � �� �$�� �����������" ������� �" � ����� ����� � �� � ���� ; �����������"! � ���� �� ���������� �" � ������� �� � � ����� ���� �� � ������� � ������� � � ��� � � �$��� ,��� ��� �� ������ �� � ��� �� � ���� ������ ��� ��� �" �� ���� ���� �! ������ �� � �� � � ���� � � � � ���!�� � ���! � � � ���� ,�" ���� � ! ��� "������" ���� � !� ����� �� *�"&� ��� ��� �� ��� � � �������� �������� � � ���� '� ������ �� ��� � ���� ��� ���" ���� � �������! �� �� �� ��� � ���������

����� 5� ��� 5� � � �� ��� � ��� � � � ������)��� ��� � � ��� ��� ��������� � ! �� ��� ������ � � �� ���� �� �� � � ������"��� � ���� ������� �� ������� �" ���*��� � �� ����������" ������

(�� �$�*� �%����

� � ��� � �� �� � � ���� ����! �� ��� ���� �G���H ����� � �� �� � � ��� �� ����� ,�� �� �� ����� ������ �� ��� �� ���� � �� ���� ��������������� ��� ������� � ����� �� ������ �� ������ � ��� � ��� ������� �! ����! � ���"&����� ���� � � ���� � � ����� ���� -0?/! ������ � $�� � �������� �� ������ ����� � ���� � ��� �� ��� ������� �� ������ �� �����" �� ������)� � *�" � ������ �! �� �� � �� � � ��� ������� �! �

����� ������! � � ��� ���" ��� � � �� �� ���� ������� ������ � �� � ��� �� ��������� �� � � �� ��� �� �� ��� � ��� � � ����� ,��� ��� �� ������� �� �������� � � � ����� ���� ������� � ���������� ��� ���� ���"! �� �� � �� � ��� �� �� � ����������� �! ����� �� � ��� �����! � ���������� � � ����� ��� �� �����,� ���� �� � ��� �� �� � ���� ������� � �� ��

������� ����� ����� ��� ��� �� ���� ���������� � �"���" �� �� ������� �� �� �� � ���� �"� '� ������"� ����2���� ��� ������� � ��� �� �� � �� � ��� ���� ���! "� ���" ������ ������ ������� �� � � � � �� �� � � ����! �� � ��� � � ���� �� ��� �� � �������� � ������� � � �� ������ �� � � ���!

���� � � � � �� � �� � ��� � ���� � ���

�0/ 3,'0 0+ 2/&F �62�0 �2+�6'3, 235 ��0�+ �0� ,3'+' 3 ��'3, �62�0 � 3+0G+� :((

�� �� ����� � �������� �� ��� ��������� �� )������� B�

Page 4: Shape matching and object recognition using shape context belongie pami02

,�� �� ��� �� ������� �� � ����� ������ � ��� '���� ���� � ��� ���� � �� � �&� ���0 �����! �*��� �������� � �� �������� � ��� �� � �����" �� ���� ��� �� �� � � ��� ����� ���"� )� ��� ��� ��� �� �� ���� 5��� ������ � � �� �� � � ���� ���� ��� � � �� �� �

� ��� �� ����� 4� ��� � ����� ��� ��� � � � � � ����� ��� � � ���� )� ���� � ���� ����������� �� ���������� �� �� ��� �! � �� ������ ��� � �� �� ������(

��� ����� ��� � �

� ��

����� � ���������� ���� �

���� ���� ��� ���� ��� � � �� � � ���%���� ��� � �� ��� ��! ����������"�

5

,� � � ��� � � ����� � ��� ��� ������� ������� ��� �� ����� � � � ��� ��������� ��������) �� ��� �� ��� ��� ,�� �� ����������" ������ ��� �� ���� ������ ����� ������� �� ���"&����� � ���� ������ � ���� ��������� � � ��� ���! �� ��� ��� � � � ����� �� � ���%�� � ������ � �� ��� ������ � ��� ���"&���������� ������� � �� ��� ��! �������� ������ ��� �� ������ ���� � �� ��� ��! ����� ������ � ���������������� �� ��� ��! ��� � �� ,� � ��� � �� ������������ �����" �� �� �������� � ��������! ��� �� ������ �"� ��������" ���������� ��� � ������� ��9���� ���! ����!���"��� ������ � ���� �� �*� �������� � ���"&������������� ������ ���*"�

(�� #&*���&�� ���*$ ����$&'

1���� � �� � � �� ��� ������ ��� ����� � � ��� �� �� ���� ���� ��� �� � � ��� �� ����! �� ��� ��� �%� � �� � � � �����!

���� ���

� ��� ������ � ���

���$�� � � ������ � � ������� ��& & ��! ����!��� � ��� ��� �� ,�� �� �� ������� � � �9���� ������ ��6 � ������ ������� �����8 �� ��� ! ��� ��� ��� ���� ������� � ������ �#�������� � � ->0/� �� �������� ���! �� ��� � �� �������� ��� �� � -0@/� ,����� � ������ �� �� ��� �� � �9���� � � ���� �������� ���� ,� ����� �� � ��� ��� � ���� ��� � 608 �� ��� �%����� ���� ��� � ��� ������� � ������! �� ��� ���

G�� "H � ��� ��� � �� �� �� � � ���� ������ � � ��� �� �� ����! � � �� ���� �� ���� �G�� "H ������� ��� �� � ���� �� ��������� �� ����� � � �� ��� ,��! �� ��� �� �������� �� � ��� ������ ��� � � ����� ����� �� �� �����"! ��� � �� ��� � �� ��� � ��� � � ����� �� � �9���! � � � ������� �� ��� �9���� �" ������ �� " � ��� � � ������ �� ���

(�( �+��&��� � �%�!�����

) ����� ���� �� � ��� �� �8 �������� ����� ���������� ������� �! ��� 08 � ��� ����� � ��� �� ��������� �� ��! ������ � ��� �������� � ������� �� �������������� ��! �� �" ��� � ���� ���������� ������ �� �! � ������ ���� � ���� �� �� � ������ ����� �& �� ��� '� � � ������� ���� � ��� ����� �" �����������

:(* '000 +�23�2�+' 3� 3 �2++0�3 232/4�'� 235 �2�6'30 '3+0//',03�0� 7 /& *8� 3 & *8� 2��'/ *99*

@�& H& ����� ������ ��"������ �� "�����& E�) �� E�) ��"���� ���� ���� �% �$� ������& E�) 5����" �% ���.����� �������" �� ���� ��"���� ��� ����� �������& � ��� %!� �� %�� �� � �� (* �� %�� �& E�)� E�)� �� E%) 0��"��� ����� ������� %�� ��%����� ��"���� "����� �#�� �� � E�) �� E�)& 0��� ����� ������ � � ���.����� �������" �% ��� ��������� �% ��� ���� �% ��� ��� ��� "������� ��� ��� ��%����� ��� ����� ���& E5���I����� !����&) 3��� ��� !���� �"����# �% ��� ����� ������� %�� � �� �� $��� $��� ��"����� %�� �����!��# �"��� ���� � ��� �$�������& �# �������� ��� ����� ������ %�� � � A��� �%%����& E�) ������������� %��� ��� ������� "������ $�� ����� ��%�� �# ��� ��

������ ���$�� �������"�&

0� ,�� � ��� � ����� ��� � �������" ���������� � ��� ��� ��������"�� ������� �� ��! � ���� ����� ����� �� � ����� � �� � ������ ������ �� ��� �� ��� �� � ����" ���� �� ��� �� �������5� )��������� ������� B��*��+� ��������%�� � � � C � � � �&

� ��� � �� � � 0� �������� �� ->/! ��� � �� � ��9���� ��������

Page 5: Shape matching and object recognition using shape context belongie pami02

���������� ������� � �� �������� � ���� � ���������� � ����� ��� ������ ��� ��� �*�� �� ������ � ��� � � �$��� , ������ ����� ���������� ��� � ���%� ��� ������ �������� �" � ��� ������� ������� � �� � �� ����� �� � ���������� ���� � ���� ��� ���� ��" ��� ������� ��! �"

��� �������" ���������� � ��� �������� �� � ���� �� ����� '��� �� ��� � � ������ ��������� ���!� ������� � ��� � ������� ����� � �� ��! ������ ����� �������� � ������ �� �������� ������ �����" ������ � >�0��� � ���� � ��� ��� �� �*! �� ��� �� ���� � �

� ���� � �� � ����������! �� �� �� ��������� � � ���������� �� ������ � ����� � ��� ��� ��� � � �� ����� � ���� � ��� � ��� � ��! �� ��� ��� �������� ��� �! ����� � ������ � ����� ��� � � ���� �� �� � � ����� ������ �� �� ��"! � ��������� ��� ����� �� � ����� �����! ��� � ����� �� � � �����"� �� � �������� ������� �� �� )������� )! �� �� �&���� �� ������ �����"� � � ��� �� � ����%�� ���! �� ��" �������� ��! � ���� ���������� � �������� ���� � ���� � ����! ����! ��� ������������ 3 �� A� �� � ���������� � ��� �� � �����" ������ ������)� �� �������* �� � ��" � ��� ���� � ��� ����&������� � �������� ������� ; �� ���! ��" � ��� ������&���� ������� � �� ��� ������ ������ � ��� �� �" ��� � ������� �� � �� � � ������ �"�� �)���� ��� � ������� ������ ��� �� ������ �"

��������� � ��� ��� ������ �� � ���� � ���� ���� �� ; �� �����������"! � ������ � �� � � ��� ���� ���� ������� �� ������ � � ����� ����� �� '������� ��� � ��� G���������H �" � ��� ���� � � ������ ��" �� ��� � # �����! �� ���� ������ � ���� � ����! �*��� �� ��� �� ��" � ���� ������������ � ���! � � � � ���� ����� � �" ��� � ����� ���� ������ �� �� �������

(�, ��-��� �%�.

,� � � ��������� � �" � � �* � ���� � ���&�� ������ �� �� ������� ����� �� � � �* � 1 �� � ���-�A/ ��� ��� ��� �������$�� -A/� ,�" ����� ��� ��������� �� �%�� � ��� �� ���� ��� � �� � ���&�� ������� ��� ������"��� � ��� ����� � �� �� $ ���"!���� "������" � � ������� ����� � �� � ����� ������ ��! ����! ������ � �� ���� �������� ,� � � ����� �� �� ����� ��� �%�� �� � �� � ��������� �������������� � � �� � � ���� ���� ��� � ������� ��� �� ����� ,�� ��� �� � ���*��&���&��� �� ��� ( ,��������� �*� ����� ��" ��� ��� �� � ���� � � ������� �� � ����� I �� ��� �� � � � ����� ���������� ���� ����� � �� � ����� � ��������! ���" � �&� ���� �� �%�� � �� ��� ! ��� �� � ���� ��������� ������ ��������� -�A/� ,� ����� ������ �� � ���"������ ������ � �� ������� �! ���������� ���" ��� � ���� ����� ������ ��� ���" �" ��� �� ����� �� ��� ������� � �� � �� � � ��� ������� ��)� ��� �� �� ��� �����! � ���� � ��� ������� � ���

�� ��� � � ����� 0� ����� �� � ���� ,� � �� ���"������ ���� �� ��� � �* �� � ��� I �� � ��� #����-03/ �� ��� � �* � ����� � ����� ,�" ��� ����� ����������� � � � ����� ����� �� ��� � ������

5� � ��� ������ � G���� � ����H ) ���� � ��� �� �0� �� ��� � � �� �" �������� � ����� �� ��� � � � ����� � � � ������� � � �$�� ��� � ����� � � ���� ���� ������ ���� �� � ������ )� � ��%� � �� ����� ����������" � ���! � �������� �������� �� � �� ��� � ������ � ���� � ��� � � ���� ��� � ��� ������ � ����� �&������� ,�� �����������! �����! �� ��� � ����& �� � ����� ��� � ������� ������ �� �� �� �� ������� �*! ������ � -@/ �� ���� ��� � � ���� � �������� � � ��������%��� � ��� ���� � �������� ��� ���� � �*! � ����� ����� ������ � ��� ��� ���������� �� � ���� ��� ���� � � ��� ������ � ����� ��������

, ����/��� ���� ���� ����

1���� � ����� �� � � ����� ������� ������ � ��� � � �����! �� ��� �� ���� ��� �� � ����� ����� � �� �� � �������� � �" �� ���� �� �������" � ��� �� �� ���� � ��� ,�� ���� �� ��������� �" ������� ��������� �� ���� 0! ������ � ��������� � ���&�� ������� � ������ � � � ��� �� ��� � ���� ��* � ������ �� � ������ � � �"��! � ��� � � � ���� ����!���! ��� � ������ � � ����� ������� �������" � ����'� ���� � �� � �� � ������� �� ��" �

����� � �� ��� ) ������� � ��� �� � ������ ���! ����!

� ��� � �� � ����� � � ���� � ��� � ������� ��� ���� ��� � ����� ����%��� � �� � ��� ��� ��� ����� � �� ��� ,��!� ���� �9����� � ��� � �� � � ��� ��� �� ������ �"

�� � ��

�����

�� � ������ �

� ���

�� � �� � ��� ������� � ��� � � ���� � ���� �� � ������� � ���� �! ����������"! ����!

� �� ��� ������ ��

� ���

� ��� ���

���

�� ���

#���! � ��� �� � ����� ������� � ���� �� � �*! �� ��" ��� � �� ���� ������ 6,=�8

��� -�>/! -5?/! ��� �� � ��" ���� � � ������������������� � ������ ����� � �� ��� B *���� -3/ � ��� � �� ���" �������� � � ������ ������ �� �� � ������ � �� = ���� ������� � ,=� ��� ��� ��� ����� �& �� �� ������ ������ ->>/� ,� �� ���� ������ �� �0� ��������%�� � � � ����� ������� �� �� ��������%��� � ! ��� �� ��������� ��� �! � ,=� ��� �������� ������� ��� �� � ������� ����� '� ���� � � �� ���� � ����*�� ��� ��� � �� � � � ,=� ����'� ��� �� � �� ����� ��� � �� ��� � 4� �� ��� �

� ���� ����� � ������ � � ����� ����� � ��� �� �� ����� �� �� � �����! �� � � �� �� � � � � �� �� ���������! ������ �� �� �9��� �

�� ��� �� �� ��� ���� �� � ���� ��

����� � �� � � � ��� � ������� '� ���� � � �� ��� �� ���� �� ��� ��� �������� ��� ��� � � �������� ,�,=� ����� ��� !��� � ��� �%�� � ������� �����"

�0/ 3,'0 0+ 2/&F �62�0 �2+�6'3, 235 ��0�+ �0� ,3'+' 3 ��'3, �62�0 � 3+0G+� :(H

Page 6: Shape matching and object recognition using shape context belongie pami02

"! �

���

#�!

#��

� �� � #�!

#�#

� �� #�!

# �

� �����

��� �� � � � (

!��� � � $� $�� $ �����

%�& ���� �� � ��� �� �� ��

���� � *����� ����� � &��� �� ������� �" &��� � �� �� ��

��� &��� � � �� ������ �� ���� � � !��� � ��� �9������������� ��� �� ����������! �� ��9���� �

�����

%� � � �������

%��� ������

%� � � � ���

, ���� �� � ����� ��� � � ���� ��! !���� �� � ��!

�� "����� � ������ �"�� � � � ,=� � ���������(

���� �� � &������ �� � ���� ����! � ��� � � � � ��

��� ��� ��! % ��� � ��� � �� � ��� �� � � �� �� %� ��� ��!

����������"! ��� $ �� � � �� � ��� � �� ��� ���

$�� $�� $ � '� ���� ��� � � �� �� � �� �� ���� � ���"�� �" �� )� ���������! ����! �� ->>/! � �� � ��������� ���

�� ��� ���� � � ��� � �" �������� �� �� �� ��� � �

����� ��� �� � �� �* � ��� �" �! �� � ��� �� � �� �

"! � ���� � %� % ���

,�� ��'!-��&0��&% � ���-&' #�$�+&%�

'�� ��� �� � ��� �� � ��������� ������ ��! �� �" ���

����� � ���� ����� ��� � ��9���� �� �" ���� �

��������%�� �� ,�� �� ��� ������ �" ��� �%���

��!� ������

��� � !���� ���� '"! ����

,� ������9���� ������� '! � � ����� ������! � �� ��

� � �� � � ���: � �� ���� ���� � ' � �������� ���� ����� ��� �� )� �� ������ �� -37/!

-�@/! �� ��� � ��� � � � ,=� � ��������� �� �

��������%�� ���� �" ��������� � ���� �" '"!

���� " �� � �� � �����" ����� � �� ���������

� � � � ���" ��������%�� ,=� ��� ����������

� ����&�9����� ������ ����, ������� � ���������� � ' � � ��� �����!

���� �� ���� �� ��� �����

��� ��� �������� �" ����� � �� ���

������ �

���! ����������"! � � � � � ����� � ���� �� ,��!

� ��� �� � �� � � ���� ���� %� $� "! � � �� ��

�� ���� ������ ��� ��������� �� ' �� �������� �" ��'� ,��

�� ��� ������� ����� � ������� � � � ���%�� ������� � �

� ��������%�� � ���� ���� 4� � ����� �������� � �����

� � � �� �� �� ��� ��� �" � ��� ���� ����

������ � � ��� �� � ��� ,��! �� ��� ������ ' ��

�� � � � ��� '�! � �����&���������� ��������%�� �

���� ���! ��� � �� ��� ����� � ' � ��'��

'� ��� � ������� ,=� ����� �� ��� � � ����������� � �� �!

� ��� � � !���� �� ! ��� �� � ����

��� "����� � �������� �� ����� � ��� ��" � ��� � ��� ���� � ��� �� ����� ���� � ��� � �� � ��� ��� ������ ��" �����! � ������ ��� �� � � � ����� �������

� ����� � � ��� �� ��� � ��� ������� � 9����" � ������ � �� � ��� ��� ,� ���� � ��� ������ � ����� �&������ ��� ��� ���� ����� � �� �� ��� �� ������ ���� � �� �� ��� � '� ������" ��� � ����� �� ��� ������ ��! "������" ��� �� �����&����� ������ ���! �� �� ������� ��� �� ��� � ������� # �����! ������ ��������������� � � � � ��� �� �� ���� � ���� ������������ � � ������� )� ��� ��� � � ���������� �� �� ��������� �� ���� >�

,�� ��*&�&��- �%�!����� �+�-!��&%

�� ���� ���" � � ������� � �� �� � ��� � �!�� ���� � �� � �"���� � �� �� ����� ������ ������������ �� -A/� ,� ������ ��� ��� �� *�� �� ������� �������� ������ � ������� ��� � �� �! � ���!��� ������� 6,� ���� ��� ��� ������� � G �����H� �� � ��� � �� ��8 �� ��� ��! �� ���$���� � ��� � �� �� �� � � �� �� ��� �� �� ����� �G����H � �� ��: ��� ���� .� '� �� ��� �� ��� �� ���� � ��� ������� ������ � ��� ��� � �����������"! � ���� � ���� �� 9�������� �" � ����� �������� ������� ������ � � ������� � � ������ ��� ��� �� � � ����� ,� ������ ��� � �� ������ 3� �� � � ���������� ��� � � ��<� ����������� ��< �� ���� �� � �� � ������� ���� �� ������ � �77 ������ �����& &��� ��� ��� �������! �� ���� ���� � ������� ������ � ���

��� ���� � ��� �� ��� ��� �� ���� ��� ��" �� �� ��� � � � ���� ��� ���� � �"�� ! �� ��������� ��� �� ���� � ���� � � �����������

,�( �%�*!���&%�- �����

�� �� � ��� ���� � � � ������� =���� ��� E.77 ;#%� �*��� �! � ������ � ����� � ��������� � ���� � ����� � ��� � � �77 �� ��� � ���! ��&�� � � ���� ����� ����! ������� ���� �����! � ���� � �� ,=� � ���������! ��� � ��� ������� � � ��� �"�����*�� � ���" 077 �� ,� ���� � �� � ����� �" ��� ��� � �� ��� � ��� � � ��� ����! �� �� � ���� � � ��� �� �������� ������ 9���������� ����� ������� ����� �� J���� � ������ ���������� �� �� �! ��� � ����� ��� � ���" �������! �� �����" � ��� �� ��� �� �� �������

1 �#2�� ������� ��� ��� ��� � 3����/�� ���

1���� � ������ � ����� �����" ������ �����! ��� ������ �*� ������� � ��"! �� ��� �� ���� ����" � ���* � �$�� ��� ���� ��������� �� ����� �� � ���� �" � �� "��&����� ��� ���� �� �� �� ��� �� �*! �� �������" � �� � ��� ->@/! ���� ���� ��� ���������� �" �����

:(8 '000 +�23�2�+' 3� 3 �2++0�3 232/4�'� 235 �2�6'30 '3+0//',03�0� 7 /& *8� 3 & *8� 2��'/ *99*

Page 7: Shape matching and object recognition using shape context belongie pami02

��� ���� ���� �� � �� � � � �� � ����� ������ )� ����� ���! � ����� � �� � ��*��" �� "�� � � � ���� �" ������: � ���� ��*��" � ��� �� �� �� �������� ,� ���� ��� "��� ��� �� � � � � ���� �" � ������! ������� �� �� ��� ����� ���" �� � ����� ��� ��� ��� � ������"������� �� �����" �����! ��+� ��� ���� ������ "�� ����� ���'�� �� �� ����������" ��� ���" �� � �� "��! � ������� ��� �� ����������! �� �"�� �� �� � ��*��" ���� � �������� �� "��� )� ����� ���! �� ��� ��* �� � � � � � &� ��� ���� � �� � � ���! �� ��� � � � � ��� �� ����������" ��������!� ����� � ����� �����" ������� � � � ��� � ��������� �� � ������� � ����������"�=� "��&����� ��� ���� � �������� ������" �� �

� ���� ��� ��� �� �* � ������&����� � � ������� ������ � ��� ������ ������&����� � �������������� � �� ���" ->3/ � �� � �� ��� � ��� ���� � ��� ������� �� � �� ������"! � ���� ��� � � ������� � ����� � �(�! ���� (� �� � B�"�� ���* 6� � ���! �

� ��� )� � �! � ��� � � (�8� ,�� �� ���������������� � � �� � � � ��� ������&����� � ������������ ��" � �����" �� ��! � �� ���" � � ������� �"������� � ���������" �� � ������� ����9���� ��� ����! �� ���� �� ������� �� � ���� � ���� � �� ��� �! ��� �� ����� �� � ��" � ���� ���������� �����"E������� ��������

1�� �$�*� �&�����

�� �� ���� �! �� �*� ������� �� ������� � � ����������� ��� ����" � ������� �������� �� ��� �� '� ����� ��������%�� ,=� ����� � �� � ��� ��� ��� ����� �� � ���� � ��� ����� ��� ,=� ����� �� �� )��� �����! �� ��� ��� ���� �������� �� � �������� � ��� �� �( ���� � ��� �������! � ��� ������&���� �������! ��� ������� �����"�'� ������ ���� � ��� ������� ������ ����� �

��� � �� � �" ���� �� � ���� � ��� ������ �� ��� ��� ����� � ���! ����!

�0/ 3,'0 0+ 2/&F �62�0 �2+�6'3, 235 ��0�+ �0� ,3'+' 3 ��'3, �62�0 � 3+0G+� :(:

@�& :& +���� ���� %�� �"����� ��������� �!������� %����$� ��� �� �������� C;D& +�� "���� ������� ��� ���$ ��� %��� ����"&

����"� *.8 ���$ ���"���� �% ������ ��� ���� %�� ��� ��%��"���� ���� �� ������ ������ �������!��#&

@�& 8& '��������� �% ��� "����� ������� ������ �� ��� ���"��� �% @�& (& +�� ��$F (�� ������& �����" ��$F :�� ������& /�%� ����"F ���"����������������� ���$ �����!� �� ��� ����%��"�� "����� $�� ����� !������ ���$& ����� ����"F ���"���� ������������� ���$ �����!� ����� �����%��"�� "����& ���� ����"F ������ �% ����%��"� ��� "���� ����� � ��� ������ �������������- ��� � ��� ��� �� ��� ��� ������&+�� ��� ���� ��������� ��� ���������� ����%��"��� �!�� ���& 6���� $� ��!� ���� � ���������� +�� "���� $�� '� � �&

Page 8: Shape matching and object recognition using shape context belongie pami02

��� ���� � � ��

�������

���� �� � �� �� �

*

�������

���� �� � �� �� ��

����

���� � ��� ��� �� � ��� ��� ,=� ���� ����� � �� ���� ��" �������� �� ��� �� ����� ��� ����������

��� � �� � ��������� � �� � ������� �" �� � � � �

����! ����! � ����� ��� � � � ��� � �� � �� ����"����� � ��� ����� ���� ������ � ����� ����� � ����

,� ���������" � ���������� ��� � �� � ��� �����������������" �� �� ���� � ��� ��� �� ��� # �����!

���� ���������� � ��� � ����� ������� ��� ��� ���" �

������"��� 0� � ��� ����� � �� � � ��� ��� � ������ �� ������ ���* �� � � � �� � � ! �� � ������� � �

��� �� �� � � � ��� �����������'� ���� � �� ��� ���� � � � ���������� � �! ������� ��

� �� � �9����� �������� ����������� �� 1�������

���� �� �� ��� � ����� ����� � ��� � ���!

��� ���� � � ��

�����

�!�+�

,�!� "� �� !� ��"� � ������ � !� � ��

�������� "� ��� "� ��� � ���"&����� � ���� � ����� ����� � ��� �! ����������"� ! ��� �� � � ����������� ��� � ���� ��� , �� � ���� ���� ����� � "������" � ��� ��

� 1�������! �� ����� � ����� ������ �����"� '�

�� �� ��� �9����� ����������� �� ���� �� �� ���� ����� ����� � ���! �� ���� � ������ ���"&�����

�� �����"�,�� �� �� �� � ���� ���� � �� ���� ������

����� � �� � � �� ���� ������� ��� ���� � � ����

�� ����� ���,� ��� �� ��" ���� � � ����� ��� � G� ��H �

����� � �� � ��������" ����� � ������ �� � ,=� ����� ������� �����" 6A8 �� � ������ ������ 6��� -./8�

1�� �$%%�&' ��%�%�4*��

�� � �� "��&����� ���� ��! � *�" 9���� � ��( ����� ���� ���� �� � ��K �������� ���� ���� ���� ���������� ���� � ������ � � ��� ���! ������ �������� �������� �� ���������" �� ���! ����! �� "������" ���� �� ������ �� �� � ��� �� �� %�� �� �� � ���� �" �5� �$���! � ����� ����� ��" �� ����! � � ��� ���!���� � ���� �� ����� ������� ����� ������ � �����" � ������ ����������� ,�� ���� �� ������ � G�����H� ���� �� ��������� �� -57/� '� ���� � � ������� � ������ �� � �� ��� � �� "�� ������ ���� � ������&����� � ���������� ��������! � �� ���

� �������� ��� ����� �� ������ � ������ �������� ������� �������&����� � ������ � �� ��� �� � ��� �� �����"->3/ ��� ������" -�0/� '� ��� ����� ��� � � ��� ��������� �� ����� � ���� ������� ��� � "���� ������&���� � "���� ��� �� ���� �� � ������ � � "�� �������� �� "�� � ��� �� ��� � ���� ���� � ���� ��������� �� �������� ������ ��� � ������ �� "��� ��� ����� � � � ����� �� ��� � �� "��� � � "���� ��� �� �� ������ � ����( �8 � � � ����������� �� � � ��� 6������8 ������� � ��� �� "���� ������� � � � ������ �" ��� �%��� � �������������� � � �� "�� ��� ��� ��� �� � ������! ���08 ����� � �� � �� "���! � ��� ��� �� ���������� ������� ��� ����� � ������ �� "��� ; �� � � ���"!��� � �" -��� � 6������8 ������ � ���� �! ����!���������� �" � � �� ��� ��� � � � � � ��� ��� � �" ��-�� ��� ����� �� "��� ,��! �� ��� � ����� ��

- � �� � � �� ��� � � � � � ������� � �� "�� ��

� � ��� � � � � � �� �� � � ����#���! �� ��� �� ��� � � ������ � � �� � ��� � ���������� �� ����! � � �� � ��� � "���� �� ����� �"������� � ����(

:(< '000 +�23�2�+' 3� 3 �2++0�3 232/4�'� 235 �2�6'30 '3+0//',03�0� 7 /& *8� 3 & *8� 2��'/ *99*

@�& <& ��"����� �% ��� ������� E��) �� ��� ���������� E�) �� ������� ������� ��� E�) %�� ��� %�� �� ����� ���������� �������!��#& +�� ��������� ����� ��� ������� ��!��� �% ��� ����� �!�� (99 ����" �����& 6���� $� ��!� ���� : ������� $�� '� � ��& ' ��� ��%��"��� �� �������� � ��""# ���� $��� �����& ' ��� ������ ����� ��""# ���� $��� ����� �� ��� "���� ��� ��� ���� ���� ��� ����� �"��� �% ���� $�� �A����� ���� �% ��� ������& ' ��� ����� ��� !���� �% �� ���� �� �%%��� ��� ������&

Page 9: Shape matching and object recognition using shape context belongie pami02

�� �� �� �� �� ������� ����� � ����� �� "��� ��-�!���

�� ������" � ������������ �� "�� � � ��� ���������� � ��� ��� �� � �������

B�������"! �� � �� � ���� �" ��������� ��� ���� � � �� � ������ �� "��! ��

-��� � ���

���� ���� ����

� � ����� �������! �� �� 0 ��� �� "��� ��� ������������ � ��� �� ��� ����� �����"! ����!

��� � ��� ����

���-�.�$�/��

���� �� ����

����� � ���� ��� �%� � �� � � � ����� �

� -� �� � ������

� �� � -���� �� �� ��#�

� ��� �� ����������" � ������� � 6� ���8 ��� � �)� �� � ��������� � ��! �� � "���� ��

�� ��� � �����" � � � ���� � '� ����� � �� ���

� �� "��� ����� � �����" ������� �����" ������ ��

�� �� "�� ��� ���� �"� '� � �� � ������ ����

����� � � ��� ����� ������ ������������� � ��� �� ,��

� ������ ���� � ������ ������������� � ��� � ��

�� ���� ��� � � ������ � ������ ,��! � �� "��� ���

�� ������" ��� ���� � �������� �$�� �������! ��

�� ���" ����� ��������� ��� ������ ,� �������� � � ��

�� ������ � �� � ����� � 5� �$��� �� ���� ��� ��

���� � 3�0 ��� ��������� �� ���� �7�

5 ���� � �����

5�� �&'&� ���%'&�&%

#���! �� ������ ������ � � ;���, ��� �� � ���&

����������!���� ����� � 37!777 �����������7!777 ��

����� -5>/� �� � ������ ���! �� ���� �77 � ��� �� ����

�� � ����" ����� �������� ��� ����� '��

� ����� � ���+� � � � ������� �����! �� ��������

� �� ����������� � ����� �����" � � ��� �����

������� �����������"! �� ������� � ����� � � ��

��� � ��� 0��.-�� 0��$�

�� ! �����.-�� �� � ���� � ��� � �!

��$��� � ����� ������ � ���� ������� ����� ����� ����� &�����"! ��� 0 � ��� � � ��� ���� �! �� ���� � ���

���������� �� � ������� ����� �

� � ����� ��� ����" ����,� ����� �� 6�A8 ��� ���� �� �%�� �" � �����& ��& ��� ������ � � �� ���� �� ��� ����� � � ������� ������ � ;���, ��� �� �����" 57 ��� �� � ��� ����

� ����� 6�(EE��������������� EL"���E����E

���E������ �8� ,� � ��� �� �� ��� � ��� ��������

� �� � � �� 7�? ������ � � � � ��� 4���&> �� �

������� �� � ��%� ��� ���� �� �"���� ��� �� �� ���������� ����� ��� ��� � ��� ����� 07!777 ������� ��� ����

��� ���� �� 7�35 ������� ,� 35 ��� �� ��� � �� �� ���� @�>

)� ��� ��� �������! �� ���� �� �������� �������&

� �� � ������&����� � � �� �� � ���� � ���� � �

� ��� �! ��� �� ����� �� � ��" � ���� ��������

�� �����"E������� �������� �� ���� ? 6���8! �� ����

������� �� � ����� ��� 6�� � �9����� �����������

����������� ��������������8� ������ ? 6���8!��� ����

� ����������� � ���� � � �������� �

5�� (� ��6��� ���%'&�&%

��� ��� ������ �� ��� ���� � 07 � � ��� ��

�$��� �� � ���4&07 ������� ->7/� ��� �$�� ���

������ � � ������� ��� � ������ ����" �� � � � �� � ?0 ����� ��� �$��� '� �������� �� ������� ��� �"

�������� � �� ��� � �9����" ������ ����� � � ��� �$��

��� ����� � �� ������ ����� � � ������ ,� �����

��� �� �� �����" � �� � �� � � ������ ������! � �

����" ���� ���� � ���� ��� � ������� ��� �������

� � ���! � � �77 �� ��� � ��� ��� � �������� �

������� � �����" � � ��� ����

���� A � �� � ���� � ���� ����� ���� �� �

������� ����� � 1 �� ����� �� 6�A8 � ����� �

�0/ 3,'0 0+ 2/&F �62�0 �2+�6'3, 235 ��0�+ �0� ,3'+' 3 ��'3, �62�0 � 3+0G+� :(1

>� ��� �� ��� �� M�* �� -�5/ ��� � �� ��� � ��� � 7�.3 ������ � ��� � ������� ����� F����� ���� � F�� �� 6F�F8 �� � ���� ��������� � 37!777� F�F� ��� � ��� �� � �� ��( �8 ���� �F� �� � �������������� �� ����� � ������� �F;! 08 ���$�� � �F� � �� � ������������ � �� �� 6����! ������� �8! 58 ���� �� �� �F; � � ����������� �����

@�& 1& 6��$���� ��� ������� � ��� �3'�+ ���� ���& /�%�F +��� ��� ������ �% � (.33 �����%�� ��� ��5 �� ����� 5����� E�5) "�������&

����F 5���� �% ���%��"��� ���!� %�� ����� 5������ ����� ������� $�� ���� ��� ���� �% (:�999 �� *9�999& ������� ��� ���$ � �

��"���.� ����� %�� � �� �� � ������.�������&

Page 10: Shape matching and object recognition using shape context belongie pami02

������ ����� �� � �9����� ����������� 6���8� ���

���� � � ���" ���� � �� ���" ������� ��� � ���* �

������ � �� ������ -0>/ 6=�) $�� �*�� � �����8�,� �� "�� ������ � ��� �� �� ��������� �� ���� �7�

)� ����! ����� ��� ��� ���� ����" � � �� � ����

���� ���� �� �� ���� ����� ���������"� ,� �����

��*�� ��&�� �� ���� A � �� � � �� ��� ����������� �

���� � ���� ����� �� �� "�� ������ � �����" ������

� �9����"&������ ������ � � � �� ���� � 0�> ������

��� � ��� �� �� ������� � ��" � �� � &�� ���� ���

����� � � ��� ���&�� ���� ��� �$��! ��*� �

���������" �� ����� �" � ����� ��� �� �

5�( ����"7 �$�*� �&-$%!���� ��������

��� ��� ������ �� ��� ���� � ;=�1&? ���� ��� ���

�������! �����������" � �� ������ �� ��&����&� ��� B!

��� ������� ���� � ���� � �� �����"&����� ��������

-0./� ,� ������� � ����� � �!>77 � ����( ?7 ����

���� ����! 07 � ���� ��� ���� �"� ,� ���� � ���� ��

������� ����� � � &������ G������"� ��!H �� ��� ���

:(= '000 +�23�2�+' 3� 3 �2++0�3 232/4�'� 235 �2�6'30 '3+0//',03�0� 7 /& *8� 3 & *8� 2��'/ *99*

@�& =& 2�� �% ��� "������%�� �3'�+ ���� ���� ��� ��� "����� E<H ��� �% (9�999)& +�� ���� ���!� ���� ��� ������ ��� ���"��� �"���

%����$�� �# ��� ���� ����� �� ��� ������ �����&

@�& ;& H5 ������ ������� ��� ��� � '/.*9 ���� ���& ��"����� �%���� ��� ����� %�� ��5� ����� 5����� E�5)� �� ����� 5����� $��� "���� ������#��� E�5.�����) !����� �"��� �% ������#�� !�$�& @����5 �� �5� $� !���� ��� �"��� �% ������#��� �%��"�# %�� ����������& @�� �5.������ ��� �"��� �% ������#��� ��� ������ ������� ���� $��.������ !����� �� $��� �� ��� ���$��.������ �"����#&

@�& (9& ������#�� !�$� �������� %�� �$� �%%���� H5 ������� %��" ���� '/ ���� ��� ��� ��� �������" �������� ����� :&*& �� ������������ !�$� ��� ��������� �����!��# ������ � ��� !������"�����# �% � ������ $�� ������� �� !�$� ����&

Page 11: Shape matching and object recognition using shape context belongie pami02

� ��� �� ���� �� � 9���" ��� �� � ��� � �� ��� �

� ���� � ���� �� � � >7 �����)� �� ������ �� ��� ���� ������� ����� �� ��&

������� � �� ��� � �� ���� �� �77 577� �� � �

���� ����! � ����� ������ � ��� ��� �������! ��� ��

������� ����� � ������ ������� ����� �� ,� �������

����2��� ������ � ��������� ���� 2 ��� � 9���" ����� �� ������� ��

������2� � �������2$�� ������23�� ������2-������� 2$�23! ��� 2- ��� � ��� ����� �� � 2( ��&������! ��������" �������! ��� ��% ����" ��������'� ��� ������ �� ����� �� ������ ����� �

�� � ���� �� �� �� � ;���, ���� ������ ���! �� ���� � �������� ��� � ?3�.� ������� �������" � ����������� ���� � ���� �� ������� �" 4���*� � ��� -55/!�� � �������� ��� � ?3�>. ������! � �� ��� �" ; *��&��� � ��� � ?.�>> �������

5�, ������. ����&�+�-

,���� ��*� ��� �������" ��� ��� ��������� �" ��� ����

��� � �� �! ���! �� ��" �����! ���� �� ����� � ��"

� ���� � ��� � �� �� ,� �� ��� ���������� � �

���� ��* �������� �� �� ��������� ��������� �������&� ��! ����� �� � ������ ��� � � �� ���� ��*� ���

�� ���" ���� ��%�� ��� ����� � F����� � ��! ��� ��

������" ���������� ��� ����� ��� ��������� �� �����"�

���� �� ���� � ��� ����� � �� � �� ���� � ����� ��� � � ���� ��* �� �����" �� ��� 6 �� � ��&

��� ���� ��� �� ��� �����8! � ���� ������ ���� ��������

� ��������" � �� ���� �� ������ � ������� �

���� �� �����"� �� ���� �0! �� ����� �������� ������ � � �������� � 577 ���� ��*�� �� �� ������ ��! �� ������ �

�� ������ ����� � �� � ��� �� ����� �" 658! ��� �� �� �

����� �� ����! �� ���� 577 �� ��� � ����'� ������ ���� �� ��� �������� 9���" ���� ��*�

� � ��� ���� �������� � ������ � ���� ��� �����

�������� ��� '� ����� � � � �� �� �� ���� �� ���

�� �����" �� ��� � �� ������" ���� � � � ����� ��������&

��� ��� �����" ������ ��� ������ �� � �� ���� �� � � ���*� ������ ��������� ������ � � � ����� ������ �

������ ������"�������� �� �������" �� ���� ���� ��*

�� ���� ����� �" � ��� �� �

7 ����/�����

'���� �������� � ������� �� ���� ������) *�"

����������� � �� ���� �� �� � ��� �� � � ����

�� �����" ��� � ����� ������� ����� � � � ��� ������� �!

� ���� � ���� ��� ���� �� �� �� ��� ��� ���" ����"!

"� �� ����� � ��� ������� � � � � �� ��� � �����"

� �� ��� � �� �� �������� �! ���� ����� ��� ����

��� ���� �� �� �� ������ ���! �� ��� �� ������

�0/ 3,'0 0+ 2/&F �62�0 �2+�6'3, 235 ��0�+ �0� ,3'+' 3 ��'3, �62�0 � 3+0G+� :(;

@�& ((& 0��"���� �% ������ ��� ��0,1 �������� %�� ����� �%%����

���������&

@�& (*& +����"��� �����!�� ������� ����� � � �������� �% H99 �%%��������.$���� �����"����& � ���� � �%%� ����%��"��� "���� �� �$������ ��"���� �% ����� ������ �"����# 1�� �� ��� ��" �!������� ����� ������� �%%������&

Page 12: Shape matching and object recognition using shape context belongie pami02

���������� ������� � � � ��� ����� � �� ��! ��&

������� ���������� 5� � �� �� � ����&� ��� �$����

�������) �

����/� � �� � ��� ��8����� ������� ���

�� �� ��������! �� �� ����� � ��� � � ���������� � �� �� ���� �� �� � ���� � ������� � ����� �� � ����������� , �� ����� �� ����! �� ��� ����� ������� �� ����� �" ����� � ��� -.5/ � �� �� ���� �5��� �� ������ ��! �� ���� � � ��� �� ��� � ��� ���! �� ��� ��� �� ��! �� ���� � ������� ��� � 6���� � 5�58��� � ����� � ���� � ����� '� ���� ���� ���� � � ����� ��� � ����� ����� �� ��� �0 �9����" ������������ ���� �� ��� ��� ��� �� ������ ��� �� �� ������� ����� � �� � ��� � ��� ��� ����� )� � �� �����"�� ��! �� ���� � ����� � � ����� �

�� ������� ����

�� ����� � �� � ����� � �� � ���� ,��! �������� �� �� �����������" �������� � ���" ������� �� ��� � � ���� ������� � �� � ���� � � �� ���� -.5/ ��� -�?/! � �� �� �� ���%� ��� ������ �

�� ��� �� �" ����� � �� ��� � ��! 0��! ��� 5��������&����� �� � ���� �� � � ���� ���� �"� ��������� ��� 0.E0.! 0>E0.! 00E0.� �� -.5/ ��� -�?/! � ������9� �� ��� 05E0.! 0�E0.! 07E0. ��� 0.E0.! 0�E0.! �AE0.!����������"�

�������) #

����/��� ��������� ����

�� �� ���� ��! � ���� �� ���������� �" � �� � �� ���� ��� ����� �� � ������� ��� ������� � � ��� � �� �$��� ������ ����"! �� ���� �� ���� ���� � � �

���"&����� � ��� ��� ������ � ����� � � ���� ������

� ���� ,� ������ � � ��� �� ���� � �" � ���� ! �� ��

��� � ��� � �� �������� �� ������ � � �� ���

� ��� ��� � ������ ��� � ������� ������ � ��

�� �*�� ���� � � �� ����� �� �� � � � ��� ��

� ��� ���� � � 6,�� � ����� ��� �� ����� �� �

� �� �� ���� ��� �� � ���&� �� ��� ->./�8����� � �� ��� � ��� ��� ����� ���� �" ���

�����������" �� � � �����! ��� �� ��������"

$��� � ��� �� � ��� � � ����� ��� �� ���

����� � ����� ������� ������ ��� � ��� � �� ���

� ���� # �����! ��� � ����� � �� � ������ �

����� �� ��� ��� �� � ��������%�� �� ���� ������! �

����� � �� $��� �� � �� ���"�

������/������ �

,�� ������� �� ���� ��� �" � )� " ������� ������

6)��8 �))#7>&A3&�&75>�! � ������ 4�����" 1��� ���&

A>��55>! � J� ��� ��� ������� � ����� � 1������

���� ���� � � �� B�� ����! ��� � 1�� �� �������

� ����� � �" ��1 ���� =J&�3.E�� =��� � �� � �*

��� �������� �� -5/! -0/� ,� �� �� ��� ��* #� ���

��� )� �������$�� � � �� ������ � �"���� ����� ���

���� �� ���� � >�0� '� � ��� ��� ��*� ��* � ���

���� �� � ���� � � B��*���" � ���� ���� � �� ��!

����������" )� B���! )� ��� �! �� � ��"! ,� 4����! I� ��!

��� 2� '����! � � ������ �������� ��� ,�� � �* ��� �������

� ���� � �� �� ���� �� � ����� �� �

��������� ����������� ��� � ���� ������� ������ �!

J�������" � ����� ���� � B��*���"�

�� �������-�/ 2� ) �! �� 1� ��! ��� C� '�����! GI �� ������ � � ����

������� ��� ,��� �����������!H :��� >���� ������ ����)��� �� !������ :������������ � �� �A! � � ��! ��� �577&�57.! � �� �AA?�

��� �� B�� ����! I� ;���*! ��� I� =�%���! G;����� �����!H ��������� :��?�� ���� ������ @����� ��� >.>&>3�! I��" 077��

��� �� B�� ����! I� ;���*! ��� I� =�%���! G���� � ���( ) ���������� � � � ���� ;����� ��� ��$�� ��� ���� �!H � (������� =���� :������� �������� �)����� /%0 ��� &--- ����� ,�C�4���! ,�1� �������! ��� F� ,����! ����� ��� @5�&@5?! 077��

��� =�I� B��*��! G) �������� � ���� F���� � � � � ��� � ,� &�� ��� ,�� �� � ;��������� ����!H ������ � !���� ������������ �� >7! ��� �&05! �A3A�

��� ��4� B *����! G=�������� '����( ,��&=��� ������� ��� ��� &� ��� � � ��� � �� ��!H :��� >���� ������ ����)��� �� !������ :������������ � �� ��! � � 3! ��� .3?&.@.! I��� �A@A�

�� ��4� B *����!!������� >�� � *�� ��4 ����0 �����) �� ����)� �� ������ J���� =����! �AA��

�� �� B����� ��� B� �� M�* ��! G� �� ���� � )������" ��� ����� � ���� � F�� � ;������!H � (����� �� =���� :��������������� �)����� ,0 ��� /,,8 ����� ���� , ���%*"! ;��� ; %��!��� ;� �� #����� ! ���� ��� 5?.&5@�! �AA?�

��� �� ������ �! G����� �������! � ����� ������ ��� ���� B�������� ����!H :��?� <4��� ������ ���� �� �������;�" �AAA�

��� #� ��� ��� )� �������$��! G) ��� )�� �� � � � �&�����= �� ;�����!H ��� :��� ���� ������ @���� �� ������"��������� ��� >>&.�! I��� 0777�

�� � ,� � ��! �� � ���! �� ,�"� �! ��� I� 1��� ! G)���� ����; ����<,��� ,������� ��� )������� �!H ������ @���� �� :���� '� ����� ��� A�@:'B� � �� 3�! � � �! ��� 5@&.A! I��� �AA.�

���� �� � ��� ��� F� F����*! G���� � F�� � ��� �*�!H !������*������� � �� 07! ��� 0?5&0A?! �AA.�

���� =����� =����2 A==B =��0 A==B ������ ������������� >�����C����B�F� ������"! ���! ���� � ���� � ��! �AA��

:*9 '000 +�23�2�+' 3� 3 �2++0�3 232/4�'� 235 �2�6'30 '3+0//',03�0� 7 /& *8� 3 & *8� 2��'/ *99*

@�& (H& J"� ���� ���F ���� ��$ ���$� ������ �% � �%%���� �������������#& ���%��"��� � "������� �# ��� �"��� �% ������� "������$�� ��� ������� �������# �����& 3��� ���� ��!���� �% ��� ��������� ��A��������� !���� "����� %�� �%%���!� �������& 2�� �% ��� (�� ������������ "������ $��� ������� ��� ��� "�����& % ��� *� �����"������� �� ����� �������� ( !����� =& ' ��� H�� ����� "���������%���� ����� %��" * !����� =� = !����� (� �� (: !����� (1&

Page 13: Shape matching and object recognition using shape context belongie pami02

���� �� ��� �� ��� B� �� M�* ��! G,������� �������� ���� � F�� �;������!H !������ *������� ������ �� 0770�

���� I� ��� �! G������� ;��� �%��� � �� �&�������� �� �&� � � ��� � ��� ������!H ��������(� >��) � �������� � ��(���@���2���� '� ��� �� ��� C� D�����! ����! ��� @.&�77! B�����(��������&F�����! �A??�

���� ;� ������� ��� �� ���������! G,� ���������� � ��� ;����� � =�� ���� ��������!H :��� >���� �������� � �� 00! � � �!��� 3?&A0! �A?5�

��� �� 1������ ��� F� =�� ��! G����&,� � ��$�� ����� � � �� �� F������!H ��� ��(���� :��?�� ���� ������ @����� ��� @?&A5! �AAA�

��� 2� 1���"�� ��� �� '�������! G�������� �"����� ;����� ������� ��� �� )������� � )� ��� #���������� ����������&� � � ��� ����!H :��� >���� ������ ����)��� �� !������:������������ � �� 0�! � � �0! ��� �5�0&�50@! ���� �AAA�

���� �� 1�� ��! ;� I ���! ��� ,� = ��� ! G��������%�� � ,� �" ��������� ��� �*� )���������!H =���� ���������� � �� ?! � � 0!��� 0�A&03A! �AA.�

���� �� 1 ��! )� �������$��! ��&=� 4�! �� =����! ��� �� ;$ ������!G��� )�� �� � � � 0� ��� 5� = �� ;�����( = �� ��� �� ���� � ����� ������!H ������ "��������� � �� 5�! � � @! �AA@�

�� � �� 1 �� ����! G�� �����" �� F������" =�������� � � �!H ��)��.������ :������ � �� @! � � �! ��� �&�5.! �A53E�A?0�

���� J� 1��������! 2� � �! ��� �� C�����! 7�=��0 � ������>������ ��� ) �� �������� ������� ��������! �AA��

���� ;� #���� ��! G=���� ;����� J���� �� �����" ;�������!H=� ����! J��������� J���! 0777�

���� �� #���� ���! 1� C������ ��! ��� '� ���*�����! G� ������� ���� J���� � #���� ��� �������!H :��� >���� ����������)��� �� !������ :������������ � �� �.! � � A! ��� @.7&@35! �����AA5�

���� �� #���� ���! �� 4�����! ��� �� ��� �! GF���&B���� ��� ���&� � J���� �� ���������� )��� �� �� � � #���� ���;������!H :��� >���� ������ ����)��� �� !������ :������������� �� 0�! � � A! ��� A.�&A..! ���� �AAA�

���� �� I������ ��� ;� B ���! G�������� � � � �� ������ ��� � �;=�1&? ; � �E����!H ,������� ��� � ���E��� I,� �E��0AE'1 �� ;=�1AAE�03A7! ;=�1&?! �� ��! ;��� �AAA�

��� )��� I �� � ��� ;� #����! G��� ���%��� ��$��� �" ;������������ = ���!H ��� :��� ���� ������ @���� �� ������"��������� ��� 3@>&3@A! �AA?�

��� �� I ��� ��� I� ;���*! G� ���� ��� ��� �� �* ���� ��������� � ����� ������ �� � �� � 4����� ������ ������!H :������ @���� ��������� � �� �7! � � �7! ��� 3AA&?7@! ���� �AA0�

���� �� I �*�� ��� )� F ������! G) � ��� )�� ����� =�)�� �� � � ����� ��� ������ 4����� )����� �� =� ��� �!H��������� � �� 5@! ��� 50.&5>7! �A@?�

���� �� C������! G���� ;���� ���! =� ������� ;����� ��� � ����=� $����� ������!H ����� *� � !���� ���� � �� �3! ��� @�&�0�!�A@>�

�� � I�I� C �������* ��� )�I� ��� � ��! G,� ������� ���������� � � � ��� ���� �� ������ F��� �!H �������� �)2��������� �� 50! ��� 0��&0�3! �A?A�

���� ;� 4����! �� F ���M����! I� B� ���! I� 4����! �� � � ���;�������! �� '��%! ��� '� C ���! G��� �� � �������� ��$����� ���� � �� � �"�� �� 4��* )��������!H :��� >������������ � �� >0! � � 5! ��� 577&5��! ;��� �AA5�

���� 2� 4� ���! I� �����%! ��� #� ' ��� �! G)����� �������� ; ���&B���� ��$�� ��� ���� �!H :��� >���� "2���� �� ���������� �� 3! ��� .?@&.@A! �AA7�

���� 4�I� 4���*�! �� 4�*�M ���! ��� J� ��*���! G���� ������� �� � �� �&����� ����� �� � ������ �� ��� � � ��!H ��� :��� ���������� @���� �� ������ "��������� ��� >0>&>0A! 0777�

���� 2� 4����! 4� B �! 2� B���� ! ��� =� #������! G1������&B����4������� )������ � �� �� ��� ���� �!H ��� :���� � �� @3!� � ��! ��� 00?@&050>! � �� �AA@�

���� ,�C� 4����! ;��� B���! ��� =� =�� ��! G������� ����� �� ������������� J���� ���� 4������� 1��� ;�����!H ��� ����� :��?������ ������ @����� ��� 35?&3>>! �AA.�

��� ��1� 4 ��! G��$�� ��� ���� � �� 4 ��� �����&���������������!H ��� ��(���� :��?�� ���� ������ @����� ��� ��.7&��.?! ���� �AAA�

��� I� ;������! G;��������� ����� ��� � � )������" = ��� ;����� ���!H +� ������ !���� ��)���� AD�!�B� � �� .! ��� >5A&>3@! �A?A�

���� B� ; ����� ! ,� I�����! ��� )� =������! GB�"����� ������� ���� �!H ������ "��������� � �� 55! � � ��! ��� �??�&�?@0!� �! 0777�

���� �� ; *�����! �� )�����! ��� I� C����! G�������� ��� � ����������� �" ���� � ��� ,� �� �������� ����� �����!H:���� ����2���� �� !����.!� �� ������ )�'�;� � ������� ����� I���! ����! ��� .�&.@! ' ��� ���������! �AA?�

�� � #� ;����� ��� �� ��"��! GF����� 4������� ��� ��� ���� � � 5&���$��� �� ����������!H :��?�� +� ������ @����� � �� �>! � � �!��� .&0>! I��� �AA.�

���� ;� ����! �� =����� ��� �! =� ����! �� �����! ��� ,� = ��� !G=�������� ����� � J���� '����� ,� �����!H ��� :��� ���������� @���� �� ������ "��������� ��� �A5&�AA! I��� �AA?�

���� �� =����� ��� � ��� C� ������%! ��2������� ������9����0�������� �� ��������)� =������ #���! �A@0�

���� �� =��� � ��� C� ��! G���� ������ ���� � J���� � ������������ ��!H :��� >���� �)������ !�� �� �)2�������� � �� ?! � � 5!��� �?7&�?A! ;��� �A??�

���� ;�I��� = ����! G) ,�� =��� ������ ;� � � � ;������ �������� ������ �� ,� �� ���� ��!H ����������� >�����C��� �� ����������� A�>�� ?,6B� �AA.�

���� B��� �����"! G; ������� ������ =�����!H +� ")�� ����������������)� ����� �� � �� 5A! ��� �?0&0�0! �A??�

��� B��� �����"! ������ "�������� �� =���� =���4�� �� ������J���� =����! �AA3�

��� �� � ��! G������ ���� ����!H ������(� ��)����)� � �� >! � � 5!��� 50@&5.7! �A?5�

���� �� � ��! ��B� ;�����! '��� 1��"! ��;� I �� �! ��� =� B "��&B��� ! GB���� ��$��� �� ������ ���� ����!H ������(� ��)���.�)� � �� @! � � 5! ��� 5@0&>5A! �A?3�

���� �� �� �� ��� �� ; �! G4 ��� 1��"����� ��������� � � � �����������!H :��� >���� ������ ����)��� �� !������ :������������� �� �A! � � .! ��� .57&.5.! ;�" �AA?�

�� � �� ����� �� ��� )� =������! G; ��� ;����� � � � ����� ��������� ��� ���� �!H :��� >���� ������ ����)��� �� !������:������������ � �� �?! � � 3! ��� .>.&.3�! I��� �AA.�

���� 1� �� ��� #� 4 ����&#������! G)� )�� �� � � )�� ������� ������� � ,� � ����!H ��� ")�� ��� *� �� � �� 0>>!��� 0�&03! �AA��

���� 4��� ����� ��� I� ;� B���"! G������&B���� � ����� ������( )��������� � )��� ��!H :���� �� @���� ��������� � �� �7! � � .!��� 0@5&0@@! I��� �AA0�

���� �� �����! I� ���! #� ,�*! ��� B� C� ��! G�" ��"&B������������ � � ��� ��������!H +� @����� ���� �� :����"������������ � �� A! � � >! ��� 533&5@7! ���� �AA@�

���� 4� ��� ��� ��� ;� C���"! G4 � �� ���� ��� =� ������ � � ���������%�� � � #� �� �����!H +� ������� ��� ��� �� � �� >!� � 5! ��� .�A&.0>! �A@?�

���� ��'� , �� �! �� ���� �� ��� �� ������ J���� =����!�A�?�

��� ;� ,��* ��� )� =������! G���������� � � ��� ���� �!H +� ������(�=���������� � �� 5! � � �! ��� ?�&A3! �AA��

��� �� J �"� �! G)� ����� ��� � ��� � )��� �� '�����1��� ;����� =� ��� �!H :��� >���� ������ ����)��� �� !������ :������������ � �� �7! � � .! ��� 3A.&?75! ���� �A@@�

���� ���� F��*� � ��� ;� #���� ��! G��� � � )� �� ����;�����!H ,������� ��� � JJ&��&�AAA&0?! J���! �AAA�

���� ,� F���! ;�I� I ���! ��� ,� = ��� ! G) B �������� )�� �� � � 4������� 4����� ; ���� � ��$�� �������!H ��� :��� ���������� @���� �� ������ "��������� ��� >7&>3! �AA?�

� � 1� '���! ������ ! ��� � �2��(������ ����� � �� ��������� ���)������ ;��! �AA7�

��� )� 2�����! G��� � ���� ,� ����� � � ���� ��� ���� �!H+� ������(� =���������� � �� 5! � � �! ��� .A&?�! �AA��

��� �� D�� ��� �� � �*���! G� ����� ������� �� � � =���� �� ���������!H :��� >���� �������� � �� 0�! � � 5! ��� 03A&0@�! ;����A?0�

�0/ 3,'0 0+ 2/&F �62�0 �2+�6'3, 235 ��0�+ �0� ,3'+' 3 ��'3, �62�0 � 3+0G+� :*(

Page 14: Shape matching and object recognition using shape context belongie pami02

���'� #�-%'&� ����!�� ��� �� ������ E$������) ��������� ������ %��" ������%���'������ �% +�������#� �������� ���%���� (;;:� �� ��� �� �� ��5 ������� ��������������� �� ��"����� ������ E00��) ����� �!����# �% ���%��� �� �������#� (;;1�� *999� �������!��#& ��� �� �������#� ���������� $�� ��������� �# � 3����� �����@������ ,������� �������� @����$��� ����� ���������B� �������# ����������� @����$.

���& 6� � ���� � ��%����� �% 5���� ������� '�&� �� ��� �������������� �% ��� 5���� ������ %������ ������� �������"& 6� ��������# � ������� ���%����� �����"����� �������0�����5�����"�� �� ��� �!����# �% ���%��� �� �� 5���& 6� ��������������� ����� ��"����� !��� ������ �������� �� ����� ������������& 6� � � "�"��� �% ��� '000&

2&���� ��-&. ����!�� ��� �+��� ������ ��������� ������ %��" '�� '������ �%+�������#� J���� (;=9 �� ��� ��5������ ��"����� ����� %��" ���%����!����#� ���%���� ���%���� (;=<& '�����# (;=<� �� ���� ��� %�����# �% �����"����� ����� 5!��� 5�����"�� �%00��� �!����# �% ���%��� �� �������#�$���� �� � �������# � ���%�����& 5��� (;;:.(;;=� �� ���� ���!�� �� !��.���� %�� ,�������

�������& 6� � � "�"��� �% ��� ����!� ����� �� 7�� ����������� �� �� �������#& 6� �������� ������� ��� ��"����� !���� ��"�������� "����� �% ��"� !��& 6� $��� ���� � ���� �%����� !�� ����� "��� ���"����� �� ������� ������������������ ������ �������� "���.����� "����� �� ������������.����� "��� A���#�� �� ������� !����� ���$�# �#���"�&6� ��� �������� �� ���������� "��� ��� (99 �������� ������ � ����������& 6� ����!�� ��� ���� "���� %�� ��� ���� �������� ������ ��������� ������ %��" ''+ J���� (;=9� � ��������� 4���'!�������� 2$��� (;=;� �� ��� �������" %����$��� %�� �����"����� 7�� ������""� �� ��� 3�$�� '������ �% �����"������������ �!����# �% ��"����� (;;H& 6� ����!�� ��� 5�� �&��0�#�� 2$��� %�� 0�������� +����� %��" ��� ��"����� �����5!��� �!����# �% ���%��� �� �������#� *999& 6� � � 0����..���% �% ��� �������� �� � ���� � � ������ ���� �& 6� � � "�"��� �%��� '000&

2� �!0&�$� ����!�� ��� 5���"� ������ (;;: �� ��� ��5 ������ ��"����� ����� (;;;� ���� %��" ��� �!����# �% ��� ���,��"�#& 6� $�� $�� ��� ��"����� 7�� �������� ������� ,����� �!����# �% ���%��" (;;: �� (;;;& ' �����"��� (;;;� ������ ��� ��"����� ����� 5�����"��� �.!����# �% ���%���� �������#� �� � 0""#3������ @����$ �% ��� ,��"� ����� @����.��� $���� �� � �������# $���� � ���"��.

�� "������ %�� ���������� ������ �� "��� ���"�����& 6��������� ������� ����� ��"����� !��� "��� ��������� ���.���!��� ������ ���� ���#��� �� ���� "�&

4 %� �%�� &9%����&% % �$&� %� �4 %�$�� �%�*!�&' �%*&�:*-���� +&�&� %!� �&'&��- /&����4 �� ����F>>��"�����&���>���������>���&

:** '000 +�23�2�+' 3� 3 �2++0�3 232/4�'� 235 �2�6'30 '3+0//',03�0� 7 /& *8� 3 & *8� 2��'/ *99*