contradictions of interactive data analysis

5
Metrika 2000) 51: 5±9 > Springer-Verlag 2000 Contradictions of interactive data analysis Peter J. Huber1 1 University of Bayreuth, Dept. of Mathematics, D-95440 Bayreuth e-mail: [email protected]) Abstract. Up to now, interactive statistics seems to have bloomed on a creative mess of contradictions and con¯icts. But I believe that if we want to advance beyond the present stage, we must try to overcome those. I shall attempt to identify a few of the more crucial ones, ranging from the basics of interactivity and data graphics to issues of large data and data base manage- ment, and to distill speci®c challenges from them. Key words: Interactive statistics, data analysis, visualisation 1 Doing versus telling Interactive statistics is something to be done, but not something to be de- scribed and watched. Maybe this special issue of Metrika by itself is a con- tradiction in terms. We have acquiesced to the fact that interactive data analysis is best learned by apprenticeship, not from textbooks. But there are con¯icts between doing and telling already on a most primitive level, that of the manuals. The typical reference manuals for verbal command line or program language) interfaces provide a list of all available commands and describe their actions, but leave it to the user to pick and combine them in order to solve his or her task. Sometimes, but much too rarely, the reference manual is complemented by a ``Cookbook'' cf. Postscript 1985 for a good example). The manuals of mouse click interfaces tend to start from the other end, from an incomplete) list of tasks to be performed, and in my opinion they do an even worse job. They are more verbose per units of useful information transmitted) and harder to understand than those for verbal interfaces. Typically, they describe or display a sequence of screen shots, and they list the actions to choose at particular stages. But whenever the going gets tough, the hapless user is asked to follow

Upload: peter-j-huber

Post on 10-Jul-2016

214 views

Category:

Documents


1 download

TRANSCRIPT

Page 1: Contradictions of interactive data analysis

������� �� � � ���

� ���������������

������������ �� �������� � ���� ������

����� �� ������

����������� �� ������� ! "���# �� ��� �$���%�! "���&& ������� ���$���� �����# �'��(����'������ #)��

������� �� �� ��*! ������%���� ��������%� ���$� �� ��� '���$�) �� �%������� $��� �� %�����)�%����� ��) %��+�%��# ��� , '������ � �� �� *� *��� ���)���%� '����) � � ������� �����! *� $��� ��� �� ����%�$� � ���# , � �������$�� �� �)������ � ��* �� � � $��� %��%��� ����! ������� ���$ � � '���%� ��������%������ ��) )��� ���� �%� �� ������ �� ����� )��� ��) )��� '��� $������$���! ��) �� )������ ���%�-% % �������� ���$ � �$#

��� ����� ,�����%���� ��������%�! )��� ��������! �������������

� ����� ��� �������

,�����%���� ��������%� �� ��$�� ��� �� '� )���! '�� ��� ��$�� ��� �� '� )���%��'�) ��) *��% �)# ���'� � �� ���%��� ����� �� ������� '� ������ �� � %������)�%���� �� ���$�#

.� ��� �%/����%�) �� � � ��%� � �� ������%���� )��� �������� �� '��� ������)'� ��������%�� ��! ��� ���$ ��0�'����# ��� � ��� ��� %��+�%�� '��*��� )������) ������� �����)� �� � $��� ���$����� �����! � �� �� � � $������# 1 � ����%���������%� $������ ��� ���'�� �%�$$��) ���� �� ������$ ��������� �������%�������)� � ���� �� ��� ������'�� %�$$��)� ��) )��%��'� � ��� �%�����! '�� ������� �� � � ���� �� ��%� ��) %�$'��� � �$ �� ��)�� �� ����� �� �� �� ����#��$���$��! '�� $�% ��� ������! � � �������%� $����� �� %�$���$����) '� �223���'���44 �%�# 5����%���� �6� ��� � ���) �0�$����# 1 � $������ �� $����%��%� �������%�� ���) �� ����� ���$ � � �� �� ��)! ���$ �� ���%�$������ ���� ������� �� '� ������$�)! ��) �� $� ������� � �� )� �� ���� *���� 7�'# 1 ����� $��� ���'��� ���� ����� �� ������ �����$����� �����$����)� ��) ��)�� ����)������) � �� � ��� ��� ���'�� �������%��# 1���%����! � �� )��%��'� �� )������� ��/���%� �� �%���� � ���! ��) � �� ���� � � �%����� �� % ���� �� �����%����������# ��� * ������ � � ����� ���� ���� ! � � ������ ���� �� ����) �� �����*

Page 2: Contradictions of interactive data analysis

� � ����%���� ������%�����# 8� � � %��� �� � � )�9%���� ���� � � ��%� � �� �$���� %��%� �����$��� ���� ������ �����$����� � �& '����! ��) � � ������%������ ������� ��� �0���$��� %����0� ���������# ���� �� � �$ ��� %��%����) *�� �����%��$'���! ��) ���� ��)���%��� *�� � � ���� � � ���� �) �� $��)# :��������������! ������� ��������%� ���� ���� � � �)����%�� %�����)�%����� �*�*��)���'�� )��%�������� �� ��� � �� '� ��������) '� $���� %��%��#

1 � ���� % ������� �� �� $��% �� � � �������%�� �� ������%���� ��������%� *�� � � �$�� $�)�� �� � ������! ��) �����%������ �� ��������#

� � �� � ��� � ��

,����%����! � � ���%����) ���� �%�� ���� �������%�� �;�,�� ��� ��� ���� �%�� �����# 1 �� ��� $��� .,�5�! $���� %��%� �������%�� '���) �� � � .��)�*�,%��������5������� ����)��$# .�� $��� ;�,�! ���� �%� �� '��� ������ ���)�%�������#

,� �� �����'�� �� )� $�% )��� ��������<��������%� ������%������ *�� ������� �%�# ��� ��$� �����! ��� �0�$��� � � ������ �)����-%����� ��) ��������� ��%�������! ��� %��%����� )����)��� �� ���� �� ������ ���� �%�� ������%����� $���� � ����������� ��'����! �0���%� � �$! ��) �����=� � �$ ���� ��# 1 � ���%����)���� �%� ��'������ ��� �����)�) ��� �0�$��� '� � � > .��)�* �����$� >��'!>�! >$! ��%#� ��� '����� �����) ��� ;�,� ��) ��� ���*��� %�$����� ��������)�%���� � �� ��� ���� ������%���� ���� �%� *�� )���# 1 � ������ �������� �������%���� ������� �� ���*� ��) ������%���� $�)�-%����� �� ��)���)��� ���� �%�������'����#

1 � % ������� �� �� )������ '���% '���)��� '��%�� ��� �����$����) ��) �9�%���� ������%���� )��� ���� �%�#

! "#� �������� $

,� ��������%�! �� ������%���� ���� �%� ��� )��� �������� *�� ��������) '�1���� *�� 5?,��� ���� @�� �������� �� ��# �A��# 1 � ������� ����) ��� 5���7�%����! ?�������! ,��������! �������! ��) $��� �� � ��� �%����� ��� �������)�� �� ����� '��� �����%������)# 1 � -��� �*� ��� �0�$��� ���$ � � '���� ��;���) 1���� ��) ������) $�� �)�! ��) ������� �� '��� ��'��� �� ���� ���!*�� �� ��%�) ������%���� %�������# ,�������� �� '��� ��� �� �����%��) '�$��� �� � � %������ ������%���� ���� �%� �����$�# 1 �� �� ���������� ��) �����)�0�%��� ,�������� �� �/�������� �� ������%���� ��'�������! ��) �0���%���� ��)$����������� ��'���� �� ��� �� � � $��� ������ ���������� * �� ��� �����=������� )��� ����#

8� � � ��$� ��$�! ��� %���%�)�������! ���� ���� �� %������ ������ , � ���,���������� � �� '��� �����%��)# ������ ��� %�� ������ �0���� ��) �$������'��� ����%����� '��*��� � � ������ ��) � � �������%�� %�$������� �� �����������) )��� �������� �����$! �� �������%���� ���� �%� ��$���� � $�����)�� ��$�#

. �� �� �� ����� ��� �� �*������� � �� ������%���� )��� ���� �%� �� � �*��*�� ������! ��) � �� � � �����$����� +�* ���� '����) $��� ������%���� *�� ��%�����#

B 5# C# D�'��

Page 3: Contradictions of interactive data analysis

% ���&�������� ���' ��� ���&#�����

8 �����$ * �% $���� ���� ���� ��� � ����%� ��$��� �������'�� %�������� �$*�� �� �$�����'�� ����� �������� ��$� * �� � ����� �� ���)���� ��*��)�$��� )�$��)���! �#�# ��� �������� ����)��)! �����%������# ,� �� �� *��)�! ������ �������� ����$��� � � ���� ��))���� �����=�� � �� � �� � � �� '���������) �� � ������7�%���#

8 ���� $�� *��� �� $������ ���$ � ����)��) ���) � ������� 22%����)44������%����� �� � $���� $�)�-%�����! �� � $�� *��� �� ����=� � ������% ���'��$ � �� �����) ���� � %����) ������� �������! �� '� ���) '� �� ���#

,� � ���� �� �)��� �����$ ��� ������%���� )��� �������� ��� � �� %���� � ����� ����� �$��� ��! ���$ ����% ��� %����) �����%������! �� �$��������� ��*�����%������! ��) �� %������ � �$# 1 �� ���� �� ����� ��) �����%�����)�%����#3�$���$���� *�� �����) �� ������$��%� ��) ������%� ��� ������)�'��# ������� � $�)��� �����0�$����� �� � �� ���� *��� ����� ���) � � ���� ����� �� �����������%��! ���$ $���� %��%�� �� %�$$��) ����� ��) '��% ������$$���#

1 � % ������� �� �� '���) �����$� � �� ��� ��� ���� ���� �� ��� '�� ����+�0�'�� ������� �0�����'���#

( ���)�� ������� �������� � ��� *�����'&��������� �+������

8 ��������%�� �������� $��� '� �����)�%�'��! ��$���$�� �0�%���! ��$���$�� *�� ������) ����������� � ��* ����������� ��� * ����� ��������! �� $��� ��� ��$���������# 1 � �������� ���'����� �� $��� �����$� �� � �� ��� %����� ������ �����$��� ���������� �����# 1 � $�0�$ �� ����� �:,> 22"��4� ������ �� ������%���������44 ��:,> �A6! �# �� � ���) ��� ��� '��� ���������E 8� ���� �� ���������� �0%��)� � $���$�� )����� �� %�$���0���! ������%� �� �$�� $�$�����) �$�� �����'����� �� ��� ���) ����� # ,� ��)�� �� $��� �� �����'�� ����)��! �)�� ��) ������ � )��� ��������! � )��� �������� �����$ $��� '� �'�� ������ �$���� ����'��! �)���'�� ��) �0�%���'�� ��%��)�#

1 � % ������� �� �� �����)� �� ���� ���������� '��*��� ������%���� ��)������$�%��������) �0�%�����#

, -�����.����� �� ����� ����

�������=����� �� ����� )��� �� �� �0�$����# 1 � �����$����� ��)���� %���%���� �� � � �$�� ������ �����$ �� �� '��� ��$���) �� � ��* $���'���� �� � ��$��%�# .��$�� ����# 1 ��! '����� ��� �������=�! ��� $��� ��)�%� ��=�# 1 �%�����)�%���� ��� �� ��)�� �� -�) ��� �* �� ��)�%� ��=�! ��� $�� ��� ���������=� -���# 1 � ������� ���'��$ �� � �� ����� )��� ���� ������� � �� ��� � ������*�� '�%���� � �� ��� '��� %����%��) ��� �� �� �������� ��� �� '� �����'�%���� �$����� ���� *���) ��� )�# 1 � ����� ������ �� � �� � �� ������� ���������)! %�$���0 ����%����#

��'���� *��4� *���# ,�! ���! � F ���)�$ ��'��$��� �� � ����� )��� ������$��� � $��������� ��������! ��� )��4� ���) � � �� �� ��F ��0%��� ��� ������ %���������)������! ��) %����%���� � �$ *�� � ��)��)����) *���� �� �G���#8�) �� �������=����� �� � �� F ��$��� )��� ��� � �* ��� * �� �� ����� ��!� �� �������� � ���� �� ��$���� �� �� ��$���� *��4� ��� ��� ��� ��#

3�����)�%����� �� ������%���� )��� �������� A

Page 4: Contradictions of interactive data analysis

��$$����� *��� ��� *��� ��� ��# @�� �0�$���! *�� ��� ���9% ��)�� )����%�# D�'�� ��� ��� ��$� $��� )�������! ��� ��$$�����! ��% �� )������ �����$����! *���) $�� � � ��)������� +�� � ��� � ���� ����! * ��� ��'��$����*���) )������ � ��� +�� � ��� � ��) $��� � �$ ����%����=�'��#

1 �� ��)�� �0�$��� ����������� �������� � *�� ��� �� � � )���$$� ����� ��� � � ���� *���� �����%���������%�-%! ��� ����%���) �������%������ �� � �)���# ,� � �� �����%���� �0�$���! '����� ��� %�� ��)�%� ��=�! ��� $��� -���%����%� ���� '����� ������ ���� +�� � ��� � �� ��)���)��� ������ ��) �)�������������� ���)�� '���� ��� -����� ���� ��� �� � � �$��� ��� ��#

1 � % ������� �� � �� *�� ����� )��� *� ��$��� �������'�� *��� ���) �� ���� ����%���) �������%������ �, '������ � �� �� * �� �� )��� $����� ��� � ��)��! ��) *� $��� �����)� �����$� ��%��������� � ��#

/ 0������ ��� ���� ��� '�����'���

1 � ����� �� )��� ��������<��������%� ��) �� )��� '��� $�����$��� %��� # ,����* �� � � �$������%� ��) %������ ���� �� )��� '��� ����������! �� �� '�����������) � �� ������ )��� �������� �"8� �����$� � ���) '� '���� �����) �)��� '��� $�����$��� �"��� ������# ��� ����)�0�%����! ��� � � ����� "�������$� )� � ���� ���� 7�' *�� ����� ��������%�� )��� '����# @�� �� �0���������� * � � �� �� ��! ��� @���% � ����! * � %�������� � � )����� ����� �� � ���)����� "�� �����$� *�� � ��� �� )�%����� ������� �����$� �"���# "����������� ���)� ��� ��%������� �� � "��! '�� $��� +�0�'�����! �� �����%���� ���)�*���� ��$$���� �� ������ *�� � � %������� ��) $����������� �� )�����) ����#��������! �� � � ��) ���)�%� �� �� �������� �� � ����� )��� ��� �� �������) �������� � %����� �� $����� )�%������! �� �������'�� �� ��������) �� � ���%��� �������� "�� ��� �� � �� �� �� ��*���)� ������ �� ��)%��� ���$#

"��� '��� $�����$��� ������ �� � ���� )� ��� ��)������) � �� )�����������<��������%���� ��� ��/����$���� ��� �� )�G����� ���$ � ��� � ��� �$������ ��� ���) ��# ,� �� *��� * ��� �� ����� ��� ��$� �� � ��� $�����)������)����# 1 � "� %�$$����� ����)��$���%���� �������� �� ��� )���'��� �* �% �� %��������� ��)���)�# 1 � "8 %�$$����� �������� �� �������)�����) ����! ��) *���) ���� �� ��%� � � '��� ��� ��)������� � ��� )�����) ����)����� � � �%���� �������� �* �% $�� �0���) ���� *�����# ,� � � ������� �� �*��� $��� ������ � ���� � � )��� ��� ��� �� '� %�$����) �� %�$'���)! �% ���� �� � � '��� %�� %����� ���%� ��� *��� ����� ���* * �� �� � � ��� ��� � ������� �� )�� �� � % ���� �� � � �������� ���%�)��� �� � � ��� �� � � '���#

��������%�� )��� ���� ������� ��� � ��� � �� �� $����%��! *�� 22%����44 ����*� ��) 22�����'���44 �� %���$��# ,� "��! � � $����0 �� ������) ��*�*��� ������) ������� ���������� �� ��* ��*� �� � '���% ����������! �� ��������%�! ����/����� ���) �������! $����� %���$��*��� �%������� ��) �����)��� ��* %����$�� �� � '���% ���������! �#�# '� ��������$����� �� �����'����# .� ���) '�� ��*�*��� ��) %���$��*��� ������=������! ��) �� )��� ��� ���$ �� '� �����'���� ��)�� '�� �� � �$ �9%������ �� � � ��$� ��$� ��#�# *�� � � ��$� � ���%��)��� ������=������#

. �� �� �� ����� ��� �� �*������� � �� �� ������%���� )��� �������� � � )���'��� $�����$��� ���'��$� ��� )�G����� ���$ � ��� �))�����) '� � � %�$�$�� "�� �����$�! ��) � �� � � )�%����� ������� ����%�� $�� '� $��� �$�������� ���) $��� )�9%��� �� ��)��� � �� � � )��� '��� $�����$��� ����%��#

6 5# C# D�'��

Page 5: Contradictions of interactive data analysis

��������

1 � % �������� ��� '�� ��� 7�)�%���� %�$���$���� ��) ��� ��* �)���# ,��� �$������� �� '� �*��� �� �))�� ���'��$� ��#�# �� �$�� �$�����%������! ������ �� ���� $��)! ��) �� ����) ���)�$�������$# .� %����� ��� +�0�'�����*�� ���� $����'���) �����$�! ��) *� %����� ��� ���� �0�����'����� *�� %�$����) '��% �����$� ��� �� ��� ���� �� ���� ������ ��� )�*� '� � ������$�$��� ������# , '������ � � ���� �����'�� ���*��� �� 3 �������� &! � ��) B *���'� '���) �� � %�$���$��� �����$ '���� �����) � � $�))�� �����)! ��$��������) � ������$$�'��! ����������) %�$$��) ��������# @��$ � ���! ���%�� '���% ��� �� ��� �� ��)�! $���� �� '��% ! * ������ ��%������ ���� D�'�� ��& ��� �� ���'��������# ��� *� $�� ���) ��* �)��� �� *� ��� �� ������% 3 ������� H � � ���*�� � �� ���� $�� � ��� � � ����)����� ��� +�0�'�� �������%���� )��� ���� �%�� ������%���� ���� �%� � �� �� ��$����������� �0�����'�� ��)�9%����#

1�������

@�� �������� �8! @���)$�� CD! ��) 1���� C. � �A�� 5��$��! 8� ,�����%���� �����)�$��������"��� "������ ��) 8������� �����$# 5��%# &� ,������������ 3������� ��� ����������

@���% 3" � ���� 22I�� ��=� @��� 8��44 "���'��� 8�% ���%����� "� :�� .��� @�� "��#�,;�I" ?J3I?"! ���# &! C��� ���# 5��%��)���� �� � � ��� 83� �,;�I" ,������������� 3�������%� �� ������$��� �� "���# 83� 5����

D�'�� 5C � ��&� K�������� ��� ��������%� ��) "��� 8�������# ,�� 3�$���������� ��������%�# 5�����3����%��) �� � � I%%����� �� � � �� 3�������%� �� ��������%�� 3�$������ �� �% ����?������'���# 5# "���% �)� ��) ?# I����$��� �J)�#�# 5 ���%� ������! 8 �������� ������3�$����

D�'�� 5C � ��B� ������� "��� ���� .���� ��� 1 � ������� 8����# ,�� ������� "��� ����# 5���%��)���� �� � .���� ��# L���������! C#! ��) 5����'��! "# ��)�#�# :������� 8%�)�$� 5����!.�� ������! "#3#

D�'�� 5C � ���� ������� "��� ���� .���� ��� @��� M���� 8����# ?�����) ������� �� D�'��� ��B�# C# �� 3�$���������� ��) ;��� �%�� ��������%�# ���# 6! :�# N ��# BN��B�

5����%���� K�������# 1������� ��) 3���'���# � �6�� 8)�'� �����$�! ,�%�:,> 1�$� � ����� �����$ � �A6� ���� �����$� 1�% ��%�� C������! ���# �A � �A6�! :�# B! 5��� .��$�� J � ���� D��� )��� ���� ��) � � ��������� �� %�$���������� �����'�����# C# �� 3�$�����

������ ��) ;��� �%�� ��������%�! &! 6 ���

3�����)�%����� �� ������%���� )��� �������� �