22/11/16  

1  

1  

Lecture  3:  The  intelligent  use  of  space  

729G12  

Erik Prytz Erik.prytz@liu.se

www.ida.liu.se/~eripr77/

2  

Today’s  lecture  at  a  glance  

•  Examples  of  situated  cogniBon    ArBcle  1:  The  intelligent  use  of  space  

ArBcle  2:  On  disBnguishing  epistemic  from  pragmaBc  acBons  

22/11/16  

2  

3  

Situated  cogniBon  vs.  ”tradiBonal”  cogniBon  

•  QuesBon:  How  are  we  to  understand  human  cogniBon?  –  According  to  tradiBonalists:    

•  By  looking  at  processes  in  the  black  mystery  box  between  sensaBon  (input)  and  motor  acBon  (output)  

…5 1… …

”CogniBon”  

4  

Situated  cogniBon  vs.  ”TradiBonal  cogniBon”  

•  QuesBon:  How  are  we  to  understand  human  cogniBon?  – According  to  situated  cogniBon  perspecBve:  •  No,  we  have  to  look  at  acBvity  and  thinking  in  the  world.  Input  and  output  are  invalid  separaBons.  • We  are  always  situated  in  a  world  and  context.  

 

”CogniBon”  

1 39

+66

..5

…5 1… …

22/11/16  

3  

5  

Situated  cogniBon  •  SBll  focuses  on  the  individual  •  Thinking  with  things  and  arBfacts  •  Impact  on  ArBficial  Intelligence  

–  Planning  and  problem  solving  

•  Get  out  of  the  laboratory!  

•  ImplicaBons  for  cogniBve  science  –  Joint  cogniBve  systems  –  InteracBon  design  –  Contextual  psychology      

6  

THE  INTELLIGENT  USE  OF  SPACE  David  Kirsh  

22/11/16  

4  

7  

The  intelligent  use  of  space  •  We  are  always  surrounded  by  space  

–  At  work  –  At  home  –  …  

•  As  spaBal  creatures,  can  we  take  advantage  of  the  resources  in  the  environment  to  aid  thinking?  

   

8  

The  intelligent  use  of  space  •  TradiBonal  AI  and  planning  •  We  don’t  have  a  perfect  search  tree  in  our  head  and  then  execute  our  

acBons.  •  We  plan  as  we  go,  interact  with  our  environment  and  solving  problems  

using  things  to  think  with.    –  Memory  cues  –  Solving  mathemaBcal  problems  on  paper  –  …  

   

22/11/16  

5  

9  

The  intelligent  use  of  space  •  We  organize  and  re-­‐organize  workplaces  to  enhance  performance  –  Time  –  Space  –  Energy  – Memory  

•  Main  point:  –  By  using  space  around  us…  –  …we  lessen  demands  on  the  other  resources  

•  Case  in  point:  ExperBse!  

10  

Intelligent  use  of  space:  ExperBse  

•  TradiBonal  view:    – Experts  are  cogniBvely  superior  in  their  domain  due  to  memory  ability,  quicker  inferences  and  knowledge  base  

 

22/11/16  

6  

11  

Intelligent  use  of  space:  ExperBse  

•  TradiBonal  view:    –  Experts  are  cogniBvely  superior  in  their  domain  due  to  memory  ability,  quicker  inferences  and  knowledge  base  

•  AlternaBvely:  Experts  structure  their  domain  befer  than  novices  through  experience  and  pracBce  –  Not  always  consciously  so!  

•  IntenBonal,  but  not  necessarily  deliberate.  

•  We  are  all  experts  in  our  everyday  environments!  

12  

Intelligent  use  of  space  •  As  experts  in  our  everyday  environment  we…  – …  use  resources  locally  in  our  environment  instead  of  thinking  and  planning  analyBcally  as  we  go.  

– …  setup  our  environment  in  a  manner  that  we  have  local  informaBon  available.  •  Through  ”jigging”  and  informa9onally  structuring  our  environment  

•  So,  how  does  this  setup  work?  

22/11/16  

7  

13  

Intelligent  use  of  space:  Jigging  

•  Environmental  factor  that  decrease  variability    – Makes  the  situaBon  more  ”stabilized”  (e.g.  cup  holder)  –  Physical  or  informaBonal  jigging  

•  E.g.  door  jam  constrains  ac-ons      •  Memory  cue  on  a  map  facilitates  informaBon  processing  

•  ”jigging”  makes  the  environment  hospitable  for  relevant  problem  solving  –  Reduce  visual  search  –  Things  easier  to  noBce,  idenBfy  or  remember  –  Problem  representaBon  

14  

Intelligent  use  of  space  

•  Humans  exploit  spaBal  arrangements  in  the  workplace  in  three  ways:  

–  i)  SpaBal  arrangements  that  simplify  choice  

–  ii)  SpaBal  arrangements  that  simplify  percep9on  

–  iii)  SpaBal  dynamics  that  simplify  internal  computa9on  

22/11/16  

8  

15  

Intelligent  use  of  space  -­‐  examples  

•  Using  space  to  simplify  choice:  – ”What  acBons  do  I  have  available?”  

16  

Intelligent  use  of  space  -­‐  examples  •  Using  space  to  simplify  choice:  –  ”What  acBons  do  I  have  available?”  

– Affordances!  •  Features  in  the  environment  ”affords”  acBon  (Gibson/Norman)  

•  Depends  on  skills  of  an  individual  •  Context  and  culture  •  Important  in  interacBon  design  

22/11/16  

9  

17  

Intelligent  use  of  space  -­‐  examples  •  Affordances  can…  – …reduce  perceived  acBons  by  hiding  features  – …highligt  perceived  acBons  by  cueing  afenBon  

•  Case  in  point:  ProducBon  lines  –  StaBons  give  rise  to:  

•  Limited  tools  •  Limited  tasks  •  Limited  acBons  •  Less  variability  and  less  complex  problem-­‐solving  context  •  Less  planning  and  deliberaBon  needed  

18  

Kitchen  design  –  StaBons  &  highlights  

22/11/16  

10  

19  

Cueing  blocked  acBons  

•  Blocking  –  spaBal  arrangement  that  says  ”don’t  do  X!”  

20  

Intelligent  use  of  space  

•  Using  space  to  simplify  percepBon:  –  Facilitates  acBon  decision  by  speeding  up  the  process  –  E.g.  tomatoes  at  both  sides  of  the  sink  etc.  –  Symbolic  marking  

•  Puong  envelope  to  be  posted  by  the  door  •  Marking  an  ”X”  on  the  hand  •  Puong  a  finger  on  your  posiBon  on  a  map  •  Puong  a  bill  to  be  paid  on  the  laptop  

22/11/16  

11  

21  

22  

Intelligent  use  of  space  

•  SpaBal  dynamics  that  simplify  internal  computaBon:  –  Make  computaBons  in  the  world  instead  of  inside  the  head  

•  RotaBng  a  map  

22/11/16  

12  

23  

Intelligent  use  of  space  •  SpaBal  dynamics  that  simplify  internal  computaBon:  – Make  computaBons  in  the  world  instad  of  inside  the  head  

•  RotaBng  a  map  

–   Using  percepBon  instead  of  internal  computaBon  •  Frees  up  internal  resources  •  Solves  problems  faster  •  E.g.  pocket  calculator    

24  

Intelligent  use  of  space    •  Some  conclusions:  –  Human  beings  create  and  organize  their  workspace  to…  

•  …Simplify  problem-­‐solving…  •  …reducing  the  complexity  •  …offload  memory  resources…  

•  ImplicaBons  for  AI:  –  Planning  –  problem  solving  

•  ImplicaBons  for  psychology  –  Take  space  and  context  into  account  

22/11/16  

13  

25  

ON  DISTINGUISHING  EPISTEMIC  FROM  PRAGMATIC  ACTION  

Kirsh  &  Maglio  

26  

Epistemic  and  pragmaBc  acBons    •  Main  points:  – Not  every  acBon  is  performed  to  reach  closer  to  the  goal  

– A  criBque  on  AI  

–  Two  sets  of  acBons:  •  PragmaBc  acBons:  Lead  us  closer  to  the  current  goal  •  Epistemic  acBons:  External  acBons  that  yields  knowledge  about  a  situaBon  –  later  payoff  

•  Division  between  ”Planning”  and  ”AcBon”  not  clear-­‐cut  

22/11/16  

14  

27  

Epistemic  acBons    

•  Improves  cogniBon  by…  – Reducing  memory  load  – Reducing  number  of  steps  involved  in  mental  computaBon  

– Reducing  probability  of  error  of  mental  computaBon  

28  

PragmaBc  acBons  

•  Physical  acBons  that  bring  an  agent  closer  to  the  goal  

•  Planning  =  series  of  transformaBons  from  iniBal  state  to  goal  state  – Purely  through  pragmaBc  acBons  – Using  Bme,  distance,  or  energy  as  metric  

22/11/16  

15  

29  

Tetris  

30  

Tetris  as  empirical  domain  

•  Fast  game  with  both  perceptual  and  cogniBve  load  –  Time  as  cruicial  factor  will  provoke  strategy  deployment  

•  Every  acBon  leads  closer  or  farther  to  final  posiBon  –  Easy  to  discriminate  acBons  

•  Fun  to  play  –  Easy  to  get  parBcipants  –  Become  expert  

22/11/16  

16  

31  

Tetris:  Some  observaBons  

•  Moves  farther  from  the  goal  –  gain  informaBonal  certainty  as  payoff  

•  Clearly  epistemic  rather  than  pragmaBc  acBon  

32  

Tetris:  Some  observaBons  

•  Early  rotaBons  to  get  informaBon  about  idenBty  

•  Save  mental  rotaBon  effort    and  Bme  -­‐  matching  

22/11/16  

17  

33  

Epistemic  acBons  

•  AcBon  to  put  one  in  a  befer  posiBon  for  computaBon  

•  Reduces  Bme,  space,  energy  or  unreliability  –  PragmaBc  costs  are  offset  by  epistemic  benefits  – We  intelligently  exploit  informaBon  without  even  knowing  it!  

– Hallmark  of  experBse  –  automaBzed  procedures.  

•  Some  acBons  are  both  pragmaBc  and  epistemic  

34  

Classical  informaBon-­‐processing  model  

This  model  presupposes  that  every  acBon  is  pragmaBc  Creates  a  separaBon  between  acBon  and  cogniBon  

22/11/16  

18  

35  

Input  vs.  Output?  

36  

Essence  

   

“The  point  of  taking  certain  ac-ons,  therefore,  is  not  for  the  effect  they  have  on  the  environment  

as  much  as  for  the  effect  they  have  on  the  agent”  –  Kirsh  &  Maglio  (1994)  

 

22/11/16  

19  

37  

Essence  

•  007  principle:    –  Know  only  as  much  as  you  need  to  know  to  get  the  job  done!  

 ”Evolved  creatures  will  neither  store  nor  process  informa-on  in  costly  ways  when  they  can  use  the  structure  of  the  environment  and  their  opera-ons  upon  as  a  convenient  stand-­‐in  for  the  informa-on  processing  opera-ons  concerned.  That  is,  know  only  as  much  as  you  need  to  know  to  get  the  job  done.”    -­‐-­‐(Clark,  1989,  p.64)  

38  

Conclusions  and  implicaBons  •  CriBque  towards  AI  

–  A  new  set  of  acBons  

•  CriBque  towards  standard  informaBon-­‐processing  –  No  clear  boundary  between  input-­‐”cogniBon”-­‐output  

•  Calls  for  situated  cogniBon  in  CogniBve  Science  –  Study  the  interacBon  between  agent  and  environment  

•  CogniBve  coupling  between  agent  and  world  –  We  structure  our  own  workplace  and  world  –  CogniBve  systems  –  CogniBon  extends  to  the  outside  world?  

22/11/16  

20  

39  

Next  week  

•  Monday:  guest  lecture  by  Tom  Ziemke  – Embodied  CogniBon  

•  Tuesday:  lecture  by  Corinna  – Ethnography  

•  Wednesday:  lecture  on  AcBvity  Theory  •  Thursday:  first  advisor  meeBng  for  the  project  – Sign  up  in  project  groups  (3  people  in  each)!