The  Case  for  Offloading  Con1nuous  High-­‐Datarate  Percep1on  to  the  Cloud  

Seungyeop  Han  and  Ma<hai  Philipose  University  of  Washington  and  MicrosoA  Research  

 

ON  Phone  

2013.  5.  13   HotOS  XIV   2  

Who?   Where?  What?  

It’s  Worth  It!  

2013.  5.  13   HotOS  XIV   3  

Change  behaviors   Aid  in  complex  tasks   Augment  cogni1on  

The  Performance  Gap  

2013.  5.  13   HotOS  XIV   4  

Speech   Face   Object   Loca9on  

Model  Size   0.5  –  600  GB   1M/person   3-­‐6  GB   20M/floor  

Compute   16kHz  @  160%  Xeon  E5640    

30fps  @  8-­‐core  SandyBridge  

30fps  @  Nvidia  580  GPU  

30fps  @  2-­‐core  2.4  GHz  ‘09  Intel  CPU  

•  Resource  use  of  today’s  best  systems:  

1000x  CPU,  100x  memory  rela9ve  to  today’s  phone  

Offloading  Does  Not  Bridge  the  Gap  

Con%nuous  vision  requires:  •  High  availability  •  High  core  network  capacity  •  High  compute  capacity  •  A  good  privacy  story  

2013.  5.  13   HotOS  XIV   5  

Bridging  the  gap  

2013.  5.  13   HotOS  XIV   6  

Drop  frames  if   Frac9on  to  process  

None   100%  

No  voice   6%  

High  accelera1on  

2.5%  

Low  light   1.5%  

Most  bytes  are  irrelevant  Processors  geJng  more  efficient  

0.1  

1  

10  

100  

512  

4096  

32768  

262144  

2097152  

2008   2011   2015  WaL

s  

MIPS  

Intel  Notebook  MIPS   Atom  MIPS  

Intel  Wa<s   Atom  Wa<s  

Gaining  ~50x  efficiency   Gaining  ~50x  efficiency  

•  Vision  algorithms  are  reaching  maturity  

•  Applica1ons  could  add  huge  value  

•  Vision  on  the  phone  likely  necessary  +  feasible  

 

2013.  5.  13   HotOS  XIV   7  

What  does  the  OS  do?  

The  OS  Mul1plexes  Across  Apps  …  …  while  providing  efficient  access  to:  •  Heterogeneous  resources  •  Sensor  ga1ng  services  

2013.  5.  13   HotOS  XIV   8  

Model  Cache  

•  Cached  cloud-­‐scale  models  •  Privacy  primi1ves  

GPU  

DSP  CPU  ASIC  

CPU  Accelerometer  Light  sensor  GPS  

X  

CPU  

•  Vision  algorithms  are  reaching  maturity  

•  Applica1ons  could  add  huge  value  

•  Vision  on  the  phone  likely  necessary  +  feasible  

•  OS  provides  efficient,  private  cross-­‐app  access:  –  processors,  models,  low-­‐power  sensors  

2013.  5.  13   HotOS  XIV   9  

THANKS!