improving resource efficiency of deep activity recognition

This is an electronic reprint of the original article.This reprint may differ from the original in pagination and typographic detail.

Powered by TCPDF (www.tcpdf.org)

This material is protected by copyright and other intellectual property rights, and duplication or sale of all or part of any of the repository collections is not permitted, except that material may be duplicated by you for your research use or educational purposes in electronic or print form. You must obtain permission for any other use. Electronic or print copies may not be offered, whether for sale or otherwise to anyone who is not an authorised user.

Souza Leite, Clayton; Xiao, YuImproving Resource Efficiency of Deep Activity Recognition via Redundancy Reduction

Published in:HotMobile 2020 - Proceedings of the 21st International Workshop on Mobile Computing Systems andApplications

DOI:10.1145/3376897.3377859

Published: 03/03/2020

Document VersionPeer reviewed version

Please cite the original version:Souza Leite, C., & Xiao, Y. (2020). Improving Resource Efficiency of Deep Activity Recognition via RedundancyReduction. In HotMobile 2020 - Proceedings of the 21st International Workshop on Mobile Computing Systemsand Applications (pp. 33-38). ACM. https://doi.org/10.1145/3376897.3377859

I m p r o vi n g R e s o u r c e E ffi ci e n c y of D e e p A cti vit y R e c o g niti o n vi aR e d u n d a n c y R e d u cti o n

Cl a yt o n Fr e d eri c k S o u z a L eit eA alt o U ni v ersit yEs p o o, Fi nl a n d

cl a yt o n.s o u z al eit e @ a alt o. fi

Y u Xi a oA alt o U ni v ersit yEs p o o, Fi nl a n d

y u. xi a o @ a alt o. fi

A b st r a ct

C o m pr essi o n m et h o ds f or d e e p l e ar ni n g h a v e b e e n r e c e ntl y us e d t op ort d e e p n e ur al n et w or ks i nt o r es o ur c e- c o nstr ai n e d d e vi c es - s u c has di git al gl o v es a n d s m art w at c h es - f or h u m a n a cti vit y r e c o g niti o n( H A R). W hil e t h e r es ults h a v e b e e n i n f a v or of utili zi n g c o m pr ess e dm o d els, w e e n visi o n t h at t h e c urr e nt p ar a di g m of l o n g a n d fi x e d-si z eo v erl a p pi n g sli di n g wi n d o ws t h at p er m e at e t h e lit er at ur e of H A Rc o ntri b ut es n e g ati v el y t o w ar d t h e g o al of m or e r es o ur c e- e ffi ci e nts yst e ms, as it i n d u c es r e d u n d a n ci es i n m e m or y a n d c o m p ut ati o n.I n t his w or k, w e pr o vi d e a di ff er e nt p ers p e cti v e b y d e m o nstr ati n gt h at m e m or y f o ot pri nt, c o m p ut ati o n al e x p e ns e, a n d p ossi bl y e n-er g y c o ns u m pti o n c a n b e dr a m ati c all y s p ar e d b y m o dif yi n g t h ear c hit e ct ur e of t h e n e ur al n et w or ks a n d t h eir tr ai ni n g. It is a c hi e v e db y e n a bli n g n o n- o v erl a p pi n g s h ort sli di n g wi n d o ws a n d s ki p pi n gfi n e- gr ai n e d f e at ur es i n f a v or of r o u g h o n es o n c ert ai n o c c asi o ns,t h us r e d u ci n g t h e d e m a n d f or m or e p o w erf ul h ar d w ar e. C o m p ar e dwit h t h e st at e- of-t h e- art, o ur m et h o d is a bl e t o a c hi e v e c o m p ar a bl ep erf or m a n c e f ar m or e e ffi ci e ntl y i n t er ms of r es o ur c e us e.

C C S C o n c e pt s

• C o m p uti n g m et h o d ol o gi e s → M a c hi n e l e a r ni n g .

K e y w o r d s

H u m a n a cti vit y r e c o g niti o n; r es o ur c e- c o nstr ai n e d d e vi c es; d e e pl e ar ni n g

A C M R ef e r e n c e F o r m at:Cl a yt o n Fr e d eri c k S o u z a L eit e a n d Y u Xi a o. 2 0 2 0. I m pr o vi n g R es o ur c e E ffi-

ci e n c y of D e e p A cti vit y R e c o g niti o n vi a R e d u n d a n c y R e d u cti o n. I n Pr o c e e d-i n gs of t h e 2 1st I nt er n ati o n al Wor ks h o p o n M o bil e C o m p uti n g S yst e ms a n dA p plic ati o ns ( H ot M o bil e ’ 2 0), M arc h 3 – 4, 2 0 2 0, A usti n, T X, U S A. A C M, N e w

Y or k, N Y, U S A, 6 p a g es. htt ps:// d oi. or g/ 1 0. 1 1 4 5/ 3 3 7 6 8 9 7. 3 3 7 7 8 5 9

1 I nt r o d u cti o n

H u m a n a cti vit y r e c o g niti o n ( H A R) is a k e y el e m e nt i n w e ar a bl ea p pli c ati o ns s u c h as fit n ess tr a c ki n g, str o k e r e h a bilit ati o n, a n de m pl o y e e tr ai ni n g. It c o nsists i n i nf erri n g fr o m s e ns or d at a t h et y p e of a cti o ns a p ers o n is e x e c uti n g. C urr e ntl y, s h all o w m a c hi n el e ar ni n g al g orit h ms ar e b ei n g o v ers h a d o w e d b y d e e p l e ar ni n g ( D L)

P er missi o n t o m a k e di git al or h ar d c o pi es of all or p art of t his w or k f or p ers o n al orcl assr o o m us e is gr a nt e d wit h o ut f e e pr o vi d e d t h at c o pi es ar e n ot m a d e or distri b ut e df or pr o fit or c o m m er ci al a d v a nt a g e a n d t h at c o pi es b e ar t his n oti c e a n d t h e f ull cit ati o no n t h e first p a g e. C o p yri g hts f or c o m p o n e nts of t his w or k o w n e d b y ot h ers t h a n A C Mm ust b e h o n or e d. A bstr a cti n g wit h cr e dit is p er mitt e d. T o c o p y ot h er wis e, or r e p u blis h,t o p ost o n s er v ers or t o r e distri b ut e t o lists, r e q uir es pri or s p e ci fi c p er missi o n a n d / or af e e. R e q u est p er missi o ns fr o m p er missi o ns @ a c m. or g.

H ot M o bil e ’ 2 0, M arc h 3 – 4, 2 0 2 0, A usti n, T X, U S A

© 2 0 2 0 Ass o ci ati o n f or C o m p uti n g M a c hi n er y.A C M I S B N 9 7 8- 1- 4 5 0 3- 7 1 1 6- 2/ 2 0/ 0 3.htt ps:// d oi. or g/ 1 0. 1 1 4 5/ 3 3 7 6 8 9 7. 3 3 7 7 8 5 9

i n H A R f or t w o r e as o ns. First, D L al g orit h ms pr o vi d e si g ni fi c a ntl e a ps i n p erf or m a n c e. S e c o n d, wit h f e at ur e l e ar ni n g, D L dr o ps t h er e q uir e m e nt f or h a n d- e n gi n e er e d f e at ur es o bt ai n e d fr o m e x p ertk n o wl e d g e.

Hi g h p erf or m a n c e a n d f e at ur e l e ar ni n g ar e att ai n e d b y usi n gs e v er al st a c k e d l a y ers wit h i n n u m er a bl e c o m p ut ati o ns t h at gr a d u-all y tr a nsf or m t h e r a w d at a i nt o t h e d esir e d o ut p ut. T h e n u m b erof p ar a m et ers i n t h e l a y ers c a n r e a c h b e y o n d milli o ns. H e n c e, D Lm o d els p oss ess a hi g h m e m or y f o ot pri nt, c o m p ut ati o n e x p e ns e, a n de n er g y c o ns u m pti o n. As a n e x a m pl e, a si m pl e C N N- L S T M m o d elf or H A R c a n r e q uir e a b o v e 4 0 0 K B of m e m or y a n d 3 0 0 M F L O Ps ofc o m p ut ati o n p er pr e di cti o n, w hi c h is b e y o n d t h e s p e ci fi c ati o ns ofp o p ul ar o ff-t h e-s h elf mi cr o c o ntr oll ers t h at ar e c o m m o nl y us e d f orw e ar a bl e d e vi c es d u e t o t h eir s m all si z e a n d l o w c ost.

T h e m e m or y f o ot pri nt of D L n et w or ks li mits t h eir s uit a bilit y o nm e m or y-s c ar c e a p pli a n c es. Als o, d es pit e mi cr o c o ntr oll ers h a vi n gr e a c h e d hi g h er c o m p ut ati o n c a p a biliti es o v er t h e p ast y e ars, t h ee x e c uti o n ti m e of d e e p m o d els c a n still t a k e l o n g e n o u g h t o bri n gd el a ys - e v e n i n t h e or d er of s e c o n ds - t o t h e e n d- us er a n d h ar mt h e o v er all us er e x p eri e n c e. F urt h er m or e, mi ni mi zi n g e n er g y c o n-s u m pti o n is pri m or di al t o s atisf y e n d- us ers, si n c e d e vi c es wit h s h orta ut o n o m y c a n b e s e e n as b ur d e ns o m e. R u n ni n g t h e D L al g orit h mso n t h e cl o u d is a n alt er n ati v e, b ut n ot al w a ys d esir e d, b y c a us eof pri v a c y-r el at e d iss u es a n d a d diti o n al o v er h e a d d u e t o l at e n c yi n c o m m u ni c ati o ns. T o o v er c o m e t h es e iss u es, m u c h r es e ar c h at-t e nti o n h as b e e n dr a w n t o p orti n g D L al g orit h ms i nt o w e ar a bl ed e vi c es t h at ar e r es o ur c e- c o nstr ai n e d.

R e m o vi n g r e d u n d a n ci es is t h e ess e n c e i n p orti n g D L al g orit h msf or H A R i nt o d e vi c es of li mit e d r es o ur c es. G e n eri c c o m pr essi o nm et h o ds [ 2 , 3 , 5 , 8 , 1 1 ] h a v e b e e n e xt e nsi v el y us e d t o m a k e d e e pm o d els m e et t h e m e m or y, c o m p ut ati o n, a n d e n er g y c o ns u m pti o nr e q uir e m e nts of s m all d e vi c es b y r e d u ci n g t h e r e d u n d a n c y i n t h e p a-r a m et ers of t h e n e ur al n et w or k. H o w e v er, w e e n visi o n t h at t h e c ur-r e nt p ar a di g m of H A R s yst e ms pr es e nts t hr e e a d diti o n al o v erl o o k e dr e d u n d a n ci es t h at ar e y et t o b e a d dr ess e d a n d, i n c o m bi n ati o n wit hc o m pr essi o n m et h o ds (s u c h as w ei g ht pr u ni n g, q u a nti z ati o n, a n df a ct ori z ati o n), c a n p ot e nti all y r e a c h e v e n hi g h er l e v els of r es o ur c ee ffi ci e n c y t h a n t h e s ol e us e of c o m pr essi o n m et h o ds. T h es e o v er-l o o k e d r e d u n d a n ci es ar e pr es e nt e d as f oll o ws.1) O v e rl a p pi n g sli di n g wi n d o w s. T h e b est- p erf or mi n g m et h o dso n v ari o us H A R b e n c h m ar ks ( as I n n o H A R [ 1 3 ]) still utili z e o v er-l a p pi n g sli di n g wi n d o ws. W h e n tr ai ni n g, s e g m e nti n g t h e d at as etwit h o v erl a p pi n g wi n d o ws s er v es as d at a a u g m e nt ati o n a n d c o n-cr et el y h el ps t h e n e ur al n et w or k i n g e n er ali zi n g b ett er. H o w e v er,w h e n t esti n g, h a vi n g o v erl a p pi n g wi n d o ws l e a ds t o c o m p ut ati o n alr e d u n d a n c y si n c e t h e s a m e p orti o n of d at a is pr o c ess e d m or e t h a no n c e.

H ot M o bil e ’ 2 0, M ar c h 3 – 4, 2 0 2 0, A u sti n, T X, U S A Cl a yt o n Fr e d eri c k S o u z a L eit e a n d Y u Xi a o

2) L o n g sli di n g wi n d o w s. W hil e l o n g sli di n g wi n d o ws pr o vi d ea wi d er t e m p or al c o nt e xt l e a di n g t o m or e a c c ur at e pr e di cti o ns,t h e y als o si g ni fi c a ntl y i n cr e as e t h e n u m b er of p ar a m et ers i n c ert ai nt y p es of l a y ers (s u c h as r e c urr e nt a n d f ull y- c o n n e ct e d ( F C) l a y ers)i n a n e ur al n et w or k. T his is m e m or y r e d u n d a n c y. As w e will s e e i nS e cti o n 3, l o n g sli di n g wi n d o ws d o n ot h el p i n o bt ai ni n g q ui c k erpr e di cti o ns.3) C o n s e c uti v e p r e di cti o n s of t h e s a m e a cti vit y. If t h e s a m ea cti vit y is p erf or m e d f or a l o n g p eri o d, t h e D L al g orit h m will b er e d u n d a ntl y e xtr a cti n g t h e s a m e f e at ur es f or t h e w h ol e d ur ati o n oft h e a cti vit y. R e m o vi n g t his c o m p ut ati o n al r e d u n d a n c y c a n l e a d t oa n a p pr e ci a bl e r e d u cti o n of r es o ur c e utili z ati o n.

I n t his p a p er, w e i n v esti g at e t o w h at e xt e nt t h e af or e m e nti o n e dr e d u n d a n ci es a ff e ct r es o ur c e utili z ati o n a n d t h e p ot e nti al i m pr o v e-m e nt g ai n e d b y a d dr essi n g t h e m wit h a n o v el m et h o d pr o p os e d b yus. First, w e dr o p t h e n e e d f or o v erl a p pi n g wi n d o ws b y a c h a n g ei n t h e tr ai ni n g of t h e n et w or k, a n d w e si g ni fi c a ntl y s h ort e n t h esli di n g wi n d o ws t o mi ni mi z e m e m or y f o ot pri nt a n d t o d et e ct a cti v-iti es as s o o n as p ossi bl e. S e c o n d, w e utili z e r o u g h f e at ur es a n d s ki pfi n e- gr ai n e d o n es f or g e n er ati n g pr e di cti o ns d uri n g t h e e x e c uti o nof l o n g-l asti n g a cti viti es. Wit h sli g ht p erf or m a n c e d e cr e as e, o urs ol uti o ns ar e a bl e t o a c hi e v e c o m p ar a bl e p erf or m a n c e wit h t h est at e- of-t h e- art wit h si g ni fi c a ntl y f e w er n et w or k p ar a m et ers a n dc o m p ut ati o n al c ost.

T h e r est of t h e p a p er is or g a ni z e d as f oll o ws. S e cti o n 2 i ntr o d u c est h e r el at e d w or k of H A R. S e cti o n 3 pr es e nts t h e pr o p os e d m et h o ds.S e cti o n 4 d es cri b es t h e d at as ets, wit h t h e pr eli mi n ar y e x p eri m e nt alr es ults pr es e nt e d i n S e cti o n 5 al o n g wit h a dis c ussi o n a b o ut t h e ma n d f ut ur e w or k. S e cti o n 6 pr es e nts t h e c o n cl usi o n.

2 R el at e d W o r k

H A R wit h D L. Or d o n e z a n d R o g g e n [ 1 0 ] c o m bi n e d c o n v ol uti o n ala n d r e c urr e nt L o n g S h ort- Ter m M e m or y ( L S T M) l a y ers i n a si n gl en et w or k f or p erf or mi n g H A R. G u a n et al. [ 7] w or k e d wit h e ns e m-bl es of L S T M n et w or ks f or H A R. T h e y h a v e s h o w n t h at si g ni fi c a ntp erf or m a n c e i m pr o v e m e nt ( u p t o 1 0 %) c a n b e a c hi e v e d usi n g e n-s e m bl es of r e c urr e nt n et w or ks i nst e a d of a si n gl e o n e. L o n g et al. [9 ]e m pl o y e d r esi d u al n et w or ks wit h c o n v ol uti o n al a n d L S T M l a y erst o c a pt ur e s p ati al a n d fi n e t e m p or al f e at ur es, r es p e cti v el y. T h eirm o d el r e a c h e d hi g h er p erf or m a n c e c o m p ar e d t o s e v er al si m pl ero n es w h e n t est e d o n p u bli c d at as ets wit h a cti viti es li k e st a n di n g u p,l yi n g d o w n, r u n ni n g, et c. X u et al. [1 3 ] h a v e a c hi e v e d st at e- of-t h e-art p erf or m a n c e o n t h e O p p ort u nit y [ 4 ] a n d P A M A P 2 [1 2 ] d at as etsb y pr o p osi n g a n e ur al n et w or k wit h I n c e pti o n-li k e c o n v ol uti o n all a y ers f oll o w e d b y g at e d r e c urr e nt u nit ( G R U) l a y ers. O v er all, D Lh as b e e n a p pli e d t o H A R wit h a n e n or m o us v ari et y of m et h o ds,wit h e a c h of w hi c h d eli v eri n g e v er-i n cr e asi n g p erf or m a n c e s c or es.H o w e v er, t h es e m et h o ds still utili z e l o n g a n d fi x e d-si z e o v erl a p pi n gsli di n g wi n d o ws t h at r e n d er t h eir i m pl e m e nt ati o n o n r es o ur c e-c o nstr ai n e d d e vi c es di ffi c ult.D L i n r e s o u r c e- c o n st r ai n e d d e vi c e s. L a n e et al. [8 ] cr e at e d at o ol kit t h at a p pli es t o a n y e xisti n g D N N or C N N m o d el 5 di ff er e ntt y p es of c o m pr essi o n (i. e., s p ars e f a ct ori z ati o n, w ei g ht f a ct ori z a-ti o n, pr e cisi o n r e d u cti o n, c o n v ol uti o n s e p ar ati o n, a n d p ar a m et ercl e a ni n g) g e n er ati n g a n e w c o m pr ess e d m o d el wit h sli g htl y l o w er

a c c ur a c y b ut si g ni fi c a nt i m pr o v e m e nts i n m e m or y f o ot pri nt, e x e-c uti o n ti m e a n d e n er g y c o ns u m pti o n. T o r e d u c e e x e c uti o n ti m esof d e e p n e ur al n et w or ks o n e m b e d d e d d e vi c es, Y a o et al. [1 4 ] d e-v el o p e d a fr a m e w or k t h at s p ots l a y ers t h at t a k e l o n g er t o r u n a n dc o n c e ntr at es e xisti n g c o m pr essi o n al g orit h ms o n t h e m, i nst e a dof tr e ati n g all l a y ers e q u all y. T h eir m et h o d pr o vi d e d s h ort er e x-e c uti o n ti m e a n d s m all er e n er g y c o ns u m pti o n, c o m p ar e d t o t h est at e- of-t h e- art c o m pr essi o n al g orit h ms.

Ali p pi et al. [1 ] r es ort e d t o a p pr o xi m at e c o m p uti n g t e c h ni q u est o r e d u c e c o m p ut ati o n al l o a d a n d m e m or y f o ot pri nt of C N N n et-w or ks o n e m b e d d e d d e vi c es. F a n g et al. [6 ] d e v el o p e d a t o ol t h atc o nti n u o usl y m o nit ors r es o ur c e a v ail a bilit y i n s yst e ms t h at r u nm ulti pl e a p pli c ati o ns c o n c urr e ntl y a n d s wit c h es b et w e e n di ff er e ntc o m pr ess e d v ersi o ns of t h e s a m e n e ur al n et w or k d e p e n di n g o n t h er es o ur c e s c ar cit y.

E x c e pt f or utili zi n g c o m pr ess e d n et w or ks, r es o ur c e c o ns u m pti o nc a n p ot e nti all y b e f urt h er r e d u c e d b y r e m o vi n g t h e r e d u n d a n ci esm e nti o n e d i n S e cti o n 1, w hi c h h as n ot b e e n st u di e d pr e vi o usl y.M oti v at e d b y t his, w e dr a w o ur att e nti o n t o t h es e r e d u n d a n ci esa n d pr o p os e w a ys t o a d dr ess t h e m.

3 M et h o d s

We pr o p os e t w o a p pr o a c h es: s h ort n o n- o v erl a p pi n g sli di n g wi n-d o ws a n d r o u g h f e at ur es f or pr e di cti n g l o n g-l asti n g a cti viti es. T h ef or m er is us e d t o a d dr ess t h e first a n d s e c o n d r e d u n d a n ci es dis-c uss e d i n S e cti o n 1. T h e l att er a d dr ess es t h e t hir d o n e. T h es e t w oa p pr o a c h es ar e i n d e p e n d e nt of e a c h ot h er, h e n c e, c a n b e eit h er us e ds e p ar at el y or t o g et h er.

3. 1 S h o rt n o n- o v e rl a p pi n g sli di n g wi n d o w s

D uri n g t h e tr ai ni n g p h as e, usi n g o v erl a p pi n g wi n d o ws s er v es as a ne ff e cti v e d at a a u g m e nt ati o n pr o c ess, as it r es ults i n cl assi fi c ati o nal g orit h ms b ei n g l ess bi as e d t o t h e e x a ct p ositi o n w h er e c ert ai nc h ar a ct eristi cs ( e. g., p e a ks a n d v all e ys i n t h e s e ns or y r e a di n gs) a p-p e ar i n t h e d at a. D uri n g t h e t esti n g p h as e, t h e y s er v e t h e n e ur aln et w or k wit h a br o a d er t e m p or al c o nt e xt t o pr e di ct t h e a cti vit ym or e a c c ur at el y. H o w e v er, t his si g ni fi es t h at t h e s a m e p orti o n ofd at a is pr o c ess e d m or e t h a n o n c e, w hi c h c a us es a w ast e of c o m p u-t ati o n al r es o ur c es.

R e c urr e nt l a y ers as L S T M or G R U h a v e b e e n e xt e nsi v el y us e dt o c a pt ur e t e m p or al c o nt e xt i n H A R. H o w e v er, a ut h ors li mit e d t h etr ai ni n g of t h es e l a y ers t o gr as p t h e t e m p or al c o nt e xt o nl y c o n-t ai n e d i nsi d e t h e sli di n g wi n d o w, disr e g ar di n g t h e t e m p or al c o nt e xte xist e nt a cr oss sli di n g wi n d o ws. We c all t h e f or m er i nt r a- wi n d o wt e m p o r al c o nt e xt a n d t h e l att er i nt e r- wi n d o w t e m p o r al c o n-t e xt.

We pr o p os e a n ar c hit e ct ur e c o m p os e d of c o n v ol uti o n al l a y erst h at l e ar n s p ati al a n d i ntr a- wi n d o w t e m p or al c o nt e xt, f oll o w e d b ya n L S T M l a y er li mit e d t o gr as pi n g i nt er- wi n d o w t e m p or al c o nt e xt.T o a c hi e v e t his, w e c oll a ps e t h e t hr e e- di m e nsi o n al f e at ur e m a psgi v e n b y t h e l ast c o n v ol uti o n al d at a t o o n e di m e nsi o n (i nst e a d oft w o di m e nsi o ns). T h es e f e at ur e m a ps g o t hr o u g h t h e L S T M l a y erw hi c h is tr ai n e d usi n g b a c k pr o p a g ati o n t hr o u g h t h e f e at ur e m a psof M pr e vi o us wi n d o ws, w h er e M is a n i nt e g er h y p er- p ar a m et er oft h e tr ai ni n g. T his m e a ns t h at t h e L S T M l a y er is tr ai n e d t o b e a bl et o r e c all i nf or m ati o n fr o m pr e vi o us wi n d o ws, t h us r e m o vi n g t h e

H ot M o bil e ’ 2 0, M ar c h 3 – 4, 2 0 2 0, A u sti n, T X, U S A

Fi g u r e 1: T h e a p p r o a c h of s h o rt n o n- o v e rl a p pi n g sli di n gwi n d o w s ( o n t h e ri g ht) c o m p a r e d t o t h e lit e r at u r e’ s a p-p r o a c h ( o n t h e l eft). x k i s t h e k-t h sli di n g wi n d o w si n c e t h eb e gi n ni n g of t h e d at a st r e a m. I n o u r m et h o d, a p r e di cti o n y ki s i g n o r e d if it s c o n fi d e n c e l e v el i s b el o w a c e rt ai n t h r e s h ol d.I n b ot h m et h o d s, f o r e v e r y sli di n g wi n d o w, a p r e di cti o n i sgi v e n.

n e e d f or r e p e ati n g pr e vi o usl y s e e n i nf or m ati o n - i. e. r e m o vi n g t h en e e d f or o v erl a p pi n g wi n d o ws.

T h e n e e d f or usi n g a l o n g sli di n g wi n d o w c o m es fr o m t h e i d e at h at h a vi n g a n a p pr e ci a bl e a m o u nt of d at a is b e n e fi ci al f or pr o-d u ci n g m or e a c c ur at e pr e di cti o ns si n c e t h e cl assi fi er is f e d wit h abr o a d er t e m p or al c o nt e xt. H a vi n g est a blis h e d t h at o ur L S T M l a y eris r e q uir e d t o l e ar n i nt er- wi n d o w t e m p or al c o nt e xt, t h e n e e d f orl o n g sli di n g wi n d o ws is r e m o v e d. We c a n s h ort e n t h e wi n d o w si z ea n d a p pr e ci a bl y d e cr e as e t h e n u m b er of p ar a m et ers i n t h e L S T Ma n d F C l a y ers. Fi g. 1 ill ustr at es t his a p pr o a c h c o m p ar e d t o h o w it isc urr e ntl y d o n e i n t h e lit er at ur e.

S h ort er sli di n g wi n d o ws als o h el p i n pr e di cti n g n e w i n c o mi n ga cti viti es q ui c k er. E a c h sli di n g wi n d o w c a n b e l a b el e d eit h er wit ht h e a cti vit y t h at is pr es e nt i n t h e l ar g est p orti o n of t h e wi n d o wor wit h t h at s e e n at t h e e n d of it. T h e f or m er a p pr o a c h is m or ewi d el y us e d. W h e n usi n g l o n g wi n d o ws, e v e n if a n e w a cti vit y isalr e a d y s h o wi n g u p at t h e e n d of t h e wi n d o w, t h e n e ur al n et w or kswill b e tr ai n e d t o i g n or e it i n f a v or of t h e o n e t h at still d o mi n at est h e wi n d o w. Wit h t his, t h e pr e di cti o n of n e w i n c o mi n g a cti viti es isd el a y e d. T h e l att er a p pr o a c h i ntr o d u c es n ois y l a b els a ff e cti n g t h ep erf or m a n c e a d v ers el y si n c e m ost of t h e i nf or m ati o n c o nt ai n e d i nt h e wi n d o w is n ot r el at e d t o t h e u p c o mi n g a cti vit y. T h e e xist e n c eof n ois y l a b els is m or e pr o n o u n c e d w h e n usi n g l o n g er wi n d o ws,as t h e o d ds of h a vi n g m or e t h a n o n e a cti vit y i n a si n gl e wi n d o w ishi g h er.

Usi n g s h ort er wi n d o ws r e d u c es t h e i n ci d e n c es of n ois y l a b elsa n d, als o i m p ort a ntl y, h el ps i n o ur g o al of h a vi n g c o n v ol uti o n all a y ers t h at l e ar n t h e i ntr a- wi n d o w t e m p or al c o nt e xt. T his is tr u eb e c a us e c o n v ol uti o n al l a y ers r el y o n t h e c o n c e pt of l o c alit y a n dh a v e di ffi c ulti es l e ar ni n g dist a nt d e p e n d e n ci es i n t h e d at a.

Wit h s h ort er sli di n g wi n d o ws, pr e di cti o ns m a y b e err o n e o usri g ht at t h e m o m e nt of tr a nsiti o n - t h at is, t h e b e gi n ni n g of a n e wa cti vit y - si n c e t h e n e ur al n et w or k m a y n ot h a v e b e e n pr es e nt e dwit h e n o u g h i nf or m ati o n t o a c c ur at el y r e c o g ni z e t h e u p c o mi n ga cti vit y. T h er ef or e, w e pr o p os e t o disr e g ar d pr e di cti o ns wit h l o wc o n fi d e n c e s c or es ( w hi c h is c al c ul at e d b y t a ki n g t h e m a xi m u m v al u e

Fi g u r e 2: N et w o r k a r c hit e ct u r e. D u ri n g i nf e r e n c e, t h e i n p utx k + n a n d, c o n s e q u e ntl y, t h e p r e di cti o n y k = y k + n a r e n otp r e s e nt.

i n t h e v e ct or o ut p ut b y t h e n et w or k). T his si g ni fi es t h at pr e di cti o ny i ,k is i g n or e d if y i ,k < P t h , wit h P t h b ei n g a h y p er- p ar a m et err ef err e d t o as t h e c o n fi d e n c e t hr es h ol d. I n a c ert ai n s e ns e, t his ise q ui v al e nt t o h a vi n g a d y n a mi c sli di n g wi n d o w, si n c e pr e di cti o nsm a y c o m e at n o n- fi x e d i nt er v als of ti m e.

We utili z e t h e us u al cr oss- e ntr o p y l oss f or tr ai ni n g t h e n et w or k.We e m p h asi z e t h at t h e tr ai ni n g, v ali d ati o n a n d t est s ets d o n’t p os-s ess o v erl a p pi n g wi n d o ws. Als o, t h e wi n d o ws c a n b e as s h ort as0. 1 s e c o n ds.

3. 2 P r e di cti o n wit h r o u g h f e at u r e s

D e n oti n g as x k a sli di n g wi n d o w at i nst a nt k a n d y k its l a b el, s u p-p os e a n a cti vit y h as b e e n pr e di ct e d wit h a hi g h c o n fi d e n c e s c or eat i nst a nt k , t h e o d ds ar e hi g h t h at s u bs e q u e nt wi n d o ws c o nt ai nt h e s a m e a cti vit y. As t h e n e ur al n et w or k c o nti n u es t o pr e di ct t hiss a m e a cti vit y a cr oss s u c c essi v e sli di n g wi n d o ws, t h e s a m e f e at ur esar e r e d u n d a ntl y e xtr a ct e d. T his l e a ds t o a mis us e of c o m p ut ati o n.

T o a d dr ess t his iss u e, w e pr o p os e a n a d diti o n al n e ur al n et w or kof l o w- c o m pl e xit y r ef err e d t o as t h e s e c o n d a r y n et w or k. D uri n gi nf er e n c e ti m e, gi v e n a wi n d o w x k , t h e m ai n n et w or k e xtr a ctsits r o u g h f e at ur es N R (x k ) w hi c h ar e c o n c at e n at e d i n t h e c h a n n eldi m e nsi o n wit h N R (x k − 1 ). T h e r es ult of t h e c o n c at e n ati o n is p ass e dt hr o u g h t h e s e c o n d ar y n et w or k t h at t ells w h et h er or n ot y k = y k − 1 .I n c as e t his is tr u e a n d t h e c o n fi d e n c e of t his pr e di cti o n is hi g h ert h a n a c ert ai n c o n fi d e n c e t hr es h ol d, fi n e- gr ai n e d f e at ur es a n d t h eirs u bs e q u e nt cl assi fi c ati o n ar e s ki p p e d. I n t h e o p p osit e c as e, t h e m ai nn et w or k N f oll o ws its e x e c uti o n u ntil t h e cl assi fi c ati o n t o o bt ai ny k . T h us, t h e s e c o n d ar y n et w or k c o nsists i n a bi n ar y cl assi fi er t h ato ut p uts 1 if y k = y k − 1 or, ot h er wis e, 0 . We d e n ot e t his n et w or k asa f u n cti o n D (·) a n d N R (x k ) as t h e r o u g h f e at ur es e xtr a ct e d b y t h em ai n n et w or k N . O n e of t h e l oss f u n cti o ns f or t h e tr ai ni n g of t h es e c o n d ar y n et w or k is gi v e n i n E q. 1.

L C E C W = −1

B − 1

B

k = 2

д k ,k − 1 l o g(д k ,k − 1 )

− ( 1 − д k ,k − 1 ) l o g(1 − д k ,k − 1 ),

( 1)

w h er e B is t h e n u m b er of wi n d o ws i n t h e tr ai ni n g s et, д k ,k − 1 =D (N R (x k ) ⊕ N R (x k − 1 )) ( h er e t h e s y m b ol ⊕ d e n ot es c o n c at e n ati o nof t h e 3 D f e at ur es al o n g t h e c h a n n el di m e nsi o n) a n d д k ,k − 1 = 1 ify k = y k − 1 or д k ,k − 1 = 0 ot h er wis e.

Tr ai ni n g t h e s e c o n d ar y n et w or k o nl y wit h L C E C W l e a ds t o abi as e d cl assi fi er, si n c e h a vi n g д k ,k − 1 = 1 is m u c h m or e c o m m o n

H ot M o bil e ’ 2 0, M ar c h 3 – 4, 2 0 2 0, A u sti n, T X, U S A Cl a yt o n Fr e d eri c k S o u z a L eit e a n d Y u Xi a o

t h a n t h e o p p osit e. T h er ef or e, t o b al a n c e t h e tr ai ni n g, w e pr o p os et o mi ni mi z e a n a d diti o n al l oss f u n cti o n ( E q. 2).

L C E R W = −1

B

B

k = 1

д k ,k + n l o g(д k ,k + n )

− ( 1 − д k ,k + n ) l o g(1 − д k ,k + n ),

( 2)

w h er e n is a n ar bitr ar y i nt e g er d e fi n e d s u c h t h at y k + n y k t ob al a n c e t h e cl assi fi c ati o n.

N at ur all y, t h e b e n e fits c o m e o nl y w h e n t h e s e c o n d ar y n et w or kpr e di cts t h at t h e s a m e a cti vit y is o c c urri n g si n c e t h e n e e d f or p er-f or mi n g m or e c o m pl e x c o m p ut ati o ns ( as t h os e i n t h e L S T M l a y er)is a v oi d e d. O v er all, si n c e c h a n g es i n a cti viti es o c c ur wit h l o w fr e-q u e n c y i n H A R, t h e us e of t h e s e c o n d ar y n et w or k h el ps t o r e d u c et h e c o m p ut ati o n al l o a d as l o n g as its c osts ar e l ess t h a n t h at ofe xtr a cti n g m or e fi n e- gr ai n e d f e at ur es a n d cl assif yi n g t h e m. T o h el pt o w ar ds t his g o al, w e d esi g n t h e s e c o n d ar y n et w or k wit h c o n v ol u-ti o ns of s h ort k er n el si z es a n d a s ol e c o n v ol uti o n al l a y er.

Fi n all y, t h e e ntir e tr ai ni n g of t h e n et w or ks ( d e pi ct e d i n Fi g. 2)c a n b e s u m m ari z e d b y mi ni mi zi n g t h e l oss f u n cti o n L = L C E +L C E C W + L C E R W , w h er e L C E is t h e us u al cr oss- e ntr o p y l oss f u n c-ti o n.

4 D at a s et s

T o e v al u at e o ur m et h o d, w e utili z e t h e P A M A P 2 [ 1 2 ] a n d O p p or-t u nit y [4 ] d at as ets. All s a m pl es i n b ot h d at as ets ar e n or m ali z e dt o z er o m e a n a n d u nit v ari a n c e. We f oll o w pr e vi o us w or ks i n t h es el e cti o n of tr ai ni n g, v ali d ati o n a n d t est s ets ( d et ail e d as f oll o ws)t o pr o vi d e m e a ns of e asil y c o m p ari n g o ur pr o p os al wit h t h eirs.P A M A P 2 . T h e P A M A P 2 d at as et c o nt ai ns 1 8 di ff er e nt p h ysi c al a c-ti viti es p erf or m e d b y 9 p arti ci p a nts w e ari n g a h e art m o nit or a n dt hr e e I M Us att a c h e d t o t h e c h est, h a n d, a n d a n kl e, r es p e cti v el y. O utof t h e 1 8 a cti viti es, 6 ar e r ar el y pr es e nt i n t h e d at a. T o a v oi d h a vi n ga h e a vil y i m b al a n c e d d at as et, o nl y t h e r e m ai ni n g 1 2 a cti viti es ar ec o nsi d er e d i n o ur e x p eri m e nts: l yi n g q ui etl y, sitti n g, st a n di n g, ir o n-i n g, v a c u u m cl e a ni n g, as c e n di n g st airs, d es c e n di n g st airs, w al ki n g,N or di c w al ki n g, bi c y cli n g, r u n ni n g, a n d r o p e j u m pi n g. T h e m e a nd ur ati o n is 1 mi n ut e f or as c e n di n g a n d d es c e n di n g st airs, 2 mi n-ut es f or r o p e j u m pi n g a n d 3 mi n ut es f or t h e r e m ai ni n g a cti viti es.Missi n g v al u es o n t h e d at a ( N a N v al u es) ar e dis c ar d e d. Als o, t h es a m pli n g r at e is d e ci m at e d fr o m 1 0 0 H z t o 3 3. 3 H z. T h e e ntir e d at afr o m s u bj e ct 5 a n d s u bj e ct 6 w er e us e d, r es p e cti v el y, f or t h e v ali-d ati o n s et a n d t h e t esti n g s et. T his e ntir e pr ot o c ol is f oll o w e d i ndi v ers e w or ks, as i n [ 7].O p p o rt u nit y . T his d at as et i n c or p or at es 1 8 kit c h e n-r el at e d a cti v-iti es (t h e m e a n d ur ati o n of t h e a cti viti es is gi v e n i n p ar e nt h e-s es): cl e a ni n g a t a bl e ( 1 0s), o p e ni n g/ cl osi n g t h e fri d g e ( 3s), o p e n-i n g/ cl osi n g t h e dis h w as h er ( 3s), o p e ni n g/ cl osi n g 3 di ff er e nt dr a w ers( 2s), o p e ni n g/ cl osi n g 2 di ff er e nt d o ors ( 4s), t o g gli n g li g hts o n a n do ff ( 1s), a n d dri n ki n g fr o m a st a n di n g a n d sitti n g p ositi o n ( 1 0s). T h ed at a c oll e cti o n w as c arri e d o ut wit h 4 p arti ci p a nts usi n g 2 3 b o d y-w or n s e ns ors. I n o ur e x p eri m e nts, t h e s a m pli n g r at e w as r e d u c e dt o 3 0 H z a n d o nl y t h e s e ns or y r e a di n gs fr o m t h e u p p er li m bs, t h eb a c k, a n d b ot h f e et w er e c o nsi d er e d ( as it w as als o d o n e i n [ 7 ]).Als o f oll o wi n g [ 7 ], t h e v ali d ati o n s et is c o m p os e d of s essi o n 1 fr o ms u bj e ct 2, w h er e as t h e t esti n g s et c o nsists of s essi o ns 2 a n d 3 fr o ms u bj e cts 4 a n d 5.

M et h o d F 1 N P A N P R T C E P D N A

P A M A P 2 d at as et

B as eli n e C N N- L S T M 0. 8 7 6 8 3. 6 5 K 3 1 4 1 3 3. 7 7 6. 1 6

C N N- L S T M S N 0. 9 1 2 5 1. 7 5 K 7 8 2 7 4. 6 0 1. 6 8

C N N- L S T M S N R 0. 8 8 2 5 3. 0 8 K 7 9 0 4 3. 9 9 2. 1 3

I n n o H A R [ 1 3] 0. 9 3 5 3 4. 9 1 M 3 1 4 1 1 8 8 7. 5 8 -

O p p ort u nit y d at as et

B as eli n e C N N- L S T M 0. 8 9 5 1 1 8. 4 6 K 7 4 1 6 3 5. 5 8 1. 0 3

C N N- L S T M S N 0. 9 5 9 8 4. 9 1 K 1 4 1 7 8 1 0. 0 7 0. 5 8

C N N- L S T M S N R 0. 8 9 3 8 7. 0 6 K 1 5 3 4 1 9. 0 6 0. 6 1

I n n o H A R [ 1 3] 0. 9 4 6 6. 2 0 M 9 8 9 0 8 7 3. 5 4 -

T a bl e 1: E x p e ri m e nt al r e s ult s. N P A, N P E a n d T C E f o r t h e I n-n o H A R m et h o d a r e a p p r o xi m ati o n s b a s e d o n t h e a r c hit e c-t u r e of t h e n et w o r k.

5 E v al u ati o n

5. 1 M et h o d s a n d h y p e r- p a r a m et e r s

We t est e d a b as eli n e C N N- L S T M n et w or k a n d v ari a nts of o urm et h o d: C N N- L S T M S N a n d C N N- L S T M S N R. T h e first v ari a nto nl y e m pl o ys b a c k pr o p a g ati o n t hr o u g h f e at ur e m a ps of pr e vi o ussli di n g wi n d o ws a n d s h ort sli di n g wi n d o ws. T h e S N R v ari a nt di ff ersfr o m t h e pr e vi o us as it als o e n c o m p ass es t h e cl assi fi c ati o n of l o n g-l asti n g a cti viti es wit h r o u g h f e at ur es. F or br e vit y, a v ari a nt of o nl yt h e a p pr o a c h of S e cti o n 3. 2 is n ot c o nsi d er e d.T h e b a s eli n e. T h e b as eli n e C N N- L S T M utili z es o v erl a p pi n g sli di n gwi n d o ws of 5. 1 2 s e c o n ds wit h 1-s e c o n d st e p si z e ( 7 8 % o v erl a p pi n g)f or P A M A P 2, w h er e as f or O p p ort u nit y t h e wi n d o ws h a v e a l e n gt hof 1 s e c o n d wit h 0. 5 s e c o n ds o v erl a p p e d ( 5 0 %). Pr e vi o us w or ks[7 , 9 , 1 0 , 1 3 ] h a v e als o us e d t h es e s etti n gs. T h e b as eli n e n et w or kc o nsists of 3 C N N l a y ers wit h 3 x 3 k er n el si z e, wit h e a c h C N N l a y erf oll o w e d b y a 2 x 2 m a x- p o oli n g l a y er. T h e o ut p ut of t h e C N N is fl at-t e n e d fr o m 3 D t o 2 D b ef or e b ei n g f e d t o t h e L S T M wit h 6 4 hi d d e nu nits. F oll o wi n g, t h er e ar e t w o F C l a y ers of 6 4 a n d C ( n u m b er ofcl ass es) n e ur o ns, r es p e cti v el y, b ef or e t h e fi n al s oft m a x l a y er.O u r m et h o d s. T h e s h ort er t h e wi n d o ws, t h e l o w er t h e m e m or yf o ot pri nt a n d c o m p ut ati o n e x p e ns e, b ut als o t h e l o n g er t h e i nt er-wi n d o w t e m p or al c o nt e xt t h at m ust b e l e ar n e d b y t h e L S T M l a y er.T h er e is a p oi nt at w hi c h f urt h er s h ort e ni n g of t h e wi n d o ws si g nif-i c a ntl y d e gr a d es t h e p erf or m a n c e d u e t o t h e i n a bilit y of t h e L S T Ml a y er i n m o d eli n g t h e l o n g er d e p e n d e n ci es it is r e q uir e d t o. We h a v ec h os e n wi n d o ws si z es of 0. 2 5 a n d 0. 1 8 s e c o n ds f or t h e P A M A P 2 a n dO p p ort u nit y d at as ets, r es p e cti v el y. T his s el e cti o n w as m a d e s ol el yai mi n g at mi ni mi zi n g t h e wi n d o w si z e wit h o ut n e g ati v e i m p a ct o nt h e v ali d ati o n p erf or m a n c e. We h a v e n ot c o nsi d er e d or i n v esti g at e dt h e e ff e ct of t h e m e a n d ur ati o n of t h e a cti viti es i n a d at as et i n t hiss el e cti o n. T h e n e ur al n et w or k h as t h e s a m e h y p er- p ar a m et ers ast h e b as eli n e, wit h t h e e x c e pti o n t h at t h e o ut p ut of t h e c o n v ol uti o nsis fl att e n e d fr o m 3 D t o 1 D b ef or e t h e L S T M l a y er. T h e c o n fi d e n c et hr es h ol d w as s et t o 0. 9. M w as s et b y tri al a n d err or t o 1 5 a n d 8 f orP A M A P 2 a n d O p p ort u nit y, r es p e cti v el y. T h e s e c o n d ar y n et w or k(i n t h e C N N- L S T M S N R v ari a nt) is c o m p os e d of o n e c o n v ol uti o n all a y er wit h 2 x 2 c o n v ol uti o ns a c c o m p a ni e d b y a m a x- p o oli n g l a y erof 2 x 2 k er n el si z e. T h e o ut p ut is fl att e n e d t o 1 D b ef or e a n F C l a y erwit h s oft m a x t h at o ut p uts 2 r e al n u m b ers. Als o f or t h e s e c o n d ar y

H ot M o bil e ’ 2 0, M ar c h 3 – 4, 2 0 2 0, A u sti n, T X, U S A

n et w or k, t h e c o n fi d e n c e t hr es h ol d w as s et t o 0. 9 5. I n o ur m et h o ds,o nl y t h e tr ai ni n g s et is s e g m e nt e d i nt o o v erl a p pi n g wi n d o ws. E a c hwi n d o w h as 7 8 % a n d 5 0 % o v erl a p p e d wit h t h e pr e vi o us o n e f or t h eP A M A P 2 a n d O p p ort u nit y d at as ets, r es p e cti v el y.We us e d v ar yi n g l e ar ni n g r at es fr o m 1 e- 4 t o 5 e- 4 wit h A d a m o p-ti mi z ati o n al g orit h m. T h e c o d e w as writt e n i n P yt h o n 3 wit h t h eTe ns or fl o w 1. 1 2.

5. 2 M et ri c s

I n o ur e x p eri m e nts, w e m e as ur e d 5 di ff er e nt c h ar a ct eristi cs d e-s cri b e d b el o w.F 1- S c o r e ( F 1). T h e F 1- S c or e is a m or e m e a ni n gf ul p erf or m a n c em etri c t h a n t h e a c c ur a c y w h e n d e ali n g wit h i m b al a n c e d d at as ets,as it is us u all y t h e c as e i n H A R.N u m b e r o f p a r a m et e r s ( N P A). T h e t ot al n u m b er of p ar a m et ers( w ei g hts a n d bi as es) i n t h e n e ur al n et w or k.N u m b e r o f p r e di cti o n s ( N P R). T h e t ot al n u m b er of pr e di cti o nso v er t h e e ntir e t est s et. F or t h e S N a n d S N R v ari a nts, pr e di cti o nsar e dis c ar d e d if t h e c o n fi d e n c e l e v el is b el o w t h e c o n fi d e n c e t hr es h-ol d. T h es e dis c ar d e d pr e di cti o ns ar e n ot c o u nt e d t o t h e n u m b er ofpr e di cti o ns, h o w e v er, t h eir c o m p ut ati o n c ost is c o u nt e d t o t h e t ot alc o m p ut ati o n al e ff ort.T ot al c o m p ut ati o n al e ff o rt ( T C E). T ot al c o m p ut ati o n al e x p e ns e(i n G F L O Ps) i n pr e di cti n g a cti viti es o n t h e e ntir e t est s et.P r e di cti o n d el a y of n e w a cti viti e s ( P D N A). T h e a v er a g e n u m-b er of s e c o n ds of d at a n e e d e d t o a c c ur at el y pr e di ct a n e w a cti vit yo n c e it h as st art e d. It is c o u nt e d fr o m t h e m o m e nt t h e n e w a cti vit yis st art e d u p t o t h e m o m e nt w h e n it is a c c ur at el y pr e di ct e d.

W hil e t h e e x e c uti o n ti m e a n d e n er g y c o ns u m pti o n of a d e e pn e ur al n et w or k d o n ot s ol el y d e p e n d o n its n u m b er of p ar a m et ersa n d t ot al F L O Ps, t h es e m e as ur es c a n still b e us e d as r e as o n a bl yg o o d i n di c at ors f or t his p ur p os e.

5. 3 Di s c u s si o n

T a bl e 1 pr es e nts t h e r es ults of t h e d es cri b e d m et h o ds f or b ot hd at as ets. We als o i n cl u d e I n n o H A R [ 1 3 ] t h at c urr e ntl y r a n ks o n t h et o p of H A R b e n c h m ar ks f or t h e s a m e d at as ets.C N N- L S T M B a s eli n e v s. C N N- L S T M S N . Si g ni fi c a nt c o m p ut a-ti o n al e ff ort c a n b e s p ar e d b y l e ar ni n g i nt er- wi n d o w t e m p or al c o n-t e xt vi a a n L S T M l a y er i nst e a d of r es orti n g t o o v erl a p pi n g wi n d o ws.S h ort e ni n g t h e sli di n g wi n d o ws c o nsi d er a bl y d e cr e as es t h e n u m b erof n et w or k p ar a m et ers of t h e L S T M l a y er, as t h e i n p ut di m e nsi o n-alit y of t h e i n p ut of t h e L S T M l a y er als o d e cr e as es. Als o, w e o bt ai nt h e b e n e fit of s h ort er d el a ys i n r e c o g ni zi n g n e w a cti viti es. T h eC N N- L S T M S N o nl y o ut p uts pr e di cti o ns w h os e c o n fi d e n c e l e v el isa b o v e t h e d et er mi n e d c o n fi d e n c e t hr es h ol d. Cl ass es t h at ar e h ar d ert o b e pr e di ct e d ar e pr e di ct e d l ess oft e n t h a n t h e e asi er o n es si n c er e a c hi n g a hi g h e n o u g h c o n fi d e n c e l e v el f or t h e h ar d er cl ass esr e q uir es m or e d at a. T his r es ults i n a n i n cr e as e d p erf or m a n c e s c or e.C N N- L S T M S N v s. C N N- L S T M S N R . It is p ossi bl e t o t a k e a d v a n-t a g e of r o u g h f e at ur es t o pr e di ct l o n g-l asti n g a cti viti es. N at ur all y,t h e n u m b er of p ar a m et ers i n cr e as es wit h t h e a d diti o n of t h e s e c-o n d ar y n e ur al n et w or k, h o w e v er, t his als o l e a ds t o a f airl y s u bst a n-ti al r e d u cti o n i n c o m p ut ati o ns si n c e t h e L S T M l a y er is s ki p p e d o ns e v er al o c c asi o ns. Pr e di cti o ns ar e s e e n m or e oft e n as t h e s e c o n d ar yn et w or k o ut p uts pr e di cti o ns wit h c o n fi d e n c e a b o v e t h e t hr es h ol d

wit h o ut di ffi c ult y, as a bi n ar y cl assi fi c ati o n pr o bl e m is us u all y si m-pl er t h a n a m ulti cl ass pr o bl e m. T h e p erf or m a n c e, h o w e v er, s u ff ersa n e g ati v e i m p a ct, i n s p e ci al f or t h e O p p ort u nit y d at as et, w h os ea cti viti es l ast l ess t h a n 1 0s.O u r m et h o d v s. I n n o H A R . O ur m et h o d - eit h er t h e S N or S N Rv ari a nt - p oss ess es a m assi v el y f e w er n u m b er of p ar a m et ers a n dr e d u c es c o m p ut ati o n al e x p e ns e. P erf or m a n c e- wis e, o ur m et h o d isa bl e t o r a n k hi g h er ( wit h t h e S N v ari a nt) i n t h e O p p ort u nit y d at as et,w hil e h a vi n g si mil ar F 1-s c or e f or P A M A P 2. T h e P D N A m etri c f orI n n o H A R w as n ot c al c ul at e d, h o w e v er, it s h o ul d b e n e ar t h e b as eli n eas l o n g o v erl a p pi n g sli di n g wi n d o ws ar e als o us e d i n I n n o H A R.We b eli e v e t h at c o m bi ni n g eit h er of t h e m et h o ds pr o p os e d h er ewit h t h e i n c e pti o n-li k e str u ct ur e of t h e C N N l a y ers of I n n o H A Rc o ul d bri n g e v e n b ett er p erf or m a n c e wit h m u c h-i m pr o v e d r es o ur c ee ffi ci e n c y.

A d diti o n al r es o ur c e e ffi ci e n c y c o ul d b e g ai n e d b y utili zi n g dif-f er e nt l e v els of f e at ur es f or pr e di cti n g di ff er e nt a cti viti es. R o u g h erf e at ur es c o ul d b e us e d t o pr e di ct e as y-t o- pr e di ct a cti viti es, w hil em or e fi n e- gr ai n e d f e at ur es w o ul d b e us e d f or t h e h ar d er o n es.

We w o ul d als o li k e t o i n v esti g at e t o w h at e xt e nt o ur m et h o dsc a n i m pr o v e r es o ur c e e ffi ci e n c y o n a ct u al e m b e d d e d d e vi c es, b ye v al u ati n g t h e e ff e cts o n C P U a n d m e m or y s e p ar at el y, i nst e a d ofc o u nti n g o nl y t h e n u m b er of p ar a m et ers a n d t h e t ot al F L O Ps d ur-i n g i nf er e n c e. Fi n all y, w e ar e i nt er est e d i n c o m p ari n g o ur m et h o dwit h c o n v e nti o n al c o m pr essi o n m et h o ds a n d e v e n fi n di n g w a ys t oc o m bi n e t h e m f or a f urt h er i n cr e as e i n r es o ur c e e ffi ci e n c y.

6 C o n cl u si o n s

We h a v e s e e n t h at t h e m ost c o m m o n a p pr o a c h i n H A R is t o us e l o n ga n d fi x e d-si z e o v erl a p pi n g sli di n g wi n d o ws, w hi c h a ff e cts n e g a-ti v el y r es o ur c e e ffi ci e n c y. B y st u d yi n g t h e o v erl o o k e d r e d u n d a n ci esof t his a p pr o a c h, w e pr o p os e d t o us e s h ort n o n- o v erl a p pi n g sli di n gwi n d o ws a n d t o s ki p fi n e- gr ai n e d f e at ur es d uri n g l o n g-l asti n g a c-ti viti es. We us e a C N N- L S T M n e ur al n et w or k, w h os e L S T M l a y eris tr ai n e d t o l e ar n i nt er- wi n d o w t e m p or al c o nt e xt ( dr o p pi n g t h en e e d f or o v erl a p pi n g wi n d o ws) a n d t h e C N N l a y ers ar e d esi g n at e dt o l e ar n s p ati al a n d i ntr a- wi n d o w t e m p or al c o nt e xt. Wit h t his, o urpr o p os al is a bl e t o o bt ai n u p t o 3 5 % l ess n u m b er of p ar a m et ers i nt h e n et w or k a n d 8 x l ess c o m p ut ati o n wit h r es p e ct t o a b as eli n e,w hil e m ai nt ai ni n g hi g h p erf or m a n c e a n d pr e di cti n g n e w a cti viti esas s o o n as p ossi bl e. I n s u m m ar y, o ur pr o p os al d eli v ers c o m p ar a bl ep erf or m a n c e wit h t h e st at e- of-t h e- art w hil e b ei n g gr e atl y i m pr o v e di n t er ms of r es o ur c e e ffi ci e n c y.

A c k n o wl e d g m e nt s

T his w or k w as f u n d e d b y B usi n ess Fi nl a n d ( gr a nt N o. 1 6 6 0/ 3 1/ 2 0 1 8)a n d t h e E ur o p e a n U ni o n’s H ori z o n 2 0 2 0 R es e ar c h a n d I n n o v ati o nPr o gr a m m e ( gr a nt N o. 7 7 7 2 2 2).

R ef e r e n c e s

[ 1] C. Ali p pi, S. Dis a b at o, a n d M. R o v eri. 2 0 1 8. M o vi n g C o n v ol uti o n al N e ur al N et-w or ks t o E m b e d d e d S yst e ms: T h e Al e x n et a n d V G G- 1 6 C as e. I n I P S N ’ 1 8 ( P ort o,P ort u g al). I E E E Pr ess, Pis c at a w a y, NJ, U S A, 2 1 2 – 2 2 3.

[ 2] M. Ali z a d e h a n d N. D. L a n e. 2 0 1 8. Usi n g Pr e-tr ai n e d F ull- Pr e cisi o n M o d els t oS p e e d U p Tr ai ni n g Bi n ar y N et w or ks F or M o bil e D e vi c es. I n M o bi S ys ’ 1 8 ( M u ni c h,G er m a n y). A C M, N e w Y or k, N Y, U S A, 5 2 8 – 5 2 8.

H ot M o bil e ’ 2 0, M ar c h 3 – 4, 2 0 2 0, A u sti n, T X, U S A Cl a yt o n Fr e d eri c k S o u z a L eit e a n d Y u Xi a o

[ 3] J. C h a u h a n, J. R aj as e g ar a n, S. S e n e vir at n e, A. Misr a, A. S e n e vir at n e, a n d Y. L e e.2 0 1 8. P erf or m a n c e C h ar a ct eri z ati o n of D e e p L e ar ni n g M o d els f or Br e at hi n g-b as e d A ut h e nti c ati o n o n R es o ur c e- C o nstr ai n e d D e vi c es. 2 0 1 8 A C M I M W U T 2, 4,Arti cl e 1 5 8 ( D e c. 2 0 1 8), 2 4 p a g es.

[ 4] R. C h a v arri a g a, H. S a g h a, A. C al atr o ni, S. T. Di g u m arti, G. Tr öst er, J. d el R. Mill á n,a n d D. R o g g e n. 2 0 1 3. T h e O p p ort u nit y c h all e n g e: A b e n c h m ar k d at a b as e f oro n- b o d y s e ns or- b as e d a cti vit y r e c o g niti o n. P att er n R e c o g niti o n L ett ers 3 4, 1 5( 2 0 1 3), 2 0 3 3 – 2 0 4 2.

[ 5] M. E d el a n d E. K ö p p e. 2 0 1 6. Bi n ari z e d- B L S T M- R N N b as e d H u m a n A cti vit yR e c o g niti o n. I n I PI N’ 1 6. 1 – 7.

[ 6] B. F a n g, X. Z e n g, a n d M. Z h a n g. 2 0 1 8. N est D N N: R es o ur c e- A w ar e M ulti- Te n a ntO n- D e vi c e D e e p L e ar ni n g f or C o nti n u o us M o bil e Visi o n. I n M o bi C o m ’ 1 8 ( N e wD el hi, I n di a). A C M, 1 1 5 – 1 2 7.

[ 7] Y. G u a n a n d T. Pl öt z. 2 0 1 7. E ns e m bl es of D e e p L S T M L e ar n ers f or A cti vit yR e c o g niti o n Usi n g We ar a bl es. Pr o c. A C M I nt er act. M o b. We ar a bl e U bi q uit o usTe c h n ol. 1, 2, Arti cl e 1 1 (J u n e 2 0 1 7), 2 8 p a g es.

[ 8] N. D. L a n e, S. B h att a c h ar y a, A. M at h ur, C. F orli v esi, a n d F. K a ws ar. 2 0 1 6. D X T K:E n a bli n g R es o ur c e- e ffi ci e nt D e e p L e ar ni n g o n M o bil e a n d E m b e d d e d D e vi c eswit h t h e D e e p X T o ol kit. I n M o bi C A S E’ 1 6 . 9 8 – 1 0 7.

[ 9] J. L o n g, W. S u n, Z. Y a n g, O. I. R a y m o n d, a n d B. Li. 2 0 1 9. D u al R esi d u al N et-w or k f or A c c ur at e H u m a n A cti vit y R e c o g niti o n. C o R R a bs/ 1 9 0 3. 0 5 3 5 9 ( 2 0 1 9).ar Xi v: 1 9 0 3. 0 5 3 5 9

[ 1 0] F. J. Or d ó ñ e z a n d D. R o g g e n. 2 0 1 6. D e e p C o n v ol uti o n al a n d L S T M R e c urr e ntN e ur al N et w or ks f or M ulti m o d al We ar a bl e A cti vit y R e c o g niti o n. S e ns ors 1 6, 1( 2 0 1 6).

[ 1 1] D. R a vi, C. W o n g, B. L o, a n d G. Y a n g. 2 0 1 6. D e e p l e ar ni n g f or h u m a n a cti vit yr e c o g niti o n: A r es o ur c e e ffi ci e nt i m pl e m e nt ati o n o n l o w- p o w er d e vi c es. I n 2 0 1 6I E E E B S N. 7 1 – 7 6.

[ 1 2] A. R eiss a n d D. Stri c k er. 2 0 1 2. I ntr o d u ci n g a N e w B e n c h m ar k e d D at as et f orA cti vit y M o nit ori n g. I n I S W C’ 1 6. 1 0 8 – 1 0 9.

[ 1 3] C. X u, D. C h ai, J. H e, X. Z h a n g, a n d S. D u a n. 2 0 1 9. I n n o H A R: A D e e p N e ur alN et w or k f or C o m pl e x H u m a n A cti vit y R e c o g niti o n. I E E E Acc ess 7 ( 2 0 1 9), 9 8 9 3 –9 9 0 2.

[ 1 4] S. Y a o, Y. Z h a o, H. S h a o, S. Li u, D. Li u, L. S u, a n d T. A b d el z a h er. 2 0 1 8. F ast D e e pI o T:T o w ar ds U n d erst a n di n g a n d O pti mi zi n g N e ur al N et w or k E x e c uti o n Ti m e o nM o bil e a n d E m b e d d e d D e vi c es. I n S e ns ys ’ 1 8 ( S h e n z h e n, C hi n a). A C M, N e w Y or k,N Y, U S A, 2 7 8 – 2 9 1.