Ultra-low-power auditoryprocessing in

real-time

1

C C - B Y - S A 2 0 1 8 a i C T X A G

W e i n b e r g s t r a s s e 1 6 1 , 8 0 0 6 Z ü r i c h , S w i t z e r l a n d

2

C o n s u m e r s e x p e c t h i g h l e v e l s o f r e s p o n s i v e n e s s f r o m t h e i r

d e v i c e s . O u r u l t r a - l o w - p o w e r n e u r o m o r p h i c a u d i t o r y p r o -

c e s s i n g t e c h n o l o g y e n a b l e s a l w a y s - o n s p e e c h a n d k e y -

w o r d d e t e c t i o n , w i t h v e r y l o w l a t e n c i e s .

P r o v i d e r e a l - t i m e r e s p o n s i v e n e s s f o r y o u r d e v i c e s , b y u s i n g

i n t e l l i g e n t w a k e - u p a n d c o m m a n d s i g n a l s p r o v i d e d b y o u r

n e u r o m o r p h i c p r o c e s s o r s .

U l t r a - l o w - p o w e r m e a n s l o n g b a t t e r y l i f e , w i t h o u t c o m p r o -

m i s i n g o n d e v i c e i n t e l l i g e n c e .

3

Contents

R e a l - t i m e a u d i t o r y p r o c e s s i n g u s i n g u l t r a - l o w - p o w e r N e u r o m o r -

p h i c d e v i c e s 7

A p p l i c a t i o n : R e a l - t i m e d e t e c t i o n o f s p o k e n v o w e l s 1 5

T e c h n o l o g y : N e u r o m o r p h i c E n g i n e e r i n g 1 7

T e c h n o l o g y :

“ R e s e r v o i r c o m p u t i n g ” 2 1

A b o u t a i C T X 2 3

a i C T X t e c h n o l o g y 2 4

K e y p e r s o n n e l 2 7

F o r w a r d - l o o k i n g s t a t e m e n t s d i s c l a i m e r 3 0

I m a g e c r e d i t s 3 1

5

R e a l - t i m e

k e y w o r d a n d

s p e e c h d e t e c t i o n ,

f o r m o b i l e a n d

e m b e d d e d

a p p l i c a t i o n s

Real-time auditoryprocessing usingultra-low-powerNeuromorphic devicesa i C T X i s b u i l d i n g s o l u t i o n s f o r a u d i t o r y s i g n a l p r o c e s s i n g b a s e d o n

o u r n e u r o m o r p h i c p r o c e s s o r s . W e d e s i g n s y s t e m s t u n e d f o r h u m a n

s p e e c h , t h a t o p e r a t e i n r e a l t i m e w i t h l o w l a t e n c i e s , a n d a t u l t r a l o w

p o w e r .

W e w i l l p r o v i d e m o d u l e s t h a t a c c e p t d i r e c t i n p u t f r o m a n a l o g a n d

d i g i t a l m i c r o p h o n e s ( P D M ) . S i m u l t a n e o u s m u l t i - c h a n n e l p r o c e s s i n g i s

s u p p o r t e d n a t i v e l y .

S y s t e m s b u i l t a r o u n d o u r s o l u t i o n w i l l p r o v i d e a l w a y s - o n , l o w - l a t e n c y

r e s p o n s i v e n e s s t o h u m a n s p e e c h . D e s i g n e d f o r k e y w o r d d e t e c t i o n ,

s p e a k e r r e c o g n i t i o n , a n d h u m a n s p e e c h d e t e c t i o n , o u r m o d u l e s p r o -

v i d e s m a r t w a k e - u p s i g n a l s f o r p o w e r - o n o r t o r e q u e s t f u r t h e r p r o -

c e s s i n g b y h i g h e r - p o w e r e d s u b s y s t e m s .

7

H u m a n s p e e c h d e t e c t i o n

B u i l d s y s t e m s t h a t a r e s e n s i t i v e t o h u m a n s p e e c h . P o w e r e d b y o u r

n e u r o m o r p h i c p r o c e s s o r s , w e e n a b l e r e a l - t i m e r e s p o n s i v e n e s s t o

h u m a n s p e e c h , a t u l t r a l o w p o w e r .

T r a i n e d t o r e j e c t b a c k g r o u n d n o i s e , w e d e l i v e r a s m a r t w a k e - u p s i g n a l

t o p o w e r u p s p e e c h p r o c e s s i n g h a r d w a r e , o r t o s e n d r e c o r d i n g s t o

t h e c l o u d f o r f u r t h e r a n a l y s i s .

S p e a k e r r e c o g n i t i o n

O u r n e u r o m o r p h i c s o l u t i o n f o r a u d i t o r y p r o c e s s i n g s u p p o r t s s e n s i t i v i t y

t o s p e a k e r i d e n t i t y . D e s i g n l o w p o w e r s y s t e m s t h a t r e c o g n i s e a d e s i r e d

s p e a k e r , u s i n g a l w a y s - o n n e u r o m o r p h i c t e c h n o l o g y .

8

R e a l - t i m e

d e t e c t i o n o f

h u m a n s p e e c h ,

r e j e c t i n g

b a c k g r o u n d n o i s e

F l e x i b l e ,

l o w - p o w e r

k e y w o r d d e t e c t i o n

f o r m o b i l e d e v i c e s

K e y w o r d d e t e c t i o n

B u i l d m o b i l e a n d e m b e d d e d d e v i c e s t h a t r e s p o n d t o s p o k e n c o m -

m a n d s , w i t h o u t c o m p r o m i s i n g o n b a t t e r y l i f e . O u r s y s t e m s o p e r a t e

a t u t r a - l o w - p o w e r i n a c t i v e m o d e , e n a b l i n g a l w a y s - o n k e y w o r d d e -

t e c t i o n .

O u r s o l u t i o n s a r e h i g h l y c u s t o m i s a b l e . Y o u c a n p r o v i d e c o m p l e t e l y

p r e - t r a i n e d k e y w o r d d e t e c t i o n , o r p e r m i t f u r t h e r c u s t o m i s a t i o n b y

t h e e n d u s e r .

D e s i g n m o b i l e s y s t e m s w i t h b u i l t i n “ w a k e ” c o m m a n d s , o r r e c o g n i s e

a s e t o f d e fi n e d k e y w o r d s f o r fl e x i b l e s p o k e n c o m m a n d s .

1 1

L i s t e n i n g t o s p e e c h l i k e t h e h u m a n e a r

T h e h u m a n c o c h l e a p e r f o r m s a b i o l o g i c a l F o u r i e r t r a n s f o r m o f i n -

c o m i n g s o u n d w a v e s , b y s e p a r a t i n g o u t f r e q u e n c y c o m p o n e n t s o f

s o u n d . S p e c i a l i s e d n e r v e c e l l s t r a n s d u c e t h e v i b r a t i o n s o f t h e b a s i -

l a r m e m b r a n e i n t o v o l t a g e i m p u l s e s c a l l e d s p i k e s . T h e r e s u l t i s t o

e n c o d e s o u n d s a s m u l t i p l e p a r a l l e l s t r e a m s o f e v e n t s , e a c h c a r r y i n g

i n f o r m a t i o n a b o u t a s m a l l s e t o f i n p u t f r e q u e n c i e s .

O u r a p p r o a c h i s s i m i l a r — a s e r i e s o f t u n e d fi l t e r s s p a n t h e f r e q u e n c y

r a n g e o f h u m a n s p e e c h , i n t h e s a m e w a y a s t h e c o c h l e a . T h e e n e r g y

i n t h e s e f r e q u e n c y b a n d s i s c o n v e r t e d t o t r a i n s o f e v e n t s , f o r f u r t h e r

p r o c e s s i n g b y o u r n e u r o m o r p h i c d e v i c e s .

1 2

D e v i c e s t h a t l i s t e n

j u s t l i k e w e d o

Application: Real-timedetection of spoken vowelsa i C T X h a s d e v e l o p e d a p r o o f - o f - c o n c e p t f o r u l t r a - l o w - p o w e r a n a l y s i s

o f E n g l i s h v o w e l s , u s i n g o u r n e u r o m o r p h i c a r c h i t e c t u r e s . A n a l o g a u d i o

s i g n a l s a r e p r o c e s s e d b y a n e t w o r k o f s p i k i n g n e u r o n s i m p l e m e n t e d

i n c u s t o m s i l i c o n . O n e s p e c i fi c v o w e l i s i d e n t i fi e d i n r e a l t i m e . O u r

s y s t e m r a i s e s a t r i g g e r s i g n a l w h e n t h e v o w e l i s d e t e c t e d .

Reservoir of low-powerspiking neurons

Output signal indicating detection of target vowel

Event-basedlinear readout

Audio input

Signal to event conversion

Band-pass filters in cascade with

spiking neurons

T h e a r c h i t e c t u r e o f o u r p r o o f - o f - c o n c e p t v o w e l d e t e c t i o n . T h e a u d i o s i g n a l

i s p a s s e d t h r o u g h a b a n d p a s s fi l t e r b a n k a n d s i n g l e n e u r o n s i n o r d e r t o b e

t r a n s f o r m e d i n t o s p i k e s . T h e n t h e s p i k e s a r e p r o c e s s e d b y a r e s e r v o i r o f

2 5 6 s p i k i n g n e u r o n s . D e t e c t i o n i s a c h i e v e d b y t r a i n i n g o u t p u t s t o d e t e c t a

p a r t i c u l a r v o w e l .

1 5

200 ms

0

256

Neu

ron

#

Target vowelAudio input

Reservoir spikes

Reservoir output

Target vowel

Target outputReservoir outputDetection thresh.

256

Neu

ron

#

Reservoir spikes0

4kHz

Freq

. (H

z)

Audio spectrum

V o w e l d e t e c t i o n u s i n g a u d i t o r y - t o - s p i k e e n c o d i n g a n d r e s e r v o i r c o m p u t i n g ,

i n a s p i k i n g n e t w o r k . T a r g e t v o w e l s a r e s u c c e s s f u l l y d e t e c t e d ; n o n - t a r g e t

v o w e l s a r e i g n o r e d .

I m p l e m e n t a t i o n

A u d i o s i g n a l s a r e p r o c e s s e d t h r o u g h a 2 5 6 - c h a n n e l fi l t e r b a n k , w h e r e

e a c h c h a n n e l c o n n e c t s t o a s p i k i n g n e u r o n . I f a s i g n a l c o n t a i n s s u ffi -

c i e n t e n e r g y i n a p a r t i c u l a r f r e q u e n c y b a n d t h e n t h e c o r r e s p o n d i n g

n e u r o n fi r e s . T h e s p i k i n g e v e n t s a r e s e n t a s i n p u t t o a r e s e r v o i r o f

a 2 5 6 s p i k i n g n e u r o n s . V a r i a t i o n s i n t h e a u d i o s i g n a l a r e a n a l y s e d

b y t h e n e t w o r k , w h i c h c o l l e c t i v e l y p r o d u c e s a n o u t p u t s i g n a l . W e

t r a i n t h e o u t p u t s i g n a l t o i d e n t i f y t h e p r e s e n c e o f a v o w e l b y c r o s s i n g

a t h r e s h o l d , a n d r a i s e a t r i g g e r - l i k e e v e n t w h e n t h e t a r g e t v o w e l i s

p r e s e n t i n t h e i n p u t s i g n a l .

1 6

Technology:NeuromorphicEngineeringN e u r o m o r p h i c m e a n s l i t e r a l l y “ l i k e t h e b r a i n ” . a i C T X i s d e v e l o p i n g

n e w c l a s s e s o f c o m p u t i n g d e v i c e s t h a t m a k e u s e o f t h e i n c r e d i b l e

p o w e r e ffi c i e n c y a n d r e a l - t i m e c a p a b i l i t y o f n e u r a l t i s s u e .

W e d e s i g n c u s t o m c h i p s t h a t u s e t h e p h y s i c a l p r o p e r t i e s o f s i l i c o n t o e f -

fi c i e n t l y e m u l a t e t h e b e h a v i o u r o f n e r v e c e l l s . O u r n e u r o n s r e c e i v e a n d

t r a n s m i t s i g n a l s u s i n g b r i e f v o l t a g e p u l s e s , t h e s a m e c o m m u n i c a t i o n

t e c h n i q u e u s e d i n m a m m a l i a n b r a i n s . S i l i c o n s y n a p s e s ( c o n n e c t i o n s

b e t w e e n n e u r o n s ) m i m i c t h e c h e m i c a l t r a n s m i s s i o n o f i n f o r m a t i o n

b e t w e e n n e u r o n s i n l i v e t i s s u e .

W e c o n n e c t o u r e m u l a t e d n e u r o n s i n t o c o m m u n i c a t i n g n e t w o r k s , t h a t

a r e c o n fi g u r e d t o p r o c e s s i n f o r m a t i o n i n r e a l t i m e .

B e n e fi t s

B e c a u s e o u r n e u r o n s a r e e m u l a t e d u s i n g t h e p h y s i c a l p r o p e r t i e s o f

s i l i c o n , t h e y r e q u i r e v e r y l i t t l e p o w e r t o o p e r a t e . O u r D y n a p - s e c h i p s

c a n o p e r a t e f o r s e v e r a l m o n t h s o n a s i n g l e A A b a t t e r y .

1 7

W e d i s t r i b u t e t h e s t o r a g e o f m e m o r y a l o n g s i d e t h e s i l i c o n n e u r o n s ,

w i t h t h e r e s u l t t h a t c o m p a r a t i v e l y l e s s d a t a m u s t b e s h u ffl e d t h r o u g h

o u r c h i p s , c o m p a r e d w i t h a c l a s s i c a l C P U o r G P U - b a s e d i m p l e m e n t a -

t i o n . T h i s f u r t h e r r e d u c e s t h e e n e r g y r e q u i r e m e n t s o f o u r h a r d w a r e .

O u r h a r d w a r e c o m m u n i c a t e s t h r o u g h e v e n t s , i n r e a l t i m e . I n f o r m a t i o n

i s p r o c e s s e d i m m e d i a t e l y w h e n i t a r r i v e s , u s i n g t h e t i m i n g o f a n i n p u t

e v e n t t o d i r e c t l y r e p r e s e n t t h e t i m e a t w h i c h t h e e v e n t o c c u r s . T h i s

p r o v i d e s t h r e e b e n e fi t s :

• W h e n n o i n p u t i s p r e s e n t , n o e n e r g y - w a s t i n g c o m p u t a t i o n o c c u r s

• P r o c e s s i n g o f i n f o r m a t i o n i s n o t d e l a y e d . I n t r a d i t i o n a l f r a m e -

b a s e d i m a g e p r o c e s s i n g , i n c o m p a r i s o n , e v e n t s c a n o n l y b e

p r o c e s s e d o n c e a n e n t i r e f r a m e h a s b e e n a c q u i r e d .

• O u r s o l u t i o n s p r o c e s s d a t a i n r e a l t i m e — n o s l o w e r , n o f a s t e r .

A s a r e s u l t , o u r h a r d w a r e i s d e s i g n e d t o i n t e r f a c e d i r e c t l y w i t h

t h e r e a l w o r l d .

D i ff e r e n c e s f r o m C P U / G P U s i m u l a t i o n

N e t w o r k s o f n e u r o n s c a n b e s i m u l a t e d u s i n g t r a d i t i o n a l v o n N e u m a n n

p r o c e s s o r s — t h e s a m e C P U s t h a t a r e i n e v e r y c o m p u t e r a n d e v e r y

1 8

p h o n e . S t a n d a r d p r o c e s s o r s a r e o f c o u r s e h i g h l y fl e x i b l e , g e n e r a l -

p u r p o s e c o m p u t i n g d e v i c e s , b u t t h a t fl e x i b i l i t y m a k e s t h e m l e s s e ffi -

c i e n t i n s i m u l a t i n g n e t w o r k s o f n e u r o n s . T h i s i s e s p e c i a l l y t r u e w h e n

o n e c o n s i d e r s t h e m a s s i v e p a r a l l e l i s m i n n e t w o r k s o f n e u r o n s ; C P U s

a r e a v a i l a b l e w i t h m u l t i p l e c o r e s , a n d u s u a l l y i m p l e m e n t s o m e s m a l l -

s c a l e p a r a l l e l i s m , b u t f o r l a r g e n e t w o r k s o f n e u r o n s C P U s m u s t s e -

q u e n t i a l l y s i m u l a t e p o r t i o n s o f t h e n e t w o r k i n t u r n .

“ O u r n e u r o m o r p h i c

s o l u t i o n s a r e o p t i m a l f o r

m o b i l e a n d a u t o n o m o u s

d e v i c e s , w h e r e e n e r g y

u s a g e m u s t b e k e p t a s l o w

a s p o s s i b l e ”

T h e u s e o f G P U s f o r s i m u l a t i n g n e u r a l n e t w o r k s h a s

i n r e c e n t y e a r s l e d t o t h e c o m m e r c i a l i s a t i o n o f d e e p

l e a r n i n g — m a n y - l a y e r e d n e u r a l n e t w o r k s c a n n o w b e

t r a i n e d a n d s i m u l a t e d i n r e a s o n a b l e t i m e s . H o w e v e r ,

t h e e n e r g y u s a g e r e q u i r e d t o t r a i n t h e s e a r c h i t e c t u r e s

i s i n c r e a s i n g e x p o n e n t i a l l y (openai.com) . T h e m a s -

s i v e l y p a r a l l e l a r c h i t e c t u r e o f G P U s a n d T P U s ( T e n s o r

P r o c e s s i n g U n i t s ) m a k e s t h e m w e l l m a t c h e d f o r s i m -

u l a t i n g f e e d f o r w a r d n e u r a l n e t w o r k s . N e v e r t h e l e s s ,

G P U a r c h i t e c t u r e s a r e d e s i g n e d f o r g e n e r a l - p u r p o s e c o m p u t a t i o n ,

a n d s o c a n n o t r e a c h t h e e ffi c i e n c y o f s p e c i a l - p u r p o s e n e u o m o r p h i c

h a r d w a r e f o r s i m u l a t i n g n e u r o n s .

T h e s i m u l a t i o n r a t e f o r C P U / G P U s o l u t i o n s u s u a l l y s c a l e s w i t h n e t w o r k

c o m p l e x i t y , w i t h t h e r e s u l t t h a t t h e s e a r c h i t e c t u r e s a r e d i ffi c u l t t o m a t c h

t o r e a l - t i m e p r o c e s s i n g . C P U / G P U s o l u t i o n s a r e a g o o d m a t c h f o r

a p p l i c a t i o n s w h e r e s m a l l e n e r g y b u d g e t s a n d r e a l - t i m e o p e r a t i o n a r e

n o t r e q u i r e d . O u r n e u r o m o r p h i c s o l u t i o n s a r e o p t i m a l f o r m o b i l e a n d

a u t o n o m o u s d e v i c e s , w h e r e e n e r g y u s a g e m u s t b e k e p t a s l o w a s

p o s s i b l e . O u r t e c h n o l o g i e s a r e a l s o i d e a l l y s u i t e d t o r e a l - t i m e s i g n a l

p r o c e s s i n g , e s p e c i a l l y o n d a t a t h a t i s f u n d a m e n t a l l y e v e n t - b a s e d .

1 9

Technology:“Reservoir computing”

R e s e r v o i r c o m p u t i n g i s a m e t h o d f o r u s i n g p o p u l a t i o n s o f s i m u l a t e d

n e r v e c e l l s ( n e u r o n s ) , t o e x t r a c t d e s i r e d i n f o r m a t i o n f r o m a s i g n a l . I n

o u r c a s e , t h e s i g n a l s a r e e i t h e r v e r y s i m p l e ( e . g . a r e c o r d i n g f r o m a

s i n g l e v i b r a t i o n s e n s o r ) o r s l i g h t l y m o r e c o m p l e x ( s i m u l t a n e o u s r e c o r d -

i n g s f r o m t w o o r m o r e E C G e l e c t r o d e s ) . O u r a p p r o a c h i s d e s i g n e d f o r

t h e s e s p a t i a l l y “ l o w - d i m e n s i o n a l ” i n p u t s , r a t h e r t h a n h i g h l y c o m p l e x

s i g n a l s s u c h a s a v i d e o s t r e a m — w e u s e o t h e r n e t w o r k a r c h i t e c t u r e s

f o r t h e s e “ h i g h - d i m e n s i o n a l ” d a t a .

A s i g n a l i s p a s s e d t o a p o p u l a t i o n o f s e v e r a l h u n d r e d s i m u l a t e d n e u -

r o n s ( t h e r e s e r v o i r ) , w h i c h a r e c o n n e c t e d t o e a c h o t h e r i n a c o m p l e x

p a t t e r n .

“ T h e i n p u t s i g n a l

p a s s e s b a c k a n d f o r w a r d

b e t w e e n n e u r o n s , c o m b i n -

i n g w i t h i t s e l f a n d w i t h t h e

s i g n a l s a l r e a d y m o v i n g

t h r o u g h t h e r e s e r v o i r ”

T h e i n p u t s i g n a l p a s s e s b a c k a n d f o r w a r d b e t w e e n

n e u r o n s , c o m b i n i n g w i t h i t s e l f a n d w i t h t h e s i g n a l s

a l r e a d y m o v i n g t h r o u g h t h e r e s e r v o i r . S i g n a l s r e m a i n

i n t h e r e s e r v o i r f o r s o m e t i m e , a s t h e i n p u t c h a n g e s ,

m e a n i n g t h a t d i ff e r e n t t e m p o r a l c o m p o n e n t s o f s i g n a l s

c a n b e e x a m i n e d s i m u l t a n e o u s l y .

T h e c o m p l e x p a t t e r n s o f a c t i v i t y t h a t a r e p r o d u c e d

w i t h i n t h e r e s e r v o i r c a n t h e n b e e x a m i n e d a n d c o m -

p a r e d t o a d e s i r e d o u t p u t s i g n a l , d u r i n g t h e t r a i n i n g

p r o c e s s . F o r e x a m p l e , w e c a n i n j e c t E C G i n p u t s i g n a l s c o r r e s p o n d i n g

t o p a t h o l o g i c a l h e a r t b e a t c o n d i t i o n s , a n d t r a i n t h e r e s e r v o i r t o r e c o g -

2 1

n i s e t h e d i ff e r e n c e b e t w e e n a n o r m a l h e a r t b e a t , a n d a p a t h o l o g i c a l

h e a r t b e a t .

W e c a n a l s o i n j e c t v i b r a t i o n s i g n a l s i n t o t h e r e s e r v o i r , c o r r e s p o n d i n g

t o n o r m a l , p r e - f a i l u r e a n d f a i l u r e c o n d i t i o n s o f a m e c h a n i c a l d e v i c e ,

a n d t r a i n t h e r e s e r v o i r t o i d e n t i f y w h e n a c o m p o n e n t i s n o t o p e r a t i n g

n o r m a l l y .

W h y “ r e s e r v o i r ” ?

T h e p o e t i c n a m e f o r o u r a p p r o a c h a r i s e s i n a n a l o g y t o a p e b b l e t o s s e d

i n t o a l a k e ( o r r e s e r v o i r ) . T h e p e b b l e c a u s e s r i p p l e s o n t h e l a k e ,

w h i c h i n t e r a c t w i t h t h e c o m p l e x l a k e s h o r e b y r e fl e c t i n g i n c o m p l i c a t e d

w a y s . B y e x a m i n i n g t h e r i p p l e s o n t h e l a k e s u r f a c e , o n e c a n t e l l

w h e n a n d w h e r e t h e p e b b l e w a s t h r o w n . T h i s i n f o r m a t i o n a b o u t t h e

p e b b l e p e r s i s t s f o r s o m e t i m e , a n d c a n i n t e r a c t w i t h r i p p l e s f r o m o t h e r

p e b b l e s t o s s e d l a t e r i n t o t h e s a m e l a k e .

I n t h i s a n a l o g y , t h e p e b b l e i s t h e i n p u t s i g n a l , t h e l a k e i s t h e p o p u l a t i o n

o f s i m u l a t e d n e u r o n s , a n d t h e c o m p l e x l a k e s h o r e c o r r e s p o n d s t o t h e

p a t t e r n s o f c o n n e c t i o n s b e t w e e n n e u r o n s . T h e r i p p l e s o n t h e l a k e

s u r f a c e r e p r e s e n t t h e i n f o r m a t i o n a b o u t t h e i n p u t s i g n a l p r o p a g a t i n g

w i t h i n t h e p o p u l a t i o n o f s i m u l a t e d n e u r o n s .

F u r t h e r r e a d i n g

• W i k i p e d i a , “ R e s e r v o i r C o m p u t i n g ”

• M a a s s , N a t s c h l ä g e r , a n d M a r k r a m , 2 0 0 2 . “ R e a l - T i m e C o m -

p u t i n g W i t h o u t S t a b l e S t a t e s . ” N e u r a l C o m p u t a t i o n 1 4 ( 1 1 ) p p

2 5 3 1 – 2 5 6 0 . DOI:10.1162/089976602760407955

2 2

About aiCTXa i C T X i s a c o m m e r c i a l s p i n - o ff f r o m t h e I n s t i t u t e o f N e u r o i n f o r m a t i c s ,

U n i v e r s i t y o f Z u r i c h a n d E T H Z u r i c h . W e s p e c i a l i z e i n d e v e l o p i n g

m i x e d - s i g n a l n e u r o m o r p h i c s i l i c o n h a r d w a r e f o r n e u r a l s i m u l a t i o n a n d

s i g n a l p r o c e s s i n g ; d e v e l o p s o f t w a r e f o r i n t e r f a c i n g w i t h a n d c o n fi g -

u r i n g n e u r o m o r p h i c h a r d w a r e ; a n d d e v e l o p s o l u t i o n s t o a n a l y s e a n d

p r o c e s s b i o - s i g n a l s .

“ a i C T X s p e c i a l i z e s

i n d e v e l o p i n g l o w - p o w e r

n e u r o m o r p h i c s i l i c o n h a r d -

w a r e ”

a i C T X i s d e v e l o p i n g a p p r o a c h e s f o r b i o - a n d

i n d u s t r i a l - s i g n a l p r o c e s s i n g , b a s e d o n b i o l o g i c a l l y -

i n s p i r e d n e u r o n a l a r c h i t e c t u r e s e m u l a t e d o n l o w -

p o w e r n e u r o m o r p h i c h a r d w a r e . T h e n e u r o m o r p h i c

i n d u s t r y i s g r o w i n g r a p i d l y , w i t h s i g n i fi c a n t c o n t r i b u -

t i o n s f r o m l a r g e p l a y e r s s u c h a s I n t e l a n d I B M . O u r

a d v a n t a g e s a r e o u r l o n g e x p e r i e n c e i n d e s i g n i n g l o w - p o w e r n e u r o -

m o r p h i c c i r c u i t s , a n d o u r e x p e r i e n c e i n t h e o r y o f n e u r o m o r p h i c a n d

c o r t i c a l c o m p u t a t i o n .

a i C T X i s a l s o d e v e l o p i n g s o l u t i o n s f o r r a p i d e v e n t - d r i v e n p r o c e s s i n g

o f v i s u a l i n f o r m a t i o n , f o r a p p l i c a t i o n i n i n d u s t r i a l m o n i t o r i n g a n d a u -

t o m o t i v e m a r k e t s . W e a r e b u i l d i n g t h e fi r s t c o m m e r c i a l l y a v a i l a b l e

f u l l - s t a c k n e u r o m o r p h i c h a r d w a r e s o l u t i o n s .

2 3

aiCTX technology

D y n a p S E 2

O u r n e w n e u r o m o r p h i c c h i p c o m b i n e s t h e i m p e c c a b l e e n e r g y e ffi -

O u r D Y N A P d e v e l o p m e n t k i t i s

a v a i l a b l e f o r p u r c h a s e . B u i l d

a n d t e s t y o u r o w n n e u r o m o r -

p h i c s o l u t i o n s u s i n g o u r s p i k i n g

n e u r o n H W e m u l a t o r s .

c i e n c y o f i t s p r e v i o u s g e n e r a t i o n s w i t h n e w f e a t u r e s f o r l o w l a t e n c y ,

r e a l - t i m e e n d - t o - e n d a p p l i c a t i o n s f o r g e n e r a l p u r p o s e r e c u r r e n t a n d

r e s e r v o i r n e t w o r k s . I t s i n t e g r a t e d b i o s i g n a l a m p l i fi e r s a n d t h e d i r e c t

d y n a m i c v i s i o n s e n s o r b u s m a k e t h e D y n a p S E 2 a p e r f e c t fi t f o r m o b i l e

h e a l t h a n d r o b o t i c a p p l i c a t i o n s . E a c h c h i p f e a t u r e s 1 k r e d e s i g n e d

a d a p t i v e e x p o n e n t i a l i n t e g r a t e - a n d - fi r e a n a l o g u l t r a l o w - p o w e r s p i k i n g

n e u r o n s a n d 6 5 k e n h a n c e d s y n a p s e s w i t h c o n fi g u r a b l e d e l a y , w e i g h t

a n d s h o r t t e r m p l a s t i c i t y . T h e D y n a p S E 2 e n a b l e s a d v a n c e d b i o l o g i c a l

p r o c e s s i n g s c h e m a s , s u c h a s a m p a , n m d a a n d g a b a c h a n n e l s , a s w e l l

a s c o n d u c t a n c e b a s e d d e n d r i t i c c o m p u t a t i o n t o b e u t i l i s e d .

T h e i n n o v a t i v e a s y n c h r o n o u s l o w l a t e n c y c o m m u n i c a t i o n i n f r a s t r u c -

t u r e ( p a t e n t e d ) e n a b l e s e a c h n e u r o n t o c o m m u n i c a t e w i t h u p t o 2 3 0 k

s u r r o u n d i n g n e u r o n s a n d i n fi n i t e s c a l a b i l i t y v i a r e l a y n e u r o n s f o r t r u l y

l a r g e s c a l e n e t w o r k s .

D y n a p S E L

O u r n e x t - g e n e r a t i o n n e u r o m o r p h i c c h i p , D y n a p S E L , f e a t u r e s 1 k a n a -

D y n a p S E L s p i k i n g n e u r o n e m u -

l a t o r w i t h p l a s t i c s y n a p t i c c o n -

n e c t i o n s .

l o g l o w - p o w e r s p i k i n g n e u r o n s a n d a l m o s t 8 0 k c o n fi g u r a b l e s y n a p t i c

c o n n e c t i o n s , i n c l u d i n g 8 k s y n a p s e s w i t h i n t e g r a t e d s p i k e - b a s e d l e a r n -

i n g r u l e s . I n c o m p a r i s o n w i t h o u r n e a r e s t c o m p e t i t o r , t h e T r u e N o r t h

2 4

c h i p f r o m I B M , t h e D y n a p S E L f e a t u r e s 8 x t h e s y n a p t i c f a n - i n a n d

3 2 x t h e f a n - o u t ; t h e s e n u m b e r s a r e i n t h e r a n g e o f c o n n e c t i v i t y a r c h i -

t e c t u r e s o b s e r v e d i n m a m m a l i a n c o r t e x , a n d p e r m i t n e t w o r k s w i t h

b i o l o g i c a l l y r e a l i s t i c c o n n e c t i v i t y t o b e e m u l a t e d u s i n g D y n a p S E L . I n

a d d i t i o n , t h e D y n a p S E L i s c o n s i d e r a b l y m o r e e n e r g y e ffi c i e n t t h a n

T r u e N o r t h , r e q u i r i n g l e s s t h a n a fi f t h o f t h e e n e r g y e x p e n d i t u r e p e r

s y n a p t i c e v e n t a n d l e s s t h a n h a l f t h e e n e r g y p e r n e u r o n s p i k e . T h i s i s

c o m b i n e d w i t h a s p e e d a d v a n t a g e i n f a v o u r o f D y n a p S E L , r e s u l t i n g

i n m o r e t h a n 1 0 t i m e s t h e n u m b e r o f s y n a p t i c e v e n t s p e r s e c o n d p e r

w a t t .

D y n a p C N N

D y n a p C N N i s a s c a l a b l e , f u l l y - c o n fi g u r a b l e d i g i t a l e v e n t - d r i v e n n e u -

D y n a p C N N e v e n t - b a s e d c o m -

p u t a t i o n a l f a b r i c f o r c o n v o l u -

t i o n a l n e t w o r k a r c h i t e c t u r e s ,

t u n e d f o r i m a g e p r o c e s s i n g .

r o m o r p h i c p r o c e s s o r w i t h 1 M R e L U s p i k i n g n e u r o n s p e r c h i p f o r i m -

p l e m e n t i n g S p i k i n g C o n v o l u t i o n a l N e u r a l N e t w o r k s ( s C N N s ) . T h i s

t e c h n o l o g y i s i d e a l f o r a l w a y s - o n , u l t r a - l o w p o w e r a n d u l t r a - l o w l a -

t e n c y e v e n t - d r i v e n s e n s o r y p r o c e s s i n g a p p l i c a t i o n s . W i t h a d e d i c a t e d

i n t e r f a c e f o r d y n a m i c - v i s i o n - s e n s o r s , i t a l l o w s d i r e c t i n p u t o f e v e n t

s t r e a m s f r o m m o s t o f t h e a d v a n c e d d y n a m i c - v i s i o n - s e n o r s i n t h e

w o r l d . D y n a p C N N i s f u l l y c o n fi g u r a b l e a n d s u p p o r t s s e v e r a l t y p e s

o f C N N l a y e r s ( e . g . R e L U , C r o p p i n g , P a d d i n g a n d P o o l i n g ) a n d n e t -

w o r k c o m p o n e n t s ( e . g . L e N e t , R e s N e t a n d I n c e p t i o n ) . D y n a p C N N i s

h i g h l y s c a l a b l e , e n a b l i n g i m p l e m e n t a t i o n o f d e e p n e u r a l n e t w o r k s w i t h

u n l i m i t e d n u m b e r o f l a y e r s o v e r m u l t i p l e i n t e r c o n n e c t e d D y n a p C N N s .

2 5

c t x c t l s o f t w a r e

c t x c t l i s t h e f r o n t e n d i n t e r f a c e t o t h e a i C T X t o o l c h a i n , a n d c r o s s -

c t x c t l s o f t w a r e v i s u a l i s i n g t h e

fi r i n g a c t i v i t y o f a p o p u l a t i o n o f

s p i k i n g a n a l o g n e u r o n s .

p l a t f o r m e n v i r o n m e n t f o r i n t e r a c t i n g w i t h o u r d e v i c e s . I t p r o v i d e s a

P y t h o n A P I a n d d a t a v i s u a l i z a t i o n t o o l s f o r w o r k i n g w i t h s p i k i n g n e u r a l

n e t w o r k s .

2 6

Key personnel

D r . N i n g Q i a o , P h D — C E O , C T O , c o - f o u n d e r

D r . Q i a o i s a n e x p e r t a n a l o g a n d m i x e d - s i g n a l n e u r o m o r p h i c e n g i n e e r ,

a n d h o l d s t h e p o s i t i o n o f C h i e f E x e c u t i v e O ffi c e r a t a i C T X . D r Q i a o

d e s i g n s n e x t - g e n e r a t i o n m i x e d - s i g n a l n e u r o m o r p h i c c i r c u i t s f o r r a p i d

e v e n t - d r i v e n p r o c e s s i n g . H e i s t h e f o u n d e r , C E O a n d C T O o f a i C T X .

P r o f . D r . G i a c o m o I n d i v e r i , P h D — C S O , c o - f o u n d e r

P r o f . D r . I n d i v e r i i s a n e x p e r t n e u r o m o r p h i c e n g i n e e r , w i t h m o r e t h a n

2 0 y e a r s ’ e x p e r i e n c e i n a n a l o g a n d m i x e d - s i g n a l h a r d w a r e d e s i g n , a n d

e x t e n s i v e e x p e r i e n c e m a n a g i n g t h e d e v e l o p m e n t o f n e u r o m o r p h i c

c o m p u t i n g h a r d w a r e . H e h o l d s t h e p o s i t i o n s o f C h i e f S c i e n c e O ffi c e r

a t a i C T X , a s w e l l a s D i r e c t o r o f t h e I n s t i t u t e o f N e u r o i n f o r m a t i c s a t

t h e U n i v e r s i t y o f Z u r i c h a n d E T H Z u r i c h .

D r . K y n a n E n g — C h a i r m a n , c o - f o u n d e r

D r . E n g i s a c o - f o u n d e r a n d c h a i r m a n o f a i C T X . H e h a s l e d s t a r t u p s t o

s u c c e s s f u l l y c l o s e d f u n d i n g r o u n d s a n d p r o d u c t l a u n c h e s ( Y o u R e h a b ,

i n i V a t i o n ) , a n d h a s w o r k e d a t c o m p a n i e s i n c l u d i n g A B B , A l s t o m a n d

a n e t w o r k m a n a g e m e n t s u p p l i e r f o r T e l s t r a . H e h o l d s d e g r e e s i n

c o m p u t e r s c i e n c e a n d m e c h a n i c a l e n g i n e e r i n g f r o m M o n a s h U n i v e r s i t y ,

a n d a P h D f r o m t h e E T H Z u r i c h , w h e r e h e a l s o l e d a r e s e a r c h g r o u p

i n v e s t i g a t i n g t h e n e u r o s c i e n c e o f v i r t u a l r e a l i t y i n t e r a c t i o n s .

2 7

F r a n c o i s S t i e g e r — B o a r d a d v i s o r

M r S t i e g e r i s a n e x p e r i e n c e d e x e c u t i v e , i n v e s t o r a n d b o a r d a d v i s o r .

H e h a s s e r v e d i n s e n i o r m a n a g e m e n t r o l e s a t V e r i s i g n , O r a c l e , a n d

B r o a d v i s i o n , w h e r e h e w a s i n v o l v e d i n t h e I P O a n d l i s t i n g o n N A S D A Q .

H e i s a f o r m e r p a r t n e r a t A m a d e u s C a p i t a l a n d i s c u r r e n t l y a c t i v e i n

S - P a r t n e r s a n d i n o t h e r i n v e s t m e n t v e h i c l e s .

D r . D y l a n M u i r , P h D — S e n i o r R & D E n g i n e e r

D r . M u i r i s a s p e c i a l i s t i n a r c h i t e c t u r e s f o r n e u r a l c o m p u t a t i o n . H e

h a s p u b l i s h e d e x t e n s i v e l y i n c o m p u t a t i o n a l a n d e x p e r i m e n t a l n e u -

r o s c i e n c e . A t a i C T X h e i s r e s p o n s i b l e f o r d i r e c t i n g d e v e l o p m e n t o f

n e u r a l a r c h i t e c t u r e s f o r s i g n a l p r o c e s s i n g . D r . M u i r h o l d s a D o c t o r

o f S c i e n c e ( P h D ) f r o m E T H Z ü r i c h , a n d u n d e r g r a d u a t e d e g r e e s ( M a s -

t e r s ) i n E l e c t r o n i c E n g i n e e r i n g a n d i n C o m p u t e r S c i e n c e f r o m Q U T ,

A u s t r a l i a .

D r . S a d i q u e S h e i k — S e n i o r R & D E n g i n e e r

D r . S h e i k i s a n e x p e r t i n n e u r o m o r p h i c c o m p u t a t i o n . H e s p e c i a l i z e s i n

t e m p o r a l s i g n a l p r o c e s s i n g i n a s y n c h r o n o u s e v e n t - d r i v e n s y s t e m s a n d

h a s a d e c a d e o f e x p e r i e n c e w o r k i n g w i t h l o w - p o w e r , r e a l - t i m e , m i x e d -

s i g n a l n e u r o m o r p h i c h a r d w a r e . H e i s p a s s i o n a t e a b o u t s u b s t r a t e -

d r i v e n a n d s u b s t r a t e a w a r e c o m p u t a t i o n . A t a i C T X h e i s r e s p o n s i b l e

f o r d i r e c t i n g d e v e l o p m e n t o f n e u r o m o r p h i c d e s i g n e ff o r t s f o r l o w -

p o w e r r e a l - t i m e s y s t e m s . D r . S h e i k h o l d s a D o c t o r o f S c i e n c e ( P h D )

f r o m E T H Z ü r i c h , a n d u n d e r g r a d u a t e d e g r e e s ( M a s t e r s a n d B a c h e l o r s )

i n P h y s i c s f r o m I n d i a n I n s t i t u t e o f T e c h n o l o g y , K h a r a g p u r .

2 8

C h r i s t o s S o u r m p i s — R & D E n g i n e e r i n g i n t e r n

M r S o u r m p i s i s a n e l e c t r i c a l e n g i n e e r w i t h a s t r o n g m a t h a n d n e u r o -

s c i e n c e b a c k g r o u n d . H e i s e x p e r i e n c e d i n w o r k i n g w i t h s p i k i n g n e u r a l

n e t w o r k a r c h i t e c t u r e s , n e u r a l s i m u l a t i o n s a n d o n l i n e l e a r n i n g .

2 9

Forward-lookingstatements disclaimerC e r t a i n i n f o r m a t i o n s e t f o r t h i n t h i s d o c u m e n t c o n t a i n s “ f o r w a r d -

l o o k i n g i n f o r m a t i o n ” , i n c l u d i n g “ f u t u r e o r i e n t e d fi n a n c i a l i n f o r m a t i o n ”

a n d “ fi n a n c i a l o u t l o o k ” , u n d e r a p p l i c a b l e s e c u r i t i e s l a w s ( c o l l e c t i v e l y

r e f e r r e d t o h e r e i n a s f o r w a r d - l o o k i n g s t a t e m e n t s ) . E x c e p t f o r s t a t e -

m e n t s o f h i s t o r i c a l f a c t , i n f o r m a t i o n c o n t a i n e d h e r e i n c o n s t i t u t e s

f o r w a r d - l o o k i n g s t a t e m e n t s a n d i n c l u d e s , b u t i s n o t l i m i t e d t o

1 . t h e p r o j e c t e d fi n a n c i a l p e r f o r m a n c e o f a i C T X A G ( h e r e a f t e r

r e f e r r e d t o a s “ t h e C o m p a n y ” ) ;

2 . t h e e x p e c t e d d e v e l o p m e n t o f t h e C o m p a n y ’ s b u s i n e s s , p r o j e c t s

a n d j o i n t v e n t u r e s ;

3 . e x e c u t i o n o f t h e C o m p a n y ’ s v i s i o n a n d g r o w t h s t r a t e g y ;

4 . s o u r c e s a n d a v a i l a b i l i t y o f t h i r d - p a r t y fi n a n c i n g f o r t h e C o m -

p a n y ’ s p r o j e c t s ;

5 . c o m p l e t i o n o f t h e C o m p a n y ’ s p r o j e c t s t h a t a r e c u r r e n t l y u n d e r -

w a y , i n d e v e l o p m e n t o r o t h e r w i s e u n d e r c o n s i d e r a t i o n ;

6 . r e n e w a l o f t h e C o m p a n y ’ s c u r r e n t c u s t o m e r , s u p p l i e r a n d o t h e r

m a t e r i a l a g r e e m e n t s ; a n d

7 . f u t u r e l i q u i d i t y , w o r k i n g c a p i t a l , a n d c a p i t a l r e q u i r e m e n t s .

F o r w a r d - l o o k i n g s t a t e m e n t s a r e p r o v i d e d t o a l l o w p o t e n t i a l i n v e s t o r s

t h e o p p o r t u n i t y t o u n d e r s t a n d m a n a g e m e n t ’ s b e l i e f s a n d o p i n i o n s i n

3 0

r e s p e c t o f t h e f u t u r e s o t h a t t h e y m a y u s e s u c h b e l i e f s a n d o p i n i o n s a s

o n e f a c t o r i n e v a l u a t i n g a n i n v e s t m e n t . T h e s e s t a t e m e n t s a r e n o t g u a r -

a n t e e s o f f u t u r e p e r f o r m a n c e a n d u n d u e r e l i a n c e s h o u l d n o t b e p l a c e d

o n t h e m . S u c h f o r w a r d - l o o k i n g s t a t e m e n t s n e c e s s a r i l y i n v o l v e k n o w n

a n d u n k n o w n r i s k s a n d u n c e r t a i n t i e s , w h i c h m a y c a u s e a c t u a l p e r f o r -

m a n c e a n d fi n a n c i a l r e s u l t s i n f u t u r e p e r i o d s t o d i ff e r m a t e r i a l l y f r o m

a n y p r o j e c t i o n s o f f u t u r e p e r f o r m a n c e o r r e s u l t e x p r e s s e d o r i m p l i e d

b y s u c h f o r w a r d - l o o k i n g s t a t e m e n t s . T h e C o m p a n y u n d e r t a k e s n o

o b l i g a t i o n t o u p d a t e f o r w a r d - l o o k i n g s t a t e m e n t s i f c i r c u m s t a n c e s o r

m a n a g e m e n t ’ s e s t i m a t e s o r o p i n i o n s s h o u l d c h a n g e e x c e p t a s r e q u i r e d

b y a p p l i c a b l e s e c u r i t i e s l a w s .

Image creditsV i n y l r e c o r d m a c r o g r o o v e s E v a n A m o s . wiki

T i m e - c o d e d v i n y l r e c o r d J a s o n 7 8 2 5 . wiki

P I A 0 1 8 1 7 : S p a c e R a d a r I m a g e o f S t . L o u i s , M i s s o u r i . C o u r t e s y

N A S A / J P L - C a l t e c h . NASA/JPL

3 1