21.minimax
TRANSCRIPT
-
7/30/2019 21.Minimax
1/10
1
M i n i m a x t h r e s h o l d f o r d e n o i s i n g c o m p l e x
s i g n a l s w i t h W a v e s h r i n k
S y l v a i n S a r d y
S w i s s F e d e r a l I n s t i t u t e o f T e c h n o l o g y ( E P F L - D M A )
1 0 1 5 L a u s a n n e , S w i t z e r l a n d
A b s t r a c t | F o r t h e p r o b l e m o f s i g n a l e x t r a c t i o n
f r o m n o i s y d a t a , W a v e s h r i n k h a s p r o v e n t o b e a p o w -
e r f u l t o o l b o t h f r o m a n e m p i r i c a l a n d a s y m p t o t i c
p o i n t o f v i e w . W a v e s h r i n k i s e s p e c i a l l y e c i e n t a t
e s t i m a t i n g s p a t i a l l y i n h o m o g e n e o u s s i g n a l s . A k e y
s t e p o f t h e p r o c e d u r e i s t h e s e l e c t i o n o f t h e t h r e s h o l d
p a r a m e t e r . D o n o h o a n d J o h n s t o n e p r o p o s e a s e l e c -
t i o n o f t h e t h r e s h o l d b a s e d o n a m i n i m a x p r i n c i p l e .
T h e i r d e r i v a t i o n i s s p e c i c a l l y f o r r e a l s i g n a l s a n d
r e a l w a v e l e t t r a n s f o r m s . I n t h i s a r t i c l e w e p r o p o s e
t o e x t e n d t h e u s e o f W a v e s h r i n k t o d e n o i s i n g c o m -
p l e x s i g n a l s w i t h c o m p l e x w a v e l e t t r a n s f o r m s . W e
i l l u s t r a t e t h e p r o b l e m o f d e n o i s i n g c o m p l e x s i g n a l s
w i t h a n E l e c t r o n i c S u r v e i l l a n c e a p p l i c a t i o n .
K e y W o r d s : N o n p a r a m e t r i c d e n o i s i n g ; W a v e s h r i n k ;
M i n i m a x ; C o m p l e x s i g n a l s ; C o m p l e x W a v e l e t T r a n s -
f o r m ; E l e c t r o n i c S u r v e i l l a n c e .
I . B a c k g r o u n d
S u p p o s e w e o b s e r v e a u n i v a r i a t e r e a l s i g n a l s =
( s
1
s
2
; : : : ; s
N
) 2 I R
N
a t e q u i s p a c e d l o c a t i o n s x
n
a c c o r d i n g t o t h e m o d e l
s
n
= f ( x
n
) + z
n
n = 1 ; : : : ; N ;
w h e r e t h e z
n
a r e i d e n t i c a l l y a n d i n d e p e n d e n t l y d i s -
t r i b u t e d s t a n d a r d G a u s s i a n r a n d o m v a r i a b l e s . S o
w e a s s u m e t h a t t h e v a r i a n c e o f t h e n o i s e i s k n o w n
a n d u n i t y ( i . e . , = 1 ) . I n p r a c t i c e t h e v a r i a n c e
e m a i l : S y l v a i n . S a r d y @ e p . c h ; T e l : + 4 1 2 1 6 9 3 5 5 0 3 ; F a x :
+ 4 1 2 1 6 9 3 4 2 5 0
E D I C S : S P 3 . 5
c a n b e e s t i m a t e d b y t a k i n g t h e M e d i a n A b s o l u t e
D e v i a t i o n o f t h e h i g h l e v e l w a v e l e t c o e c i e n t s a s
p r o p o s e d i n 1 ] . O u r g o a l i s t o n d a g o o d e s t i m a t e
^
f o f t h e u n d e r l y i n g s i g n a l f = ( f ( x
1
) ; : : : ; f ( x
N
) )
T h e p r e d i c t i v e p e r f o r m a n c e o f
^
f i s m e a s u r e d b y t h e
r i s k ( a l s o c a l l e d M e a n S q u a r e d E r r o r ) , d e n e d a s
R (
^
f f ) =
1
N
E k
^
f ? f k
2
2
( 1 )
w h e r e E s t a n d s f o r t h e e x p e c t a t i o n o v e r t h e o b -
s e r v e d n o i s y s i g n a l s
E x p a n s i o n - b a s e d n o n p a r a m e t r i c e s t i m a t o r s a s -
s u m e t h a t t h e u n d e r l y i n g s i g n a l c a n b e w e l l a p -
p r o x i m a t e d b y a l i n e a r c o m b i n a t i o n o f P k n o w n
b a s i s f u n c t i o n s
p
( e . g . , s p l i n e s , F o u r i e r t r i g o n o m e t -
r i c f u n c t i o n s ) , n a m e l y t h a t f ( x )
P
P
p = 1
p
p
( x )
O n c e a s e t o f b a s i s f u n c t i o n s i s c h o s e n , t h e o n l y
q u a n t i t i e s t o e s t i m a t e a r e t h e b a s i s f u n c t i o n c o e f -
c i e n t s = (
1
; : : : ;
P
) . T h e s i g n a l e s t i m a t e i s
t h e n
^
f = ^ , w h e r e i s t h e m a t r i x o f d i s c r e t i z e d
p
. T h e h a t o n t o p o f a v a r i a b l e i s t h e n o t a t i o n u s e d
t h r o u g h o u t t h i s a r t i c l e t o i n d i c a t e t h e e s t i m a t e o f
t h e c o r r e s p o n d i n g v a r i a b l e .
A . W a v e s h r i n k
W a v e s h r i n k i s a n e x p a n s i o n b a s e d e s t i m a t o r p r o -
p o s e d b y D o n o h o a n d J o h n s t o n e 2 ] . T h e e x p a n s i o n
i s o n w a v e l e t s , a s e t o f P = N c o m p a c t l y s u p p o r t e d
-
7/30/2019 21.Minimax
2/10
2
a n d o r t h o n o r m a l f u n c t i o n s o n t h e r e a l l i n e . U n d e r
t h e h y p o t h e s i s t h a t t h e u n d e r l y i n g s i g n a l i s p e r i -
o d i c , t h e w a v e l e t s a r e o r t h o n o r m a l o n t h e s u p p o r t
o f t h e s i g n a l a n d t h e m a t r i x i s o r t h o n o r m a l . L e t
u s d e n o t e b y t h e t r a n s p o s e o f . T h e o r t h o n o r -
m a l i t y p r o p e r t y h a s t w o i m p o r t a n t c o n s e q u e n c e s .
F i r s t t h e L e a s t S q u a r e s e s t i m a t e o f t h e w a v e l e t c o -
e c i e n t s ,
^ = s N o r m a l ( I
N
) ( 2 )
i s u n b i a s e d , a n d t h e c o e c i e n t s a r e i n d e p e n d e n t
o f e a c h o t h e r w i t h s a m e v a r i a n c e . S e c o n d l y t h e
r i s k i n f u n c t i o n v a l u e s ( 1 ) e q u a l s t h e r i s k i n c o e f -
c i e n t v a l u e s : f o r a n y e s t i m a t e ^ o f , w e h a v e
R (
^
f f ) = R ( ^ ) . S o w e c a n c o n c e n t r a t e o n e s -
t i m a t i n g t h e w a v e l e t c o e c i e n t s a n d m e a s u r e t h e
p r e d i c t i v e p e r f o r m a n c e o f a n e s t i m a t o r i n t h e c o e f -
c i e n t v a l u e s .
T h e L e a s t S q u a r e s e s t i m a t e i s u n b i a s e d , b u t d o e s
n o t d e n o i s e t h e o r i g i n a l s i g n a l s i n c e
^
f = ( s ) = s
T h e c o r r e s p o n d i n g r i s k e q u a l s t h e v a r i a n c e o f t h e
n o i s e , n a m e l y , R ( ^ ) = 1 . T o e s t i m a t e t h e w a v e l e t
c o e c i e n t s w i t h a s m a l l e r r i s k a t t h e c o s t o f i n t r o -
d u c i n g s o m e b i a s , D o n o h o a n d J o h n s t o n e 2 ] p r o -
p o s e t o a p p l y c o m p o n e n t - w i s e a f u n c t i o n
( ) t h a t
s h r i n k s t h e L e a s t S q u a r e s e s t i m a t e t o w a r d s z e r o t o
o b t a i n t h e f o l l o w i n g e s t i m a t e ,
^
=
( ^ ) ( 3 )
w h e r e i s t h e t h r e s h o l d p a r a m e t e r o f t h e s h r i n k a g e
f u n c t i o n , a m e t a p a r a m e t e r o f t h e W a v e s h r i n k p r o -
c e d u r e . T h e r i s k o f t h e e s t i m a t e ( 3 ) i s t h e s u m o f
t h e r i s k s c o m p o n e n t - w i s e , n a m e l y ,
R ( ) =
N
X
n = 1
(
n
) ( 4 )
w i t h (
n
) = ( ^
n
?
n
)
2
. B e c a u s e a w i d e c l a s s
o f f u n c t i o n s f c a n b e w e l l a p p r o x i m a t e d b y t h e
l i n e a r c o m b i n a t i o n o f a f e w w a v e l e t s , D o n o h o a n d
J o h n s t o n e 2 ] p r o p o s e t o e n f o r c e s p a r s i t y b y u s i n g
e i t h e r t h e h a r d s h r i n k a g e f u n c t i o n
( h a r d )
( x ) = x 1 ( x > )
w h e r e 1 ( x 2 A ) i s t h e i d e n t i t y f u n c t i o n o n A , o r t h e
s o f t s h r i n k a g e f u n c t i o n
( s o f t )
( x ) = s i g n ( x ) ( x ? )
+
( 5 )
w h e r e x
+
i s x f o r x > 0 a n d z e r o o t h e r w i s e . W e
s e e t h a t a n y v a l u e o f t h e L e a s t S q u a r e s c o e c i e n t s
b e t w e e n ? a n d i s s e t t o z e r o , h e n c e e n f o r c i n g
s p a r s i t y . O t h e r s h r i n k a g e m e t h o d s h a v e b e e n p r o -
p o s e d , e . g . , N o n - N e g a t i v e G a r r o t e 3 ] , F i r m 4 ] , o r
B a y e s i a n 5 ] . B u t m o r e i m p o r t a n t t h a n t h e c h o i c e
o f a s h r i n k a g e f u n c t i o n , t h e s e l e c t i o n o f i s t h e c r u -
c i a l s t e p o f t h e W a v e s h r i n k p r o c e d u r e . A s i n 2 ] , w e
c o n c e n t r a t e i n t h i s a r t i c l e o n t h e s e l e c t i o n o f t h e
t h r e s h o l d f o r t h e s o f t s h r i n k a g e f u n c t i o n ( 5 ) .
B . T h r e s h o l d s e l e c t i o n
T h e t h r e s h o l d p a r a m e t e r c o n t r o l s t h e b i a s -
v a r i a n c e t r a d e - o o f t h e r i s k ( 4 ) . I t s s e l e c t i o n i s
c r u c i a l f o r W a v e s h r i n k t o g i v e a g o o d e s t i m a t i o n
o f t h e u n d e r l y i n g s i g n a l . D o n o h o a n d J o h n s t o n e 2 ]
p r o p o s e d a s e l e c t i o n o f t h e m e t a p a r a m e t e r b a s e d o n
a m i n i m a x p r i n c i p a l . T h e i r a p p r o a c h c a n b e s u m -
m a r i z e d i n t h r e e s t e p s :
O r a c l e r i s k f o r d i a g o n a l l i n e a r p r o j e c t i o n . T h e y
c o n s i d e r e d a \ d i a g o n a l l i n e a r p r o j e c t i o n " e s t i m a -
t o r t h a t k e e p s o r k i l l s e a c h L e a s t S q u a r e s c o e -
c i e n t w i t h a d i e r e n t m e t a p a r a m e t e r
n
, n a m e l y ,
^
= d i a g (
1
; : : : ;
N
) ^ , w h e r e 2 f 0 1 g
N
. T h i s
e s t i m a t o r h a s a t o t a l o f N m e t a p a r a m e t e r s , o n e
-
7/30/2019 21.Minimax
3/10
3
f o r e a c h L e a s t S q u a r e s c o e c i e n t . I t w o u l d b e d i f -
c u l t i n p r a c t i c e t o e s t i m a t e t h e N m e t a p a r a m e -
t e r s . D o n o h o a n d J o h n s t o n e i n v o k e d a n o r a c l e ( i . e . ,
t h e k n o w l e d g e o f t h e q u a n t i t y t o e s t i m a t e ) a n d
c o n s i d e r e d s e l e c t i n g b y m i n i m i z i n g t h e r i s k . T h e
o p t i m a l r i s k i s
R ( D P ) : = m i n
R ( ^
) =
N
X
n = 1
m i n (
n
2
1 ) ( 6 )
I n p r a c t i c e o n e w o u l d l i k e t o a p p r o a c h c l o s e l y t h i s
i d e a l r i s k .
U n i v e r s a l t h r e s h o l d . T h e y c o n s i d e r e d t h e
W a v e s h r i n k e s t i m a t e ( 3 ) w i t h t h e s o f t s h r i n k a g e
f u n c t i o n , a n d s e l e c t t h e s i n g l e m e t a p a r a m e t e r
N
=
p
2 l o g N , s o t h a t t h e e s t i m a t o r a c h i e v e s t h e p e r -
f o r m a n c e o f t h e o r a c l e e s t i m a t o r w i t h i n a f a c t o r o f
e s s e n t i a l l y 2 l o g N f o r a l l p o s s i b l e t r u e c o e c i e n t s ,
n a m e l y ,
R ( ^
N
) ( 2 l o g N + 1 )
?
1 + R ( D P )
( 7 )
f o r a l l 2 I R
N
. T h e u n i v e r s a l t h r e s h o l d a l s o h a s t h e
a d v a n t a g e t h a t , i f t h e s i g n a l i s i n f a c t w h i t e n o i s e
( i . e . , s
n
= z
n
) , t h e n t h e s i g n a l w i l l b e e s t i m a t e d a s
z e r o w i t h h i g h p r o b a b i l i t y s i n c e
P ( m a x
n
z
n
>
p
2 l o g N ) ? ! 0 a s N ? ! 1
H e n c e t h e u n i v e r s a l t h r e s h o l d h a s t h e a d v a n t a g e o f
g i v i n g a s i g n a l e s t i m a t e w i t h a n i c e v i s u a l a p p e a r -
a n c e ( s e e f o r i n s t a n c e 1 ] ) .
M i n i m a x t h r e s h o l d . T h e y i m p r o v e t h e b o u n d
N
= 2 l o g N + 1 a n d s e l e c t t h e t h r e s h o l d
N
t o
a c h i e v e t h e m i n i m u m b o u n d
N
, n a m e l y ,
R ( ^
N
)
N
?
1 + R ( D P )
f o r a l l 2 R
N
, a n d
N
2 l o g N + 1 a n d
N
2 l o g N a s y m p t o t i c a l l y . T h e m i n i m a x t h r e s h -
o l d d o e s n o t u s u a l l y g i v e a n e s t i m a t e w i t h a n i c e
v i s u a l a p p e a r a n c e . H o w e v e r , i t h a s t h e a d v a n t a g e
o f g i v i n g g o o d p r e d i c t i v e p e r f o r m a n c e .
F o r d e t a i l s o n t h e p r o p e r t i e s o f t h e s e t w o t h r e s h o l d s ,
w e r e f e r t o 2 ] a n d 1 ] .
I I . W a v e s h r i n k f o r c o m p l e x s i g n a l s
S o f a r i t h a s b e e n a s s u m e d t h a t t h e s i g n a l i s r e a l -
v a l u e d . I n s o m e a p p l i c a t i o n s , h o w e v e r , t h e s i g n a l i s
c o m p l e x - v a l u e d ( s e e f o r i n s t a n c e o u r a p p l i c a t i o n i n
s e c t i o n I I I ) a n d t h e w a v e l e t s h a v e r e a l a n d i m a g i -
n a r y p a r t s . E x a m p l e s o f c o m p l e x w a v e l e t s i n c l u d e
t h e c o m p l e x D a u b e c h i e s w a v e l e t s 6 ] , c h i r p l e t s 7 ]
a n d b r u s h l e t s 8 ] .
T o d e n o i s e t h e s i g n a l , b o t h t h e r e a l a n d i m a g i n a r y
p a r t s o f t h e L e a s t S q u a r e s c o e c i e n t s h a v e t o b e
s h r u n k t o w a r d s z e r o . A s i m p l e s h r i n k a g e p r o c e d u r e
w o u l d c o n s i s t i n i n d e p e n d e n t l y s h r i n k i n g t h e r e a l
a n d i m a g i n a r y p a r t s o f t h e L e a s t S q u a r e s w a v e l e t
c o e c i e n t s ( 2 ) . O n e d r a w b a c k o f t h i s p r o c e d u r e
i s t h a t t h e u n d e r l y i n g s i g n a l e s t i m a t e i s n o t g u a r -
a n t e e d t o h a v e a s p a r s e w a v e l e t r e p r e s e n t a t i o n ( a
s h r u n k c o e c i e n t m a y h a v e i t s r e a l p a r t s e t t o z e r o
b u t n o t i t s i m a g i n a r y p a r t , a n d v i c e v e r s a ) . M o r e -
o v e r t h e p h a s e s o f t h e L e a s t S q u a r e s c o e c i e n t s a r e
c h a n g e d b y t h i s k i n d o f s h r i n k a g e . I f i n s t e a d t h e
m o d u l i o f t h e L e a s t S q u a r e s c o e c i e n t s a r e s h r u n k ,
t h e n b o t h t h e r e a l a n d i m a g i n a r y p a r t s a r e g u a r -
a n t e e d t o b e s e t t o z e r o t o g e t h e r , a n d t h e p h a s e s
r e m a i n t h e s a m e . S h r i n k i n g t h e m o d u l i i s t h e n a t u -
r a l g e n e r a l i z a t i o n o f W a v e s h r i n k t o c o m p l e x s i g n a l s
s i n c e i t f o r c e s s p a r s i t y o n t h e w a v e l e t r e p r e s e n t a -
t i o n .
T o b e m o r e s p e c i c , s u p p o s e w e o b s e r v e a u n i -
v a r i a t e c o m p l e x s i g n a l s = ( s
1
s
2
; : : : ; s
N
) 2 C
N
a t
e q u i s p a c e d l o c a t i o n s x
n
a c c o r d i n g t o t h e m o d e l
s
n
= f ( x
n
) + z
n
n = 1 ; : : : ; N ;
-
7/30/2019 21.Minimax
4/10
4
w h e r e t h e z
n
= z
1 n
+ i z
2 n
a r e i d e n t i c a l l y a n d i n -
d e p e n d e n t l y d i s t r i b u t e d c o m p l e x r a n d o m v a r i a b l e s
w i t h ( z
1 n
z
2 n
) N o r m a l ( 0 I
2
) . A n d l e t u s a g a i n
a s s u m e t h a t t h e u n d e r l y i n g c o m p l e x f u n c t i o n c a n
b e w e l l a p p r o x i m a t e d b y a l i n e a r c o m b i n a t i o n o f
w a v e l e t s , n a m e l y , f ( x )
P
P
p = 1
p
p
( x ) , w h e r e n o w
t h e ' s a r e c o m p l e x c o e c i e n t s a n d t h e ( ) ' s a r e
c o m p l e x w a v e l e t s . A s i n t h e r e a l c a s e ( 3 ) , w e d e n e
t h e s o f t - W a v e s h r i n k e s t i m a t e b y ^
=
( s o f t )
( ^ )
w h e r e ^ = s i s t h e ( c o m p l e x ) L e a s t S q u a r e s e s t i -
m a t e . W e g e n e r a l i z e t h e s o f t s h r i n k a g e f u n c t i o n t o
c o m p l e x v a l u e s a s
( s o f t )
( ) =
( ? )
+
( 8 )
w h e r e i s n o w t h e m o d u l u s o f t h e c o m p l e x n u m b e r
. A f t e r a p p l y i n g t h e s o f t s h r i n k a g e f u n c t i o n t o t h e
L e a s t S q u a r e s c o e c i e n t s , t h e m o d u l i a r e s h r u n k t o -
w a r d s z e r o a n d t h e p h a s e s o f t h e L e a s t S q u a r e s c o e f -
c i e n t s a r e u n c h a n g e d . A n y c o m p l e x L e a s t S q u a r e s
c o e c i e n t w h i c h m o d u l u s i s l e s s t h a n i s s e t t o
z e r o : t h e s p a r s i t y i n t h e w a v e l e t r e p r e s e n t a t i o n o f
t h e u n d e r l y i n g c o m p l e x s i g n a l i s i n s u r e d .
A s i n t h e r e a l c a s e , t h e k e y s t e p i s i n t h e s e l e c t i o n
o f t h e t h r e s h o l d p a r a m e t e r . T h e s e l e c t i o n o f t h e
m e t a p a r a m e t e r m u s t h o w e v e r b e a d a p t e d t o c o m -
p l e x v a l u e s s i n c e t h e d i s t r i b u t i o n o f t h e m o d u l i o f
t h e L e a s t S q u a r e s w a v e l e t c o e c i e n t s i s n o l o n g e r
G a u s s i a n . I n t h e f o l l o w i n g w e w i l l e s s e n t i a l l y f o l l o w
t h e t h r e e s t e p s o f s e c t i o n I - B f o r d e r i v i n g t h e u n i v e r -
s a l a n d m i n i m a x t h r e s h o l d s : i n s e c t i o n I I - A . 1 , w e
d e r i v e t h e o r a c l e r i s k f o r d i a g o n a l l i n e a r p r o j e c t i o n ;
i n s e c t i o n I I - A . 2 , w e a c h i e v e t h e o r a c l e r i s k t o a f a c -
t o r o f 1 + l o g ( N l o g N ) w i t h t h e u n i v e r s a l t h r e s h o l d
N
; n a l l y i n s e c t i o n I I - A . 3 , w e n d t h e m i n i m a x
t h r e s h o l d
N
t h a t a c h i e v e t h e o p t i m a l f a c t o r
N
A . T h r e s h o l d s e l e c t i o n
A s i n 2 ] , w e r e s t r i c t o u r a t t e n t i o n t o o n e c o m -
p o n e n t ( ) o f t h e r i s k ( 4 ) . L e t u s c a l l Y a
L e a s t S q u a r e s c o m p o n e n t , a n d Y
1
Y
2
i t s r e a l a n d
c o m p l e x p a r t s . T h e i r d i s t r i b u t i o n i s ( Y
1
Y
2
)
N o r m a l ( I
2
) , w h e r e = (
1
2
) . F o r a n y e s t i -
m a t e ^ o f , t h e r i s k o f t h e c o m p o n e n t i s :
( ) = E
( ^
1
?
1
)
2
+ ( ^
2
?
2
)
2
( 9 )
F o r c l a r i t y i n t h e f o l l o w i n g d e r i v a t i o n s , w e p o s t -
p o n e t h e m a t h e m a t i c a l d e r i v a t i o n s t o A p p e n d i x A
a n d A p p e n d i x B .
A . 1 O r a c l e p r e d i c t i v e p e r f o r m a n c e f o r d i a g o n a l l i n -
e a r p r o j e c t i o n
O n e c o m p o n e n t o f t h e e s t i m a t e i s ^ = Y w i t h
2 f 0 1 g . T h e c o r r e s p o n d i n g r i s k i s
( ) =
2
i f = 0
2 i f = 1
S o t h e o r a c l e b i n a r y m e t a p a r a m e t e r i s =
1
f >
p
2 g
a n d t h e c o r r e s p o n d i n g o r a c l e r i s k i s
( D P ; ) = m i n (
2
2 ) . N o t e t h a t t h e L e a s t
S q u a r e s e s t i m a t e h a s r i s k ( 1 ) = 2 . A f t e r r e p e a t -
i n g t h e o r a c l e p r o j e c t i o n t o e a c h w a v e l e t c o e c i e n t
i n d e p e n d e n t l y , w e n d t h a t t h e o r a c l e r i s k i s
R ( D P ; ) =
N
X
n = 1
m i n (
n
2
2 )
T h i s i s a n a l o g o u s t o e q u a t i o n ( 6 ) f o r c o m p l e x s i g -
n a l s , a n d i t c o n s t i t u t e s o u r r e f e r e n c e p r e d i c t i v e p e r -
f o r m a n c e .
A . 2 U n i v e r s a l t h r e s h o l d
I n A p p e n d i x A , w e r e w r i t e t h e r i s k d e n e d i n
e q u a t i o n ( 9 ) i n t h e c o n v e n i e n t f o r m o f e q u a t i o n ( 1 5 ) .
N o t e t h a t t h e t h r e e t e r m s o f t h e s e c o n d a n d t h i r d
l i n e s o f e q u a t i o n ( 1 5 ) a r e n e g a t i v e . S o f o r > 0
-
7/30/2019 21.Minimax
5/10
5
s m a l l e n o u g h a n d l e t t i n g =
p
2 l o g (
1
l o g
1
)
w e h a v e o n t h e o n e h a n d :
( ) 2 +
2
( 2 +
2
) ( 1 + )
= ( 1 + l o g (
1
l o g
1
) ) ( 2 + 2 )
O n t h e o t h e r h a n d , f r o m P r o p e r t y ( P 1 ) a n d t h e
s e c o n d p o i n t o f P r o p e r t y ( P 2 ) , w e h a v e :
( ) ( ( 0 0 ) ) +
2
= 2 e x p ( ?
2
= 2 ) ? 2
p
2 ( ? ) +
2
2 e x p ( ?
2
= 2 ) ( 1 +
2
= 2 ) +
2
( 1 +
2
= 2 )
= (
2
1
l o g
1
+
2
) ( 1 + l o g (
1
l o g
1
) )
( 2 +
2
) ( 1 + l o g (
1
l o g
1
) )
P u t t i n g b o t h i n e q u a l i t i e s t o g e t h e r , w e h a v e
( ) ( 1 + l o g (
1
l o g
1
) ) ( 2 + m i n (
2
2 ) )
f o r s m a l l e n o u g h s u c h t h a t l o g (
1
) 1 , f o r
i n s t a n c e = 1 = N w i t h N 3 . H e n c e , w e d e -
n e t h e u n i v e r s a l t h r e s h o l d
N
=
p
2 l o g ( N l o g N )
W i t h t h a t c h o i c e o f t h e t h r e s h o l d p a r a m e t e r , s o f t -
W a v e s h r i n k a p p r o a c h e s t h e o r a c l e r i s k b y a f a c t o r
o f e s s e n t i a l l y
N
= ( 1 + l o g ( N l o g N ) ) , n a m e l y ,
R (
N
) =
N
X
n = 1
(
N
n
)
( 1 + l o g ( N l o g N ) ) R ( D P ; )
T h i s e q u a t i o n i s a n a l o g o u s t o e q u a t i o n ( 7 ) . A s i n
t h e r e a l c a s e , a s t h e n u m b e r o f o b s e r v a t i o n s N b e -
c o m e s l a r g e , o n l y t h e p r e d o m i n a n t f e a t u r e s o f a s i g -
n a l r e m a i n a f t e r d e n o i s i n g . I n d e e d , f o r N i n d e p e n -
d e n t a n d i d e n t i c a l l y d i s t r i b u t e d s t a n d a r d G a u s s i a n
c o m p l e x r a n d o m v a r i a b l e s Z
n
, w e h a v e :
P ( m a x
n
Z
n
>
p
2 l o g ( N l o g N ) ) ? ! 0 a s N ? ! 1
( 1 0 )
A . 3 M i n i m a x t h r e s h o l d
D e n e t h e m i n i m a x q u a n t i t i e s
N
i n f
s u p
0
( )
2 = N + m i n (
2
2 )
N
t h e l a r g e s t a t t a i n i n g
N
a b o v e .
T h e n t h e o v e r a l l r i s k f o r t h e N w a v e l e t c o e c i e n t s
i s
N
X
n = 1
(
N
n
)
N
(
2 +
N
X
n = 1
m i n (
n
2
2 )
)
=
N
R ( D P ; )
T o n d
N
c o n s i d e r t h e a n a l o g o u s q u a n t i t y w h e r e
t h e s u p r e m u m o v e r 0 1 ) 0 1 ) i s r e p l a c e d b y
t h e s u p r e m u m o v e r t h e e n d p o i n t s f ( 0 0 ) ( 1 1 ) g
n a m e l y ,
0
N
i n f
s u p
2 f ( 0 0 ) ( 1 1 ) g
( )
2 = N + m i n (
2
2 )
( 1 1 )
a n d l e t
0
N
b e t h e l a r g e s t a t t a i n i n g
0
N
. I n A p -
p e n d i x B w e s h o w t h a t
N
=
0
N
a n d
N
=
0
N
N o w ( ( 1 1 ) ) = 2 +
2
i s s t r i c t l y i n c r e a s i n g i n
a n d ( ( 0 0 ) ) = 2
p
2 ( ( ) ? ( ? ) ) i s s t r i c t l y
d e c r e a s i n g i n , s o t h a t a t t h e s o l u t i o n o f ( 1 1 ) ,
( N + 1 ) (
0
N
( 0 0 ) ) = (
0
N
( 1 1 ) )
A n d t h i s l a s t e q u a t i o n d e n e s
0
N
u n i q u e l y .
T a b l e I l i s t s t h e u n i v e r s a l
N
a n d m i n i m a x
N
t h r e s h o l d s a n d t h e c o r r e s p o n d i n g b o u n d s
N
a n d
N
f o r N = 2
J
w i t h J b e t w e e n 6 a n d 1 6 . T h e t a b l e
i s a n a l o g o u s t o T a b l e 2 o f 2 ] .
I I I . A p p l i c a t i o n
I n t h e p r e v i o u s s e c t i o n w e h a v e d e r i v e d t h e u n i -
v e r s a l a n d m i n i m a x t h r e s h o l d s f o r d e n o i s i n g c o m -
p l e x s i g n a l s w i t h W a v e s h r i n k . W e n o w u s e t h e p r o -
c e d u r e f o r a n E l e c t r o n i c S u r v e i l l a n c e a p p l i c a t i o n .
I n t h i s E l e c t r o n i c S u r v e i l l a n c e a p p l i c a t i o n , w e a r e
-
7/30/2019 21.Minimax
6/10
6
T A B L E I
C o e f f i c i e n t
N
a n d r e l a t e d q u a n t i t i e s
N
N
p
2 l o g ( N o g N )
N
1 + l o g ( N o g N )
6 4 1 . 7 6 3 3 . 3 4 2 2 . 5 1 4 6 . 5 8 4
1 2 8 1 . 9 7 3 3 . 5 8 6 2 . 9 2 4 7 . 4 3 1
2 5 6 2 . 1 7 6 3 . 8 1 0 3 . 3 5 5 8 . 2 5 8
5 1 2 2 . 3 7 1 4 . 0 1 7 3 . 8 0 4 9 . 0 6 9
1 0 2 4 2 . 5 6 0 4 . 2 1 1 4 . 2 7 1 9 . 8 6 8
2 0 4 8 2 . 7 4 1 4 . 3 9 5 4 . 7 5 4 1 0 . 6 5 6
4 0 9 6 2 . 9 1 7 4 . 5 6 9 5 . 2 5 2 1 1 . 4 3 6
8 1 9 2 3 . 0 8 6 4 . 7 3 5 5 . 7 6 2 1 2 . 2 0 9
1 6 3 8 4 3 . 2 5 1 4 . 8 9 4 6 . 2 8 5 1 2 . 9 7 7
3 2 7 6 8 3 . 4 1 1 5 . 0 4 8 6 . 8 1 7 1 3 . 7 3 9
6 5 5 3 6 3 . 5 6 6 5 . 1 9 5 7 . 3 6 0 1 4 . 4 9 6
i n t e r e s t e d i n t h e p r o b l e m o f p a s s i v e d e t e c t i o n a n d
n g e r p r i n t i n g o f i n c o m i n g r a d a r s i g n a t u r e s f r o m a n
e l e c t r o n i c s u r v e i l l a n c e p l a t f o r m . T h e o b s e r v e d c o m -
p l e x s i g n a l p l o t t e d i n F i g u r e 1 i s N = 2 0 4 8 s a m p l e s
f r o m a c h i r p e d R F s o u r c e a t 3 d b w i t h j a m m i n g i n -
t e r f e r e n c e .
W e p r o p o s e t o m o d e l t h e u n d e r l y i n g c o m p l e x s i g -
n a l a s a l i n e a r c o m b i n a t i o n o f w a v e l e t s . I t i s n a t u r a l
f o r t h i s a p p l i c a t i o n t o u s e c h i r p l e t s 7 ] , a c o l l e c t i o n
o f l o c a l l y s u p p o r t e d b a s i s f u n c t i o n s w h o s e f r e q u e n c y
c h a n g e s l i n e a r l y w i t h t i m e . T h e c o l l e c t i o n i s h o w -
e v e r \ o v e r - c o m p l e t e " i n t h e s e n s e t h a t i t s c a r d i n a l
P i s l a r g e r t h a n t h e n u m b e r o f o b s e r v a t i o n s N . T h e
m a t r i x h a s m o r e c o l u m n s t h a n r o w s a n d i s t h e r e -
f o r e n o t o r t h o n o r m a l . C h e n , D o n o h o a n d S a u n d e r s
9 ] p r o p o s e d a n e x t e n s i o n o f s o f t - W a v e s h r i n k , c a l l e d
B a s i s P u r s u i t , t o e s t i m a t e t h e c o e c i e n t s i n t h e
o v e r - c o m p l e t e s i t u a t i o n . T h e c o e c i e n t e s t i m a t e
^
i s d e n e d a s t h e s o l u t i o n t o t h e B a s i s P u r s u i t
o p t i m i z a t i o n p r o b l e m :
m i n
1
2
k s ? k
2
2
+ k k
1
( 1 2 )
-1.5
-1.0
-0.5
0.0
0.5
1.0
1.5
Real
50 55 60 65
-1.5
-1.0
-0.5
0.0
0.5
1.0
1.5
Imag
microseconds
F i g . 1 . R e a l ( b o t t o m ) a n d i m a g i n a r y ( t o p ) p a r t s o f a c h i r p e d
R F s o u r c e a t 3 d b w i t h j a m m i n g i n t e r f e r e n c e .
w h e r e k k
1
=
P
P
p = 1
p
. T h i s d e n i t i o n o f t h e
c o e c i e n t s i s a g e n e r a l i z a t i o n o f W a v e s h r i n k b e -
c a u s e , i n t e r e s t i n g l y , t h e s o f t - W a v e s h r i n k e s t i m a t e
^
=
( s o f t )
( s ) i s t h e c l o s e d f o r m s o l u t i o n t o
t h e B a s i s P u r s u i t o p t i m i z a t i o n p r o b l e m w h e n i s
o r t h o n o r m a l . T h e n o n - t r i v i a l B a s i s P u r s u i t o p t i -
m i z a t i o n p r o b l e m ( w h e n i s o v e r - c o m p l e t e ) c a n b e
s o l v e d b y a n I n t e r i o r P o i n t a l g o r i t h m 9 ] i n t h e r e a l
c a s e o r b y a B l o c k C o o r d i n a t e R e l a x a t i o n a l g o r i t h m
1 0 ] i n t h e r e a l a n d c o m p l e x c a s e s . T h e l a t t e r i s
g u a r a n t e e d t o c o n v e r g e a n d h a s b e e n f o u n d t o b e
e m p i r i c a l l y m o r e e c i e n t .
-
7/30/2019 21.Minimax
7/10
7
A s f o r W a v e s h r i n k , t h e e s t i m a t e o f t h e m e t a p a -
r a m e t e r i n ( 1 2 ) i s a c r u c i a l p o i n t o f t h e B a s i s P u r -
s u i t p r o c e d u r e . I n p r a c t i c e , t h e t h r e s h o l d ( u n i v e r -
s a l o r m i n i m a x ) d e v e l o p e d f o r W a v e s h r i n k g i v e s a
g o o d d e n o i s i n g p e r f o r m a n c e t o B a s i s P u r s u i t . B e -
c a u s e o u r a p p l i c a t i o n i s c o n c e r n e d w i t h f e a t u r e e x -
t r a c t i o n , w e p r o p o s e t o u s e t h e u n i v e r s a l t h r e s h -
o l d . B y p r o p e r t y ( 1 0 ) , m o s t i n t e r f e r e n c e s w i l l b e
e r a s e d a n d t h e m a i n f e a t u r e s o f t h e u n d e r l y i n g s i g -
n a l w i l l b e r e v e a l e d . U s i n g t h e e s t i m a t e o f t h e s t a n -
d a r d d e v i a t i o n o f t h e n o i s e p r o p o s e d b y D o n o h o a n d
J o h n s t o n e i n 1 ] f o r G a u s s i a n n o i s e , w e n d t h a t
^ = 5 1 . S o o u r s e l e c t i o n o f t h e m e t a p a r a m e t e r i s
= ^
p
2 l o g ( N l o g N ) = 2 2 2
A f t e r s o l v i n g t h e B a s i s P u r s u i t o p t i m i z a t i o n
p r o b l e m , w e o b t a i n t h e d e n o i s e d e s t i m a t e
^
f = ^
F i g u r e 2 s h o w s t h e s p e c t r o g r a m o f t h e o r i g i n a l
s i g n a l o n t o p , a n d t h e s p e c t r o g r a m o f t h e d e -
n o i s e d s i g n a l a t t h e b o t t o m . W h i l e a c h i r p w i t h l i n -
e a r l y d e c r e a s i n g f r e q u e n c y i s a l r e a d y s l i g h t l y v i s i b l e
i n t h e o r i g i n a l s i g n a l , i t i s i n t e r e s t i n g t o s e e h o w B a -
s i s P u r s u i t w i t h t h e u n i v e r s a l s e l e c t i o n o f t h e m e t a
p a r a m e t e r h a s \ c l e a n e d - u p " t h e s i g n a l f r o m m o s t o f
t h e j a m m i n g i n t e r f e r e n c e . F o r e v e n b e t t e r r e s u l t s ,
o n e c a n c h o o s e t h e m e t a p a r a m e t e r b y h a n d . F o r
i n s t a n c e F i g u r e 3 s h o w s t h e B a s i s P u r s u i t d e n o i s e d
s i g n a l w i t h = 4
A n a u t o m a t i c p r o c e d u r e w i l l m o r e e a s i l y d e t e c t
t h e n g e r p r i n t o f a n i n c o m i n g r a d a r s i g n a t u r e o n
t h e d e n o i s e d s i g n a l t h a n o n t h e o r i g i n a l o n e .
0
10
20
30
40
50
60
bp.chirp.spectrogram
50 55 60 65
0
10
20
30
40
50
60
ew.spectrogram
microseconds
KHz
-40
-30
-20
-10
0
10
20
F i g . 2 . T h e s p e c t r o g r a m f o r a c h i r p e d R F s o u r c e a t 3 d b
w i t h j a m m i n g i n t e r f e r e n c e . T h e t o p s p e c t r o g r a m i s o f
t h e o r i g i n a l s i g n a l a n d t h e b o t t o m s p e c t r o g r a m i s o f t h e
d e n o i s e d s i g n a l u s i n g t h e u n i v e r s a l m e t a p a r a m e t e r ( =
2 2 2 ) .
I V . C o n c l u s i o n s
W e h a v e g e n e r a l i z e d W a v e s h r i n k a n d B a s i s P u r -
s u i t t o c o m p l e x s i g n a l s . B o t h p r o c e d u r e s n e e d a
s e l e c t i o n o f t h e m e t a p a r a m e t e r t h a t c o n t r o l s t h e
a m o u n t o f d e n o i s i n g . F o r u s i n g t h e t w o p r o c e d u r e s
o n c o m p l e x s i g n a l s , w e h a v e d e r i v e d t h e u n i v e r s a l
a n d m i n i m a x t h r e s h o l d s s e l e c t i o n o f i n a s i m i l a r
f a s h i o n a s p r e v i o u s l y p r o p o s e d f o r r e a l s i g n a l s b y
D o n o h o a n d J o h n s t o n e 2 ] . W e t h e n u s e d t h e B a -
-
7/30/2019 21.Minimax
8/10
8
0
10
20
30
40
50
60
bp.chirp.spectrogram
50 55 60 65
0
10
20
30
40
50
60
ew.spectrogram
microseconds
KHz
-40
-30
-20
-10
0
10
20
F i g . 3 . T h e s p e c t r o g r a m f o r a c h i r p e d R F s o u r c e a t 3 d b
w i t h j a m m i n g i n t e r f e r e n c e . T h e t o p s p e c t r o g r a m i s o f
t h e o r i g i n a l s i g n a l a n d t h e b o t t o m s p e c t r o g r a m i s o f t h e
d e n o i s e d s i g n a l f o r a m e t a p a r a m e t e r c h o s e n b y h a n d
( = 4 ) t o r e m o v e m o s t o f t h e i n t e r f e r e n c e .
s i s P u r s u i t p r o c e d u r e w i t h t h e p r o p o s e d u n i v e r s a l
t h r e s h o l d t o s u c c e s s f u l l y d e n o i s e a c o m p l e x s i g n a l
i n a n E l e c t r o n i c S u r v e i l l a n c e a p p l i c a t i o n .
A p p e n d i x
I . R i s k p r o p e r t i e s o f s o f t t h r e s h o l d i n g
T h e r i s k o f t h e s o f t - t h r e s h o l d i n g e s t i m a t o r c a n b e
r e w r i t t e n a s
( ) = E
(
( Y ? )
+
Y
Y
1
?
1
)
2
+ ( 1 3 )
(
( Y ? )
+
Y
Y
2
?
2
)
2
( 1 4 )
= 2 +
2
? E
(
2
? Y
2
) 1 ( Y < )
? 4 P ( Y < )
? 2
Z
2
0
Z
1
1
( r c o s )
2
( r s i n ) d r d ( 1 5 )
w h e r e
i
( x ) = ( x ?
i
) i s t h e G a u s s i a n d e n s i t y
f u n c t i o n w i t h m e a n
i
W e d e d u c e t h e f o l l o w i n g p r o p e r t i e s o f t h e r i s k :
P 1 ( ) ( ( 0 0 ) ) +
2
P r o o f : f r o m ( 1 4 ) , w e e a s i l y o b t a i n :
( ) = ( ( 0 0 ) ) +
2
? 2 E
( Y ? )
+
Y
(
1
Y
1
+
2
Y
2
)
a n d t h e t h i r d t e r m q = E
h
( Y )
+
Y
(
1
Y
1
+
2
Y
2
)
i
i s p o s i t i v e . ( T o s e e t h i s l a s t p o i n t , n o t e t h a t w e
c a n r e s t r i c t o u t a t t e n t i o n t o
1
> 0 a n d
2
> 0
T h e n d e n e t h e l i n e L
1
1
y
1
+
2
y
2
= 0 a n d L
2
t h e l i n e p a r a l l e l t o L
1
t h a t p a s s e s t h r o u g h (
1
2
)
a n d l e t P
1
b e t h e h a l f - p l a n e b e l o w L
1
P
3
t h e h a l f -
p l a n e a b o v e L
2
a n d P
2
t h e r e m a i n i n g b a n d . O n e
c a n e a s i l y s h o w t h a t q = q
1
+ q
2
+ q
3
i s p o s i t i v e
s i n c e q
2
0 a n d q
3
? q
1
0 )
P 2 ( (
1
2
) ) r e a c h e s i t s m a x i m u m f o r a
x e d a t (
1
2
) = ( 1 1 ) a n d ( ( 1 1 ) ) =
2 +
2
i s s t r i c t l y i n c r e a s i n g i n
P r o o f : t h e l a s t t h r e e t e r m s o f t h e r i g h t s i d e o f E q u a -
t i o n ( 1 5 ) a r e n e g a t i v e . S o t h e p r o o f i s d o n e i f w e c a n
s h o w t h a t t h e i r l i m i t s a r e z e r o w h e n
1
! 1 a n d
2
! 1 . I t i s s t r a i g h t f o r w a r d f o r t h e r s t t w o t e r m s
w h i c h i n t e g r a l s a r e d e n e d o n t h e c o m p a c t c i r c l e o f
-
7/30/2019 21.Minimax
9/10
9
r a d i u s . T h e t h i r d t e r m i s a l s o n e g a t i v e , b u t s h o w -
i n g t h a t i t s l i m i t i s z e r o w h e n
1
=
2
= ! 1
d e m a n d s m o r e w o r k . A f t e r s o m e a l g e b r a , o n e c a n
s h o w t h a t , f o r
1
=
2
=
q ( ) =
R
2
0
R
1
1
( r c o s )
2
( r s i n ) d r d
=
1
p
2
e x p ( ?
2
)
R
2
0
e x p (
1
2
(
2
+
2
s i n ( 2 ) ) )
1
p
2
R
1
e x p ( ?
1
2
( r ? ( c o s + s i n ) )
2
) d r
d
q
2
e x p ( ?
1
2
2
)
R
0
e x p (
2
2
c o s ) d ( 1 )
=
p
2 e x p ( ?
1
2
2
) I
0
(
2
2
)
w h e r e I
0
( ) i s t h e m o d i e d B e s s e l f u n c t i o n o f t h e
r s t k i n d w i t h z e r o o r d e r . I n 1 1 ] , a n a s y m p -
t o t i c e x p a n s i o n o f t h i s f u n c t i o n i s g i v e n b y I
0
( x ) =
e x p ( x )
p
2 x
( 1 +
1
8 x
+
1
2
3
2
2 ! ( 8 x )
2
+ ) , s o t h a t
0 q ( )
p
2
( 1 +
1
4
2
+
1
2
3
2
2 ! ( 4
2
)
2
+ )
S o l i m
! 1
q ( ) = 0 . H e n c e t h e m a x i m u m o f
( ( ) ) o c c u r s a t ( 1 1 ) a n d ( ( 1 1 ) ) =
2 +
2
( ( 0 0 ) ) = 2
p
2 ( ( ) ? ( ? ) ) i s s t r i c t l y
d e c r e a s i n g i n
F r o m t h e s e t w o p o i n t s , w e g e t t h a t p ( N ) =
( N + 1 ) ( ( 0 0 ) ) ? ( ( 1 1 ) ) i s d e c r e a s i n g i n
. M o r e o v e r , p ( N 0 ) > 0 a n d p ( N 1 ) = ? 1 s o
t h a t t h e r o o t
N
t o p ( N ) = 0 i s u n i q u e .
P 3
0
N
>
p
2 = N f o r N 4
P r o o f : p ( N ) i s d e c r e a s i n g i n . M o r e o v e r
p ( N
p
2 = N ) i s i n c r e a s i n g i n N a n d p o s i t i v e f o r
N = 4 . S o t h e r o o t
0
N
o f t h e e q u a t i o n i s l a r g e r
t h a n
p
2 = N
I I . P r o o f : e q u i v a l e n c e o f
N
=
0
N
N
=
0
N
I t i s c l e a r t h a t
N
( )
0
N
( ) f o r a l l . S o i f
w e c a n e s t a b l i s h t h a t
N
(
0
N
) =
0
N
(
0
N
) , t h e n
0
N
w i l l a l s o m i n i m i z e
N
. W e m u s t p r o v e t h a t
L
N
(
0
N
) =
(
0
N
)
2 = N + m i n (
2
2 )
a t t a i n s i t s m a x i m u m a t e i t h e r ( 0 0 ) o r ( 1 1 ) . W e
s p l i t t h e p r o b l e m i n t o t w o c a s e s :
f o r
2
> 2 L
N
(
0
N
) =
(
0
N
)
2 = N
a n d t h e n u -
m e r a t o r ( s e e e q u a t i o n ( 1 5 ) ) a t t a i n s i t s m a x i m u m a t
( 1 1 )
f o r
2
-
7/30/2019 21.Minimax
10/10
1 0
6 ] J e a n - M a r c L i n a a n d M i c h e l M a y r a n d , \ C o m p l e x
D a u b e c h i e s w a v e l e t s , " A p p l i e d a n d C o m p u t a t i o n a l H a r -
m o n i c A n a l y s i s , v o l . 2 , p p . 2 1 9 { 2 2 9 , 1 9 9 5 .
7 ] S t e v e M a n n a n d S i m o n H a y k i n , \ A d a p t i v e \ c h i r p l e t "
t r a n s f o r m : a n d a d a p t i v e g e n e r a l i z a t i o n o f t h e w a v e l e t
t r a n s f o r m , " O p t i c a l E n g i n e e r i n g , v o l . 3 1 , n o . 6 , p p .
1 2 4 3 { 1 2 5 6 , J u n e 1 9 9 2 .
8 ] F r a n c o i s G . M e y e r a n d R o n a l d R . C o i f m a n , \ B i o r t h o g -
o n a l b r u s h l e t b a s e s f o r d i r e c t i o n a l i m a g e c o m p r e s s i o n , "
n 1 2 t h I n t e r n a t i o n a l C o n f e r e n c e o n A n a l y s i s a n d O p -
t i m i z a t i o n o f S y s t e m s . 1 9 9 6 , S p r i n g e r - V e r l a g .
9 ] S h a o b i n g C h e n , D a v i d L . D o n o h o , a n d M i c h a e l S a u n -
d e r s , \ A t o m i c d e c o m p o s i t i o n b y b a s i s p u r s u i t , " T e c h .
R e p . , S t a n f o r d U n i v e r s i t y , 1 9 9 6 .
1 0 ] S . S a r d y , A . B r u c e , a n d P . T s e n g , \ B l o c k c o o r d i n a t e r e -
l a x a t i o n m e t h o d s f o r n o n p a r a m e t r i c w a v e l e t d e n o i s i n g , "
J o u r n a l o f C o m p u t a t i o n a l a n d G r a p h i c a l S t a t i s t i c s t o
a p p e a r .
1 1 ] F . B o w m a n , I n t r o d u c t i o n t o B e s s e l f u n c t i o n s , D o v e r
P u b l i c a t i o n I n c . , N e w Y o r k , 1 9 5 8 .