Download - $Discovery Driven Sarawagi 10.1.1.40.9152
-
7/27/2019 $Discovery Driven Sarawagi 10.1.1.40.9152
1/15
D i s c o v e r y - d r i v e n E x p l o r a t i o n o f O L A P D a t a
C u b e s
?
S u n i t a S a r a w a g i R a k e s h A g r a w a l N i m r o d M e g i d d o
I B M A l m a d e n R e s e a r c h C e n t e r , 6 5 0 H a r r y R o a d , S a n J o s e , C A 9 5 1 2 0 , U S A
A b s t r a c t . A n a l y s t s p r e d o m i n a n t l y u s e O L A P d a t a c u b e s t o i d e n t i f y
r e g i o n s o f a n o m a l i e s t h a t m a y r e p r e s e n t p r o b l e m a r e a s o r n e w o p p o r t u -
n i t i e s . T h e c u r r e n t O L A P s y s t e m s s u p p o r t h y p o t h e s i s - d r i v e n e x p l o r a t i o n
o f d a t a c u b e s t h r o u g h o p e r a t i o n s s u c h a s d r i l l - d o w n , r o l l - u p , a n d s e l e c -
t i o n . U s i n g t h e s e o p e r a t i o n s , a n a n a l y s t n a v i g a t e s u n a i d e d t h r o u g h a
h u g e s e a r c h s p a c e l o o k i n g a t l a r g e n u m b e r o f v a l u e s t o s p o t e x c e p t i o n s .
W e p r o p o s e a n e w d i s c o v e r y - d r i v e n e x p l o r a t i o n p a r a d i g m t h a t m i n e s t h e
d a t a f o r s u c h e x c e p t i o n s a n d s u m m a r i z e s t h e e x c e p t i o n s a t a p p r o p r i a t e
l e v e l s i n a d v a n c e . I t t h e n u s e s t h e s e e x c e p t i o n s t o l e a d t h e a n a l y s t t o i n -
t e r e s t i n g r e g i o n s o f t h e c u b e d u r i n g n a v i g a t i o n . W e p r e s e n t t h e s t a t i s t i c a l
f o u n d a t i o n u n d e r l y i n g o u r a p p r o a c h . W e t h e n d i s c u s s t h e c o m p u t a t i o n a l
i s s u e o f n d i n g e x c e p t i o n s i n d a t a a n d m a k i n g t h e p r o c e s s e c i e n t o n
l a r g e m u l t i d i m e n s i o n a l d a t a b a s e s .
1 I n t r o d u c t i o n
O n - L i n e A n a l y t i c a l P r o c e s s i n g ( O L A P ) c h a r a c t e r i z e s t h e o p e r a t i o n s o f s u m m a -
r i z i n g , c o n s o l i d a t i n g , v i e w i n g , a p p l y i n g f o r m u l a e t o , a n d s y n t h e s i z i n g d a t a a l o n g
m u l t i p l e d i m e n s i o n s . O L A P s o f t w a r e h e l p s a n a l y s t s a n d m a n a g e r s g a i n i n s i g h t
i n t o t h e p e r f o r m a n c e o f a n e n t e r p r i s e t h r o u g h a w i d e v a r i e t y o f v i e w s o f d a t a
o r g a n i z e d t o r e e c t t h e m u l t i d i m e n s i o n a l n a t u r e o f e n t e r p r i s e d a t a C o l 9 5 ] . A n
i n c r e a s i n g l y p o p u l a r d a t a m o d e l f o r O L A P a p p l i c a t i o n s i s t h e m u l t i d i m e n s i o n a l
d a t a b a s e O L A 9 6 ] A G S 9 7 ] , a l s o k n o w n a s t h e d a t a c u b e G B L P 9 6 ] . A d a t a c u b e
c o n s i s t s o f t w o k i n d s o f a t t r i b u t e s : m e a s u r e s a n d d i m e n s i o n s . T h e s e t o f d i m e n -
s i o n s c o n s i s t s o f a t t r i b u t e s l i k e p r o d u c t n a m e s a n d s t o r e n a m e s t h a t t o g e t h e r
f o r m a k e y . T h e m e a s u r e s a r e t y p i c a l l y n u m e r i c a t t r i b u t e s l i k e s a l e s v o l u m e s a n d
p r o t . D i m e n s i o n s u s u a l l y h a v e a s s o c i a t e d w i t h t h e m h i e r a r c h i e s t h a t s p e c i f y
a g g r e g a t i o n l e v e l s . F o r i n s t a n c e , s t o r e n a m e ! c i t y ! s t a t e i s a h i e r a r c h y o n
t h e s t o r e d i m e n s i o n a n d U P C c o d e ! t y p e ! c a t e g o r y i s a h i e r a r c h y o n t h e
p r o d u c t d i m e n s i o n .
H y p o t h e s i s - d r i v e n E x p l o r a t i o n A b u s i n e s s a n a l y s t w h i l e i n t e r a c t i v e l y e x -
p l o r i n g t h e O L A P d a t a c u b e i s o f t e n l o o k i n g f o r r e g i o n s o f a n o m a l i e s . T h e s e
a n o m a l i e s m a y l e a d t o i d e n t i c a t i o n o f p r o b l e m a r e a s o r n e w o p p o r t u n i t i e s . T h e
e x p l o r a t i o n t y p i c a l l y s t a r t s a t t h e h i g h e s t l e v e l o f h i e r a r c h i e s o f t h e c u b e d i m e n -
s i o n . F u r t h e r , n a v i g a t i o n o f t h e c u b e i s d o n e u s i n g a s e q u e n c e o f \ d r i l l - d o w n "
?
T h i s i s a n a b r i d g e d v e r s i o n o f t h e f u l l p a p e r t h a t a p p e a r s i n S A M 9 8 ] .
-
7/27/2019 $Discovery Driven Sarawagi 10.1.1.40.9152
2/15
( z o o m i n g i n t o m o r e d e t a i l e d l e v e l s o f h i e r a r c h i e s ) , \ r o l l - u p " ( z o o m i n g o u t t o
l e s s d e t a i l e d l e v e l s ) a n d \ s e l e c t i o n " ( c h o o s i n g a s u b s e t o f d i m e n s i o n m e m b e r s )
o p e r a t i o n s . F r o m t h e h i g h e s t l e v e l o f t h e h i e r a r c h y , t h e a n a l y s t d r i l l s - d o w n t o t h e
l o w e r l e v e l s o f h i e r a r c h i e s b y l o o k i n g a t t h e a g g r e g a t e d v a l u e s a n d v i s u a l l y i d e n -
t i f y i n g i n t e r e s t i n g v a l u e s t o f o l l o w . T h u s , d r i l l i n g - d o w n t h e p r o d u c t d i m e n s i o n
f r o m p r o d u c t c a t e g o r y t o p r o d u c t t y p e m a y l e a d t o p r o d u c t t y p e s w h o s e s a l e
e x h i b i t e d s o m e a n o m a l o u s b e h a v i o r . A f u r t h e r d r i l l d o w n m a y l e a d t o i n d i v i d u a l
p r o d u c t U P C c o d e s c a u s i n g t h i s a n o m a l y . I f a n e x p l o r a t i o n a l o n g a p a t h d o e s
n o t l e a d t o i n t e r e s t i n g r e s u l t s , t h e a n a l y s t r o l l s - u p t h e p a t h a n d s t a r t s p u r s u i n g
a n o t h e r b r a n c h . A r o l l - u p m a y l e a d t o t h e t o p - l e v e l o f h i e r a r c h y a n d t h e n f u r t h e r
d r i l l - d o w n m a y c o n t i n u e a l o n g a n o t h e r d i m e n s i o n .
T h i s \ h y p o t h e s i s - d r i v e n " e x p l o r a t i o n f o r a n o m a l i e s h a s s e v e r a l s h o r t c o m i n g s .
T h e s e a r c h s p a c e i s v e r y l a r g e | t y p i c a l l y , a c u b e h a s 5 { 8 d i m e n s i o n s , e a c h d i -
m e n s i o n h a s a h i e r a r c h y t h a t i s 2 { 8 l e v e l s d e e p a n d e a c h l e v e l o f t h e h i e r a r c h y
h a s t e n t o h u n d r e d s o f m e m b e r s C o l 9 5 ] . S i m p l y l o o k i n g a t d a t a a g g r e g a t e d a t
v a r i o u s l e v e l s o f d e t a i l s t o h u n t d o w n a n a n o m a l y t h a t c o u l d b e o n e o f s e v e r a l
m i l l i o n v a l u e s h i d d e n i n d e t a i l e d d a t a i s a d a u n t i n g t a s k . F u r t h e r m o r e , t h e h i g h e r
l e v e l a g g r e g a t i o n s f r o m w h e r e a n a n a l y s t s t a r t s m a y n o t e v e n b e a e c t e d b y a n
a n o m a l y o c c u r i n g u n d e r n e a t h e i t h e r b e c a u s e o f c a n c e l l a t i o n o f m u l t i p l e e x c e p -
t i o n s o r b e c a u s e o f t h e l a r g e a m o u n t o f d a t a a g g r e g a t e d . E v e n i f o n e i s v i e w i n g
d a t a a t t h e s a m e l e v e l o f d e t a i l a s w h e r e t h e a n o m a l y o c c u r s , i t m i g h t b e h a r d
t o n o t i c e t h e e x c e p t i o n b e c a u s e o f l a r g e n u m b e r o f v a l u e s .
D i s c o v e r y - d r i v e n E x p l o r a t i o n W e p r o p o s e a n e w \ d i s c o v e r y - d r i v e n " m e t h o d
o f d a t a e x p l o r a t i o n w h e r e a n a n a l y s t ' s s e a r c h f o r a n o m a l i e s i s g u i d e d b y p r e -
c o m p u t e d i n d i c a t o r s o f e x c e p t i o n s a t v a r i o u s l e v e l s o f d e t a i l i n t h e c u b e . T h i s
i n c r e a s e s t h e c h a n c e s o f u s e r n o t i c i n g a b n o r m a l p a t t e r n s i n t h e d a t a a t a n y l e v e l
o f a g g r e g a t i o n .
W e p r e s e n t a f o r m a l n o t i o n o f e x c e p t i o n s . I n t u i t i v e l y , w e c o n s i d e r a v a l u e i n a
c e l l o f a d a t a c u b e t o b e a n e x c e p t i o n i f i t i s s i g n i c a n t l y d i e r e n t f r o m t h e v a l u e
a n t i c i p a t e d b a s e d o n a s t a t i s t i c a l m o d e l . T h i s m o d e l c o m p u t e s t h e a n t i c i p a t e d
v a l u e o f a c e l l i n c o n t e x t o f i t s p o s i t i o n i n t h e d a t a c u b e a n d c o m b i n e s t r e n d s
a l o n g d i e r e n t d i m e n s i o n s t h a t t h e c e l l b e l o n g s t o . T h u s , f o r i n s t a n c e , a l a r g e
i n c r e a s e i n s a l e s i n d e c e m b e r m i g h t a p p e a r e x c e p t i o n a l w h e n l o o k i n g a t t h e t i m e
d i m e n s i o n b u t w h e n l o o k i n g a t t h e o t h e r d i m e n s i o n s l i k e p r o d u c t t h i s i n c r e a s e
w i l l n o t a p p e a r e x c e p t i o n a l i f o t h e r p r o d u c t s a l s o h a d s i m i l a r i n c r e a s e . T h e m o d e l
a l l o w s e x c e p t i o n s t o b e f o u n d a t a l l l e v e l s o f a g g r e g a t i o n .
W e p r e s e n t c o m p u t a t i o n t e c h n i q u e s t h a t m a k e t h e p r o c e s s o f n d i n g e x c e p -
t i o n s e c i e n t f o r l a r g e O L A P d a t a s e t s . O u r t e c h n i q u e s u s e t h e s a m e k i n d o f
d a t a s c a n o p e r a t i o n s a s r e q u i r e d f o r c u b e a g g r e g a t e c o m p u t a t i o n A A D
+
9 6 ] a n d
t h u s e n a b l e s o v e r l a p o f e x c e p t i o n n d i n g w i t h r o u t i n e a g g r e g a t e p r e c o m p u t a t i o n .
T h e s e t e c h n i q u e s r e c o g n i z e t h a t t h e d a t a m a y b e t o o l a r g e t o t i n m a i n m e m -
o r y a n d i n t e r m e d i a t e r e s u l t s m a y h a v e t o b e w r i t t e n t o d i s k r e q u i r i n g c a r e f u l
o p t i m i z a t i o n .
P a p e r l a y o u t T h e p a p e r i s o r g a n i z e d a s f o l l o w s . I n S e c t i o n 2 w e d e m o n s t r a t e
a s c e n a r i o o f t h e u s e o f o u r p r o p o s e d m e t h o d . S e c t i o n 3 g i v e s t h e s t a t i s t i c a l
-
7/27/2019 $Discovery Driven Sarawagi 10.1.1.40.9152
3/15
m o d e l w e u s e t o c o m p u t e t h e a n t i c i p a t e d v a l u e o f a c e l l a n d t h e r a t i o n a l e f o r
c h o o s i n g t h i s m o d e l . C o m p u t a t i o n t e c h n i q u e s a r e d i s c u s s e d i n S e c t i o n 4 . R e f e r
t o S A M 9 8 ] f o r s o m e p e r f o r m a n c e r e s u l t s a n d e x p e r i e n c e w i t h r e a l - l i f e d a t a s e t s
t h a t i l l u s t r a t e s t h e e e c t i v e n e s s o f t h e p r o p o s e d a p p r o a c h . W e c o n c l u d e w i t h a
s u m m a r y a n d d i r e c t i o n s f o r f u t u r e w o r k i n S e c t i o n 5 .
2 A n I l l u s t r a t i v e E x a m p l e
W e i l l u s t r a t e o u r p r o p o s e d m e t h o d u s i n g a n e x a m p l e s e s s i o n w i t h o u r p r o t o t y p e
i m p l e m e n t a t i o n . T h i s p r o t o t y p e u s e s t h e M i c r o s o f t E x c e l s p r e a d s h e e t , e x t e n d e d
w i t h a p p r o p r i a t e m a c r o s , a s t h e f r o n t - e n d f o r u s e r - i n t e r a c t i o n . T h e b a c k e n d i s
t h e w e l l - k n o w n O L A P p r o d u c t , A r b o r E s s b a s e A r b ] t h a t c o m p u t e s a n d s t o r e s
t h e e x c e p t i o n s u s i n g t h e t e c h n i q u e s w e p r e s e n t i n S e c t i o n s 3 a n d 4 .
T o k e e p t h e e x a m p l e b r i e f , w e w i l l c o n s i d e r a t h r e e - d i m e n s i o n a l d a t a c u b e
w i t h d i m e n s i o n s P r o d u c t , M a r k e t , a n d T i m e . T h e r e i s a h i e r a r c h y M a r k e t !
R e g i o n ! A L L o n t h e M a r k e t d i m e n s i o n . T h e d a t a f o r t h i s c u b e i s t a k e n f r o m
a s a m p l e O L A P d a t a b a s e d i s t r i b u t e d w i t h E s s b a s e A r b ] .
W e a n n o t a t e e v e r y c e l l i n a l l p o s s i b l e a g g r e g a t i o n s o f a d a t a c u b e w i t h a
v a l u e t h a t i n d i c a t e s t h e d e g r e e o f \ s u r p r i s e " t h a t t h e q u a n t i t y i n t h e c e l l h o l d s .
T h e s u r p r i s e v a l u e c a p t u r e s h o w a n o m a l o u s a q u a n t i t y i n a c e l l i s w i t h r e s p e c t t o
o t h e r c e l l s . T h e s u r p r i s e v a l u e o f a c e l l i s a c o m p o s i t e o f t h e f o l l o w i n g t h r e e v a l u e s
( w e g i v e d e n i t i o n s a n d d i s c u s s h o w t h e s e v a l u e s a r e d e t e r m i n e d i n S e c t i o n 3 ) :
1 S e l f E x p : r e p r e s e n t s t h e s u r p r i s e v a l u e o f t h e c e l l r e l a t i v e t o o t h e r c e l l s a t t h e
s a m e l e v e l o f a g g r e g a t i o n .
2 I n E x p : r e p r e s e n t s t h e d e g r e e o f s u r p r i s e s o m e w h e r e b e n e a t h t h i s c e l l i f w e
d r i l l d o w n f r o m t h e c e l l .
3 P a t h E x p : r e p r e s e n t s t h e d e g r e e o f s u r p r i s e f o r e a c h d r i l l - d o w n p a t h f r o m t h e
c e l l .
Product (All )
Region (All)
Sum of Sales MonthJan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec
Total 2% 0% 2% 2% 4% 3% 0% -8% 0% -3% 4%
F i g u r e 1 . C h a n g e i n s a l e s o v e r t i m e
C o n s i d e r a u s e r l o o k i n g a t t h e m o n t h l y s a l e s a s a p e r c e n t a g e d i e r e n c e f r o m
t h e p r e v i o u s m o n t h . S u p p o s e t h e u s e r s t a r t s b y v i e w i n g t h e d a t a a g g r e g a t e d o v e r
a l l p r o d u c t s a n d m a r k e t s f o r d i e r e n t m o n t h s o f t h e y e a r a s s h o w n i n F i g u r e 1 .
T o n d o u t w h a t p a r t s o f t h e c u b e m a y b e w o r t h y o f e x p l o r i n g f u r t h e r i n
t e r m s o f e x c e p t i o n s , t h e u s e r i n v o k e s a \ h i g h l i g h t e x c e p t i o n s " b u t t o n t h a t
c o l o r s t h e b a c k g r o u n d o f e a c h c e l l b a s e d o n i t s S e l f E x p v a l u e . I n a d d i t i o n , e a c h
c e l l i s s u r r o u n d e d w i t h a d i e r e n t c o l o r e d b o x b a s e d o n t h e I n E x p v a l u e . I n
-
7/27/2019 $Discovery Driven Sarawagi 10.1.1.40.9152
4/15
Region (All)
Avg.Sales Month
Product Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec
Birch-B 10% -7% 3% -4% 15% -12% -3% 1% 42% -14% -10%Chery-S 1% 1% 4% 3% 5% 5% -9% -12% 1% -5% 5%
Cola -1% 2% 3% 4% 9% 4% 1% -11% -8% -2% 7%
Cream-S 3% 1% 6% 3% 3% 8% -3% -12% -2% 1% 10%
Diet-B 1% 1% -1% 2% 1% 2% 0% -6% -1% -4% 2%
Diet-C 3% 2% 5% 2% 4% 7% -7% -12% -2% -2% 8%
Diet-S 2% -1% 0% 0% 4% 2% 4% -9% 5% -3% 0%
Grape-S 1% 1% 0% 4% 5% 1% 3% -9% -1% -8% 4%
Jolt-C -1% -4% 2% 2% 0% -4% 2% 6% -2% 0% 0%
Kiwi-S 2% 1% 4% 1% -1% 3% -1% -4% 4% 0% 1%
Old-B 4% -1% 0% 1% 5% 2% 7% -10% 3% -3% 1%
Orang-S 1% 1% 3% 4% 2% 1% -1% -1% -6% -4% 9%
Sasprla -1% 2% 1% 3% -3% 5% -10% -2% -1% 1% 5%
F i g u r e 2 . C h a n g e i n s a l e s o v e r t i m e f o r e a c h p r o d u c t
b o t h c a s e s , t h e i n t e n s i t y o f t h e c o l o r i s v a r i e d w i t h t h e d e g r e e o f e x c e p t i o n . I n
F i g u r e 1 , t h e m o n t h s w i t h a t h i c k b o x a r o u n d t h e m h a v e a h i g h I n E x p v a l u e
a n d t h u s n e e d t o b e d r i l l e d d o w n f u r t h e r f o r e x c e p t i o n s u n d e r n e a t h t h e m . D a r k e r
b o x e s ( e . g . , a r o u n d \ A u g " , \ S e p " a n d \ O c t " ) i n d i c a t e h i g h e r v a l u e s o f I n E x p
t h a n t h e l i g h t e r b o x e s ( e . g . , a r o u n d \ F e b " a n d \ N o v " ) .
T h e r e a r e t w o p a t h s t h e u s e r m a y d r i l l d o w n a l o n g f r o m h e r e : P r o d u c t a n d
R e g i o n . T o e v a l u a t e w h i c h o f t h e s e p a t h s h a s m o r e e x c e p t i o n s , t h e u s e r s e l e c t s a
c e l l o f i n t e r e s t a n d i n v o k e s a \ p a t h e x c e p t i o n " m o d u l e t h a t c o l o r s e a c h a g g r e -
g a t e d d i m e n s i o n b a s e d o n t h e s u r p r i s e v a l u e a l o n g t h a t p a t h . T h e s e a r e b a s e d
o n t h e P a t h E x p v a l u e s o f t h e c e l l . I n F i g u r e 1 ( t o p - l e f t p a r t ) t h e p a t h a l o n g d i -
m e n s i o n P r o d u c t h a s m o r e s u r p r i s e t h a n a l o n g R e g i o n i n d i c a t e d b y d a r k e r c o l o r .
D r i l l i n g - d o w n a l o n g P r o d u c t y i e l d s 1 4 3 d i e r e n t s a l e s v a l u e s c o r r e s p o n d i n g t o
d i e r e n t P r o d u c t - T i m e c o m b i n a t i o n s a s s h o w n i n F i g u r e 2 . I n s t e a d o f t r y i n g t o
n d t h e e x c e p t i o n s b y m a n u a l i n s p e c t i o n , t h e u s e r c a n c l i c k o n t h e \ h i g h l i g h t
e x c e p t i o n " b u t t o n t o q u i c k l y i d e n t i f y t h e e x c e p t i o n a l v a l u e s . I n t h i s g u r e ,
t h e r e a r e a f e w c e l l s w i t h h i g h S e l f E x p v a l u e s a n d t h e s e a p p e a r a s c e l l s w i t h a
d i e r e n t b a c k g r o u n d s h a d e t h a n t h e n o r m a l o n e s ( d a r k e r s h a d e s i n d i c a t e h i g h e r
s u r p r i s e ) . F o r i n s t a n c e , s a l e s o f \ B i r c h - B ( e e r ) " s h o w s a n e x c e p t i o n a l d i e r e n c e
o f 4 2 % i n t h e m o n t h o f \ O c t " . I n a d d i t i o n , t h r e e o t h e r c e l l s a r e a l s o i n d i c a t e d t o
h a v e l a r g e S e l f E x p v a l u e s a l t h o u g h t h e s a l e s v a l u e s t h e m s e l v e s ( 6 % f o r < J o l t - C ,
S e p > , - 1 2 % f o r < B i r c h - B , J u l > a n d - 1 0 % f o r < B i r c h - B , D e c > ) a r e n o t e x c e p -
t i o n a l l y l a r g e w h e n c o m p a r e d w i t h a l l t h e o t h e r c e l l s . T h e r e a s o n w h y t h e s e c e l l s
a r e m a r k e d a s e x c e p t i o n s w i l l b e e x p l a i n e d i n S e c t i o n 3 .
F i g u r e 2 a l s o s h o w s s o m e c e l l s w i t h l a r g e I n E x p v a l u e s a s i n d i c a t e d b y t h e
t h i c k b o x e s a r o u n d t h e m . T h e h i g h e s t I n E x p v a l u e s a r e f o r P r o d u c t \ D i e t -
S ( o d a ) " i n t h e m o n t h s o f \ A u g " a n d \ O c t " . T h e u s e r m a y t h e r e f o r e c h o o s e t o
e x p l o r e f u r t h e r d e t a i l s f o r \ D i e t - S o d a " b y d r i l l i n g d o w n a l o n g R e g i o n . F i g u r e 3
s h o w s t h e s a l e s g u r e s f o r \ D i e t - S o d a " i n d i e r e n t R e g i o n s . B y h i g h l i g h t i n g
-
7/27/2019 $Discovery Driven Sarawagi 10.1.1.40.9152
5/15
Product Diet-S
Avg.Sales Month
Region Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec
C 0% -2% 0% 1% 4% 1% 5% -6% 2% -2% -2%
E 0% 2% -8% 7% 0% 5% -40% 10% -33% 2% 8%
S 0% -1% 3% -2% 2% -2% 19% -1% 12% -1% 0%
W 5% 1% 0% -2% 6% 6% 2% -17% 9% -7% 2%
F i g u r e 3 . C h a n g e i n s a l e s o f P r o d u c t \ D i e t - S o d a " o v e r t i m e i n e a c h R e g i o n
e x c e p t i o n s i n t h i s p l a n e , t h e u s e r n o t i c e s t h a t i n R e g i o n \ E " ( f o r E a s t e r n ) ,
t h e s a l e s o f \ D i e t - S o d a " h a s d e c r e a s e d b y a n e x c e p t i o n a l l y h i g h v a l u e o f 4 0 %
a n d 3 3 % i n t h e m o n t h s o f \ A u g " a n d \ O c t " r e s p e c t i v e l y . N o t i c e t h a t t h e s a l e s
o f \ D i e t - S o d a " i n t h e P r o d u c t - T i m e p l a n e a g g r e g a t e d o v e r d i e r e n t R e g i o n s
( F i g u r e 2 ) g i v e s l i t t l e i n d i c a t i o n o f t h e s e h i g h e x c e p t i o n s i n t h e R e g i o n - P r o d u c t -
T i m e s p a c e . T h i s s h o w s h o w t h e I n E x p v a l u e a t h i g h e r l e v e l c e l l s m a y b e v a l u a b l e
i n r e a c h i n g a t e x c e p t i o n s i n l o w e r l e v e l c e l l s .
Market (All)
Product Cola
Avg.Sales MonthRegion Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec
C 3% 1% 4% 1% 4% 10% -11% -14% -3% 5% 11%
E -3% 3% 4% 4% 13% 2% 0% -10% -13% -3% 8%
S 2% -1% 1% 9% 6% 3% 21% -15% 1% -5% 4%
W -2% 2% 2% 4% 12% 1% 1% -9% -11% -4% 6%
F i g u r e 4 . C h a n g e i n s a l e s o v e r T i m e f o r P r o d u c t \ C o l a " i n d i e r e n t R e g i o n
T h e r e a r e n o o t h e r c e l l s w i t h h i g h I n E x p i n F i g u r e 3 . T h e r e f o r e , t h e u s e r m a y
s t o p d r i l l i n g d o w n a n d g o b a c k t o t h e P r o d u c t - T i m e p l a n e o f F i g u r e 2 t o e x p l o r e
o t h e r c e l l s w i t h h i g h I n E x p . S u p p o s e , h e c h o o s e s t o d r i l l - d o w n a l o n g P r o d u c t
\ C o l a " i n \ A u g " . F i g u r e 4 s h o w s t h e e x c e p t i o n s f o r \ C o l a " a f t e r d r i l l i n g d o w n
a l o n g R e g i o n . T h e \ C e n t r a l " R e g i o n h a s a l a r g e I n E x p a n d m a y b e d r i l l e d d o w n
f u r t h e r , r e v e a l i n g t h e S e l f E x p v a l u e s i n t h e M a r k e t - t i m e p l a n e f o r \ C o l a " .
3 D e n i n g e x c e p t i o n s
I n t u i t i v e l y , a v a l u e i n a c e l l o f a d a t a c u b e i s a n e x c e p t i o n i f i t i s s u r p r i s i n g .
T h e r e c o u l d b e s e v e r a l i n t e r p r e t a t i o n s o f t h i s n o t i o n . W e p r e s e n t t h e a p p r o a c h
w e u s e . I n S A M 9 8 ] w e d i s c u s s t h e a l t e r n a t i v e s w e c o n s i d e r e d b e f o r e d e c i d i n g o n
o u r a p p r o a c h .
-
7/27/2019 $Discovery Driven Sarawagi 10.1.1.40.9152
6/15
Product Birch-B
Region E
Sum of Sales Month
State Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec
Massachusetts 0% - 4% 0% -8% 0% - 2% 0% 7% 35% -14% -16%New-Hampshire 5% 10% -13% 17% 3% 14% -27% -17% 57% -11% -41%
New-York 18% -10% 8% -4% 24% -19% -1% 1% 44% -15% - 3%
F i g u r e 5 . C h a n g e i n s a l e s o v e r T i m e f o r P r o d u c t \ B i r c h - B "
O u r c h o i c e o f e x c e p t i o n m o d e l w a s m o t i v a t e d b y t h e f o l l o w i n g d e s i d e r a t a :
1 . W e n e e d t o c o n s i d e r v a r i a t i o n a n d p a t t e r n s i n t h e m e a s u r e v a l u e a c r o s s
a l l d i m e n s i o n s t h a t a c e l l b e l o n g s t o . T h i s h e l p s u s n d v a l u e s t h a t a r e
e x c e p t i o n a l w i t h i n t h e c o n t e x t o f a p a r t i c u l a r a g g r e g a t i o n . I t i s n o t e n o u g h
t o s i m p l y t r e a t t h e v a l u e s i n a c u b e a s a a t s e t a n d c a l l e x t r e m e v a l u e s
i n t h e s e t a s e x c e p t i o n s . F o r i n s t a n c e , c o n s i d e r t h e e x a m p l e d a t a c u b e f r o m
F i g u r e 2 . I f w e i g n o r e d c e l l p o s i t i o n s , p o s s i b l y o n l y < B i r c h - B , O c t > w o u l d
b e m a r k e d a s a n e x c e p t i o n . H o w e v e r , w e i d e n t i f y s e v e r a l o t h e r e x c e p t i o n s .
I n t e r e s t i n g l y , t h e e n t r y < B i r c h - B , D e c > w i t h v a l u e - 1 0 % i s m a r k e d a s a n
e x c e p t i o n w h e r e a s e n t r y < B i r c h - B , N o v > w i t h a h i g h e r v a l u e - 1 4 % i s n o t
b e c a u s e f o r t h e \ D e c " c o l u m n a l m o s t a l l o t h e r p r o d u c t h a v e a l a r g e p o s i t i v e
v a l u e w h e r e a s i n t h e \ N o v " c o l u m n m o s t o t h e r p r o d u c t s a l s o h a v e a n e g a t i v e
v a l u e . I n t h e \ S e p " c o l u m n , \ J o l t - C " h a s a r e l a t i v e l y l a r g e p o s i t i v e v a l u e
s i n c e m o s t o t h e r p r o d u c t s h a v e a n e g a t i v e v a l u e a n d i s t h e r e f o r e m a r k e d a s
a n e x c e p t i o n .
2 . W e n e e d t o n d e x c e p t i o n s a t a l l a g g r e g a t e d g r o u p - b y s o f t h e c u b e , a n d
n o t o n l y a t t h e d e t a i l e d l e v e l b e c a u s e i t s i m p l i e s e n d - u s e r c o m p r e h e n s i b i l -
i t y t h r o u g h c o n c i s e r e p r e s e n t a t i o n . F o r i n s t a n c e , h B i r c h - B , O c t i i s a n e x c e p -
t i o n a t t h e h P r o d u c t , M o n t h i g r o u p - b y ( F i g u r e 2 ) a n d t h a t m e a n s w e d o n o t
n e e d t o m a r k a s e x c e p t i o n s a l l t h e h i g h v a l u e s f o r h B i r c h - B , O c t , * i a t t h e
h P r o d u c t , M o n t h , S t a t e i g r o u p - b y ( F i g u r e 5 ) .
3 . T h e u s e r s h o u l d b e a b l e t o i n t e r p r e t t h e r e a s o n w h y c e r t a i n v a l u e s a r e m a r k e d
a s e x c e p t i o n s . A t y p i c a l O L A P u s e r i s a b u s i n e s s e x e c u t i v e , n o t n e c e s s a r i l y
a s o p h i s t i c a t e d s t a t i s t i c i a n . O u r m e t h o d t h e r e f o r e s h o u l d n o t r e q u i r e t h e
u s e r t o m a k e c h o i c e s b e t w e e n c o m p l e x s t a t i s t i c a l m o d e l s a n d t h e p r o c e s s o f
n d i n g e x c e p t i o n s s h o u l d b e f a i r l y a u t o m a t e d .
4 . T h e p r o c e d u r e f o r n d i n g e x c e p t i o n s s h o u l d b e c o m p u t a t i o n a l l y e c i e n t a n d
s c a l e f o r l a r g e d a t a s e t s c o m m o n l y f o u n d i n O L A P d a t a b a s e s . A l s o , i t s h o u l d
b e g e n e r a l i z a b l e a n d e c i e n t f o r t h e r a n g e o f d i m e n s i o n s t h a t a r e c o m m o n
i n O L A P ( t y p i c a l l y 3 t o 8 ) a n d h a n d l e h i e r a r c h i e s o n d i m e n s i o n s .
3 . 1 T h e M o d e l
C o n s i d e r r s t t h e p r o b l e m o f n d i n g e x c e p t i o n s i n t h e m o s t d e t a i l e d v a l u e s o f
t h e d a t a c u b e . W e c a l l a v a l u e a n e x c e p t i o n i f i t d i e r s s i g n i c a n t l y f r o m t h e
-
7/27/2019 $Discovery Driven Sarawagi 10.1.1.40.9152
7/15
a n t i c i p a t e d v a l u e c a l c u l a t e d u s i n g a m o d e l t h a t t a k e s i n t o a c c o u n t a l l a g g r e g a t e s
( g r o u p - b y s ) i n w h i c h t h e v a l u e p a r t i c i p a t e s . T h i s m o d e l w a s i n s p i r e d b y t h e t a b l e
a n a l y s i s m e t h o d s H M J 8 8 ] u s e d i n t h e s t a t i s t i c a l l i t e r a t u r e .
F o r a v a l u e y
i
1
i
2
: : : i
n
i n a c u b e C a t p o s i t i o n i
r
o f t h e r t h d i m e n s i o n d
r
( 1
r n ) , w e d e n e t h e a n t i c i p a t e d v a l u e ^y
i
1
i
2
: : : i
n
a s a f u n c t i o n f o f c o n t r i b u t i o n s
f r o m v a r i o u s h i g h e r l e v e l g r o u p - b y s a s :
^y
i
1
i
2
: : : i
n
= f (
G
( i
r
j d
r
2 G )
j G f d
1
; d
2
; : : : d
n
g ) ( 1 )
W e w i l l r e f e r t o t h e t e r m s a s t h e c o e c i e n t s o f t h e m o d e l e q u a t i o n . T h e w a y
t h e s e c o e c i e n t s a r e d e r i v e d i s e x p l a i n e d i n S e c t i o n 3 . 4 . T h e d i e r e n t f u n c t i o n a l
f o r m s f u n c t i o n f c a n t a k e i s d i s c u s s e d i n S e c t i o n 3 . 3 .
W e c l a r i f y E q . 1 b y i l l u s t r a t i n g f o r t h e c a s e o f a c u b e w i t h t h r e e d i m e n s i o n s
A ; B ; C . T h e a n t i c i p a t e d v a l u e ^y
i j k
f o r t h e i t h m e m b e r o f d i m e n s i o n A , j t h
m e m b e r o f d i m e n s i o n B a n d k t h m e m b e r o f d i m e n s i o n C , i s e x p r e s s e d a s a
f u n c t i o n o f s e v e n t e r m s o b t a i n e d f r o m e a c h o f t h e s e v e n g r o u p - b y s o f t h e c u b e
a s :
^y
i j k
= f ( ;
A
i
;
B
j
;
C
k
;
A B
i j
;
B C
j k
;
A C
i k
)
T h e a b s o l u t e d i e r e n c e b e t w e e n t h e a c t u a l v a l u e , y
i
1
i
2
: : : i
n
a n d t h e a n t i c i p a t e d
v a l u e ^y
i
1
i
2
: : : i
n
i s t e r m e d a s t h e r e s i d u a l r
i
1
i
2
: : : i
n
o f t h e m o d e l . T h u s ,
r
i
1
i
2
: : : i
n
= j y
i
1
i
2
: : : i
n
? ^y
i
1
i
2
: : : i
n
j
I n t u i t i v e l y , a n y v a l u e w i t h a r e l a t i v e l y l a r g e v a l u e o f t h e r e s i d u a l i s a n e x c e p -
t i o n . A s t a t i s t i c a l l y v a l i d d e n i t i o n o f \ r e l a t i v e l y l a r g e " r e q u i r e s u s t o s c a l e t h e
v a l u e s b a s e d a l s o o n t h e a n t i c i p a t e d s t a n d a r d d e v i a t i o n
i
1
i
2
: : : i
n
a s s o c i a t e d w i t h
t h e r e s i d u a l s . T h u s , w e c a l l a v a l u e a n e x c e p t i o n i f t h e s t a n d a r d i z e d r e s i d u a l ,
s
i
1
i
2
: : : i
n
, d e n e d a s
s
i
1
i
2
: : : i
n
=
j y
i
1
i
2
: : : i
n
? ^y
i
1
i
2
: : : i
n
j
i
1
i
2
: : : i
n
( 2 )
i s h i g h e r t h a n s o m e t h r e s h o l d . W e u s e = 2 . 5 c o r r e s p o n d i n g t o a p r o b a b i l i t y
o f 9 9 % i n t h e n o r m a l d i s t r i b u t i o n . I n S e c t i o n 3 . 5 w e d i s c u s s h o w w e e s t i m a t e t h e
s t a n d a r d d e v i a t i o n s .
3 . 2 E x c e p t i o n s a t H i g h e r L e v e l s o f G r o u p - b y s
E x c e p t i o n s a t h i g h e r l e v e l g r o u p - b y s o f t h e c u b e c a n b e f o u n d b y s e p a r a t e l y
t t i n g t h e m o d e l E q . 1 o n a g g r e g a t e d v a l u e s a t e a c h g r o u p - b y o f t h e d a t a c u b e
u s i n g d i e r e n t v a l u e s o f n . F o r i n s t a n c e , f o r a c u b e w i t h t h r e e d i m e n s i o n s A , B ,
C w e w i l l n e e d o n e e q u a t i o n a t t h e m o s t d e t a i l e d l e v e l A B C w h e r e n = 3 , t h r e e
e q u a t i o n s f o r g r o u p - b y s A B , B C a n d C A w h e r e n = 2 , a n d t h r e e e q u a t i o n s f o r
g r o u p - b y s A , B a n d C w h e r e n = 1 . T h e O L A P u s e r s p e c i e s t h e a g g r e g a t e
f u n c t i o n t o b e u s e d f o r s u m m a r i z i n g v a l u e s a t h i g h e r l e v e l s o f t h e c u b e . F o r
i n s t a n c e , a u s e r m i g h t s p e c i f y \ s u m " o r \ a v e r a g e " o f s a l e s a s t h e a g g r e g a t e
f u n c t i o n . A c c o r d i n g l y , e x c e p t i o n s i n \ t o t a l " o r \ a v e r a g e " s a l e s w i l l b e r e p o r t e d
a t v a r i o u s g r o u p - b y s o f t h e c u b e .
-
7/27/2019 $Discovery Driven Sarawagi 10.1.1.40.9152
8/15
3 . 3 F u n c t i o n a l f o r m s o f f
T h e f u n c t i o n f i n E q . 1 c a n t a k e a f o r m w h i c h i s :
{ A d d i t i v e : t h e f u n c t i o n f r e t u r n s t h e s u m o f i t s a r g u m e n t s .
{ M u l t i p l i c a t i v e : t h e f u n c t i o n f r e t u r n s t h e p r o d u c t o f i t s a r g u m e n t s .
O t h e r ( m o r e c o m p l e x ) f u n c t i o n a l f o r m s f o r f a r e a l s o p o s s i b l e | m o s t o f t h e m
i n v o l v i n g d i e r e n t m i x t u r e s o f a d d i t i v e a n d m u l t i p l i c a t i v e t e r m s H M J 8 8 ] . A
s i g n i c a n t l y d i e r e n t a p p r o a c h i n t h i s c a t e g o r y i s t h e o n e s u g g e s t e d i n M a n 7 1 ]
w h e r e f a c t o r a n a l y t i c m o d e l s l i k e t h e s i n g u l a r v a l u e d e c o m p o s i t i o n C L 8 6 ] a r e
u s e d t o t a m o d e l b a s e d o n a m i x t u r e o f a d d i t i v e a n d m u l t i p l i c a t i v e t e r m s . T h e
m a i n d e m e r i t o f t h e s e m o d e l s i s t h e h i g h o v e r h e a d o f c o m p u t i n g t h e m a n d t h e
l a c k o f g e n e r a l i z a t i o n s o f t h e m o d e l s t o m o r e t h a n 2 - 3 d i m e n s i o n s a n d h i e r a r c h i e s .
I n o u r e x p e r i e n c e w i t h O L A P d a t a s e t s , t h e m u l t i p l i c a t i v e f o r m p r o v i d e d
b e t t e r t t h a n t h e a d d i t i v e f o r m . ( S e e S A M 9 8 ] f o r a n i n t u i t i v e r e a s o n f o r t h i s . )
F o r e a s e o f c a l c u l a t i o n , w e t r a n s f o r m t h e m u l t i p l i c a t i v e f o r m t o a l i n e a r a d d i t i v e
f o r m b y t a k i n g a l o g o f o r i g i n a l d a t a v a l u e s . W e t h u s h a v e
^
l
i
1
i
2
: : : i
n
= l o g ^y
i
1
i
2
: : : i
n
=
X
G f d
1
d
2
; : : : d
n
g
G
( i
r
j d
r
2 G )
( 3 )
F o r a t h r e e - d i m e n s i o n a l c u b e , t h i s e q u a t i o n t a k e s t h e f o r m :
^
l
i j k
= l o g ^y
i j k
= +
A
i
+
B
j
+
C
k
+
A B
i j
+
B C
j k
+
A C
i k
3 . 4 E s t i m a t i n g m o d e l c o e c i e n t s
W e n o w d i s c u s s h o w w e e s t i m a t e t h e c o e c i e n t s o f t h e m o d e l e q u a t i o n . T w o
p o s s i b l e a p p r o a c h e s a r e :
1 . M e a n - b a s e d e s t i m a t e s : F o r d e r i v i n g t h e s e e s t i m a t e s w e a s s u m e t h e l o g a -
r i t h m s o f t h e v a l u e s a r e d i s t r i b u t e d n o r m a l l y w i t h t h e s a m e v a r i a n c e . T h e
f o l l o w i n g a p p r o a c h y i e l d s t h e l e a s t - s q u a r e s e s t i m a t e s i n t h a t c a s e H M T 8 3 ] :
{ = `
+ +
w h i c h i s t h e g r a n d m e a n o r a v e r a g e . N o t e t h a t a \ + " i n t h e
i t h i n d e x d e n o t e s a n a g g r e g a t i o n a l o n g t h e i t h d i m e n s i o n .
{
A
r
i
r
= `
+ + i
r
+ +
? w h e r e `
+ + i
r
+ +
i s t h e m e a n o v e r a l l v a l u e s a l o n g
i
r
t h m e m b e r o f d i m e n s i o n A
r
. T h u s ,
A
r
i
r
d e n o t e s h o w m u c h t h e a v e r a g e
o f t h e v a l u e s a l o n g i
r
t h m e m b e r o f d i m e n s i o n A
r
d i e r s f r o m t h e o v e r a l l
a v e r a g e .
{ ( )
A
r
A
s
i
r
i
s
= `
+ + i
r
+ + i
s
+ +
?
A
r
i
r
?
A
s
i
s
?
I n g e n e r a l , t h e c o e c i e n t s c o r r e s p o n d i n g t o a n y g r o u p - b y G a r e o b t a i n e d b y
s u b t r a c t i n g f r o m t h e a v e r a g e ` v a l u e a t g r o u p - b y G a l l t h e c o e c i e n t s f r o m
h i g h e r l e v e l g r o u p - b y s . I n t u i t i v e l y , t h e c o e c i e n t s r e e c t a n a d j u s t m e n t s t o
t h e m e a n o f t h e c o r r e s p o n d i n g g r o u p - b y a f t e r a l l h i g h e r - l e v e l a d j u s t m e n t s a r e
t a k e n i n t o a c c o u n t . I f a u s e r i s n a v i g a t i n g t h e d a t a c u b e t o p - d o w n , t h e n t h e
c o e c i e n t s r e e c t h o w d i e r e n t t h e v a l u e s a t m o r e d e t a i l e d l e v e l s a r e , b a s e d
o n t h e g e n e r a l i m p r e s s i o n s f o r m e d b y l o o k i n g a t h i g h e r l e v e l a g g r e g a t e s . T h i s
h e l p s p r o v i d e e a s y g r a s p o f w h y c e r t a i n n u m b e r s a r e m a r k e d e x c e p t i o n s .
-
7/27/2019 $Discovery Driven Sarawagi 10.1.1.40.9152
9/15
2 . O t h e r r o b u s t e s t i m a t e s : T h e m a i n s h o r t c o m i n g o f t h e m e a n - b a s e d a p p r o a c h
i s t h a t i t i s n o t r o b u s t i n t h e p r e s e n c e o f e x t r e m e l y l a r g e o u t l i e r s . T h e r e f o r e ,
a n u m b e r o f m e t h o d s i n c l u d i n g t h e m e d i a n p o l i s h m e t h o d H M J 8 8 ] a n d t h e
s q u a r e c o m b i n i n g m e t h o d H M J 8 8 ] h a v e b e e n p r o p o s e d . T h e s e a r e a l l b a s e d
o n u s i n g r o b u s t e s t i m a t e s o f c e n t r a l t e n d e n c y l i k e \ m e d i a n " o r \ t r i m m e d -
m e a n " i n s t e a d o f \ m e a n " f o r c a l c u l a t i n g t h e c o e c i e n t s . T r i m m e d - m e a n o f
a s e t o f v a l u e s i s d e n e d a s t h e m e a n o f t h e v a l u e s l e f t a f t e r a c e r t a i n f r a c t i o n
o f t h e e x t r e m e v a l u e s ( l a r g e s t a n d s m a l l e s t ) h a v e b e e n t r i m m e d o .
W e u s e d t h e 7 5 % t r i m m e d - m e a n w h e r e 2 5 % o f t h e e x t r e m e v a l u e s a r e t r i m m e d
o a n d t h e m e a n i s t a k e n o f t h e m i d d l e 7 5 % n u m b e r s . B y d r o p p i n g 2 5 % o f t h e
e x t r e m e n u m b e r s , w e m a k e t h e m e t h o d r o b u s t t o o u t l i e r s .
3 . 5 E s t i m a t i n g s t a n d a r d d e v i a t i o n
I n c l a s s i c a l A n a l y s i s o f V a r i a n c e ( A N O V A ) m e t h o d s M o n 9 1 ] , t h e s t a n d a r d d e v i -
a t i o n f o r a l l t h e c e l l s i s a s s u m e d t o b e i d e n t i c a l . T h e v a r i a n c e ( s q u a r e o f s t a n d a r d
d e v i a t i o n ) i s e s t i m a t e d a s t h e s u m o f s q u a r e s o f t h e r e s i d u a l s d i v i d e d b y t h e n u m -
b e r o f e n t r i e s . W e f o u n d t h a t t h i s m e t h o d p r o v i d e s p o o r t s o n O L A P d a t a . I n
t h e a n a l y s i s o f c o n t i n g e n c y t a b l e s B F H 7 5 ] , w h e r e c e l l e n t r i e s r e p r e s e n t c o u n t s ,
t h e P o i s s o n d i s t r i b u t i o n i s a s s u m e d . T h i s a s s u m p t i o n i m p l i e s t h a t t h e v a r i a n c e
i s e q u a l t o t h e m e a n . W h e n t h e e n t r i e s a r e n o t c o u n t s ( e . g . , l a r g e d o l l a r v a l u e s ) ,
t h i s t y p i c a l l y l e a d s t o a n u n d e r e s t i m a t e o f t h e v a r i a n c e .
T h e m e t h o d w e u s e f o r e s t i m a t i n g v a r i a n c e i s b a s e d o n a s l i g h t m o d i c a t i o n
o f t h e p r e v i o u s m o d e l s . W e m o d e l t h e v a r i a n c e a s a p o w e r o f t h e m e a n v a l u e
^y
i
1
: : : i
n
a s :
2
i
1
i
2
: : : i
n
= ( ^y
i
1
i
2
: : : i
n
)
T o c a l c u l a t e w e u s e t h e m a x i m u m l i k e l i h o o d p r i n c i p l e C L 8 6 ] o n d a t a a s s u m e d
t o b e d i s t r i b u t e d n o r m a l l y w i t h t h e m e a n v a l u e ^y
i
1
i
2
: : : i
n
. A c c o r d i n g t o t h e l a t t e r ,
o n e c a n d e r i v e t h a t t h e e s t i m a t e d v a l u e o f m u s t s a t i s f y :
X
( y
i
1
i
2
: : : i
n
? ^y
i
1
i
2
: : : i
n
)
2
( ^y
i
1
i
2
: : : i
n
)
l o g ^y
i
1
i
2
: : : i
n
?
X
l o g ^y
i
1
i
2
: : : i
n
= 0 ( 4 )
T h e m e t h o d w e u s e d f o r s o l v i n g t h e e q u a t i o n t o n d i s d i s c u s s e d i n S A M 9 8 ] .
3 . 6 S u m m a r i z i n g e x c e p t i o n s
A s d i s c u s s e d i n S e c t i o n 2 , w e n e e d t o s u m m a r i z e e x c e p t i o n s i n l o w e r l e v e l s o f t h e
c u b e a s s i n g l e v a l u e s a t h i g h e r l e v e l s o f c u b e . W e p r e s e n t c o n c i s e d e n i t i o n s o f
t h e S e l f E x p , I n E x p a n d P a t h E x p q u a n t i t i e s w e a s s o c i a t e w i t h e a c h c e l l f o r t h i s
p u r p o s e . I n S A M 9 8 ] m o r e f o r m a l d e n i t i o n s a p p e a r .
S e l f E x p : d e n o t e s t h e e x c e p t i o n v a l u e o f t h e c e l l . T h i s q u a n t i t y i s d e n e d a s
t h e s c a l e d a b s o l u t e v a l u e o f t h e r e s i d u a l d e n e d i n E q . 2 w i t h a c u t - o t h r e s h o l d
o f
-
7/27/2019 $Discovery Driven Sarawagi 10.1.1.40.9152
10/15
I n E x p : d e n o t e s t h e t o t a l d e g r e e o f s u r p r i s e o v e r a l l e l e m e n t s r e a c h a b l e b y
d r i l l - d o w n s f r o m t h i s c e l l . W e d e n e i t f o r m a l l y a s t h e m a x i m u m S e l f E x p v a l u e
o v e r a l l c e l l s u n d e r n e a t h t h i s c e l l .
P a t h E x p : d e n o t e s t h e d e g r e e o f s u r p r i s e t o b e a n t i c i p a t e d i f d r i l l e d d o w n
a l o n g a p a r t i c u l a r p a t h f o r e a c h p o s s i b l e d r i l l d o w n p a t h f r o m t h e c e l l . W e d e n e
P a t h E x p a s t h e m a x i m u m o f t h e S e l f E x p o v e r a l l c e l l s r e a c h a b l e b y d r i l l i n g d o w n
a l o n g t h a t p a t h .
4 C o m p u t a t i o n T e c h n i q u e s
A t r s t g l a n c e , o u r a p p r o a c h m a y a p p e a r u n r e a l i z a b l e i n p r a c t i c e b e c a u s e o f t h e
a p p a r e n t h i g h c o s t o f c o m p u t i n g e x c e p t i o n s a t e v e r y c e l l o f e v e r y g r o u p - b y o f
t h e c u b e . I n t h i s s e c t i o n , w e p r e s e n t f a s t c o m p u t a t i o n t e c h n i q u e s t h a t m a k e o u r
a p p r o a c h f e a s i b l e f o r l a r g e O L A P d a t a b a s e s . T h e r e a r e t h r e e l o g i c a l p h a s e s i n
t h e c o m p u t a t i o n o f e x c e p t i o n s i n t h e e n t i r e c u b e :
1 . T h e r s t p h a s e i n v o l v e s t h e c o m p u t a t i o n o f t h e a g g r e g a t e v a l u e s ( a s s p e c i e d
b y t h e u s e r - p r o v i d e d a g g r e g a t e f u n c t i o n ) o v e r w h i c h e x c e p t i o n s w i l l b e f o u n d
a t e a c h g r o u p - b y o f t h e c u b e . T h i s i s e s s e n t i a l l y t h e p r o b l e m o f c u b e c o m -
p u t a t i o n a n d e c i e n t c o m p u t a t i o n t e c h n i q u e s f o r t h i s p r o b l e m h a v e b e e n
d e v e l o p e d i n A A D
+
9 6 ] .
2 . T h e n e x t p h a s e i s m o d e l t t i n g , i . e . , n d i n g t h e c o e c i e n t s o f t h e m o d e l
e q u a t i o n a n d u s i n g t h e m t o n d t h e r e s i d u a l s a s d i s c u s s e d i n S e c t i o n 3 . 1 .
3 . T h e n a l p h a s e i n v o l v e s s u m m a r i z i n g e x c e p t i o n s f o u n d i n t h e s e c o n d p h a s e
a s d i s c u s s e d i n S e c t i o n 3 . 6 . C o m p u t a t i o n a l l y , t h i s p h a s e i s s i m i l a r t o p h a s e
1 w i t h a f e w d i e r e n c e s a s d i s c u s s e d i n S A M 9 8 ] .
4 . 1 M o d e l t t i n g
I n g e n e r a l , w e n e e d t o t s e p a r a t e e q u a t i o n s f o r d i e r e n t g r o u p - b y s o f t h e c u b e
a s d i s c u s s e d i n S e c t i o n 3 . 2 . W e w i l l r s t c o n s i d e r t h e s c e n a r i o w h e r e a s i n g l e
e q u a t i o n i s t o n t h e b a s e l e v e l d a t a . L a t e r i n S e c t i o n 4 . 2 , w e w i l l d i s c u s s h o w t o
s i m u l t a n e o u s l y t m u l t i p l e e q u a t i o n s , o n e f o r e a c h o f t h e g r o u p - b y s o f t h e c u b e .
W e r s t p r e s e n t a m e t h o d c a l l e d U p D o w n t h a t i s d i r e c t l y b a s e d o n E q . 3
a n d l a t e r p r e s e n t i m p r o v e m e n t s .
T h e U p D o w n M e t h o d R e c a l l f r o m S e c t i o n 3 . 4 t h a t t h e c o e c i e n t s a t e a c h
g r o u p - b y G o f t h e c u b e i s e q u a l t o t h e a v e r a g e v a l u e a t G m i n u s t h e s u m o f t h e
c o e c i e n t s o f a l l g r o u p - b y s t h a t a r e s u b s e t s o f G . T h u s , a n e c i e n t w a y t o c o m -
p u t e t h e c o e c i e n t s i s t h e f o l l o w i n g t w o p a s s a p p r o a c h : F i r s t i n t h e u p - p h a s e ,
c o m p u t e t h e a v e r a g e ` v a l u e ( c a l l i t a v g - l ) a t e a c h g r o u p - b y s t a r t i n g f r o m t h e
m o s t d e t a i l e d g r o u p - b y . T h i s i s c o m p u t a t i o n a l l y s i m i l a r t o t h e c u b e c o m p u t a -
t i o n o f p h a s e 1 w h e r e w e c o m p u t e t h e u s e r s p e c i e d a g g r e g a t e f u n c t i o n ( c a l l
i t u s e r - a g g ) . T h u s , p h a s e - 1 a n d t h e u p - p h a s e o f p h a s e 2 c a n b e c o m b i n e d t o
-
7/27/2019 $Discovery Driven Sarawagi 10.1.1.40.9152
11/15
s a v e o n t h e d i s k s c a n a n d s o r t i n g c o s t s . T h e n i n t h e d o w n - p h a s e , s u b t r a c t f r o m
e a c h g r o u p - b y G t h e c o e c i e n t s o f a l l i t s s u b s e t s s t a r t i n g f r o m t h e l e a s t d e t a i l e d
g r o u p - b y ( A L L )
F i n d - c o e c i e n t s
U p - p h a s e :
F o r e a c h g r o u p - b y G s t a r t i n g f r o m t h e m o s t d e t a i l e d g r o u p - b y
C o m p u t e t h e u s e r - a g g a n d a v g - l v a l u e s f r o m o n e o f i t s p a r e n t s
D o w n - p h a s e :
F o r e a c h g r o u p - b y G s t a r t i n g f r o m t h e l e a s t d e t a i l e d
C o m p u t e c o e c i e n t a t G b y s u b t r a c t i n g f r o m a v g - l v a l u e s , c o e c i e n t s
f r o m a l l g r o u p - b y s H w h e r e H G
E x a m p l e : C o n s i d e r c u b e A B C . W e r s t c o m p u t e t h e a v e r a g e v a l u e f o r e a c h
o f t h e 2
3
? 1 = 7 g r o u p - b y s o f t h e c u b e b y s t a r t i n g f r o m t h e A B C g r o u p - b y a n d
c o m p u t i n g t h e a v e r a g e a t A B , A C a n d B C f r o m A B C , c o m p u t i n g t h e a v e r a g e
a t A f r o m o n e o f A B o r A C a n d s o o n , u s i n g t h e c u b e c o m p u t a t i o n m e t h o d s o f
A A D
+
9 6 ] . W e t h e n c o m p u t e t h e c o e c i e n t s t a r t i n g f r o m A L L . T h e c o e c i e n t
o f e a c h m e m b e r o f g r o u p - b y A i s t h e a v e r a g e v a l u e a t t h e m e m b e r m i n u s t h e
c o e c i e n t o f i t s p a r e n t A L L , t h e c o e c i e n t s a t A B i s t h e a v e r a g e a t A B m i n u s
t h e c o e c i e n t s a t A , B a n d A L L a n d s o o n . F i n a l l y , w e s u b t r a c t f r o m t h e a v e r a g e
` v a l u e a t A B C c o e c i e n t s a t A B ; A C ; B C ; A ; B ; C a n d A L L
A n a l y s i s T h e d o w n - p h a s e i s c o m p u t a t i o n a l l y r a t h e r i n t e n s i v e b e c a u s e , i n g e n -
e r a l , f o r c o m p u t i n g t h e c o e c i e n t s o f a n a t t r i b u t e g r o u p - b y w e n e e d t o s u b -
t r a c t c o e c i e n t s f r o m 2
n
? 1 o t h e r g r o u p - b y s . T h i s i s e q u i v a l e n t t o j o i n i n g t h e
n - a t t r i b u t e g r o u p - b y w i t h 2
n
? 1 o t h e r g r o u p - b y s . W h e n t h e s i z e o f t h e s e g r o u p -
b y s i s l a r g e , c o m p u t i n g s o m a n y m u l t i - a t t r i b u t e j o i n s p e r g r o u p - b y c a n i n c u r
l a r g e s o r t i n g a n d c o m p a r i s o n c o s t s . T h i s s t r a i g h t f o r w a r d c o m p u t a t i o n c a n b e
i m p r o v e d f u r t h e r a s d i s c u s s e d i n S A M 9 8 ] .
R e w r i t i n g W e n o w d i s c u s s f u r t h e r w a y s o f s p e e d i n g u p c o m p u t a t i o n b y r e w r i t -
i n g E q . 3 . I n s t e a d o f t h e 2
n
? 1 t e r m s i n E q . 3 , w e e x p r e s s t h e e x p e c t e d v a l u e a s
a s u m o f n t e r m s a s f o l l o w s :
^
`
i
1
: : : i
n
= g
1
+ + g
n
; w h e r e g
r
= a v g
i
r
( `
i
1
: : : i
n
? g
1
? ? g
r ? 1
) ( 5 )
A s a n e x a m p l e , c o n s i d e r a c u b e w i t h t h r e e d i m e n s i o n s A ; B ; C
^
`
i j k
= g
1
i j
+ g
2
i k
+ g
3
j k
; w h e r e ;
g
1
i j
= a v g
k
( `
i j k
)
g
2
i k
= a v g
j
( `
i j k
? g
1
i j
)
g
3
j k
= a v g
i
( `
i j k
? g
1
i j
? g
2
i k
)
T h e c o e c i e n t s f r o m t h e o r i g i n a l E q . 3 c a n b e r e w r i t t e n i n t e r m s o f t h e n e w
c o e c i e n t s a s :
r
i j k
= `
i j k
? ( g
1
i j
+ g
2
i k
+ g
3
j k
)
-
7/27/2019 $Discovery Driven Sarawagi 10.1.1.40.9152
12/15
i j
= g
1
i j
? g
1
i
? g
1
j
; w h e r e g
1
i
= a v g
j
( g
1
i j
) ; g
1
j
= a v g
i
( g
1
i j
? g
1
i
) ;
i k
= g
2
i k
? g
2
k
; w h e r e g
2
k
= a v g
i
( g
2
i k
) ;
k j
= g
3
j k
i
= g
1
i
? g
1
; w h e r e g
1
= a v g
i
( g
1
i
)
j
= g
1
j
k
= g
2
k
= g
1
L e m m a 1 . E q u a t i o n s 3 a n d 5 y i e l d t h e s a m e s e t o f r e s i d u a l s w h e n t h e c u b e
c o n t a i n s n o m i s s i n g d a t a . P r o o f a p p e a r s i n S A M 9 8 ] . ]
W h e n a c u b e d o e s c o n t a i n m i s s i n g d a t a , t h e r e s i d u a l s c o u l d d i e r d e p e n d -
i n g o n t h e n u m b e r o f m i s s i n g v a l u e s . O n e s h o u l d e v a l u a t e t h e c o e c i e n t s i t e r a -
t i v e l y ( H M J 8 8 ] , c h a p t e r 4 ) f o r p r o d u c i n g a c c u r a t e l e a s t s q u a r e s t i n s u c h c a s e s .
H o w e v e r , t h e s e m e t h o d s a r e n o t p r a c t i c a l f o r o u r g o a l o f p r e - m i n i n g a n e n t i r e
l a r g e d a t a b a s e s i n c e t h e y r e q u i r e m u l t i p l e p a s s e s ( o f t e n 1 0 o r m o r e ) o f d a t a . O u r
i m p l e m e n t a t i o n i g n o r e s t h e m i s s i n g v a l u e s i n t h e c a l c u l a t i o n o f t h e c o e c i e n t s i n
b o t h e q u a t i o n s b y c a l c u l a t i n g t h e a v e r a g e o n l y o v e r t h e v a l u e s a c t u a l l y p r e s e n t .
C o m p u t i n g w i t h E q . 5 T h e r e w r i t t e n f o r m u l a c a n b e c o m p u t e d a s f o l l o w s .
F i r s t c o m p u t e g
1
b y a v e r a g i n g t h e s t a r t i n g `
i
1
: : : i
n
v a l u e s a l o n g d i m e n s i o n i
n
,
s u b t r a c t v a l u e s g
1
f r o m t h e o r i g i n a l ` v a l u e s , a v e r a g e t h e s u b t r a c t e d v a l u e a l o n g
d i m e n s i o n i
n ? 1
t o c o m p u t e g
2
, s u b t r a c t t h e v a l u e s a t g
2
f r o m t h e m o d i e d `
v a l u e s a n d s o o n u n t i l a l l d i m e n s i o n s a r e a g g r e g a t e d . T h e n a l ` v a l u e d i r e c t l y
g i v e s u s t h e r e s i d u a l . N e x t , c o m p u t e t h e o t h e r c o e c i e n t s o f t h e e q u a t i o n b y
r e c u r s i v e l y r e p e a t i n g t h e p r o c e s s f o r h i g h e r l e v e l a g g r e g a t e s o n t h e a v e r a g e g
v a l u e s j u s t c a l c u l a t e d . T h e s e o p e r a t i o n s c a n b e o v e r l a p p e d w i t h t h e c o m p u t a t i o n
o f t h e u s e r - a g g f u n c t i o n o f p h a s e - 1 a s f o l l o w s :
C o m p u t e ( G )
M a r k G a s c o m p u t e d .
F o r e a c h i m m e d i a t e c h i l d H o f G n o t m a r k e d c o m p u t e d
C o m p u t e a n d s t o r e t h e u s e r - a g g a n d a v g - g v a l u e s a t H f r o m G
S u b t r a c t t h e a v g - g v a l u e a t H f r o m G
F o r e a c h H a b o v e
C o m p u t e ( H ) / * o n t h e a v g - g v a l u e s . * /
I n i t i a l c a l l : C o m p u t e ( B a s e l e v e l c u b e )
E x a m p l e I n F i g u r e 6 w e s h o w t h e e x a m p l e o f a t h r e e a t t r i b u t e g r o u p - b y a n d
t h e s e q u e n c e o f c o m p u t a t i o n s n e e d e d f o r g e t t i n g i t s c o e c i e n t s a n d r e s i d u a l s .
A n u p w a r d a r r o w d e n o t e s t h e a v e r a g i n g p h a s e a n d a d o w n w a r d a r r o w d e n o t e s
t h e s u b t r a c t i o n p h a s e . T h e n u m b e r s b e s i d e e a c h e d g e d e n o t e s t h e o r d e r i n w h i c h
t h e s e o p e r a t i o n s a r e p e r f o r m e d . W e r s t a v e r a g e A B C a l o n g C t o o b t a i n A B ,
s u b t r a c t t h e v a l u e s a t A B f r o m A B C , a v e r a g e A B C a l o n g B t o o b t a i n A C , a n d
s o o n u n t i l B C i s s u b t r a c t e d f r o m A B C . N e x t , w e c o m p u t e t h e c o e c i e n t a t A B
-
7/27/2019 $Discovery Driven Sarawagi 10.1.1.40.9152
13/15
b y a v e r a g i n g i t s g v a l u e s a l o n g d i m e n s i o n B t o o b t a i n A , s u b t r a c t o u t t h e r e s u l t s
f r o m A B a n d s o o n . W h e n c o m p u t i n g c o e c i e n t a t A C w e d o n o t a v e r a g e a n d
s u b t r a c t a l o n g A b e c a u s e A h a s a l r e a d y b e e n c o m p u t e d b y a v e r a g i n g A B
AB AC
ABC
A B
14
C
BC
all
1
23
45
6
7 8
9
10
11
12
13
F i g u r e 6 . F i t t i n g s i n g l e e q u a t i o n f o r a
t h r e e - a t t r i b u t e c u b e
AB AC
ABC
A B
17
C
BC
all
1
23
45
6
7 8
9
10
15
16
11 12 13
1418
19
202 1 2 2
23
24
F i g u r e 7 . F i t t i n g m u l t i p l e e q u a t i o n s f o r
a t h r e e - a t t r i b u t e c u b e
B e n e t s o f r e w r i t i n g T h e a d v a n t a g e o f r e w r i t i n g E q . 3 i n t o E q . 5 a s a b o v e i s
t h r e e f o l d . F i r s t w e c a n c o m p u t e t h e r e s i d u a l s o f a k - d i m e n s i o n a l c u b e b y j o i n i n g
i t w i t h a t m o s t k o t h e r g r o u p - b y s i n s t e a d o f 2
k
? 1 g r o u p - b y s a s i n E q . 3 , a n
e x p o n e n t i a l d i e r e n c e i n t h e n u m b e r o f j o i n ( s u b t r a c t i o n ) o p e r a t i o n s . S e c o n d ,
w e c a n c o m p u t e t h e r e s i d u a l s t h e s a m e t i m e a s w e c o m p u t e t h e a g g r e g a t e v a l u e s
i n p h a s e 1 a n d t h u s s a v e o n t h e s o r t i n g a n d c o m p a r i s o n c o s t s . F i n a l l y , t h e r e i s n o
a d d i t i o n a l s o r t i n g c o s t b e y o n d c u b e c o m p u t a t i o n s i n c e , u n l i k e i n t h e U p D o w n
m e t h o d , t h e s u b t r a c t i o n o p e r a t i o n i s f o l l o w e d i m m e d i a t e l y a f t e r t h e a g g r e g a t i o n
o p e r a t i o n . T h u s , n o t o n l y a r e t h e n u m b e r o f j o i n o p e r a t i o n s e x p o n e n t i a l l y s m a l l e r
b u t a l s o t h e c o s t o f e a c h j o i n i s s i g n i c a n t l y r e d u c e d s i n c e t h e j o i n s r e q u i r e t h e
s a m e s o r t i n g o r d e r a s t h e a g g r e g a t i o n t h a t p r e c e d e s i t .
A l t e r n a t i v e R e w r i t i n g s T h e r e a r e o t h e r w a y s i n w h i c h w e c o u l d h a v e r e w r i t -
t e n E q . 3 . F o r i n s t a n c e , f o r n = 3 a n o t h e r w a y o f r e w r i t i n g t h e e q u a t i o n i s :
^
`
i j k
= g
A B
i j
+
C
k
+
A C
k
+
B C
k
; w h e r e
g
A B
i j
= a v g
k
( `
i j k
)
T h e a b o v e e q u a t i o n u s e s f o u r t e r m s w h e r e a s E q . 5 r e q u i r e s o n l y t h r e e .
T h e g o a l i n r e w r i t i n g t h e e q u a t i o n i n t e r m s o f a s f e w c o e c i e n t s a s p o s s i b l e
i s t o r e d u c e t h e c o m p u t a t i o n c o s t . E q . 5 i n v o l v e s t h e f e w e s t n u m b e r o f t e r m s
i n e a c h e q u a t i o n . I t i s b e c a u s e a n y e q u a t i o n e q u i v a l e n t t o E q . 3 m u s t c o n t a i n
a t l e a s t n t e r m s s i n c e w e m u s t h a v e a t l e a s t o n e t e r m f r o m e a c h o f t h e n ? 1
d i m e n s i o n a l g r o u p - b y s .
-
7/27/2019 $Discovery Driven Sarawagi 10.1.1.40.9152
14/15
4 . 2 S i m u l t a n e o u s c o m p u t a t i o n o f m u l t i p l e e q u a t i o n s
W e c a n a d a p t o u r m e t h o d f o r t t i n g s i n g l e e q u a t i o n s t o t h e c a s e w h e r e w e
t s i m u l t a n e o u s l y m u l t i p l e e q u a t i o n s | o n e f o r e a c h g r o u p - b y o f t h e c u b e . W e
p r o c e e d b o t t o m u p a n d r s t c o m p u t e t h e r e s i d u a l s f o r t h e b o t t o m - m o s t g r o u p - b y
u s i n g t h e a g g r e g a t i o n a n d s u b t r a c t i o n o p e r a t i o n s w i t h r e s p e c t t o i t s i m m e d i a t e
c h i l d r e n g r o u p - b y s a s i n t h e s i n g l e e q u a t i o n c a s e . A t t h e e n d o f t h i s , t h e r e s i d u a l s
f o r t h e b o t t o m - m o s t g r o u p - b y a r e a l r e a d y c o m p u t e d . T h u s , w e c a n d r o p t h e
g t e r m s c a l c u l a t e d s o f a r a n d s t a r t t o t t h e e q u a t i o n s o f t h e n ? 1 a t t r i b u t e
g r o u p - b y s o n t h e a g g r e g a t e d f u n c t i o n u s e r - a g g . E a c h o f t h e s e n ? 1 d i m e n s i o n a l
g r o u p - b y s c a n n o w b e t r e a t e d i n d e p e n d e n t l y a n d w e c a n r e c u r s i v e l y t e q u a t i o n s
f o r e a c h g r o u p - b y o f t h e c u b e a s s h o w n i n t h e p s e u d o - c o d e b e l o w .
C o m p u t e M u l t i ( G )
F o r e a c h i m m e d i a t e c h i l d H o f G
C o m p u t e t h e a v g - g v a l u e s a t H b y a g g r e g a t i n g G
I f G i s t h e s m a l l e s t p a r e n t o f H
a l s o , c o m p u t e a n d s t o r e u s e r - a g g f u n c t i o n a l o n g w i t h a b o v e s t e p
S u b t r a c t t h e a v g - g v a l u e a t H f r o m G
F o r e a c h H w h o s e u s e r - a g g f u n c t i o n c o m p u t e d a b o v e
C o m p u t e M u l t i ( H ) / * o n t h e u s e r - a g g f u n c t i o n v a l u e s . * /
I n i t i a l c a l l : C o m p u t e M u l t i ( B a s e l e v e l c u b e )
N o t e t h e t w o k e y d i e r e n c e s b e t w e e n t h e r o u t i n e C o m p u t e ( ) f o r t h e s i n g l e
e q u a t i o n c a s e a n d C o m p u t e M u l t i ( ) f o r t h e m u l t i e q u a t i o n c a s e . F i r s t , f o r e a c h
g r o u p - b y a l l o f i t s i m m e d i a t e c h i l d r e n a r e u s e d i n s t e a d o f j u s t t h e u n - c o m p u t e d
o n e s a s i n t h e s i n g l e e q u a t i o n c a s e . S e c o n d , f o r e a c h g r o u p - b y w e s t a r t f r o m t h e
a g g r e g a t e f u n c t i o n v a l u e f o r t h a t g r o u p - b y r a t h e r t h a n t h e g v a l u e s c o m p u t e d
f r o m t h e p r e v i o u s g r o u p - b y .
E x a m p l e F i g u r e 7 s h o w s t h e s e q u e n c e o f a g g r e g a t i o n a n d s u b t r a c t i o n o p e r a -
t i o n s t h a t h a p p e n w h e n t t i n g m u l t i p l e e q u a t i o n s u s i n g t h e r e w r i t e p r o c e d u r e .
5 C o n c l u s i o n
W e d e v e l o p e d a n o v e l m e t h o d o f e e c t i v e l y n a v i g a t i n g l a r g e O L A P d a t a c u b e s .
O u r m e t h o d g u i d e s t h e u s e r t o i n t e r e s t i n g r e g i o n s e x h i b i t i n g a n o m a l o u s b e h a v -
i o r u s i n g p r e - c o m p u t e d e x c e p t i o n s . T h i s m e t h o d e n h a n c e s a u s e r ' s c a p a b i l i t y
o f d i s c o v e r i n g i n t e r e s t i n g a r e a s i n t h e d a t a c o m p a r e d w i t h t h e c u r r e n t m a n u a l
d i s c o v e r y .
W e p r e s e n t e d t h e s t a t i s t i c a l f o u n d a t i o n o f o u r m e t h o d o l o g y f o r i d e n t i f y i n g
e x c e p t i o n s , w h i c h w a s c h o s e n a f t e r c o n s i d e r i n g a n u m b e r o f o t h e r c o m p e t i n g
t e c h n i q u e s a n d s u i t a b l y a d a p t e d s o a s t o b e s t m a t c h t h e r e q u i r e m e n t s o f O L A P
d a t a s e t s . T h e c o e c i e n t s a t d i e r e n t l e v e l s o f t h e c u b e h a v e t h e p r o p e r t y t h a t
t h e y r e e c t a d j u s t m e n t s t o t h e c o m b i n e d a v e r a g e v a l u e o b t a i n e d f r o m h i g h e r
l e v e l a g g r e g a t i o n s o f t h e c u b e . A s t h e u s e r t y p i c a l l y n a v i g a t e s t h e d a t a c u b e
t o p - d o w n , t h i s e n a b l e s t h e u s e r t o v e r y n a t u r a l l y c a p t u r e t h e c o n t e x t i n w h i c h
-
7/27/2019 $Discovery Driven Sarawagi 10.1.1.40.9152
15/15
t h e v a l u e w a s d e c l a r e d a n e x c e p t i o n . I n S A M 9 8 ] w e p r e s e n t h o w o u r m o d e l
h a n d l e s h i e r a r c h i e s a n d o r d e r e d d i m e n s i o n s l i k e t i m e .
W e d e v i s e d m e t h o d s o f e c i e n t l y c o m p u t i n g e x c e p t i o n s . N o v e l r e w r i t i n g
t e c h n i q u e s a r e u s e d t o r e d u c e t h e c o s t o f m o d e l t t i n g a n d m o d i f y i n g t h e c o m -
p u t a t i o n o w s o a s t o m e s h e x c e p t i o n n d i n g w i t h c u b e c o m p u t a t i o n . O u r e x -
p e r i m e n t s ( d e t a i l e d i n S A M 9 8 ] ) s h o w t h a t t h e s e t e c h n i q u e s y i e l d a l m o s t a f a c t o r
o f t h r e e t o f o u r p e r f o r m a n c e i m p r o v e m e n t . W e h a v e a p p l i e d o u r t e c h n i q u e o n
s e v e r a l r e a l - l i f e O L A P d a t a s e t s w i t h i n t e r e s t i n g r e s u l t s . I n S A M 9 8 ] w e r e p o r t
s o m e o f t h e s e n d i n g s .
F u t u r e w o r k i n t h e a r e a s h o u l d i n c o r p o r a t e m e t h o d s f o r m o d e l s e l e c t i o n a n d
u s e r c u s t o m i z a t i o n o f t h e d e n i t i o n o f e x c e p t i o n s .
R e f e r e n c e s
A A D
+
9 6 ] S . A g a r w a l , R . A g r a w a l , P . M . D e s h p a n d e , A . G u p t a , J . F . N a u g h t o n ,
R . R a m a k r i s h n a n , a n d S . S a r a w a g i . O n t h e c o m p u t a t i o n o f m u l t i d i m e n -
s i o n a l a g g r e g a t e s . I n P r o c . o f t h e 2 2 n d I n t ' l C o n f e r e n c e o n V e r y L a r g e
D a t a b a s e s , p a g e s 5 0 6 { 5 2 1 , M u m b a i ( B o m b a y ) , I n d i a , S e p t e m b e r 1 9 9 6 .
A G S 9 7 ] R a k e s h A g r a w a l , A s h i s h G u p t a , a n d S u n i t a S a r a w a g i . M o d e l i n g m u l t i d i -
m e n s i o n a l d a t a b a s e s . I n P r o c . o f t h e 1 3 t h I n t ' l C o n f e r e n c e o n D a t a E n g i -
n e e r i n g , B i r m i n g h a m , U . K . , A p r i l 1 9 9 7 .
A r b ] A r b o r S o f t w a r e C o r p o r a t i o n . A p p l i c a t i o n M a n a g e r U s e r ' s G u i d e , E s s b a s e
v e r s i o n 4 . 0 h t t p : / / w w w . a r b o r s o f t . c o m
B F H 7 5 ] Y . B i s h o p , S . F i e n b e r g , a n d P . H o l l a n d . D i s c r e t e M u l t i v a r i a t e A n a l y s i s t h e -
o r y a n d p r a c t i c e . T h e M I T P r e s s , 1 9 7 5 .
C L 8 6 ] W i l l i a m W . C o o l e y a n d P a u l R L o h n e s . M u l t i v a r i a t e d a t a a n a l y s i s . R o b e r t
E . K r i e g e r p u b l i s h e r s , 1 9 8 6 .
C o l 9 5 ] G e o r g e C o l l i a t . O L A P , r e l a t i o n a l , a n d m u l t i d i m e n s i o n a l d a t a b a s e s y s t e m s .
T e c h n i c a l r e p o r t , A r b o r S o f t w a r e C o r p o r a t i o n , S u n n y v a l e , C A , 1 9 9 5 .
G B L P 9 6 ] J . G r a y , A . B o s w o r t h , A . L a y m a n , a n d H . P i r a h e s h . D a t a c u b e : A r e l a -
t i o n a l a g g r e g a t i o n o p e r a t o r g e n e r a l i z i n g g r o u p - b y , c r o s s - t a b s a n d s u b - t o t a l s .
I n P r o c . o f t h e 1 2 t h I n t ' l C o n f e r e n c e o n D a t a E n g i n e e r i n g , p a g e s 1 5 2 { 1 5 9 ,
1 9 9 6 .
H M J 8 8 ] D . H o a g l i n , F . M o s t e l l e r , a n d T u k e y . J . E x p l o r i n g d a t a t a b l e s , t r e n d s a n d
s h a p e s . W i l e y s e r i e s i n p r o b a b i l i t y , 1 9 8 8 .
H M T 8 3 ] D . C . H o a g l i n , F . M o s t e l l e r , a n d J . W . T u k e y . U n d e r s t a n d i n g R o b u s t a n d
E x p l o r a t o r y D a t a A n a l y s i s . J o h n W i l e y , N e w Y o r k , 1 9 8 3 .
M a n 7 1 ] J . M a n d e l . A n e w a n a l y s i s o f v a r i a n c e m o d e l f o r n o n - a d d i t i v e d a t a . T e c h -
n o m e t r i c s , 1 3 : 1 { 1 8 , 1 9 7 1 .
M o n 9 1 ] D . G . M o n t g o m e r y . D e s i g n a n d A n a l y s i s o f E x p e r i m e n t s , c h a p t e r 1 3 . J o h n
W i l e y & s o n s , t h i r d e d i t i o n , 1 9 9 1 .
O L A 9 6 ] T h e O L A P C o u n c i l . M D - A P I t h e O L A P A p p l i c a t i o n P r o g r a m I n t e r f a c e
V e r s i o n 0 . 5 S p e c i c a t i o n , S e p t e m b e r 1 9 9 6 .
S A M 9 8 ] S u n i t a S a r a w a g i , R a k e s h A g r a w a l , a n d N i m r o d M e g i d d o . D i s c o v e r y - d r i v e n
e x p l o r a t i o n o f O L A P d a t a c u b e s . R e s e a r c h R e p o r t R J 1 0 1 0 2 ( 9 1 9 1 8 ) , I B M
A l m a d e n R e s e a r c h C e n t e r , S a n J o s e , C A 9 5 1 2 0 , J a n u a r y 1 9 9 8 . A v a i l a b l e
f r o m h t t p : / / w w w . a l m a d e n . i b m . c o m / c s / q u e s t
T h i s a r t i c l e w a s p r o c e s s e d u s i n g t h e L
A
T
E
X m a c r o p a c k a g e w i t h L L N C S s t y l e