An  Introduc+on  to  the  WSO2  Analy+cs  Pla7orm  

Sriskandarajah  Suhothayan  (Suho)  Technical  Lead  WSO2    

Why  Analy)cs?    

             

Why  Analy)cs?    

Reduce  cost  and  increase  revenue    Improve  customer  sa)sfac)on    Improve  process  efficiency    Track  progress  over  +me      

Act  immediately    Predict  future  opportuni+es  and  threats  

...                

WSO2  Data  Analy)cs  PlaAorm  

Collect  Data  

Collec)ng  Data  

                   

             

 *  Supports  custom  event  receivers  via  its  pluggable  architecture!    

Store  Data  

Data  Abstrac)on  Layer  enabling  pluggable  data  connectors  

● Cassandra  ● RDBMS  ● HBase  ● …  

 With  a  common  API    

Analysing    

Interac)ve  Analy)cs  

What  has  happened  &  Why  ?    

●  On  demand  analysis  of  data  ○  Full  text  search  support    

●  Selec+ve  deep  analysis  ○  Drill  down  search  

●  Distributed  data  indexing.  ●  Near  real  )me  data  indexing  and  retrieval  

message: “Error” AND date: [2015-11-01 TO 2015-11-03]

Batch  Analy)cs  

Summarize  &  Tack  progress  over  )me  …      

●  Powered  by  Apache  Spark    ○  Up  to  30x  higher  performance  than  Hadoop  

●  Op+mized  in-­‐memory  processing  ●  Spark  SQL  SQL-­‐like  query  language  ●  Schedulable  Scripts    

○  Simple  Configs  &  Cron  Expressions    

Real)me  Analy)cs  

Detect  and  act  immediately  …      

● Streaming  Complex  Event  Processing  ○ Uses  WSO2  Siddhi  engine    ○  Process  more  than  100k  Events/Sec    

● SiddhiQL  SQL-­‐like  Query  Language  ● Extension  Support  (Geo,  NLP,  Math,  String,  Regex,  …  )  ● Distributed  Processing  with  Apache  Storm  

Siddhi

Predic)ve  Analy)cs  

Predict  future  &  act  upon  it  !    

● Explore  and  build  models    ○ Via  Spark  MlLib  &  R  (from  WSO2  ML  1.1)  ○  Export  as  PMML  (from  WSO2  ML  1.1)    

● Run  models  with  CEP,  DAS  and  ESB.    ●  Run  R  Scripts,  Regression  and  Anomaly  Detec+on  on  real+me  ● Deep  learning  &  NLP  (In  roadmap)    

Machine  Learner    

Communicate  

Visualizing  Results  

Overall  idea  of  what's  going  on  …    ● Dashboard  using  

○ Google  Gadget    ○ HTML5  +  javascripts  

● Support  custom  gadgets  and  dashboards  ● Gadget  genera)on  with  

○ D3  and  Vega    

Gadget  Genera)on  Tool    

Customize  with  few  clicks  …    ●  Support  real)me  and  stored  data  visualiza)on  

How ? Start with data in tabular format Select chart type (Bar, Line, Map, ...) Map columns to dimensions (X Y, color, point size, … ) Also do drill downs

Communica)ng  Results  

                               

   

*  Supports  custom  event  publishers  via  its  pluggable  architecture!  

Beyond  Boundaries  

●  Expose  analy+cs  results    as  API  ○  Mobile  Apps,  Third  Party    

●  Provides    ○  Security,  Billing,    ○  Thro`ling,  Quotas  &  SLA  

●  How  ?    ○  Write  data  to  database  from  DAS    ○  Build  Services  via  WSO2  Data  Services  Server  or  use  Analy)cs  REST  API  ○  Expose  them  as  APIs  via  WSO2  API  Manager    

Developer  Tools  &  Deployment    

Developer  Tools  

● Event  Flow      

Developer  Tools  ...  

● Event  Flow    ● Event  Tracing    

 

Developer  Tools  ...  

● Event  Flow    ● Event  Tracing  ● Event  Sta+s+cs    

 

Developer  Tools  ...  

● Event  Flow    ● Event  Tracing  ● Event  Sta+s+cs  ● Siddhi  Try  It      

 

Developer  Tools  ...  

● Event  Flow    ● Event  Tracing  ● Event  Sta+s+cs  ● Siddhi  Try  It    ● Event  Simulator    

 

Developer  Tools  ...  

● Event  Flow    ● Event  Tracing  ● Event  Sta+s+cs  ● Siddhi  Try  It    ● Event  Simulator  ● Spark  Console    

 

Developer  Tools  ...  

● Event  Flow    ● Event  Tracing  ● Event  Sta+s+cs  ● Siddhi  Try  It    ● Event  Simulator  ● Spark  Console    ● Data  Explorer  

   

Developer  Tools  ...  

● Event  Flow    ● Event  Tracing  ● Event  Sta+s+cs  ● Siddhi  Try  It    ● Event  Simulator  ● Spark  Console    ● Data  Explorer  ● Analy+cs  Tooling  

 

● One  Analy)cs  Archive  format  for  all  analy+cs  ○ Based  to  Carbon  Archive  

 ● Minimum  HA  Deployment  (2  Nodes)  ● Fully  Distributed  Deployment  (8+  Nodes)  ● Real)me  Distributed  Deployment    

○  Siddhi  runs  on  top  of  Apache  Storm  

Deployment    

Solu)ons  

Solu)ons  

●  Fraud  Detec)on    ○  Alerts  for  known  and  

unknown  frauds    ○  Deep  Search  Analy+cs  ○  h`ps://goo.gl/TWV5C1  

●  IoT  Analy)cs  (WIP)  ○  With  configurable  Aler+ng  &  

Monitoring  capabili+es.  ●  Log  Analy)cs  (WIP)  ●  Analy)cs  for  Products  (WIP)  

○  Each  WSO2  Product  will  have  analy+cs  of  its  own  kind.    

     

Custom  Solu)ons    

UI  to  configure  predefined  analysis  with  Execu+on  Manager.    Good  for  Business  Users        

Use  Cases  &  Case  studies  

Use  Cases    

●  Smart  Parking  solu+ons    ●  Health  &  Financial  Monitoring    ●  Smart  City  project,  Vehicle  tracking,  Building  monitoring    

●  Railway  monitoring    ●  Thro`ling  and  Anomaly  Detec+on    ●  API  Analy+cs    ●  Connected  Car      

Case  Studies    

● Real+me  Soccer  Analy+cs  (DEBS  2013)  ○ h`ps://goo.gl/c2gPrQ  

●  TFL  Traffic  Analysis  ○ Using  Transport  for  London  open  data  feeds.    ○ h`p://goo.gl/04tX6k,  h`p://goo.gl/9xNiCm  

● Smart  Meters  (DEBS  2014)  ○ Using  smart  home  electricity  data  :  2000  sensors,  40  houses,  4  Billion  events  

○  Processes  400K  events/sec,  one  of  the  four  finalists  at  DEBS  2014  

How  to  get  started  ?  

How  to  get  started  ?  

●                                                               (WSO2  DAS)  3.0  ○ Combines  all  types  of  analy+cs.  

 

●                                                             (WSO2  CEP)  4.0    ○  For  who  need  to  analyze  real)me  event  streaming.  

 

●                                                                 (WSO2  ML)  1.0  ○  For  building  Predic)ve  Models      

hAp://wso2.com/analyIcs    

WSO2  DAS  vs  WSO2  BAM  

What's  New  ?    ● Interac+ve  &  predic+ve  analy+cs    ● Data  Abstrac+on  Layer  suppor+ng    

○ RDBMS,  Cassandra,  HBase  ● Improved  performance  with  Spark  &  Siddhi  ● Be`er  Dashboard  ● Distributed  Real+me  Processing  ● Simple  deployment  model  ● ...  

   

“The price of light is less than the cost of darkness” ~ Arthur C. Nielsen, Market Researcher & Founder of ACNielsen

Thank  You