Characteriza*on  of  Melodic  Mo*fs  in  Raag  Music    

with  Time-­‐series  Matching  

Contributors:  Joe  Ross  

Kaustuv  Ganguli  Vedhas  Pandit  

 Under  guidance  of:  

Dr.  Pree*  Rao  1  

Outline  

•  Mo*va*on  (Why?)  

•  Understanding  The  Challenges  (What?)  

•  Solu*ons  (How?)  •  Performance  

– Training  – Tes*ng  – Configura*on  comparisons  

•  Future  Work  

2  

MOTIVATION  

3  

Mo:va:on  

•  Raag  iden*fica*on  •  Raag  classifica*on  

– Thaat  system  

•  What  can  we  pick  up  as  characteris*c  of  Raag?  •  Mo*f  iden*fica*on  •  Mo*f  classifica*on  

4  

Raag  101    •  What  is  Raag?  

–  Literal  meaning  •  Color/hue  (relevance  to  moods,  seasons,  day-­‐*mes)  

–  Framework  comprising  of  set  of  Swaras  (notes)  –  Let’s  not  forget  rules  

•  Sequence-­‐level:  Aroha  (ascent),  Avaroha  (descent),  Pakad  (grip),  Chalan  (gait)  

•  Swara-­‐level:    Vadi  (speaking),  Samvadi(responding)  Varjit  (exclusions)  

–  Scale  v/s  Raag  v/s  Tune  –  Classifica*ons  (Jaa*,  Thaat)  –  Alankaras  (ornamenta*ons)  

5  

As  an  example...  Raga    Characteris:cs   Alhaiya  Bilawal  

Samay  (Time)   Morning,  well  before  noon  (6AM-­‐9AM)  

Moods   Sringar  (joy  and  love),  Karuna  (pathos,compassion)  

Swaras*  in  use  (Tone  material)   S  R  G  m  P  D  n  N  

Vadi:  D   Samvadi:  G  

Aroha  (Ascent)   S  R  GR  G  P  D  ND  N  S’  (m  varjit/omi`ed)  

Avaroha  (Descent)   S’  ND  P  D  n  D  P  m  G  mR  S  

Classifica*ons   Jaa*:  Shadav  Sampurna   Thaat:  Bilawal  

Pakad  (Characteris*c  Phrases)  

G~  R  G  /P      (GRGP)  

D~  n  D  \P      (DnDP)  

D  \G   G  m  R  G  P  m  G  

Comments   'n'  is  used  only  in  the  descent,  and  always  in  between  the  two  'D'-­‐s  as  D  n  D  P  

6  

UNDERSTANDING  THE  CHALLENGES  So,  we  have  an  ancient  framework  for  music  which  is  pre`y  gripping,  but…  

7  

DnDP  Phrase  Varia:ons  

 0  (Time  in  sec)  2  8  

Dura:ons    (Inter-­‐phrase  variability)  

9    0  (Time  in  sec)  2  DnDP  Phrases  

0.8  sec  2  sec  

Contour  shapes    (Inter-­‐phrase  variability)  

10    0  (Time  in  sec)  2  DnDP  Phrases  

Kan  swara  

Rela:ve  dura:ons    (Intra-­‐phrase  variability)  

11    0  (Time  in  sec)  2  DnDP  Phrases  

SOLUTIONS:  Summary:  

1. Solve  ‘unequal  dura*ons’    problem  first.    (Equilength)  2. Shape  varia*ons  s*ll.  If  we  observe  closely,  some  shapes  repeat.  (K-­‐means)  3. Within  group,  intra-­‐phrase  dura*ons  vary.  (DTW)  

12  

For  varying  phrase  dura:ons      (Inter-­‐phrase  variability)  

 0  (Time  in  sec)  2  13  

Original  signal   Signals  made  equilength  

For  varying  phrase  dura:ons    (Inter-­‐phrase  variability)  

 0  (Time  in  sec)  2  

14  

For  Note  Dura:on  Varia:ons    (Intra-­‐phrase  variability)  

15  

Representa*ve    Phrase  Genera*on  

Euclidean  averaging   Time-­‐shiPs  taken  into  account  

16  

Representa*ve  Phrase  Genera*on  

Euclidean  averaging   Time-­‐shiPs  taken  into  account  

17  

Dynamic  Time  Warping  (DTW)  

Elena  Tsiporkova:    h`p://www.psb.ugent.be/cbd/papers/gentxwarper/DTWAlgorithm.ppt     18  

DTW  Implementa*on  

19  

DTW  Implementa*on  

20  

Step  Pa`erns  

Fundamentals  of  Speech  Recogni*on  by  L.  Rabiner,  B.  Juang,  B.  Yegnanarayana   21  

Slope  Weights  

Fundamentals  of  Speech  Recogni*on  by  L.  Rabiner,  B.  Juang,  B.  Yegnanarayana   22  

Global  Constraints  

Similarity  Measures  and  Dimensionality  Reduc*on  Techniques  for  Time  Series  Data  Mining  by  C.  Cassisi,  P.  Montalto,  M.  Alio`a,  A.  Cannata,  A.  Pulviren*  

Sakoe-­‐Chiba  Band   Itakura  Parallelogram  

23  

Threshold  DTW  (LCB)  

Distribu*on  of:  Distances  between  corresponding  pitch  values  upon  warping  Database:  DnDP  and  mnDP  phrase  pitch  signals  (Ashwini  Bhide  +  Manjiri  Asnare  concerts)  Indica*ve    of:  Varia*on/Error  in  tracking    any  specific  note  (origins:  expression/post-­‐processing)  24  

DTW  Shortcomings  

•  Shape  is  ignored  •  DC    Offset  •  Noise  •  Amplitude  Scaling  

25  

For  shape  varia:ons    (Inter-­‐phrase  variability)  

Contours  (as  we  saw  earlier)  

Contours  individually    (for  the  sake  of  clarity)  

26  

For  shape  varia:ons    (Inter-­‐phrase  variability)  

K-­‐Means  algorithm  27  

K-­‐means  Algorithm  

28  

K-­‐means  Shortcomings  

•  ‘K’  needs  to  be  known  before-­‐hand  •  Different  ini*al  par**ons  can  result  in  different  clusters  i.e.  local  minima  found  

•  Does  not  work  well  with  clusters  of  different  size  and  density  

•  When  used  in  conjunc*on  with  DTW-­‐based  distance  measure:  – Objec*ve  func*on  no  longer  monotonically  decreasing,  can  run  into  a  loop.  

–  Triangle  inequality  not  sa*sfied  (DTW  shortcoming),  visual  representa*on  of  the  data  not  possible.  

29  

TRAINING  RESULTS  Training  Results  

30  

Database  Song ID Artiste Tala Laya Bandish

Tempo (bpm)

Dur. (min)

Phrase Class

DnDP mnDP GRGP

Char. Seq.

AB Ashwini Bhide Tintal Madhya Kavana

Batariyaa 128 8.85 13 2 31 5

MA Manjiri Asanare Tintal Vilambit Dainyaa Kaahaan 33 6.9 12 1 13 6

SS Shruti Sadolikar Tintal Madhya Kavana

Batariyaa 150 4.15 3 0 14 3

ARK Abdul Rashid

Khan Jhaptal Madhya Kahe Ko Garabh 87 11.9 44 0 0 14

DV Dattatreya Velankar Tintal Vilambit

Dainyaa Kaahaan 35 18.3 14 4 4 10

JA Jasraj Ektal Vilambit Dainyaa Kaahaan 13 22.25 19 18 0 29

AK-1 Aslam Khan Jhumra Vilambit Mangta

Hoon Tere 19 8.06 10 0 8 6

AK-2 Aslam Khan Jhaptal Madhya E Ha

Jashoda 112 5.7 7 0 0 3

AC Ajoy

Chakrabarty Jhumra Vilambit Jago Man

Laago 24 30.3 --- 27 0 ---

Total no. of phrases 122 52 70 76

31  

K-­‐Means  Clusters  (DnDP  Clustering)  

Non-­‐kan  phrases   Kan  phrases   32  

K-­‐Means  Clusters  (DnDP  Clustering)  

Non-­‐kan  phrases   Kan  phrases   33  

K-­‐Means  Clusters  (with  behind-­‐the-­‐scenes  warping)  

34  Non-­‐kan  phrases   Kan  phrases  

K-­‐means  Centroids  

35  

Respec*ve  windows  (phrase  variabili*es)  

36  Non-­‐kan  phrases   Kan  phrases  

TESTING  RESULTS  Tes*ng  Results  

37  

Distribu*on  of  Distances  (DnDP)  

38  

ROC  

39  

CONFIGURATIONS  EVALUATION  A  compara*ve  Study  

40  

Effect  of  Global  Constraints  

41  

FA  rate  (Nega*ves:  

594)  

Hit  rate  (Total  posi*ves:  366)  

No    Constraints  

Learned    Sakoe-­‐Chiba  

Learned  constraints  

6.06%  36  

70.22%  257  

71.86%  263  

71.04%  260  

11.95%  71  

89.62%  328  

89.34%  327  

87.16%  319  

18.01%  107  

95.63%  350  

95.36%  349  

92.35%  338  

24.07%  143  

97.81%  358  

97.54%  357  

99.18%  363  

Effect  of  Pitch  Quan*za*on  

42  

FA  rate  (Nega*ves:  

594)  

Hit  rate  (Total  posi*ves:  366)  

Unquan:zed  (threshold  dtw)   Q24   Q12  

6.06%  36  

70.22%  257  

69.67%  255  

67.76%  248  

11.95%  71  

89.62%  328  

89.07%  326  

86.61%  317  

18.01%  107  

95.63%  350  

95.08%  348  

93.99%  344  

24.07%  143  

97.81%  358  

98.36%  360  

97.81%  358  

Future  work  

•  Larger  database  •  Use  of  D-­‐DTW  •  Different  step  pa`erns  and  slope-­‐weights  •  Different  pa`ern  recogni*on  techniques  

•  Extend  work  to  Mukhda  level  

•  Mo*f  search  •  Automa*c  segmenta*on  

43  

Thank  You!  

ध"यवाद!  Teşekkür  ederim!  

நன்றி!  ¡Gracias!  

44  

Appendix  

45  

Raag  101    

•  Alankars  (Ornamenta*ons)  a.  Meend  (glide)  b.  Kan  (grace  notes):  Sparsh(i),  Krintan(i)  c.  Kampit  (vibra*ng)  d.  Andolan  (oscilla*ons)  e.  Gamaka  (shadow  notes)  f.  Khatka/Gitkari    (note  cluster  in  gusto)  g.  Zamzama  (addi*on  of  notes)  h.  Murki  (short  subtle  taan,  less  forceful  than  f,  g)  

46  

DTW  

47  

DTW  

48  

DTW  

49  

DTW  

50  

Representa*ve    Phrase  Genera*on  

51  

K-­‐means  Clusters  (Warped  phrases)  

52  

Effect  of  Global  Constraints  

53  

Effect  of  Pitch  Quan*za*on  

54  

Future  work  (Mukhda-­‐level)  

•  Extend  the  work  to  mukhda-­‐level  

Ka va n Ba ta ri y a G R G G m n D P

G   G  G  m  

R  

n   D   P  

55  

Future  work  (Concert-­‐level)  

•  Mo*f  search  •  Automa*c  raga  iden*fica*on  

56