Napredne metode digitalne obrade signala

Doc. dr. Damir Seršićhttp://nmdos.zesoi.fer.hr

Teme predavanja

Wavelet paketi Haarov wavelet Stablo wavelet paketa

Optimalno stablo Entropija

Rekonstrukcija Kompresija podataka u wavemenu

Wavelet paketi Poopćenje wavelet transformacije Grananje i VP grane Baza wavelet paketa:

Kodiranje signala Očuvanje energije Rekonstrukcija signala

Wavelet paketi Kod waveleta smo prostor funkcija L2

rastavili na direktnu sumu potprostora i uzeli kombinaciju ortonormalnih baza od kao bazu za L2

Kod podataka s konačnom količinom informacije rastavili smo prostor Vj:

Funkcije i razapinju prostore V0 i W0

01022111 ... VWVWWVWV j

Jjjjjjjj

jW jW

kt kt

Wavelet paketi Prostor V podijelili smo na dva

potprostora s bazama:

Podijelimo analogno i prostor W:

)2(2)(0

00 ktkht

N

k

)2(2)(1

01 ktkht

N

k

)2(2)(0

00 ktkht

N

k

)2(2)(1

01 ktkht

N

k

Računanje wavelet paketa

i – filtri dužine N Funkcija skale – Wavelet funkcija –

)2(2)(0

002 kxakhxa n

N

kn

)2(2)(1

012 kxdkhxd n

N

kn

kh0 kh1 xxa 0

xxd 0

Wavelet paketi

2

H1(z)

H0(z)

2

2

2

2

2H0(z)

H0(z)

H1(z)

H1(z)

x[n]

a(1)[n]

da(2)[n]d(1)[n]

dd(2)[n]

ada(3)[n]

add(3)[n]

2H0(z)

2H1(z)

2H0(z)

2H1(z)

ad(2)[n]

aa(2)[n] aad(3)[n]

aaa(3)[n]

daa(3)[n]

dad(3)[n]

2H0(z)

2H1(z)

dda(3)[n]

ddd(3)[n]

2H0(z)

2H1(z)

Haarov wavelet

)12()2()(2 xaxaxa nnn

)12()2()(2 xdxdxd nnn

Računanje wavelet paketa

j2

k – parametar lokalizacije u vremenu j – parametar skale Za fiksnu vrijednost j i k, W analizira fluktuacije signala

otprilike oko pozicije , skale i različitih frekvencija za različite dozvoljene vrijednosti parametra n

Frekvencijski red Rast glavne frekvencije monotono s redom Dobiven rekurzivno iz prirodnog reda

(j,n) wavelet paket: za svaku skalu j, n može imati vrijednosti od 0 do

22,, ),(,),2(2)( ZkjNnkxaxa j

nj

knj

kj2

)(,,, xaa knjnj 12 j

Stablo wavelet paketa

Listovi svakog povezanog binarnog podstabla potpunog stabla odgovaraju ortogonalnoj bazi početnog prostora

Za signal konačne energije bilo koja baza wavelet paketa će omogućiti potpunu rekonstrukciju i specifičan način kodiranja signala

Zkkxa ,0,0

Zkkx

a

,21,1

nja ,

nja 2,1 12,1 nja

Optimalno stablo wavelet paketa

Signal duljine N=2L može se razložiti na različitih načina, gdje je broj binarnih podstabala potpunog binarnog stabla dubine L

č Kriterij minimuma temeljen na entropiji:

E(0)=0 h

22N

i

isEsE )()(

Entropija

i

ii sssE )log()( 221

Entropija s pragom:

Nenormalizirana Shannonova entropija:

Druge: koncentracija u p normi, …

221 log)( iii sssE

inace

ssE ii

,0

,1

Primjer – ‘Haar’

15,56 -12,73

6,36 2,83 -4,24 6,36 -0,71 -4,24

32 10 20 38 37 28 38 34 18 24 18 9 23 24 28 34

-8 -3,5 7,5 -7,5

26,69 41,01

45,96 50,91 29,69 19,09 33,23 43,84

20 2,5 -7,5 2,550 68,5 34,5 54,5 2 6,5 1,5 -3,5

83,79 62,93 12,37 -7,07

6,01

-1,41-8,13 0 15,91 -3,54

-13,08

-14,14

-3,18

3,54-3,18

10,61

-5,75

3,25103,75

0,25 13,75

-9,75

-4,75

0,75 13,75

-5,75

5,2514,75

3,755,25-19,25

8,75

Primjer – entropija s pragom 1E=wentropy(x,’threshold’,1)

7

16

4

8

44 4

2 22 1 2 2 2 2

111 1 111110111110

Najbolja baza Algoritam:

List na dnu stabla bez djece vraća svoju vrijednost cijene v1 – cijena čvora koji se ne lista v2 – zbroj cijena djece tog čvora

Ako je v1 <= v2, označavamo taj čvor kao dio najbolje baze, te mičemo oznake u čvorovima podstabla trenutnog čvora

Ako je v1 > v2, tada se cijena čvora zamjenjuje s v2

Primjer – entropija s pragom 1E=wentropy(x,’threshold’,1)

7

16

4

8

44 4

2 2 1 2

111 1 1110

Primjer – primjena entropijeE=wentropy(x,’threshold’,1)

15,56 -12,73

6,36 2,83 -4,24 6,36 -0,71 -4,24

32 10 20 38 37 28 38 34 18 24 18 9 23 24 28 34

-8 -3,5 7,5 -7,5

26,69 41,01

45,96 50,91 29,69 19,09 33,23 43,84

20 2,5 -7,5 2,550 68,5 34,5 54,5 2 6,5 1,5 -3,5

83,79 62,93 12,37 -7,07

6,01

-1,41-8,13 0 15,91 -3,54

-13,08

-14,14

-3,18

3,54-3,18

10,61

-5,75

3,25103,75

0,25 13,75

-9,75

-4,75

0,75 13,75

-5,75

5,2514,75

3,755,25-19,25

8,75

Primjer – entropija s pragom 3E=wentropy(x,’threshold’,3)

6

16

2

8

24 4

2 22 1 2 1 2 2

111 1 111110111110

Primjer – primjena entropijeE=wentropy(x,’threshold’,3)

15,56 -12,73

6,36 2,83 -4,24 6,36 -0,71 -4,24

32 10 20 38 37 28 38 34 18 24 18 9 23 24 28 34

-8 -3,5 7,5 -7,5

26,69 41,01

45,96 50,91 29,69 19,09 33,23 43,84

20 2,5 -7,5 2,550 68,5 34,5 54,5 2 6,5 1,5 -3,5

83,79 62,93 12,37 -7,07

6,01

-1,41-8,13 0 15,91 -3,54

-13,08

-14,14

-3,18

3,54-3,18

10,61

-5,75

3,25103,75

0,25 13,75

-9,75

-4,75

0,75 13,75

-5,75

5,2514,75

3,755,25-19,25

8,75

Primjer – Shannonova entropijaE=wentropy(x,’Shannon’)

-2572,7

-82349

-750,2144

-85425

-2646,2-91407 -196,2297

-94993 -966,0189-130,9656-277,1637

-1432-1940 -55,0106-554,77

-115 -24-9900 0,17

-991-432 -70,3

0,32

-991-115 -91,4

-11700 -37,2

-91,4

-2200 -332

Primjer

11 -9 4,5 2 -3 4,5 -0,5

-3

32 10 20 38 37 28 38 34 18 24 18 9 23 24 28 34

1 3,25 0,75 -1,75

21 29 32.5

36 21 13.5 23,5

31

10 1,25 -3,75

1,2525 34.25 17,25 27.25 -4 -1,75

3,75 -3,75

29,63 22,25 4,375 -2,5-4,63

-5 -2,875

0 -1,125

3,75 2,125 -0,5 -1,12

1,25 5,62 -1,25

-4,825

3,687

25,937

-1,437

3,437

0,937

3,437

2,187

-1,187

0,062

1,312

0,812

-2,437

1,312

-1,437

0,187

Primjer – Shannonova entropijaE=wentropy(x,’Shannon’)

-1102,8

-82349

-28,0031

-38713

-499,0860-18917 -122,1378

-9019,7 -67,9532-145,990

4

-17,457

9

-37,4725 -6,4609 -0,9955 -109,9980

-72,7-35-4380,6

-1,5 -290,11

-29,18

-7,49

-0,48

0,02

-0,94

0,27

-10,59

-0,94

-1,50,12

Primjer – primjena entropije

11 -9 4,5 2 -3 4,5 -0,5

-3

32 10 20 38 37 28 38 34 18 24 18 9 23 24 28 34

1 3,25 0,75 -1,75

21 29 32.5

36 21 13.5 23,5

31

10 1,25 -3,75

1,2525 34.25 17,25 27.25 -4 -1,75

3,75 -3,75

29,63 22,25 4,375 -2,5-4,63

-5 -2,875

0 -1,125

3,75 2,125 -0,5 -1,12

1,25 5,62 -1,25

-4,825

3,687

25,937

-1,437

3,437

0,937

3,437

2,187

-1,187

0,062

1,312

0,812

-2,437

1,312

-1,437

0,187

RekonstrukcijaE=wentropy(x,’threshold’,1)

15,56 -12,73

6,36 2,83 -4,24 6,36 -0,71 -4,24

32 10 20 38 37 28 38 34 18 24 18 9 23 24 28 34

-8 -3,5 7,5 -7,5

26,69 41,01

45,96 50,91 29,69 19,09 33,23 43,84

20 2,5 -7,5 2,550 68,5 34,5 54,5 2 6,5 1,5 -3,5

83,79 62,93 12,37 -7,07

6,01

-1,41-8,13 0 15,91 -3,54

-13,08

-14,14

-3,18

3,54-3,18

10,61

-5,75

3,25103,75

0,25 13,75

-9,75

-4,75

0,75 13,75

-5,75

5,2514,75

3,755,25-19,25

8,75

RekonstrukcijaE=wentropy(x,’threshold’,1)

15,56 -12,73

6,36 2,83 -4,24 6,36 0 -4,24

31,81

9,81 19,81

37,81

37,19

28,19

38,19

34,19

18,19

24,19

18,19

9,19 23,31

23,31

27,81

33,81

-8 -3,5 7,5 -7,5

29,43 40,75

46,23 51,18 29,96 19,36 32,97 43,58

20 2,5 -7,5 2,549,6 68,8 34,8 54,1 2 6,5 1,5 -3,5

83,79 62,93 12,37 -7,07

6,01

-1,41-8,13 0 15,91 -3,54

-13,61

-13,61

-3,18

3,54-3,18

10,61

-5,75

3,25103,75

0,25 13,75

-9,75

-4,75

0 13,75

-5,75

5,2514,75

3,755,25-19,25

8,75

RekonstrukcijaE=wentropy(x,’threshold’,1)

0 2 4 6 8 10 12 14 165

10

15

20

25

30

35

40

0 2 4 6 8 10 12 14 165

10

15

20

25

30

35

40

RekonstrukcijaE=wentropy(x,’threshold’,3)

15,56 -12,73

6,36 2,83 -4,24 6,36 -0,71 -4,24

32 10 20 38 37 28 38 34 18 24 18 9 23 24 28 34

-8 -3,5 7,5 -7,5

26,69 41,01

45,96 50,91 29,69 19,09 33,23 43,84

20 2,5 -7,5 2,550 68,5 34,5 54,5 2 6,5 1,5 -3,5

83,79 62,93 12,37 -7,07

6,01

-1,41-8,13 0 15,91 -3,54

-13,08

-14,14

-3,18

3,54-3,18

10,61

-5,75

3,25103,75

0,25 13,75

-9,75

-4,75

0,75 13,75

-5,75

5,2514,75

3,755,25-19,25

8,75

RekonstrukcijaE=wentropy(x,’threshold’,3)

14,14 -14,14

4,6 4,6 -5,3 5,3 -2,48 -2,48

30,81

10,81

18,81

38,81

35,94

29,44

39,44

32,94

17,44

24,94

17,44

9,94 21,56

25,06

29,06

32,56

-8 -3,5 7,5 -7,5 20 0 -7,5 049,6 68,8 34,8 54,1 0 6,5 0 -3,5

83,79 62,93 12,37 -7,07

6,01

-1,41-8,13 0 15,91 -3,54

-13,61

-13,61

-3,18

3,54-3,18

10,61

-5,75

3,25103,75

0,25 13,75

-9,75

-4,75

0 13,75

-5,75

5,2514,75

3,755,25-19,25

8,75

29,43 40,75

46,23 51,18 29,96 19,36 32,97 43,58

RekonstrukcijaE=wentropy(x,’threshold’,3)

0 2 4 6 8 10 12 14 165

10

15

20

25

30

35

40

RekonstrukcijaE=wentropy(x,’shannon’)

11 -9 4,5 2 -3 4,5 -0,5

-3

32 10 20 38 37 28 38 34 18 24 18 9 23 24 28 34

1 3,25 0,75 -1,75

21 29 32.5

36 21 13.5 23,5

31

10 1,25 -3,75

1,2525 34.25 17,25 27.25 -4 -1,75

3,75 -3,75

29,63 22,25 4,375 -2,5-4,63

-5 -2,875

0 -1,125

3,75 2,125 -0,5 -1,12

1,25 5,62 -1,25

-4,825

3,687

25,937

-1,437

3,437

0,937

3,437

2,187

-1,187

0,062

1,312

0,812

-2,437

1,312

-1,437

0,187

RekonstrukcijaE=wentropy(x,’shannon’)

9,19 -8,94

4,69 0,31 -4,81

4,56 -0,31

-4,69

30 11,625 19,875

37,75 37,375

28 36,5 35,875

16,375

26 18,25 9,125 23 23,625

26,125

35,5

0,125 2,5 -0,125

-2,5

20,18

28,81

32,69

36,19

21,19

13,69 23,31

30,81

9,06 2,19 -4,69

2,1924,81 34,44 17,44 27,06 -4 -1,75

3,75 -3,75

29,63 22,25 3,437 -3,437

-4,81

-4,81

-2,875

0 -1,125

3,75 1,3125

-1,3125

-1.187

1.187 5,62 -1,25

-4,825

3,687

25,937

-1,437

3,437

03,437

2,187

-1,187

01,312

0-2,437

1,312

-1,437

0

RekonstrukcijaE=wentropy(x,’shannon’)

0 2 4 6 8 10 12 14 165

10

15

20

25

30

35

40

Kompresija podataka Identična kao kod waveleta +: povećanje fleksibilnosti

Jedno razlaganje generira mnogo baza Odabiremo onu koja nam najviše odgovara

korištenjem funkcije besttree: Računa optimalno podstablo inicijalnog

podstabala wavelet paketa Uzima u obzir kriterij entropije Dobiveno stablo može biti manje dubine od

inicijalnog

Kompresija podataka Funkcija besttree:

T = BESTTREE (T) računa modificirano stablo koje odgovara najboljojvrijednosti entropije

[T,E] = BESTTREE (T) vraća najbolje stablo, s tim da računa još i najboljuvrijednost entropije E. Optimalna entropija čvora čiji je indeks j-1 je E(j).

[T,E,N] = BESTTREE (T) vraća najbolje stablo, vrijednost entropije E s timda računa još i vektor N koji sadrži indekse čvorova kojih više

Primjer u Matlabu: wpt = wpdec(x,3,‘db1') wpt = wpsplt(wpt,[3 0]); plot(wpt) bt = besttree(wpt); plot(wpt)

Kompresija podataka

Tree Decomposition

(0,0)

(1,0) (1,1)

(2,0) (2,1) (2,2) (2,3)

(3,0) (3,1)(3,2)(3,3)(3,4)(3,5)(3,6)(3,7)

(4,0)(4,1)

2 4 6 8-15

-10

-5

0

5

10

15

20data for node: (2) or (1,1).

Tree Decomposition

(0,0)

(1,0) (1,1)

(2,0) (2,1) (2,2) (2,3)

(3,0) (3,1) (3,2) (3,3)

(4,0) (4,1)

1 2 3 4-4

-2

0

2

4

6

8data for node: (5) or (2,2).

Wavelet

Besttree

Wavelet

Kompresija podataka - Matlab

Kompresija podataka - Matlab

Kompresija podataka - Matlab Energija komprimiranog signala sadrži

90.81% originalnog signala Broj nula (ekvivalentno količini kompresije)

se smanjio sa 80.93% na 74.07 %. Pokušamo li komprimirati signal pomoću

wavelet-a, koristeći iste parametre, dobiveni signal će sadržavati samo 89% originalnog signala, i samo će 59% wavelet koeficijenata biti zamijenjeno nulom