diplomski rad br. 1645 otkrivanje i pracenje svakodnevnom zivotu ljudi se uvelike oslanjaju naˇ...

Download DIPLOMSKI RAD br. 1645 OTKRIVANJE I PRACENJE svakodnevnom zivotu ljudi se uvelike oslanjaju naˇ culo sluha kao ... inzenjerska rjeˇ senja za uvoˇ denje osjetila sluha (auditornog

Post on 06-Feb-2018

223 views

Category:

Documents

3 download

Embed Size (px)

TRANSCRIPT

  • SVEUCILISTE U ZAGREBUFAKULTET ELEKTROTEHNIKE I RACUNARSTVA

    DIPLOMSKI RAD br. 1645

    OTKRIVANJE I PRACENJE GOVORNIKAU OKOLINI MOBILNOG ROBOTA

    POLJEM MIKROFONAIvan Markovic

    Zagreb, rujan 2008.

  • Sveuciliste u ZagrebuFakultet elektrotehnike i racunarstva

    Zavod za automatiku i racunalno inzenjerstvo

    Diplomski rad br. 1645

    Otkrivanje i pracenje govornikau okolini mobilnog robota

    poljem mikrofona

    Ivan Markovic

    Mentor: Prof. dr. sc. Ivan Petrovic

    Zagreb, 2008.

  • ...

  • Sazetak

    U ovom diplomskom radu predlozena je metoda lokalizacije i pracenjagovornika, koja se temelji na estimaciji razlike u vremenu dolaska sig-nala (engl. Time Difference of Arrival, TDOA). Prvo, TDOA estimacijaje poboljsana s tzv. -faznom transformacijom (engl. Phase Transform,PHAT) te testirano s dvoelementnim poljem mikrofona. Metoda lokalizacijese temelji na pseudo-linearnom estimatoru (engl. Pseudo-Linear Estima-tor, PLE), takoder je predlozeno polje Y geometrije za prostorno uzorko-vanje, te je usporedeno s kvadratnim poljem mikrofona. Pracenje je ost-vareno s algoritmom rekurzivnih najmanjih kvadrata (engl. RecursiveLeast Squares, RLS). Na kraju, rezultati dobiveni snimanjem na mobilnomrobotu su predstavljeni, pokazujuci da je razvijeno audio sucelje i algori-tam sposobno lokalizirati i pratiti govornika u okolini mobilnog robota.

    Kljucne rijeci: estimacija azimuta, TDOA estimacija, DOA estimacija,hiperbolicka multilateracija, otkrivanje govornika, polje mikrofona.

    v

  • Sadrzaj

    Sazetak v

    Sadrzaj i

    1 Uvod 31.1 Motivacija i cilj . . . . . . . . . . . . . . . . . . . . . . . . . . 31.2 Pregled rada . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

    2 Teorija lokalizacije 72.1 Prostorno-vremenski signali . . . . . . . . . . . . . . . . . . 72.2 Zvucno polje kao prostorno-vremenski signal . . . . . . . . 82.3 Sum i odjek . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

    3 TDOA estimacija 153.1 TD estimacija . . . . . . . . . . . . . . . . . . . . . . . . . . . 153.2 Metode odredivanja TDOA . . . . . . . . . . . . . . . . . . 163.3 Generalizirana kroskorelacija (GCC) . . . . . . . . . . . . . 18

    3.3.1 Otezavanje funkcije kroskorelacije . . . . . . . . . . 193.3.2 PHAT- tezinska funkcija . . . . . . . . . . . . . . . 20

    3.4 Pregled algoritma za odredivanje TDOA . . . . . . . . . . . 21

    4 DOA estimacija 234.1 Estimacija smjera dolaska . . . . . . . . . . . . . . . . . . . 234.2 Detektor govorne aktivnosti . . . . . . . . . . . . . . . . . . 254.3 Rezultati eksperimenta DOA estimacije . . . . . . . . . . . 254.4 Test 0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

    4.4.1 Pucketanje prstima . . . . . . . . . . . . . . . . . . . 284.4.2 Izgovor Test . . . . . . . . . . . . . . . . . . . . . . 29

    i

  • ii SADRZAJ

    4.4.3 Izgovor Test jedan, dva, tri . . . . . . . . . . . . . 304.5 Test -15 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

    4.5.1 Pucketanje prstima . . . . . . . . . . . . . . . . . . . 324.5.2 Izgovor Test . . . . . . . . . . . . . . . . . . . . . . 334.5.3 Izgovor Test jedan, dva, tri . . . . . . . . . . . . . 34

    4.6 Test -30 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364.6.1 Pucketanje prstima . . . . . . . . . . . . . . . . . . . 364.6.2 Izgovor Test . . . . . . . . . . . . . . . . . . . . . . 374.6.3 Izgovor Test jedan, dva, tri . . . . . . . . . . . . . 38

    4.7 Test -45 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404.7.1 Pucketanje prstima . . . . . . . . . . . . . . . . . . . 404.7.2 Izgovor Test . . . . . . . . . . . . . . . . . . . . . . 414.7.3 Izgovor Test jedan, dva, tri . . . . . . . . . . . . . 42

    4.8 Test -60 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444.8.1 Pucketanje prstima . . . . . . . . . . . . . . . . . . . 444.8.2 Izgovor Test . . . . . . . . . . . . . . . . . . . . . . 454.8.3 Izgovor Test jedan, dva, tri . . . . . . . . . . . . . 46

    4.9 Test 70 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 484.9.1 Pucketanje prstima . . . . . . . . . . . . . . . . . . . 484.9.2 Izgovor Test . . . . . . . . . . . . . . . . . . . . . . 494.9.3 Izgovor Test jedan, dva, tri . . . . . . . . . . . . . 50

    4.10 Test -80 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 524.10.1 Pucketanje prstima . . . . . . . . . . . . . . . . . . . 524.10.2 Izgovor Test . . . . . . . . . . . . . . . . . . . . . . 534.10.3 Izgovor Test jedan, dva, tri . . . . . . . . . . . . . 54

    4.11 Analiza rezultata eksperimenata . . . . . . . . . . . . . . . 56

    5 Hiperbolicka multilateracija 575.1 Hiperbola kao polozaj govornika . . . . . . . . . . . . . . . 575.2 Hiperbolicka estimacija pozicije . . . . . . . . . . . . . . . . 595.3 Lokalizacija govornika metodom sjecista hiperbola . . . . . 60

    6 Algoritam lokalizacije i pracenja govornika 656.1 Lokalizacija govornika metodom sjecista asimptota hiperbola 666.2 Geometrija polja mikrofona . . . . . . . . . . . . . . . . . . 686.3 Diskriminacija estimacije azimuta . . . . . . . . . . . . . . . 696.4 TDOA estimacija s N mikrofona . . . . . . . . . . . . . . . . 716.5 Algoritam pracenja govornika . . . . . . . . . . . . . . . . . 736.6 Eskperimentalni rezultati konacnog algoritma . . . . . . . 76

  • SADRZAJ iii

    7 Zakljucak 81

    Bibliografija 83

    Popis slika 87

    Popis tablica 89

    Abstract 91

    Zivotopis 93

  • Zahvale

    Htio bih se zahvaliti Prof. dr. sc. Ivanu Petrovicu na sveukupnoj pot-pori i savjetima tokom izrade diplomskog rada i studiranja. Zahvaljujemse i svojoj obitelji na beskrajnoj zivotnoj mudrosti i potpori. Takoderse zahvaljujem svim djelatnicima Zavoda za automatiku i racunalnoinzenjerstvo na nesebicnom dijeljenu znanja i iskustva.

    1

  • Poglavlje 1

    Uvod

    Ovaj diplomski rad bavi se podrucjem lokalizacije govornika na temeljuzvucnog signala. Senzor zvuka biti ce polje mikrofona odredenog broja igeometrije koje ce predstavljati auditorni sustav mobilnog robota. Odredi-vanje polozaja govornika u koordinatnom sustavu mobilnog robota temeljise na mjerenju razlika u vremenima dolaska signala (engl. time differ-ence of arrival tj. TDOA) izmedu mikrofona. Kako ce se pokazati, tocnoodredivanje TDOA temelj je svakog robusnog sustava za lokalizaciju ipracenje govornika.

    Cilj diplomskog rada je razviti auditorni sustav za mobilnog robota,koji ce biti u stanju locirati i pratiti govornika kroz vrijeme, te ga testiratina modelu Pioneer 3DX u prostorijama Zavoda za automatiku i racunalnoinzenjerstvo.

    1.1 Motivacija i cilj

    U svakodnevnom zivotu ljudi se uvelike oslanjaju na culo sluha kaododatno orude u razumijevanju svijeta oko nas. Nase akusticko okruzenjeorganiziramo stvarajuci razlicite audio tokove, gdje svaki tok predstavljaodredenu jedinku koja proizvodi zvuk. Svaki tok sadrzi percepcijskeatribute koji su snazno povezani s fizickim svojstvima izvora zvuka; kaosto je fizicka velicina, svojstva prostorije u kojoj se nalazimo te relativnipolozaj izvora zvuka od slusatelja. Svi ovi atributi audio tokova pomazunam da se lakse snalazimo u prostoru, npr. lako mozemo odrediti dali se nalazimo u pecini ili sobi te gdje se nalazi govornik koji zapocinjerazgovor s nama.

    3

  • 4 POGLAVLJE 1. UVOD

    Sluh kao jedno od tradicionalnih pet osjetila odlicno nadopunjava os-tala osjetila, kao vid na primjer, tako sto je svesmjeran, na njega ne utjeceosvijetljenost kao niti fizicke prepreke. Zivotinjama koje nisu grabezljivcimogucnost odredivanja udaljenosti i azimuta (akusticka lokacija) prijet-nje sluhom, od zivotne je vaznosti te cesto prethodi vizualnoj potvrdi.Iako je kroz tisuce godina razvoja covjek izgubio potrebu za stalnimosluskivanjem okoline radi bijega od grabezljivca, danas je jos uvijeksposoban s tocnoscu od nekoliko stupnjeva odrediti azimut i elevacijuizvora zvuka, dok u odredivanju udaljenosti zivotinjski svijet znatnoprednjaci.

    Zbog ovih jedinstvenih svojstava sluha kao senzora, od velike i prakticneje vaznosti bolje razumjeti kako ono funkcionira te pronaci sve bolja i boljainzenjerska rjesenja za uvodenje osjetila sluha (auditornog sustava) u au-tomatizirane sustave. Problem obdarivanja automatiziranih sustavaculom sluha je vrlo siroke prirode te naravno ovisi o podrucju i svrsiprimjene. Automatizirani sustav kojim ce se baviti ovaj diplomski radje mobilni robot. Karakteristicno za ovakav sustav je sto okolina nijekontrolirana (robot se moze nalaziti na otvorenom, u muzeju, dnevnojsobi) i sto su resursi ograniceni (auditorni sustav mora biti malih di-menzija i malih zahtjeva za energijom). Auditorni sustav znatno bi un-aprijedio mogucnost mobilnih robota da lociraju i prate osobe u svojojokolini. Imajuci doticnu mogucnost i drugi sustavi na mobilnom robotu,poput prepoznavanja govora ili prepoznavanja govornika, znatno bi bilipoboljsani jer bi omogucavali prostornu diskriminaciju izvora zvukova.

    Cilj ovog diplomskog rada je rjesavanje konkretno definiranog prob-lema s konkretnim odgovorom; problem akusticke lokalizacije izvorazvuka. U vecini slucajeva, fizicki polozaj izvora zvuka je prirodan odgovorna pitanje lokacije. Medutim, sto ako se izvor nalazi u sobi na kraju hod-nika? Da li onda lokaciju izvora definirati kao hodnik ili drugu sobu?Koliko je iz aspekta mobilnog robota jedan odgovor losiji od drugog?Ovaj diplomski rad nece se baviti doticnim pitanjima, vec ce se ogranicitina slucaj kada postoji izravan put bez prepreka od jednog izvora zvukado mobilnog robota. Kako ce se pokazati i ovako definirani problem viseje nego izazovan i zanimljiv.

  • 1.2. PREGLED RADA 5

    1.2 Pregled rada

    U poglavlju 2 dane su osnove teorije lokalizacije; predstavljena je idejaprostorno-vremenski