optičko prepoznavanje glazbenog crtovlja
DESCRIPTION
Optičko prepoznavanje glazbenog crtovlja. Dragan Lesić Bojan Oblučar. Optičko prepoznavanje glazbenih nota (OMR). Prevođenje notnog zapisa u elektronički oblik i smještanje u korisniku razumljiv kontekst Niz manjih procesa analize i obrade podataka: - prilagodba slike za obradu - PowerPoint PPT PresentationTRANSCRIPT
Optičko prepoznavanje glazbenog crtovlja
Dragan LesićBojan Oblučar
Optičko prepoznavanje glazbenih nota (OMR)• Prevođenje notnog zapisa u elektronički oblik i smještanje u
korisniku razumljiv kontekst• Niz manjih procesa analize i obrade podataka: - prilagodba slike za obradu - otklanjanje šuma - ekstrakcija superponiranih objekata - prepoznavanje elemenata sa slike - usporedba s postojećom bazom podataka - klasifikacije elemenata u razrede
Predprocesiranje ulaznih podataka• Ulaz: slika u RGB formatu koja je skenirana, uslikana
fotoaparatom, mobitelom itd.• Problem: nakrenutost slike, svijetla i tamna područja, niska
rezolucija, loša preglednost.• Obrada: označiti područje od interesa i otkloniti šum.• Detekcija elemenata: glazbeno crtovlje i note• Na temelju nakrenutosti crtovlja od ravnine možemo saznati
nakrivljenost slike• Ekstrakcija superponiranih elemenata
Ekstrakcija glazbenog crtovlja i nota• Odvojiti note i ostale pomoćne oznake od glazbenog crtovlja• Zapis nije savršen: linije su nejednolike debljine (staff line
height), međusobno su neravnomjerno udaljene (staff space height), zakrivljene itd.
• Potrebno je ekstrahirati crtovlje bez zadiranja u ostale elemente.
• Moguće je rasporediti elemente glazbenog zapisa u dvije skupine ovisno o njihovom položaju:
• horizontalno posloženi elementi: glazbeno crtovlje• Vertikalno posloženi elementi: note
Ekstrakcija glazbenog crtovlja i nota
Ekstrakcija glazbenog crtovlja i nota• Dvodimenzionalni waveleti• Uklanjanje šuma• Dekompozicija slike na 3 sastavna dijela u više željenih razina: - horizontalno - vertikalno - dijagonalno• Baš ono što nam treba! Sad možemo rastaviti sliku i odovjiti
komponente
Uklanjanje šuma
Računanje parametara
Wavelet analizaWavelet razlaganjeHaar, nivo 1
uklanjanje šumametodom praga
maskiranje
razdvajanje
Logičko “I” spajanje
AND
Detekcija linija
Druga derivacija(idealni slučaj)
Rezultati detekcijeIme slike
Broj pogrešaka„I“ ujedinjena Pozitivni dio w.p. Negativni dio w.p.
Slika_01 1 1 1Slika_02 1 0 2Slika_03 0 0 0Slika_04 9 >10 >10Slika_05 1 3 2Slika_06 3 >10 >10Slika_07 0 2 >10Slika_08 1 2 5Slika_09 2 5 4Slika_10 0 0 0Slika_11 0 0 1Slika_12 0 2 3
UKUPNO 18 >35 >49
Utjecaj rezolucije
Visoka rezolucija1110x1440
Niža rezolicija771x1000
Zaključak• wavelet analiza pomaže pri detekciji glazbenih linija na način
da se koristi kao alat za pretprocesiranje. Tako se može smanjiti šum na slici koji često utječe na krive rezultate detekcije
• može se koristiti za uklanjanje glazbenih simbola različitih od notnog crtovlja (note, tekst, oznake)
• Rezultat pretprocesiranja pomoću waveleta može se koristiti na razne načine kako bi se povećala točnost detekcije
• na rezultat detekcije također utječe rezolucija analizirane slike.