Pretraivanje baza slika na osnovu slinostiUniverzitet u BanjaluciElektrotehniki fakultetMultimedijalni sistemi

*Upravljanje multimedijalnim podacimaVeliki obim multimedijalnih podatakaLako Kreiranje, uvanje, Prenos,Diseminacija multimedijalnog sadrajaRaunarski trendoviKoritene tehnologijeKako indeksirati, pretraivati i pronalaziti multimedijalne podatke?

*Oblasti u kojima se generiu i koriste baze digitalnih slikaMedicinaDigitalne bibliotekeMuzejiObrazovanjeArhive dokumenataCAD/CAM sistemiSistemi za nadgledanjeSprovoenje zakonaIstraivanje nafte i gasaZabavaPretraivanje webaOvo su samo neki od primjera. Lista se ovdje ne zavrava!

*Pretraivanje relacionih baza podatakaPronai podatke o pacijentima snimanim na rentgenu 20.05.2006. godine

SELECT IME, PREZIME, DATUM_ROENJAFROM Pacijent, Pretraga WHERE DATUM_PRETRAGE=20.05.2006. AND MODALITET=rentgen AND MBR=MBR_PAC;Pronai sve slike tumora koji su vei od 30mm

SELECT SLIKAFROM PretragaWHERE VELICINA > 30;???

IMEPREZIMEDATUM_ROENJAMarkoMarkovi4.4.1965.JagodinkaSimonovi12.10.1956.PetarPetrovi15.1.1975.

*Pretraivanje baza slika (rani pristup)Dodavanje tekstualnih anotacija slikamaSporoNeskalabilnoSubjektivno (ta opisati?)Neka vizuelna obiljeja se ne mogu opisati rijeima

*Pretraivanje baza slika(moderni pristup)Reprezentacija slika koritenjem vizuelnih obiljeja niskog nivoa, npr. boje, teksture, oblika, ivica...Slike se predstavljaju koritenjem deskriptora ili vektora obiljeja koji su numerike reprezentacije vizuelnih obiljejaDeskriptori se automatski izdvajaju iz vrijednosti piksela, tj. sadraja slike Pretraivanje baza slika na osnovu sadraja (Content-based image retrieval CBIR)Upit se sastoji od vrijednosti deskriptora, zadate slike ili skice Pretraivanje pomou primjera (Query By Example)Kriterij po kojem se pretrauje Pretraivanje na osnovu slinosti (Similarity-based retrieval)

*Klasifikacija tipova upita bazama slika3 nivoa tipova upita bazama slika [Eakins & Graham, 1999]Nivo 1, Upiti na osnovu vizuelnih obiljeja niskog nivoa: boje, teksture, oblika, lokacije...Nivo 2. Pretraivanje po odreenom tipu objekta, konkretnom objektu ili osobiNivo 3. Pretraivanje po apstraktnim atributima: tipu dogaaja ili aktivnosti, emocionalnim ili religioznim stanjima.

*Primjer pretraivanja na osnovu slinostiSlika upit

*Vizuelna nasuprot semantike slinostiRezultati pretraivanja koritenjem vizuelnih obiljeja niskog nivoa uglavnom se sastoje od slika sa slinom raspodjelom tih vizuelnih elemenataKorisnici ele rezultate pretraivanja koji su semantiki slini upituJaz izmeu semantike korisnika i sistema semantiki jazAli semantika slinost je subjektivan pojam[Pentland et al.] ovjek je nelinearan, vremenski promjenljiv sistem ije ponaanje zavisi od nepoznatih unutranjih stanja.Kako sistem moe otkriti semantike preference trenutnog korisnika?

*Ljudski faktorDodavanje interaktivnosti sistemuKorisniki interfejs formulisanje upita i pregled rezultataOcjena relevantnosti podeavanje teina obiljeja u skladu sa rezultatima pretraivanjaSistem se prilagoava informacionim potrebama korisnika, ui ta korisnik smatra slinim

*Arhitektura sistema za pretraivanje baza slika na osnovu sadrajaBazaslikaIzdvajanjeobiljejaAnotacije imeta-podaciMjeraslinostiObradaupitaInterfejs zazadavanje upitaRezultatipretraivanjaBazadeskriptoraKorisniki upitPopunjavanjebazePretraivanjebazeOcjenarelevantnosti

*Reprezentacija slika koritenjem vizuelnih obiljeja niskog nivoaVizuelna obiljeja se predstavljaju numerikim deskriptorimaDobri deskriptori bi trebalo da:Opisuju sadraj slikaOmoguavaju definisanje neke mjere slinosti slikaPerceptualna slinost Sline slike su blizu u prostoru obiljeja (i obrnuto)Omoguavaju uvoenje neke eme za indeksiranje kako bi pristup podacima bio efikasnijiPostoje obiljeja opte namjene i specijalizovana obiljeja.

*BojaJedna od najizraenijih vizuelnih osobina slikaesto se koristi u sistemima za pretraivanje baza slika na osnovu sadrajaIzbori prilikom projektovanja sistemaKolor-prostor (RGB, HSV, CIE L*a*b*, CIE L*u*v*)Kvantizacija kolor-prostoraMjera slinostiPopularni deskriptori bojeKolor-histogramKolor-momentiProstorni raspored bojaDominantne boje

*Primjer pretraivanja koritenjem kolor-histogramaSlika upit

*TeksturaTekstura se odnosi na vizuelno obiljeje koje je homogeno, ali homogenost ne potie od jedne boje.Obiljeja teksture: periodinost, usmjerenost, sloenost (sluajnost), kontrast, uniformnost, gruboa, gustina... Percepcija teksture zavisi od skale.Dvije grupe deskriptoraZasnovani na statistici: co-occurrence matrice, Tamurini deskriptori, Woldova dekompozicijaZasnovani na transformacijama: DCT, Furije-Melinovi, polarni Furijeovi, Gaborovi, waveleti...

*Primjer pretraivanja koritenjem Gaborovog deskriptora tekstureSlika upit

*Primjer pretraivanja uz invarijantnost na rotaciju

*Prosjean procenat pronaenih tekstura po klasama

Chart1

0.718750.68750.421880.64844

0.953130.949220.250.96875

0.824220.640630.753910.69141

0.968750.968750.785160.82031

10.980470.468750.76563

0.941410.632810.644530.67188

0.996090.531250.261720.76563

0.976560.902340.828130.83594

0.796880.589840.273440.61719

0.898440.910160.593750.91797

110.906250.96484

0.996090.996090.250.99219

0.996090.902340.503910.78125

nerotirane teksture bez invarijantnosti

nerotirane teksture sa invarijantnou

rotirane teksture bez invarijantnosti

rotirane teksture sa invarijantnou

Naziv teksture

Prosjean procenat pronaenih tekstura(x100%)

Sheet1

koraciglemjehuriitravakoasvinjska koaasurapijesakslamavodatkanjedrvovuna

klasabarkbrickbubblesgrassleatherpigskinraffiasandstrawwaterweavewoodwool

nerotirane teksture bez invarijantnosti0.718750.953130.824220.9687510.941410.996090.976560.796880.8984410.996090.99609

nerotirane teksture sa invarijantnou0.68750.949220.640630.968750.980470.632810.531250.902340.589840.9101610.996090.90234

rotirane teksture bez invarijantnosti0.421880.250.753910.785160.468750.644530.261720.828130.273440.593750.906250.250.50391

rotirane teksture sa invarijantnou0.648440.968750.691410.820310.765630.671880.765630.835940.617190.917970.964840.992190.78125

Sheet2

0.64844

0.96875

0.69141

0.82031

0.76563

0.67188

0.76563

0.83594

0.61719

0.91797

0.96484

0.99219

0.78125

Sheet3

*Dopunjavanje teksture u regionima nepravilnog oblika

*OblikVeoma diskriminativno obiljeje zato to je na viem nivou apstrakcije od boje i tekstureTeko izraunavanjeZahtjeva segmentaciju slike3-D objekat se na razne naine moe projicirati u 2-D oblik

*Oblik (nastavak)Nijedan opis oblika u potpunosti ne pokriva sve aspekteDvije grupe deskriptoraZasnovani na rubu: lanani kodovi, Furijeovi deskriptori, kurvatura na razliitim skalama...Zasnovani na regionu: elongacija, kompaktnost, invarijante momenata, ugaona radijalna transformacija

*Primjer pretraivanja koritenjem Furijeovih deskriptora oblikaSlika upit

*Lokacije objekataOdnosi izmeu ivicaProstorni odnosiObiljeja zasnovana na waveletimaObiljeja licaObiljeja medicinskih slikaObiljeja satelitskih slikaJo neka obiljejaSpecijalizovana obiljeja

*Globalna i lokalna obiljeja slikaGlobalna obiljejaraspodjela vizuelnih obiljeja na cijeloj slicislike se porede kao cjelineLokalna obiljejaraspodjela vizuelnih obiljeja u objektima/regionimaporeenje slika kao skupova objekata/regionablie ljudskoj percepciji

*Lokalna obiljeja slikaNaini podjele slike na regione:Fiksna, npr. regioni pravougaonog oblika,Adaptivna, dobijena segmentacijom.Problemi koji se javljaju:Kako automatski izdvojiti objekte, tj. potpuno nenadgledana automatska segmentacija slika,Na slikama sa teksturom nema objekata,Kako integrisati slinost pojedinih regiona u globalnu mjeru slinosti slika?

*Mjere slinostiKoritenje globalnih deskriptoraFuzija svih deskriptora u jedan vektor i odreivanje udaljenosti deskriptoraDvije metode integracije obiljejaSekvencijalna filtriranje obiljeja,Paralelna dodjela teina obiljejima.Koritenje deskriptora regionaOdreivanje mjere slinosti parova regiona,Integracija mjera slinosti parova regiona u globalnu mjeru slinosti slika (IRM, EMD...)Takoe je potrebno integrisati vizuelna obiljeja sa prostornim i tekstualnim obiljejima, te sa meta-podacima.

*Multidimenzionalne indeksne struktureIndeksna struktura treba da obezbijedi obradu upita koja je:iscrpna,korektna,deterministika.Teko je napraviti efikasne strukture koje imaju sve tri osobine.U tradicionalnim bazama dominiraju varijante B-stabla (skalarni kljuevi).U prostornim bazama (GIS) koriste se R-stabla (transformacija prostora u hiperpravougaonike).

*Multidimenzionalne indeksne strukture (nastavak)Specifinosti multimedijalnih bazaDeskriptori su veliki multidimenzionalni vektori tradicionalne eme indeksiranja (npr. B-stabla) nisu pogodneNarueni geometrijski odnosi metode indeksiranja zasnovane na transformaciji prostora u hiperpravougaonike postaju neefikasne

*Redukcija dimenzionalnostiAproksimacija vektora obiljeja projekcijama na prostor nie dimenzionalnosti:selekcija promjenljivih,multidimenzionalno skaliranje,geometrijsko heovanje.Aproksimacija moe uticati na rangiranje rezultata pretraivanja.Neke transformacije rotiraju prostor obiljeja moraju biti invarijantna na rotaciju.

*Podjela metoda indeksiranjata se indeksira?Indeksiranje u vektorskom prostoruIndeksiraju se reprezentacije objekata bazeIndeksiranje u metrikom prostoruIndeksiraju se udaljenosti izmeu parova objekata baze

*Podjela metoda indeksiranjaKako se indeksira?Nehijerarhijska podjela prostoraRegion u kojem se nalazi upit se moe identifikovati u konanom broju operacija;Rekurzivna podjela prostoraProstor se organizuje u strukturu stabla;Metodi zasnovani na projekcijamaPretrauju se projekcije taaka u bazi u raznim smjerovima.

*Izbor odgovarajue indeksne struktureNe postoji pravilo.Mogu se uzeti u obzir razni parametri:karakteristike podataka,metrika,dimenzionalnost prostora,tip upita.Ocjena performansi indeksnih struktura je teka.

*Dalji pravci istraivanja indeksnih strukturaOmoguavanje kombinovanja heterogenih obiljeja razliitih tipova i razliitih metrika,Omoguavanje iterativnog poboljavanja upita, npr. ocjenom relevantnosti,Prilagoavanje indeksnih struktura modernim raunarskim arhitekturama.

*Performanse sistema za pretraivanje baza slikaReferentna kolekcija slikaOcjena relevantnosti slika za razliite upiteMjere performansiP-R grafici

*Odnos sa Prepoznavanjem uzorakaRezultat pretraivanja baze slika na osnovu slinosti je ureenje svih slika u bazi, ak i ako ne postoje oigledni pogociRezultat Prepoznavanja uzoraka je podjela baze na slike koje se poklapaju sa uzorkom i slike koje se ne poklapaju sa uzorkomSistemi za pretraivanje baza slika na osnovu slinosti su interaktivni: Korisnik pregleda rezultate i dotjeruje upite,Lano pozitivni rezultati su manje vani, Lano negativne treba izbjei.Sistemi za prepoznavanje uzoraka su automatskiZahtjeva se visoka preciznost bez lano pozitivnih rezultata.

*Integracija sa relacionim bazama podatakaObjektno-relacioni sistemi za upravljanje bazama podataka omoguavaju integrisanje multimedijalnih podataka i pretraivanja na osnovu slinosti pomou:korisniki-definisanih apstraktnih tipova podataka ikorisniki-definisanih funkcija koje se mogu koristiti u SQL upitima.Komercijalna proirenja SUBPOracle Visual Image Retrieval Cartridge,DB2 UDB Image Extenders (QBIC),Informix Image Retrieval Datablade.Priblino sline mogunosti ovih sistema

*Specijalizovani sistemi u upotrebiBaze zatienih znakova (trademark)Medicinski sistemiDetekcija replika slikaPrepoznavanje lica

*MPEG-7 standardStandard za opis multimedijalnog sadraja (slika, audio i video sadraja) zasnovan na XML-uOpis se nalazi u istom toku sa podacima ili je povezan sa podacima na odgovarajui nainStandardizovan je opis, ali ne i ekstrakcija obiljeja niti pretraivanjeOsnovni normativni elementi standardaDeskriptoriDeskripcione emeJezik za definisanje opisaMetode za kodiranje opisa

*Sistem za pretraivanje baza slika razvijen na ETF-uSegmentacija slika na regione sa homogenom bojom i teksturomAlgoritam zasnovan na lokalnim varijacijama boje pikselaReprezentacija regiona deskriptorima boje, teksture, oblika i poloajaOdreivanje mjere slinosti parova regionaOdreivanje mjere slinosti slika modifikovanim integrisanim uparivanjem regiona

*Deskriptori regionaBoja4 dominantne boje regiona dobijene k-means algoritmom i njihove procentualne zastupljenostiPoreenje kvadratnom distancom histogramaTeksturaSrednje vrijednosti i standardne devijacije izlaza Gaborovih filtara na 4 skale i 6 orijentacijaPoreenje metrikom Minkovskog sa p = 1OblikFurijeovi deskriptoriPoreenje Euklidovom metrikom

*Mjera slinosti regionaUdaljenost regiona po obiljeju x Slinost regiona po obiljeju x Ukupna slinost regionaGausova normalizacija udaljenosti

*Mjera slinosti slikaIRM algoritamSlinost skupova regionaw11w12w13w14Odrediti wij pod uslovom

*Primjer pretraivanjaSlika upit

*Primjer pretraivanja(jo jedan)Slika upit

*Poreenje performansi sistema u pretraivanju

*Performanse sistema na slikama iz razliitih semantikih kategorija10 kategorija po 100 slika = 1000 slikaJPEG format, 384*256 ili 256*384

*Performanse sistema za razliite semantike kategorije

*Preciznost po kategorijama za 30 rezultata pretraivanja

P(30) chart

0.590.350.516670.563330.743330.73333

0.353330.446670.40.30.443330.42333

0.290.353330.386670.653330.513330.53

0.740.593330.446670.780.553330.67

0.99333110.9933311

0.333330.530.470.303330.433330.42667

0.60.786670.710.743330.863330.85667

0.716670.846670.843330.720.943330.94333

0.216670.366670.443330.230.396670.38333

0.510.223330.423330.646670.506670.56333

Histogram

Waveleti

Regioni 1-1

Regioni 1-1b

mIRM 1

mIRM 2

Kategorije

Preciznost

P(30)

HistogramWaveletiRegioni 1-1Regioni 1-1bmIRM 1mIRM 2

0.590.350.516670.563330.743330.73333

0.353330.446670.40.30.443330.42333

0.290.353330.386670.653330.513330.53

0.740.593330.446670.780.553330.67

0.99333110.9933311

0.333330.530.470.303330.433330.42667

0.60.786670.710.743330.863330.85667

0.716670.846670.843330.720.943330.94333

0.216670.366670.443330.230.396670.38333

0.510.223330.423330.646670.506670.56333

P(100) chart

0.40.2530.380.4060.5470.52

0.2710.3320.3460.2170.3370.328

0.2050.2250.2640.4340.3550.384

0.5180.3950.2940.6040.3890.476

0.9040.9070.9510.7250.9870.987

0.2440.3620.3510.2010.2920.286

0.4080.5340.480.5030.6220.618

0.5330.5890.6320.4630.690.685

0.190.2690.3210.1780.2950.282

0.3410.1730.3120.4710.3450.381

Histogram

Waveleti

Regioni 1-1

Regioni 1-1b

mIRM 1

mIRM 2

Kategorije

Preciznost

P(100)

HistogramWaveletiRegioni 1-1Regioni 1-1bmIRM 1mIRM 2

0.40.2530.380.4060.5470.52

0.2710.3320.3460.2170.3370.328

0.2050.2250.2640.4340.3550.384

0.5180.3950.2940.6040.3890.476

0.9040.9070.9510.7250.9870.987

0.2440.3620.3510.2010.2920.286

0.4080.5340.480.5030.6220.618

0.5330.5890.6320.4630.690.685

0.190.2690.3210.1780.2950.282

0.3410.1730.3120.4710.3450.381

Kategorije

AfrikaPlaeGraevineAutobusiDinosaurusiSlonoviCvijeeKonjiPlanineHrana

*Preciznost po kategorijama za 100 rezultata pretraivanja

P(30) chart

0.590.350.516670.563330.743330.73333

0.353330.446670.40.30.443330.42333

0.290.353330.386670.653330.513330.53

0.740.593330.446670.780.553330.67

0.99333110.9933311

0.333330.530.470.303330.433330.42667

0.60.786670.710.743330.863330.85667

0.716670.846670.843330.720.943330.94333

0.216670.366670.443330.230.396670.38333

0.510.223330.423330.646670.506670.56333

Histogram

Waveleti

Regioni 1-1

Regioni 1-1b

mIRM 1

mIRM 2

Kategorije

Preciznost

P(30)

HistogramWaveletiRegioni 1-1Regioni 1-1bmIRM 1mIRM 2

0.590.350.516670.563330.743330.73333

0.353330.446670.40.30.443330.42333

0.290.353330.386670.653330.513330.53

0.740.593330.446670.780.553330.67

0.99333110.9933311

0.333330.530.470.303330.433330.42667

0.60.786670.710.743330.863330.85667

0.716670.846670.843330.720.943330.94333

0.216670.366670.443330.230.396670.38333

0.510.223330.423330.646670.506670.56333

P(100) chart

0.40.2530.380.4060.5470.52

0.2710.3320.3460.2170.3370.328

0.2050.2250.2640.4340.3550.384

0.5180.3950.2940.6040.3890.476

0.9040.9070.9510.7250.9870.987

0.2440.3620.3510.2010.2920.286

0.4080.5340.480.5030.6220.618

0.5330.5890.6320.4630.690.685

0.190.2690.3210.1780.2950.282

0.3410.1730.3120.4710.3450.381

Histogram

Waveleti

Regioni 1-1

Regioni 1-1b

mIRM 1

mIRM 2

Kategorije

Preciznost

P(100)

HistogramWaveletiRegioni 1-1Regioni 1-1bmIRM 1mIRM 2

0.40.2530.380.4060.5470.52

0.2710.3320.3460.2170.3370.328

0.2050.2250.2640.4340.3550.384

0.5180.3950.2940.6040.3890.476

0.9040.9070.9510.7250.9870.987

0.2440.3620.3510.2010.2920.286

0.4080.5340.480.5030.6220.618

0.5330.5890.6320.4630.690.685

0.190.2690.3210.1780.2950.282

0.3410.1730.3120.4710.3450.381

Kategorije

AfrikaPlaeGraevineAutobusiDinosaurusiSlonoviCvijeeKonjiPlanineHrana

*Gdje se nalazimo?Reprezentacija sika koritenjem jednostavnih obiljeja niskog nivoaInterfejs za opis multimedijalnog sadraja (MPEG-7 standard)Integracija vizuelnih obiljeja sa tekstualnim i meta-podacimaMehanizam ocjene relevantnosti (Relevance feedback mechanism)Kombinacija jednostavnih obiljeja sa mainskim uenjem i statistikim klasifikatorima u pokuajima da se dobije semantika informacija (npr. klasifikacija slika)

*Na emu je potrebno jo raditi?Najvei problem je postojanje semantikog jazaPotpuno automatska nenadgledana segmentacija slike opte namjene na semantike objekte trenutno nije moguaProblem odreivanja deskriptora teksture za regione nepravilnog oblikaSemantika klasifikacija slika i razliite reprezentacije i mjere slinosti za razliite kategorijeUenje semantikog znaaja regionaUpotreba mainskog uenja za uenje vizuelnih koncepataProuavanje ljudske percepcije slinosti

Karakteristike baza slika:Slike su osnovni elementi podatakaZauzimaju vie memorije od alfanumerikih baza podatakaNestrukturiranostNejasno definisane veze izmeu elemenata podatakaNain interpretiranja podatakaParadigma pretraivanja

U alfanumerikim bazama se relevantna semantika informacija nalazi u sintaksnim jedinicama (rijeima) i informacije u bazi su strukturirane. Sa druge strane, u bazama slika nije sasvim jasno ta su sintaksne jedinice i na koji nain se one kombinuju kako bi se dobila odreena semantika slike. Pored toga, informacije su veoma nestrukturirane, tj. relacije izmeu slogova nisu jasno definisane.

Opisani scenario pretraivanja baze radiolokih slika se uklapa u paradigmu pretraivanja na osnovu slinosti jer se za reprezentaciju slike koriste informacije koje se mogu dobiti iz same slike.Upiti na nivoima 2 i 3 se ponekad nazivaju semantiki upiti. Jaz izmeu nivoa 1 i 2 se zove semantiki jaz.Moe postojati vie od jedne reprezentacije obiljeja.Deskriptor je numerika vrijednost kojom je predstavljeno obiljeje.Kolor histogram u L*a*b* kolor-prostoru. L* komponenta se kvantizuje na 5 nivo,a a* i b* komponente se kvantizuju na 10 nivoa. Koristi se kvadratna distanca histograma.Prosjean procenat pronaenih tekstura je 72,49%Prosjean procenat pronaenih:popunjavanje nulama: 41.55%slika u ogledalu: 54.46%samo pravougaone: 64.60%Extraction of shape features requires image segmentation into objects.Fully automatic segmentation with semantically sound results has not been achieved so far for general-purpose images.Problem potpuno automatske nenadgledane segmentacije (kako pronai objekte?)Na slikama sa teksturom nema objekata Kako integrisati slinosti pojedinih regiona u globalnu mjeru slinosti slika?

Osobine obrade upita se posmatraju u odnosu na sekvencijalno pretraivanje sa zadatim obiljejima i funkcijom (ne)slinosti. Nije bitno da li e ljudski posmatra ocijeniti rezultate kao relevantne ili ne. Bitno je da se dobiju rezultati koji vraaju zadovoljavajue rezultate za ta obiljeja i metriku.

Currently, simple features are used, without attempts to extract high-level semantic information from images because it is not known in advance will this information be necessary. Somehow, MPEG-7 is always at the end of the survey.