lapi, departamentul de electronică aplicată și tehnologia informației,
DESCRIPTION
Universitatea Politehnica Bucure şti. TEHNICI INTELIGENTE PENTRU ANALIZA ȘI CLASIFICAREA DUP Ă CONȚINUT A COLEC ȚIILOR DE BAZE DE DATE MULTIMEDIA. LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației, Universitatea Politehnica București Romania. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/1.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
TEHNICI INTELIGENTE PENTRU ANALIZA ȘI CLASIFICAREA DUPĂ
CONȚINUT A COLECȚIILOR DE BAZE DE DATE MULTIMEDIA
Doctorand: ing. Ionuț MIRONICĂ
Conducător de doctorat: prof. dr. ing. Radu DOGARU
LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației, Universitatea Politehnica București
Romania
Universitatea Politehnica Bucureşti
Stagiu 6 luni „University of Trento”, Italia
![Page 2: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/2.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
2
![Page 3: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/3.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
3
![Page 4: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/4.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
4
![Page 5: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/5.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
55
Informație vizuală - culoare - textură - forme - trăsături
Informație de mișcare
Informație audio - muzică - vorbire - sunete
Informație textuală
Scopul tezei de doctoratDate multimedia
[www.youtube.com]
![Page 6: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/6.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
6
Cuprins
• Concluzii și perspective de dezvoltare
• Prezentare concepte
• Trăsături propuse pentru descrierea documentelor video• reprezentarea „Fisher kernel”
• Metode de Relevance Feedback propuse
• Trecerea în revistă a principalelor contribuții originale
![Page 7: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/7.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
7
I. Prezentare concepte
(On-line)Calcul
DescriptoriComparaţie
Rezultate
Relevance feedback
Baza de date multimedia
(Off-line)Calcul
Descriptori
Interogare
Descriptori multimedia(vectori cu
componente)
Antrenare/clasificare
Căutare similaritate
Căutare concepte
Căutare în conținut
![Page 8: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/8.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
8
• “Semantic gap” (paradigma semantică) - diferenţa dintre informaţia computaţională extrasă din documentul multimedia şi interpretarea semantică a acestuia.
I. Prezentare concepte
![Page 9: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/9.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
Capitolul IITrăsături pentru descrierea
documentelor video
![Page 10: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/10.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
[Czurka et al., ECCV 2004]
Creare dicționarDetecție de puncte de interes Generare histograme
Antrenare clasificator
10
II. Trăsături pentru descrierea videoModelul „Bag of Words” („State-of-the-Art”)
![Page 11: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/11.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
• conține apartenența fiecărui punct de interes către un element al unui dicționar (histogramă de cuvinte)
Rezultat: D = [0;0;0;1];
Dimensiune: K (numărul de cuvinte din dicționar)
II. Trăsături pentru descrierea videoModelul „Bag of Words”
11
[Czurka et al., ECCV 2004]
![Page 12: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/12.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
• nu există nici o metodă riguroasă de reprezentare a distribuției spațiale dintre anumite perechi de cuvinte.
• există multe cuvinte care nu sunt relevante
• procesul de cuantizare a cuvintelor generează zgomot de cuantizare.
• costul computațional crește foarte mult odată cu dimensiunea vocabularului de cuvinte.
II. Trăsături pentru descrierea videoDezavantaje model „Bag of Words”
12
![Page 13: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/13.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
13
- conceptul a fost introdus de [Jaakkola et al.,: Exploiting generative models in discriminative classifiers. NIPS’99] pentru detecția de proteine.
- introdus în Computer Vision de [Perronnin et al.,: "Fisher kernels on visual vocabularies for image categorization." CVPR’07] pentru clasificarea de imagini.
- combină beneficiile algoritmilor generativi cu cei discriminativi.
- reprezintă un semnal ca și gradientul funcției de densitate de probabilitate care este învățată ca un model generativ al unui semnal.
II. Trăsături pentru descrierea videoTeoria reprezentării „Fisher kernel”
(1)
(2)
![Page 14: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/14.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
• Calculează probabilitățile de apartenență la un cuvânt din dicționar Rezultat: D = [0.3;0.1;0.1;0.5]; - calculează gradientul mediei și a varianței probabilităților deapartenență la un cuvânt din dicționar.
Dimensiune: 2*D*K
2 – medie + varianță
K – numărul de cuvinte din dicționar
D – lungimea trăsăturii
II. Trăsături pentru descrierea videoReprezentarea „Fisher kernel”
14
![Page 15: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/15.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
15
II. Trăsături pentru descrierea videoContribuții
(1) am introdus reprezentarea Fisher pentru modelarea variației de timp în cadrul documentelor video
(2) am demonstrat că modelul propus are un caracter general în funcție de problema selectată: de la recunoaștere de gen, la recunoaștere de secvențe sportive și acțiuni cotidiene.
(3) am arătat generalitatea metodei în funcție de trăsăturile alese: de la descriptori vizuali, la descriptori de mișcare și trăsături audio
(4) cu metoda propusă am obținut rezultate similare sau mai bune decât cele propuse în literatură, deși am utilizat un set de trăsături mai ușor de calculat.
[Mironică et al., Multimedia’13 ACM]
![Page 16: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/16.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
16
Calcul a vectorilor Fisher
Pas de antrenare și clasificare
Extragere dicționar
Secțiune generativăSecțiune
discriminativă
II. Trăsături pentru descrierea videoArhitectura reprezentării „Fisher kernel”
[Mironică et al., ICMR’13 ACM]
X = {x1 ... xm}
Extragere trăsături
Reducere dimensiune descriptori
![Page 17: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/17.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
17
II. Trăsături pentru descrierea videoAgregarea cadrelor cu reprezentarea „Fisher kernel”
Reprezentare „Fisher kernel”
Cadrele similare vor face parte din aceeași componentă, modelând variațiile subtile de timp.
[Mironică et al., ICMR’13 ACM][Mironică et al., Multimedia’13 ACM]
![Page 18: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/18.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
18
II. Trăsături pentru descrierea videoAgregarea cadrelor cu reprezentarea „Fisher kernel”
Cadrele nesimilare vor face parte din componente separate, prevenind amestecarea conceptelor nesimilare.
[Mironică et al., ICMR’13 ACM]Reprezentare „Fisher kernel” [Mironică et al., Multimedia’13 ACM]
![Page 19: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/19.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
19
Scor 1(normalizat)
Scor 1(normalizat)
Scor 2(normalizat)
Scor 2(normalizat)
Scor n(normalizat)
Scor n(normalizat)
Normalizarea scorurilor de încredere
Vector Fisher 1
Vector Fisher 2 Vector Fisher 2
Vector Fisher n Vector Fisher n
Generare vectori Fisher
clasificator 1
clasificator 1
clasificator2
clasificator2
clasificatorn
clasificatorn
Clasificare
DecizieDecizieScor de încredere
global
Scor de încredere global
Obținerea unui scor de încredereglobal
Fuziunea trăsăturilor – „Late Fusion”
II. Trăsături pentru descrierea video
[Mironică et al., CBMI 2013, IEEE/ACM]
![Page 20: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/20.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
20
Detecția genului documentelor video
II. Trăsături pentru descrierea video
[http://www.multimediaeval.org/mediaeval2012]
• Programe de televiziune– știri, sport, documentare, talk show, …
• Filme– drame, comedii, thriller, …
• Înregistrări– conferințe, video teleconferințe, ...
• Altele
– camere de supraveghere, înregistrări personale, …
![Page 21: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/21.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
21
• 14.838 episoade ~ aproximativ 3.260 ore de conținut video o 5.288 documente pentru antrenareo 9.550 documente pentru testare
• conține documente video semi-profesionale de pe internet grupate în 26 de genuri: artă, autovehicule, afaceri, jurnalism, comedie, documentare, educațional, bucătărie
Baza de date „MediaEval 2012”, Tagging Task
II. Trăsături pentru descrierea video
[http://www.multimediaeval.org/mediaeval2012]
![Page 22: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/22.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
22
Histograme de gradienți orientați (HoG)•Împarte imaginea în 3x3 regiuni și pentru fiecare zonă calculează o histogramă de orientări de pixeli
[Ludwig et al, CITS 2009]
Trăsături vizuale
II. Trăsături pentru descrierea video
Histograma de culoare „Color naming”•Proiectează culorile în 11 culori universale: negru, albastru, maro, gri, verde, portocaliu, roz, purpuriu, roșu, alb și galben
[Weijer et al, IEEE TIP’ 2009]
![Page 23: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/23.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
[Mathieu et al., Yaafe toolbox, ISMIR’10, IEEE]
23
Trăsături audio
II. Trăsături pentru descrierea video
• Linear Predictive Coefficients,
• Line Spectral Pairs,
• Mel-Frequency Cepstral Coefficients,
• Zero-Crossing Rate,
+ toate împărțite la varianța globală a trăsăturii
• Spectral centroid, flux, rolloff și kurtosis
Trăsături audio bazate pe blocuri audio
f1 fn…f2
time
+ var{f2} var{fn}
Parametrii extrași:
[Mironică et al., CBMI 2013, IEEE/ACM]
[Mironică et al., ICMR 2013, ACM]
![Page 24: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/24.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
Tip trăsătură Metodă raportată la MediaEval 2012
MAP metodă raportată
MediaEval 2012
MAP metodă propusă
Audio Descriptori pe bază de blocuri audio & SVM Liniar
0,192 0,475
Vizual descriptori vizuali (Color,Texture, rgbSIFT)
0,350 0,460
Audio & Vizual - - 0,550
Text Bag of Words - Metadata & Text ASR
0,522 -
Audio & Vizual & Text
- - 0,66
II. Trăsături pentru descrierea videoComparație rezultate cu MediaEval 2012 Genre Retrieval
24
Indicator performantă: MAP (valoare maximă = 1)[Mironică et al., Multimedia’13 ACM]
![Page 25: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/25.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
III. Trăsături pentru descrierea videoRecunoașterea de acțiuni sportive
25
Baza Sport UCF 50 •6500 documente video preluate de pe Youtube împărțite în 50 de acțiuni:•baseball, aruncări, biliard, înot, ridicare de greutăți, scufundări, bătut la tobă, scrima, golf, cântat la chitară, sărituri cu prăjina,curse de cai, aruncarea suliței, sărituri în lungime, caiac, exerciții de încălzire, cal cu mânere, tracțiuni, box, urcări pe pereți artificiali, urcare pe frânghie, canotaj, salsa, skate boarding, sky etc
[Reddy et al., MVAP, 2012]
![Page 26: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/26.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
II. Trăsături pentru descrierea videoRecunoașterea de acțiuni sportive – Trăsături utilizate
26
Fuziune cu „Late Fusion”
Trăsături vizuale•Histograme de gradienţi orientaţi (HOG - 2x2, 3x3, 4x4)•Histograme „Color Naming” (2x2, 3x3, 4x4)
Trăsături de mișcare•Histograme de flux optic (HOF) (2x2, 3x3, 4x4)
[Lazebnik et al., CVPR, 2006]Piramide Spațiale
[Mironică et al., Multimedia’13 ACM]
![Page 27: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/27.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
Metodă Acuratețe
Reddy et al. MVAP 2012 76,9%
Metoda propusă 74,7%
Solmaz et al. MVAP 2012 73,7%
Everts et al. CVPR 2012 72,9%
Kliper-Gross et al. ECCV 2012 72,6%
GIST3D - Solmaz et al. MVAP 2012 65,3%
II. Trăsături pentru descrierea videoRecunoașterea de acțiuni sportive – Comparație „State-of-the-Art”
27
[Mironică et al., Multimedia’13 ACM]
![Page 28: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/28.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
II. Trăsături pentru descrierea videoRecunoașterea de acțiuni cotidiene
28
Răspuns la telefon
Tocat de banane
Formare de numere la telefon
A bea apă
Utilizare furculiță
A mânca biscuiți
Desfacere banane
Citire agendă telefonică
A mânca banane
Scris pe tablă
Baza de date „University of Rochester Activities of Daily Living Dataset”
[www.cs.rochester.edu/rmessing/uradl]
![Page 29: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/29.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
II. Trăsături pentru descrierea videoRecunoașterea de acțiuni cotidiene – metoda propusă
29
[Rostamzadeh, Zen, Mironică, Uijlings, Sebe, ICIAP 2013, IEEE]
[Ramanan, et. al. CVPR 2007]
![Page 30: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/30.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
Metodă AcuratețeMetodă propusă 97,3%Wang et al. CVPR 2012 96,0%Lin et al. ICCV 2011 95,0%Messing et al. ICCV 2009 89,0%
II. Trăsături pentru descrierea videoRecunoașterea de acțiuni cotidiene – comparație „State-of-the-Art”
30
[Mironică et al., Multimedia’13 ACM]
![Page 31: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/31.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
Capitolul IIIAlgoritmi de „Relevance
Feedback”
31
![Page 32: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/32.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
32
Se utilizează exemplele pozitive şi negative preluate de la utilizator pentru a îmbunătăţi performanţa sistemului.
FeedbackUtilizator
Afişare
Estimare a noilordocumente
Afişare
FeedbackUtilizator
III. Relevance FeedbackArhitectura algoritmilor de Relevance Feedback
![Page 33: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/33.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
• viteza de procesare (sisteme în timp real)
33
Provocările algoritmilor de Relevance Feedback
• numărul de documente pe care se oferă feedback este mult mai redus decât spațiul descriptorilor
• dezechilibru în modul de a acorda feedback între utilizatori diferiți
• dezechilibru între numărul de documente relevante și nerelevante
III. Relevance Feedback
![Page 34: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/34.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
34
Algoritmi clasici de „Relevance feedback”
III. Relevance Feedback
Căutare inițială
Feedback utilizator
Antrenare
[Tao et al., PAMI’07, IEEE Trans.]
Documente relevante
Documente nerelevante
Document de interogare
Documente fără feedback
![Page 35: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/35.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
35
Calculează gradul de similaritate intre oricare două combinații de documente
Crează un cluster cu cele mai similare 2 grupuri de documente
Calculează gradul de similaritate între clusterul creat și restul clusterelor
Condiție de încheiere
Clasificare documente din baza de date utilizând
dendograma antrenatăStop
III. Relevance Feedback„Relevance feedback” cu clusterizare ierarhică
[Mironică et al., CBMI’12, IEEE/ACM]
[Mironică et al., ISSCS’11, IEEE]
![Page 36: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/36.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
36
Interogare Inițială
III. Relevance Feedback„Relevance feedback” cu clusterizare ierarhică
[Mironică et al., CBMI’12, IEEE/ACM]
[Mironică et al., ISSCS’11, IEEE]
![Page 37: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/37.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
37
III. Relevance Feedback„Relevance feedback” cu clusterizare ierarhică
[Mironică et al., CBMI’12, IEEE/ACM]
[Mironică et al., ISSCS’11, IEEE]
![Page 38: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/38.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
38
III. Relevance Feedback„Relevance feedback” cu clusterizare ierarhică
[Mironică et al., CBMI’12, IEEE/ACM]
[Mironică et al., ISSCS’11, IEEE]
![Page 39: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/39.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
39
Varianta 1: Numărul fix de clustere
Varianta 2: Număr adaptiv de clustere – criteriul arcului
III. Relevance FeedbackCondiție de încheiere
Număr de centroizi
Pro
cent
ul d
e va
rianț
ă
[Mironică et al., CBMI’12, IEEE/ACM]
![Page 40: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/40.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
40
Distanța dintre centroizi
+
+
C1
C2
Centroid
Centroid
Distanța Minimă
+
+
C1
C2
III. Relevance FeedbackCalculul similarității dintre clusteri
[Mironică et al., CBMI’12, IEEE/ACM]
[Mironică et al., ISSCS’11, IEEE]
![Page 41: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/41.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
41
Distanța Medie
C1C2
Gradul de similaritate = Media distanțelor posibile dintre 2 clustere
Distanța Maximă+
+
C1
C2
III. Relevance FeedbackCalculul similarității dintre clusteri
[Mironică et al., CBMI’12, IEEE/ACM]
[Mironică et al., ISSCS’11, IEEE]
![Page 42: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/42.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
42
Metoda propusă a fost comparată cu o serie de algoritmi „State-of-the-Art”:-Rocchio-Nearest Neighbor RF - NB-Boost RF-SVM RF -Random Forest RF - (RF)-Decision Trees RF-Relevance Feature Estimation - (RFE)
III. Relevance FeedbackEvaluare – Comparație cu „State-of-the-Art”
[Mironică et al., CBMI’12, IEEE/ACM]
![Page 43: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/43.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
04/21/23
Curbele Precizie – Reamintire pentru bazele de date Caltech 101 și Microsoft utilizând descriptorii de culoare, MPEG7 și Bag of Words (SURF)
III. Relevance FeedbackComparație cu „State-of-the-Art” (baze de date de imagini)
43
[Mironică et al., CBMI’12, IEEE/ACM]
![Page 44: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/44.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
04/21/23
III. Relevance FeedbackComparație cu „State-of-the-Art” – mai multe iterații feedback
44
[Mironică et al., CBMI’12, IEEE/ACM]
![Page 45: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/45.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
04/21/23
Grafice Precizie – Reaminitire pentru o sesiune de relevance feedback pe patru ferestre de afisare (20, 30, 40 si 50 de documente afișate)
III. Relevance FeedbackComparație cu „State-of-the-Art” – baze de date video (MediaEval 2011)
45
[Ionescu, Seyerlehner, Mironică, Vertan, MTAP ’12]
![Page 46: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/46.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
Capitolul IVAlte contribuții originale
Interfață
![Page 47: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/47.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
47
• Descrierea conținutului de textură folosind automate celulare[Mironică et al., Buletin UPB, ‘13]
• Analiza influenței metricilor asupra performanțelor sistemelor de indexare
[Mironică et al., EUSIPCO ’12, IEEE ]
• Algoritm de „Relevance Feedback" cu estimare a importanței trăsăturilor
[Mironică et al., SPAMEC ’11, EURASIP]
• Metode multimodale de clasificare a documentelor video web prin integrarea acestora cu algoritmi de relevance feedback
[Ionescu, Seyerlehner, Mironică, Vertan, MTAP ’12]
[Ionescu, Seyerlehner, Mironică, Vertan, EUSIPCO’12, IEEE]
• Sistem de indexare multimedia după conținut
[Mironică, Raport cercetare 2011]
IV. Alte contribuții originale
• Algoritm de „Relevance Feedback" cu reprezentare „Fisher kernel"
[Mironică et al., ICMR ’13, ACM]
![Page 48: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/48.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
48
• Catalogarea imaginilor ORL[Mironică et al., EHB ’11, IEEE]
• Catalogarea imaginilor microscopice
[Mironică et al., COMM ’10, IEEE]
[Mironică et al., ISSCS ’11, IEEE]
• Catalogarea după gen a documentelor video
Competiție MediaEval 2012 - Poziția 2 / 29 sisteme[Mironică et al., CBMI’13, ACM/IEEE]
• Catalogarea conținutului de violență în filme (analiza și implementarea de trăsături vizuale)
Competiție MediaEval 2012 - Poziția 1 / 35 sisteme[Ionescu, Schlüter, Mironică, Schedl ICMR’13, ACM]
• Catalogarea gesturilor (pozițiilor) statice ale mâinii
[Vieriu, Mironică, Goraș, ISSCS’13, IEEE]
IV. Alte contribuții originale
![Page 49: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/49.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
49 04/21/23
IV. Lista de lucrări originaleArticole publicate în reviste de specialitate [1] Ionuț Mironică, Radu Dogaru, „A novel feature-extraction algorithm for efficient classification of texture images", în Scientific Bulletin of UPB, Series C - Electrical Engineering, 2012.[2] Bogdan Ionescu, Klaus Seyerlehner, Ionuț Mironică, Constantin Vertan, Patrick Lambert, „An Audio-Visual Approach to Web Video Categorization", Multimedia Tools and Applications, 2012 (factor impact ISI 0.91).
Cărți [3] Bogdan Ionescu, Ionuț Mironică, „Conceptul de Indexare Automată după Conținut în Contextul Datelor Multimedia", trimisă spre publicare (103 pagini).
49
![Page 50: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/50.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
04/21/23
IV. Lista de lucrări originale Articole publicate în conferințe internaționale (18) [4] Ionuț Mironică, Constantin Vertan, „Relevance feedback approaches for MPEG-7 content-based biomedical image retrieval", Communications (COMM), iunie 2010, Bucucurești, Romania.[5] Ionuț Mironică, Radu Dogaru, „A comparison between various classification methods for image classification stage in CBIR", Signals, Circuits and Systems (ISSCS), iulie 2011, Iași Romania[6] Ionuț Mironică, Constantin Vertan „An adaptive hierarchical clustering approach for relevance feedback in content-based image retrieval systems", Signals, Circuits and Systems (ISSCS), iulie 2011, Iași, Romania.[7] Ionuț Mironică, Constantin Vertan „A Modified Feature Relevance Estimation Approach to Relevance Feedback in Content-Based Image Retrieval Systems", Signal Processing and Applied Mathematics for Electronics and Communications, 26-28 august, 2011, Cluj-Napoca, Romania.[8] Ionuț Mironică, Constantin Vertan, Bogdan Ionescu „A Relevance Feedback Approach to Video Genre Retrieval", International Conference on Intelligent Computer Communication and Processing august, 2011, Cluj-Napoca, Romania.[9] Ionuț Mironică, Constantin Vertan, Dan Cristian Gheorghe „Automatic Pediatric Otitis Detection by Classification of Global Image Features", International Conference on e-Health and Bioengineering, EHB, noembrie, 2011, Iași, Romania.[10] Ionuț Mironică, Bogdan Ionescu, Constantin Vertan, „Hierarchical Clustering Relevance Feedback for Content-Based Image Retrieval", IEEE/ACM 10th International Workshop on Content-Based Multimedia Indexing, 27-29 iunie, Franța, 2012.[11] Bogdan Ionescu, Klaus Seyerlehner, Ionuț Mironică, Constantin Vertan, Patrick Lambert, "Automatic Web Video Categorization using Audio-Visual Information and Hierarchical Clustering Relevance Feedback", 20th European Signal Processing Conference - EUSIPCO 2012, 27-31 august, București, Romania.[12] Ionuț Mironică, Bogdan Ionescu, Constantin Vertan, „The Influence of the Similarity Measure to Relevance Feedback", 20th European Signal Processing Conference - EUSIPCO 2012, 27-31 august, București, Romania, 2012.[13] Jan Schlüter, Bogdan Ionescu, Ionuț Mironică, Markus Schedl, „ARF @ MediaEval 2012: An Uninformed Approach to Violence Detection in Hollywood Movies", MediaEval Benchmarking Initiative for Multimedia Evaluation workshopItalia 2012. [14] Bogdan Ionescu, Ionuț Mironică, Klaus Seyerlehner, Peter Knees, Jan Schlüter, Markus Schedl, Horia Cucu, Andi Buzo, Patrick Lambert, „ARF @ MediaEval 2012: Multimodal Video Classification", MediaEval workshop, Italia, 4-5 octombrie, 2012.[15] Bogdan Ionescu, Jan Schlüter, Ionuț Mironică, Markus Schedl, „A Naive Mid-level Concept-based Fusion Approach to Violence Detection in Hollywood Movies", ACM International Conference on Multimedia Retrieval - ICMR 2013, SUA, 2013.
50
EHBICMR ISSCS
![Page 51: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/51.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
04/21/23
IV. Lista de lucrări originale
51
Articole publicate în conferințe internaționale [16] Ionuț Mironică, Bogdan Ionescu, Jasper Uijlings, Nicu Sebe, „Fisher Kernel based Relevance Feedback for Multimodal Video Retrieval", ACM International Conference on Multimedia Retrieval - ICMR 2013, Dallas, Texas, SUA, 2013.[17] Ionuț Mironică, Bogdan Ionescu, Peter Knees, Patrick Lambert, „An In-Depth Evaluation of Multimodal Video Genre Categorization", IEEE/ACM 11th International Workshop on Content-Based Multimedia Indexing CBMI, iunie, Veszprém, Ungaria, 2013.[18] Ionuț Mironică, Bogdan Ionescu, Christoph Rasche, Patrick Lambert, „A Visual-based Late-Fusion Framework for Video Genre Classification" Signals, Circuits and Systems (ISSCS), iunie 2013, Iași, Romania.[19] Ionuț Mironică, Jasper Uijlings, Negar Rostamzadeh, Bogdan Ionescu, Nicu Sebe „Time Matters! Capturing Temporal Variation in Video using Fisher Kernels", ACM Multimedia - ACM MM 2013, Barcelona, Spania, octombrie 2013.[20] Negar Rostamzadeh, Gloria Zen, Ionuț Mironică, Jasper Uijlings, Nicu Sebe, „Daily Living Activities Recognition via Efficient High and Low Level Cues Combination and Fisher Kernel Representation", International Conference on Image Analysis and Processing, ICIAP, Napoli, Italia, 2013.[21] Radu-Laurențiu Vieriu, Ionuț Mironică, Bogdan-Tudor Goraș, „Background Invariant Static Hand Gesture Recognition based on Hidden Markov Models", Signals, Circuits and Systems (ISSCS), iunie 2013, Iași, Romania.
Competiții (3) [22] participare MediaEval 2012 – secțiunea Tagging Task – membru în cadrul echipei ARF, cu membrii: Bogdan Ionescu, Ionuț Mironică, Klaus Seyerlehner, Peter Knees, Jan Schlüter, Markus Schedl, Horia Cucu, Andi Buzo, Patrick LambertAm obținut locul 2 pentru pentru cel mai bun sistem (din 29 de sisteme propuse) [23] participare MediaEval 2012 – secțiunea Violence Detection – membru în cadrul echipei ARF, cu membrii: Jan Schlüter, Bogdan Ionescu, Ionuț Mironică, Markus Schedl Am obținut locul 1 pentru pentru cel mai bun sistem (din 35 de sisteme propuse)[24] organizare Mediaeval 2013 - secțiunea Diversity Task - membru organizator în echipa formată de: Bogdan Ionescu, Maria Menéndez, Adrian Popescu, Henning Müller, Anca-Livia Radu, Ionuț Mironică și Bogdan Boteanu
![Page 52: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/52.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
04/21/23
IV. Lista de lucrări originale
52
Citări - 1 citare într-o revistă ISI (MTAP)
- 5 citări în conferințe internaționale de prestigiu (ACM MM, CBMI, MMSys, ICASSP )
![Page 53: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/53.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
V. Concluzii și direcții de dezvoltare
53
Direcții de dezvoltare - extinderea reprezentării „Fisher kernel” către alte modalități - (text) prin crearea de metrici bazate pe ontologii semantice - puncte de interes de mișcare
-îmbunătățirea performanței sistemelor multimodale prin utilizarea de algoritmi de reducere a dimensionalității
-implementarea algoritmilor de relevance feedback pentru baze de date de dimensiuni foarte mari (large scale)
Contribuții principale - propunere de algoritmi pentru indexarea conținutului multimedia (baze de date de imagini și video)
- algoritmi de relevance feedback
- particularizarea conceptelor pentru diferite probleme de aplicație
![Page 54: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/54.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
54
Intrebări?
![Page 55: LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației,](https://reader034.vdocuments.mx/reader034/viewer/2022050805/5681492a550346895db6624e/html5/thumbnails/55.jpg)
Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației
55
Vă mulţumesc!