Ανάκτηση πολυμεσικού περιεχομένουhy474/lectures/retrieval.pdf · 5...

Ανάκτηση πολυμεσικού περιεχομένουΑνάκτηση πολυμεσικού περιεχομένου

Τμήμα Επιστήμης ΥπολογιστώνΗΥ-474

Ανίχνευση / αναγνώριση προσώπωνΑνίχνευση / ανάγνωση κειμένουΑνίχνευση αντικειμένωνΟπτικές λέξειςΔεικτοδότησηΣχέσεις ομοιότητας

Κατηγοριοποίηση ειδών μουσικήςΔιάκριση φωνής / μουσικής

2


3

Ανάκτηση περιεχομένου στον πραγματικό κόσμοΑνάκτηση περιεχομένου στον πραγματικό κόσμο


Πρόθεση χρήσης : περιήγηση, κατηγορία, τεκμήριο

Πεδίο δεδομένων : προσωπική συλλογή, ειδικού αντικειμένου,αρχεία, Παγκόσμιος Ιστός

Τρόπος ερώτησης : λέξεις-κλειδιά, κείμενο, λόγος, εικόνα, σκίτσο

W. Zhou, H. Li and Q. Tian, Recent Advance in Content-based Image Retrieval: A Literature Survey, Arxiv, Sept.2017

4

Σχήματα αναζήτησης περιεχομένου : χρήστηςΣχήματα αναζήτησης περιεχομένου : χρήστης


5

Σχήματα αναζήτησης περιεχομένου : χρήστηςΣχήματα αναζήτησης περιεχομένου : χρήστης


W. Zhou, H. Li and Q. Tian, Recent Advance in Content-based Image Retrieval: A Literature Survey, Arxiv, Sept.2017

6

Μέτρα ομοιότητας / μάθησηΜέτρα ομοιότητας / μάθηση


Συμφωνία με τη σημασιολογίαΑντοχή στο θόρυβοΥπολογιστική επίδοσηΚλίμακα αντικειμένουΙδιότητες απόστασης

Ομαδοποίηση (ιεραρχική, συσσωρεύσεις, μίξεις)

Ταξινόμηση

7

Ανίχνευση προσώπων : χρώμαΑνίχνευση προσώπων : χρώμα


Ανίχνευση χρώματος δέρματος

8

Ανίχνευση προσώπων : υφήΑνίχνευση προσώπων : υφή


Ανάλυση σεζώνες συχνοτήτων

9

Ανίχνευση προσώπων Ανίχνευση προσώπων Τμήμα Επιστήμης Υπολογιστών

ΗΥ-474

10

Ανίχνευση προσώπων : μάθησηΑνίχνευση προσώπων : μάθηση


Άνοιξη 2016 10

Εξαγωγήχαρακτηριστικών

με μάθηση

Συνελικτικόνευρωνικό δίκτυο

11

Αναγνώριση προσώπωνΑναγνώριση προσώπων


Ανάλυση σε ζώνες συχνοτήτων (διακριτός κυματιδιακός μετασχηματισμός)

Εντοπισμός χαρακτηριστικών Ευθυγράμμιση

Ιδιοπρόσωπα

12

Αναγνώριση προσώπωνΑναγνώριση προσώπων


13

Εντοπισμός και αναγνώριση κειμένουΕντοπισμός και αναγνώριση κειμένου


εξαγωγή από το φόντο

ανάλυση περιοδικότητας

ανίχνευση ακμών

αποτέλεσμα

αρχική εικόνα

ομαδοποίηση

14

Εντοπισμός και αναγνώριση κειμένουΕντοπισμός και αναγνώριση κειμένου


15

Ανίχνευση αντικειμένωνΑνίχνευση αντικειμένων


Ανάλυση / Στατιστική μοντελοποίηση / Εκπαίδευση

16

Περιγραφείς περιεχομένουΠεριγραφείς περιεχομένου


Χαμηλού επιπέδου (χρώμα, υφή, σχήμα) MPEG-7

Τοπικά χαρακτηριστικά αναλλοίωτασε γεωμετρικούς μετασχηματισμούς

17

Τοπικά χαρακτηριστικά (πολλαπλές κλίμακες)Τοπικά χαρακτηριστικά (πολλαπλές κλίμακες)


D. Lowe, Distinctive image features from scale-invariant keypoints, Int. Journal on Computer Vision, 2004

√2 σ

2√ 2σ

2σ

σ

4 σ

s√2

s+3φίλτρα

2σκλίμακα

Τοπικά μέγιστα / ελάχιστα (γωνίες)

Ανίχνευση σημείων-κλειδιάΚατεύθυνση κλίσης

Κατασκευή πυραμίδαςπολλαπλής ανάλυσης Gauss

18

Τοπικά χαρακτηριστικά (πολλαπλές κλίμακες)Τοπικά χαρακτηριστικά (πολλαπλές κλίμακες)


Διαλογή

19

Περιγραφή χαρακτηριστικών σημείωνΠεριγραφή χαρακτηριστικών σημείων


Ιστόγραμμα κλίσης

Μπλοκ 16x16 γύρω από κάθε χαρακτηριστικό σημείοΥποδιαίρεση σε 16 υπο-μπλοκ μεγέθους 4x4Για κάθε υπο-μπλοκ υπολογίζεται το ιστόγραμμα κατευθύνσεων της κλίσηςΣχηματίζεται διάνυσμα 8x4x4=128 τιμών που συνιστά την περιγραφή

D. Lowe, Distinctive image features from scale-invariant keypoints, Int. Journal on Computer Vision, 2004

20

Κινητές συσκευέςΚινητές συσκευές


B. Girod et al., Mobile visual search, IEEE Signal Processing Magazine, 2011

21

Κινητές συσκευές : συμπιεσμένο ιστόγραμμα κλίσηςΚινητές συσκευές : συμπιεσμένο ιστόγραμμα κλίσης


Υπολογισμός της κλίσης σε σημεία-κλειδιά


22

Χαρτοφύλακας οπτικών λέξεωνΧαρτοφύλακας οπτικών λέξεων


Βασισμένος σε χαρακτηριστικά SIFT (α) για αντικείμενο ή (β) για πλαίσιο από βίντεοΟμαδοποίηση χαρακτηριστικών SIFT για σχηματισμό οπτικών λέξεων περιγραφής αντικειμένου ή πλαισίουΔιανυσματικός κβαντισμός για τη δημιουργία κωδικών λέξεων (βιβλίο)Η ομαδοποίηση και η αντιστοίχιση ενός μεγάλου αριθμού περιγραφέων SIFT συνιστά υπολογιστική πρόκλησηΟι οπτικές λέξεις είναι πλούσιες σε ενθυλάκωση βασικών οπτικών χαρακτηριστικών, παρά την αναπόφευκτη αβεβαιότηταΈνα μικρό σε μέγεθος βιβλίο κωδικών λέξεων μπορεί να έχει περιορισμένη διακριτική ισχύ για μεγάλες βάσεις εικόνων και βίντεο.Ένα μεγάλο σε μέγεθος βιβλίο κωδικών λέξεων έχει επίσης προβλήματα, επειδή όμοια χαρακτηριστικά μπορεί να κβαντιστούν σε διαφορετικές κωδικές λέξεις.

23

Ανάκτηση εικόνων : μάθησηΑνάκτηση εικόνων : μάθηση


Νευρωνικό δίκτυο

Μάθηση μετά από εκπαίδευση αναπαράσταση περιεχομένου κριτήριο ομοιότητας (κατηγορίες)

Γεφύρωση του σημασιολογικού κενού

Προκαταρκτική εκπαίδευση δικτύου σε μεγάλη βάση δεδομένων

Προσαρμογή του δικτύου σε ορισμένες κατηγορίες

24

Δεικτοδότηση Δεικτοδότηση


Αραιός πίνακας : οι γραμμές αντιστοιχούν σε εικόνες και οι στήλες υποδηλώνουν οπτικές λέξειςΣε μια ανάκτηση, ελέγχονται μόνο εκείνες οι εικόνεςπου έχουν κοινές οπτικές λέξεις με την εικόνα του ερωτήματος

Κατακερματισμός του χώρου των χαρακτηριστικών, ώστε να βρίσκονται σε κοντινές περιοχές του χώρου όμοιες εικόνεςΤα μεγάλης διάστασης χαρακτηριστικά κωδικοποιούνται σεχαμηλής διάστασης δυαδικούς κώδικες γιααποτελεσματική αναζήτηση ομοιότηταςΣημασιολογικά παρόμοια δεδομένα πρέπει να έχουν κοντινούς δυαδικούς κώδικες

25

Δεικτοδότηση / αναζήτησηΔεικτοδότηση / αναζήτηση


Ιεραρχικό δένδρο λεξιλογίουΨηφοφορία για το ευρετήριο


26

Γεωμετρική επαλήθευσηΓεωμετρική επαλήθευση


Αντιστοίχιση συμβατή με μοντέλο (στερεού) γεωμετρικού μετασχηματισμού


27

Απόσταση χαρακτηριστικώνΑπόσταση χαρακτηριστικών


Ομοιότητα εικόνων

Συχνότητα χαρακτηριστικού (Term frequency)

Ανεστραμμένη συχνότητα αρχείου(Inverse document frequency)

log ( Nnt

)

Βαρύτητα οπτικών λέξεων

28

Ταξινόμηση μουσικής σε είδηΤαξινόμηση μουσικής σε είδη


Αναζήτηση βασισμένη σε : κείμενο, σύνοψη, παράδειγμα, μουσικό κομμάτιΔιερεύνηση σε μουσικά αρχεία

H. Blume et al., Huge music archives on mobile devices, IEEE Signal Processing Magazine, 2011.

29

Εξαγωγή χαρακτηριστικών μουσικήςΕξαγωγή χαρακτηριστικών μουσικής


Ρυθμός αλλαγής προσήμου

Συντελεστές συχνότητας

Θεμελιώδης συχνότητα

30

Διάκριση φωνής / μουσικήςΔιάκριση φωνής / μουσικής


Ανάκτηση πολυμεσικού περιεχομένουhy474/lectures/retrieval.pdf · 5...

Documents