content and metadata based image document retrieval (in greek)

ΑΝAΚΤΗΣΗ ΕΓΓΡAΦΩΝ ΒAΣΕΙ ΠΕΡΙΕΧΟΜEΝΟΥ ΚΑΙ MPEG-7 ΜΕΤΑΔΕΔΟΜEΝΩΝ

Διδακτορική Διατριβή: Κωνσταντίνος Ζαγόρης2009

ΔΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ

ΕΡΓΑΣΤΗΡΙΟ ΑΝΑΛΥΣΗΣ ΗΛΕΚΤΡΙΚΩΝ ΚΥΚΛΩΜΑΤΩΝ

Περιεχόμενα Διατριβής

2

Μείωση των Χρωματικών Αποχρώσεων Συνδυάζοντας το Kohonen Self-Organized Feature Map και τον Ασαφή Αλγόριθμο Gustafson – Kessel

Αλγόριθμος Ανάδρασης με βάση τη Συνάφεια Εντοπισμός Κειμένου σε Εικόνες Έγραφα

Χρησιμοποιώντας τα Δομικά Συστατικά των Εγγράφων και Support Vector Machines

Ανάκτηση Εγγράφων - Εικόνων Με την Τεχνική Εντοπισμού των Λέξεων

Συνεπτυγμένος Περιγραφέας Σχήματος Στα πρότυπα των Περιγραφέων Σχήματος του MPEG-7

Ανάκτηση Εικόνων με βάσει το Περιεχόμενο

3

H Αναζήτηση και Παρουσίαση Παρόμοιων Εικόνων από μία Βάση Δεδομένων Εικόνων που είναι Σχετικές με το Αίτημα του Χρήστη

Χωρίς Οποιαδήποτε Επιπλέον Πληροφορία εκτός από αυτήν που Προέρχεται από την Ανάλυση των Εικονοστοιχείων της Εικόνας

Το Γενικό Πρόβλημα της Ανάκτησης Εικόνας

4

Η Ποιότητα Ανάκτησης (Ακρίβεια – Ανάκληση)

Η Ταχύτητα Ανάκτησης (Εξαγωγή Χαρακτηριστικών - Δημιουργία Περιγραφέα – Σύγκριση Περιγραφέα)

Μέγεθος Περιγραφέα (κόστος αποθήκευσης και κατανάλωσης μνήμης)

Γενικό Διάγραμμα Συστήματος Ανάκτησης Εικόνας

5

Συνδυάζοντας το Kohonen Self-Organized Feature Map και τον ασαφή αλγόριθμο Gustafson – Kessel

ΜΕΙΩΣΗ ΤΩΝ ΧΡΩΜΑΤΙΚΩΝ ΑΠΟΧΡΩΣΕΩΝ

6

1.

Ορισμός του Προβλήματος

7

Η κβαντοποίηση των χρωματικών αποχρώσεων είναι σημαντικό και χρήσιμο εργαλείο για την συμπίεση, εμφάνιση και την μετάδοση μίας εικόνας

Η μείωση των χρωματικών αποχρώσεων μίας εικόνας είναι σημαντική διαδικασία για την διαδικασία κατάτμηση μίας εικόνας

Προτείνεται μία Color Clustering τεχνική, η οποία αποτελείται από τον συνδυασμό ενός νευρωνικού δικτύου και ενός ασαφούς αλγορίθμου

Παράδειγμα Μείωσης των Χρωματικών Αποχρώσεων

8

Αρχική Εικόνα RGB χρωματική κατανομή

Εικόνα με μόνο 20 κύρια χρώματα Κατανομή των 20 χρωμάτων

Διάγραμμα της Προτεινόμενης Τεχνικής

9

Αρχική Εικόνα

Δειγματοληψία

Ορισμός του Πλήθους των

Τελικών Χρωμάτων

Εκπαίδευση του KSOFM

Ταξινόμηση με τον KSOFM

Aρχικοποίηση του GK με τα εξαγόμενα αποτελέσματα του

KSOFM

Εκτέλεση του GK

Tελική Ταξινόμηση με τον GK

Τελική Εικόνα

Μορφοκλασματική Δειγματοληψία – Καμπύλη του Hilbert

10

ΠΛΕΟΝΕΚΤΗΜΑΤΑ Μικρός αριθμός των

εικονοστοιχείων – δειγμάτων εκπαίδευσης

Η σχέση των γειτονικών εικονοστοιχείων διατηρείτε

j k jky arg min x w

Kohonen Self Organized Featured Map (KSOFM)

Ο λογάριθμος εκπαίδευσης του KSOFM στηρίζεται στην Ανταγωνιστική Εκμάθηση

11

X1

Xk

X3

X2

Yj

Y3

Y2

Y1

Competitive LayerInput Layer

......

......

Wj1

Wj2

Wj3

Wjk

Ο νικητής νευρώνας εξόδου μεταβάλουν τα βάρη των συνδέσεων τους:

jk k jkw n x w

Ασαφής Αλγόριθμος Gustafson - Kessel

Ο ασαφής αλγόριθμος Gustafson – Kessel (GK) είναι μια προέκταση του ασαφή C-Mean αλγορίθμου.

Δημιουργεί ελλειψοειδείς κλάσεις χρησιμοποιώντας έναν πίνακα συνδιακύμανσης

Στηρίζεται στην Mahalanobis απόσταση

12

2 Tik k i i k id x v A x v

13

Παράδειγμα 1

Original Image22410 colors

FCM4 colors

KSOFM4 colors

Median Cut4 colors

KSOFM – GK4 colors

15



FCM5 colors

KSOFM5 colors

Median Cut5 colors


16



FCM4 colors

KSOFM4 colors

Median Cut4 colors


Συμπεράσματα

18

Παρουσιάστηκε μία υβριδική (neuro-fuzzy) τεχνική μείωσης των χρωματικών αποχρώσεων μίας εικόνας

Έχει την ικανότητα να διατηρεί τα κύρια χρώματα μια εικόνας ακόμα και αν το πλήθος αυτών είναι πολύ μικρό

Ενοποιεί περιοχές που έχουν παρόμοια χρώματα

Μπορεί να θεωρεί ως μία ισχυρή τεχνική κατάτμησης ψηφιακής εικόνας

Για εικόνες που περιέχουν πολλά χρώματα και απεικονίζουν σκηνές

Αλγόριθμος Ανάδρασης με βάση τη Συνάφεια

19

2.

Αλγόριθμος Ανάδρασης Συνάφειας

20

Πολλές φορές ο χρήστης δεν ξέρει τι ακριβώς ψάχνει αλλά έχει μία γενική ιδέα

Ο χρήστης αλληλοεπιδρά με το Σύστημα Ανάκτησης

Το σύστημα ανάκτησης του δίνει ένα σύνολο αποτελεσμάτων

Ο χρήστης επιλέγει εκείνα που τον ενδιαφέρουν

Το Σύστημα Ανάκτησης χρησιμοποιεί αυτήν την πληροφορία για να βελτιώσει τα αρχικά αποτελέσματα της ανάκτησης

Προτεινόμενο Σύστημα Ανάδρασης Συνάφειας για Εικόνες Φύσης

21

Στηρίζεται στους τέσσερις παρόμοιους με τους MPEG-7 περιγραφείς που προτείνονται στην εργασία «ACCURATE IMAGE RETRIEVAL BASED ON COMPACT COMPOSITE DESCRIPTORS AND RELEVANCE FEEDBACK INFORMATION».

Αυτοί είναι: Color and Edge Directivity Descriptor (CEDD) Fuzzy Color and Texture Histogram (FCTH) Και οι Compact μορφές τους (C.CEDD, C.FCTH) Περιέχουν πληροφορίες υφής και χρώματος.

Η Διάταξη του Προτεινόμενου Αλγορίθμου

22

ΟΧρήστηςΕπιλέγειτηνΕικόναΕρώτημα

ΟΠεριγραφέαςτηςΕικόναςΕρώτημα

ΕμφάνισητωνΑποτελεσμάτων ΑνάκτησηςστοΧρήστη

Αρχικοποίησητουδιανύσματος W

ΟΧρήστηςΕπιλέγειΣυναφήΕικόνα απόταΑποτελέσματα

Μετασχηματισμόςστοδιάνυσμα X

ΜεταβολήτωνΤιμώντουδιανύσματος W

ΔημιουργίατουΝέου ΠεριγραφέαΕρώτημα

απότοΔιάνυσμαW


23

Μετασχηματίζεται το μονοδιάστατο διάνυσμα των περιγραφέων σε ένα τρισδιάστατο διάνυσμα με βάση τα εσωτερικά χαρακτηριστικά τους

( )i k m x m y z

H x διάσταση αντιπροσωπεύει την υφή H y διάσταση αντιπροσωπεύει τα κύρια χρώματα

H z διάσταση αντιπροσωπεύει τις αποχρώσεις των κύριων χρωμάτων


24

Το τρισδιάστατο διάνυσμα θα αποθηκεύει την πληροφορία που θα δίνεται από τον χρήστη

Οι αρχικές τιμές που περιέχει είναι οι τιμές του περιγραφέα της εικόνας – ερώτημα

Όταν ο χρήστης επιλέγει μία εικόνα από τα αποτελέσματα της αρχικής ανάκτησης, το διάνυσμα του περιγραφέα αλλάζει τις τιμές του τρισδιάστατου διανύσματος

25


, , , ,

, ,

1xt yt zt xt yt zt

i xt yt zt

W t W t

L t X W t

, , , ,

1 , ,

1

, ,

xq yq zq xq yq zq

xt yt zt

W t W t

L t h xq yq zq X W t

Παρουσίαση Προτεινόμενης Τεχνικής

26

.NET Framework

ASP.NET / C#

AJAX/ HTML/ Javascript


27

Παρουσιάστηκε ένας Αλγόριθμος Ανάδρασης Συνάφειας

Βελτιώνει τα αποτελέσματα της αρχικής ανάκτησης

Είναι πολύ εύκολος στην υλοποίησή του Μικρό υπολογιστικό κόστος

Χρησιμοποιώντας τα δομικά συστατικά των εγγράφων και Support Vector Machines

Εντοπισμός Κειμένου σε Εικόνες Έγραφα

28

3.

Το Πρόβλημα Εντοπισμού Κειμένου σε Εικόνες - Έγγραφα

29

Στην σημερινή εποχή δημιουργούνται μεγάλες ποσότητες ψηφιακών εγγράφων χωρίς καμία μετα πληροφορία

Για την ανάλυσής τους από συστήματα όπως Οπτικής Αναγνώρισης Χαρακτήρων (OCR), Συστήματα Ανάκτησης Εγγράφων απαιτείται συνήθως ο εντοπισμός της θέσης του κειμένου στην εικόνα

Κάθε σύνολο από έγγραφα μπορεί να έχει τα δικά του ιδιαίτερα χαρακτηριστικά

Προτείνουμε

30

Προτείνουμε μία μέθοδο εντοπισμού ομοιόμορφου κειμένου

Στηρίζεται στα δομικά συστατικά των εγγράφων και στα Support Vector Machines

Έχει την ικανότητα να προσαρμόζεται στις ιδιαιτερότητες της κάθε βάσης εγγράφων - εικόνων

Διάγραμμα της Προτεινόμενης Τεχνικής

Εφαρμογή ενός φίλτρου Μεσαίας

Τιμής και μίας τεχνικής

δυαδικοποίησης

Εντοπισμός, Ενοποίηση και

Εξαγωγή Πλαισίων

Δημιουργία Περιγραφέα για κάθε Πλαίσιο

Εντοπισμός των Πλαισίων που

περιέχουν Κείμενο με τα Support

Vector Machines

Εξαγωγή ή Εντοπισμός των Πλαισίων της

Εικόνας που περιέχουν Κείμενο και Εμφάνισής

τους στον Χρήστη

31

Εντοπισμός, Ενοποίηση και Εξαγωγή Πλαισίων

32

Το Αρχικό Κείμενο Μετά την Διαδικασία Προ - Επεξεργασίας

Τα συνδεδεμένα Αντικείμενα Τα Επεκταμένα Συνδεδεμένα Αντικείμενα

Τα Τελικά Πλαίσια

Δημιουργία Περιγραφέα για κάθε Πλαίσιο

33

Ο Περιγραφέας αποτελείται από ένα σύνολο δομημένων στοιχείων του εγγράφου

Δομημένο Στοιχείο είναι ένα 3x3 δυαδικό παράθυρο

Υπάρχουν συνολικά 29 = 512 δομημένα στοιχεία

b0

b8 b7 b6

b5 b4 b3

b2 b1

Η σειρά εμφάνισης των εικονοστοιχείων των Δομημένων Στοιχείων

8

0

2ij jii

L b

Το Δομημένο Στοιχείο L142

Δημιουργία Περιγραφέα για Κάθε Πλαίσιο

34

Ο περιγραφέας του κάθε πλαισίου είναι το Ιστόγραμμα Εμφάνισης του κάθε Δομημένου Συστατικού

Αρχικά ο περιγραφέας έχει μέγεθος ίσο με 510. Όλα τα Δομημένα Συστατικά πλην του 1 και του 512

γιατί αυτά αντιστοιχούν σε καθαρά αντικείμενα φόντου και προσκηνίου.

Εφαρμόζεται μία τεχνική μείωσης του μεγέθους του περιγραφέα

Επιλέγονται αυτά τα Δομημένα Συστατικά που αυξάνουν την διαχωριστικότητα μεταξύ πλαισίων που περιέχουν κείμενο και αυτών που δεν περιέχουν.

Feature Standard Deviation Analysis of Structure Elements (FSDASE)

35

Υπολογισμός της Τυπικής Απόκλισης των Πλαισίων που περιέχουν κείμενο για κάθε ένα Δομημένο Στοιχείο

Υπολογισμός της Τυπικής Απόκλισης των Πλαισίων που δεν περιέχουν κείμενο για κάθε ένα Δομημένο Στοιχείο

Κανονικοποίηση των δύο παραπάνω μεγεθών Αφαιρούμε τα δύο παραπάνω μεγέθη για κάθε ένα

Δομημένο Στοιχείο Αυτό που έχει τη μεγαλύτερη τιμή παίρνει την πρώτη

θέση στον καινούργιο περιγραφέα, αυτό που έχει την δεύτερη μεγαλύτερη τιμή τη δεύτερη θέση κ.τ.λ.

Support Vector Machines

36

Βασίζονται στην Στατιστική Θεωρία της Μάθησης Χρειάζονται δεδομένα εκπαίδευσης Χωρίζουν το χώρο που βρίσκονται τα δεδομένα

εκπαίδευσης σε δύο κλάσεις Τα δεδομένα εκπαίδευσης θα πρέπει να είναι γραμμικά

διαχωρίσιμα

Support Vector Machines

37

Εάν δεν είναι, μετασχηματίζεται ο χώρος έτσι ώστε να είναι γραμμικά διαχωρίσιμα με την βοήθεια των “kernels”

Στην προτεινόμενη τεχνική χρησιμοποιήθηκε o kernel: Radial Basis Function (exp{-γ|x-x`|)

Εφόσον διαχωριστεί ο χώρος με βάση τα δεδομένα εκπαίδευσης, τα καινούργια δεδομένα καταχωρούνται αναλόγως που βρίσκονται στο διαχωρίσιμο χώρο

Η κύρια δυσκολία της εκπαίδευσης των Support Vector Machines έγκειται στην εύρεση των σωστών παραμέτρων

Στην προτεινόμενη τεχνική η εύρεση των παραμέτρων έγινε χρησιμοποιώντας την τεχνική Parameter Estimation Algorithm που χρησιμοποιείται στις μεθόδους δυαδικοποίησης

Αξιολόγηση της προτεινόμενης τεχνικής

38

Χρησιμοποιήθηκε μία γνωστή βάση Εγγράφων – Εικόνων

Document Image Database από το University of Oulu

Περιέχει 233 έγγραφα – εικόνες ποικίλης μορφής

Για να αξιολογηθεί η ευελιξία της προτεινόμενης τεχνικής δημιουργήθηκε μία καινούργια βάση από την παραπάνω και προστέθηκε Gaussian και Κρουστικός θόρυβος

Ποσοστό Επιτυχίας για τα Έγγραφα Εκπαίδευσης της Βάσης Oulu

Αξιολόγηση Προτεινόμενης Τεχνικής

1 21 41 61 81 10112114116118120122124126128130132134136138140142144146148150180

82

84

86

88

90

92

94

96

98

100

Μέγεθος Περιγραφέα Πλαισίου

Ποσοστό Επιτυχίας

39

Ποσοστό Επιτυχίας για τα όλα τα Έγγραφα της Βάσης Oulu


40

1 25 49 73 97 12114516919321724126528931333736138540943345748150580

82

84

86

88

90

92

94

96

98

100



Ποσοστό Επιτυχίας για τα Έγγραφα Εκπαίδευσης της Βάσης που Περιέχει Θόρυβο


41

1 17 33 49 65 81 97 113129145161177193209225241257273289305321337353369385401417433449465481497

80

82

84

86

88

90

92

94

96

98

100



Ποσοστό Επιτυχίας για Όλα τα Έγγραφα που περιέχονται στην Βάση με τον Θόρυβο


42

1 17 33 49 65 81 97 113129145161177193209225241257273289305321337353369385401417433449465481497

80

82

84

86

88

90

92

94

96

98

100



Ο χρόνος ολοκλήρωσης της τεχνικής εντοπισμού κειμένου σε σχέση με το μέγεθος του περιγραφέα πλαισίου


43

1 19 37 55 73 91 10912714516318119921723525327128930732534336137939741543345146948750510

10.4

10.8

11.2

11.6

12




44

Αρχικό Έγγραφο - Εικόνα Το Εξαγώγιμο Αποτέλεσμα


45



46



47



48



.NET Framework

WPF/XAML

C#

libSVM

49


50

Παρουσιάστηκε μία μέθοδο εύρεσης κειμένου σε έγγραφα – εικόνες χρησιμοποιώντας τα δομημένα στοιχεία εγγράφων

Μέσω μία τεχνητής υπολογίζεται ο κατάλληλος περιγραφέας

Με βάση αυτού τα Support Vector Machines αποφασίζουν εάν ένα πλαίσιο περιέχει κείμενο ή όχι.

Ο περιγραφέας μπορεί να μειωθεί ή να αυξηθεί αναλόγως τα όρια της υπολογιστικής ισχύς που διαθέτεται.

Επίσης αξιολογήθηκε η προτεινόμενη μέθοδος σε μία βάση την οποία προστέθηκε θόρυβος ώστε να αποδεχθεί η ευελιξία της.

Με την τεχνική εντοπισμού των λέξεων

Ανάκτηση Εγγράφων - Εικόνων

51

4.

Με την τεχνική εντοπισμού των λέξεων

Η Αρχιτεκτονική του συστήματος Ανάκτησης Εικόνων - Εγγράφων

53

Αρχικό Έγγραφο

Στάδιο Προεπεξεργασίας

54

Φίλτρο Μεσαίας Τιμής

Δυαδικοποίηση (Otsu Τεχνική)

55

Αναγνώριση όλων των Συνδεδεμένων Αντικειμένων (CCs)

Υπολογισμός του ποιο κοινού ύψους των Συνδεδεμένων Αντικειμένων που περιέχονται στο κείμενο (CCch)

Απόρριψη των CCs που έχουνε ύψος κάτω του 70% του CCch. Έτσι αφαιρούνται τα σημεία στίξης και ο θόρυβος.

Ανάπτυξη των αριστερών και δεξιών πλευρών κατά 20% του CCch

Οι λέξεις αποτελούν τα ενωμένα επικαλυπτόμενα CCs

Χρησιμοποιώντας την τεχνική των Ενωμένων Συστατικών

Κατάτμηση Λέξεων

Width to Height Ratio Word Area Density. Το ποσοστό των μαύρων

(αντικείμενο) εικονοστοιχείων που περιέχονται στο ορθογώνιο πλαίσιο της λέξης.

Center of Gravity. Η ευκλείδεια απόσταση από το κέντρο βαρύτητας μέχρι την πάνω αριστερή γωνία του ορθογώνιου πλαισίου της λέξης:

Χαρακτηριστικά

(1,0) (0,1)

(0,0) (0,0)

,x y

M MC C

M M

( , )qp

pqx y

x yM f x y

width height

56

Vertical Projection. Τα πρώτα είκοσι (20) βάρη του διακριτού μετασχηματισμού συνημίτονου (DCT) της λείας και εξομαλυμένης κάθετης προβολής.


Αρχική Εικόνα

Η Κάθετη Προβολή

Εξομαλυμένη και Κανονικοποιημένη Προβολή

57

Top – Bottom Shape Projections. Ένα διάνυσμα 50 στοιχείων Τα πρώτα 25 στοιχεία αποτελούνται από τα πρώτα 25 βάρη των διακριτού

μετασχηματισμού συνημίτονου της λείας και εξομαλυμένης Προβολής του Πάνω Σχήματος

Τα υπόλοιπα 25 στοιχεία αποτελούνται από τα πρώτα 25 βάρη του διακριτού μετασχηματισμού συνημίτονου της λείας και εξομαλυμένης Προβολής του Κάτω Σχήματος


58

Upper Grid Features είναι ένα δέκα διαστάσεων διάνυσμα με δυαδικές τιμές, το οποίο υπολογίζεται από το πάνω μέρος της λέξης.

Down Grid Features είναι ένα δέκα διαστάσεων διάνυσμα με δυαδικές τιμές, το οποίο υπολογίζεται από το κάτω μέρος της λέξης.


59

Upper – Down Grid Features

[0,0,0,1195 ,0,0,0,0,0,0][0,0,0,1 ,0,0,0,0,0,

0]

[0,0,0,0 ,0,0,0, 598 , 50 , 33 ]

[0,0,0,0 ,0,0,0,1,1,0] 60

Περιγραφέας

61

Η Δομή του Περιγραφέα

Ο χρήστης πληκτρολογεί μία λέξη - ερώτημα Το προτεινόμενο σύστημα δημιουργεί μία εικόνα της

παραπάνω λέξης με ύψος ίσο με το μέσο ύψος όλων των λέξεων-πλαισίων που υπολογίστηκαν στο στάδιο Κατάτμηση Λέξης στην Offline διεργασία.

Στην πειραματική βάση εγγράφων το μέσο ύψος είναι 50

Το όνομα της γραμματοσειράς της Εικόνας – Ερώτημα είναι Arial

Η εξομαλυσμένη και κανονικοποιημένη διαδικασία των χαρακτηριστικών εξαλείφει τις μικρές διαφορές που υπάρχουν μεταξύ των διαφόρων γραμματοσειρών

Δημιουργία της Εικόνας - Ερώτημα

62

100 εικόνες – έγγραφα δημιουργήθηκαν τεχνητά από διάφορα κείμενα

Έπειτα προστέθηκε Gaussian και Κρουστικός Θόρυβος (40%).

Πειραματική Βάση Εικόνων - Εγγράφων

64

Αξιολόγηση

Χρησιμοποιήθηκαν τα μετρικά μεγέθη: Average Precision και NMRR

30 αναζητήσεις σε 100 έγγραφα εικόνες

Γραμματοσειρά της εικόνας ερώτημα είναι «Arial”

65

Mean Average Precision: 99,519%

ANMRR: 0.0029%

1 2 3 4 5 6 7 8 9 10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

75

80

85

90

95

100

Average Precision

Ανακτήσεις

1 2 3 4 5 6 7 8 9 10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

0

0.2

0.4

0.6

0.8

1

NMRR


Average Precision

Αξιολόγηση - FineReader® 9.0 OCR Program

NMRR

Mean Average Precision: 58,421% ANMRR: 0,4032

66

1 2 3 4 5 6 7 8 9 10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

0102030405060708090

100

Average Precision


1 2 3 4 5 6 7 8 9 10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

00.10.20.30.40.50.60.70.80.9

1

NMRR


Average Precision

Αξιολόγηση – Διπλάσιο Ύψος της Εικόνας - Ερώτημα

NMRR


67

1 2 3 4 5 6 7 8 9 10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

84

86

88

90

92

94

96

98

100

Average Precision


1 2 3 4 5 6 7 8 9 10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

00.10.20.30.40.50.60.70.80.9

1

NMRR


Average Precision

Αξιολόγηση – Με γραμματοσειρά «Tahoma»

NMRR


68

1 2 3 4 5 6 7 8 9 10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

0102030405060708090

100

Average Precision

Αναζητήσεις

1 2 3 4 5 6 7 8 9 10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

00.10.20.30.40.50.60.70.80.9

1

NMRR

Αναζητήσεις

Implementation

69

Visual Studio 2008

Microsoft .NET Framework 2.0

C# Language

Microsoft SQL Server 2005

http://orpheus.ee.duth.gr/irs2_5/

Η λέξη – ερώτημα δίνεται από το χρήστη σε μορφή κειμένου και μετατρέπεται σε εικόνα

Το προτεινόμενο σύστημα εξάγει 9 ισχυρά χαρακτηριστικά τα οποία σχηματίζουν έναν περιγραφέα για κάθε εικόνα - λέξη.

Τα χαρακτηριστικά αυτά περιγράφουν ικανοποιητικά το σχήμα της λέξης ενώ ταυτόχρονα εξαλείφουν τις μικρές διαφορές λόγω του θορύβου, μεγέθους και τύπου γραμματοσειράς.

Με βάση τα πειραματικά αποτελέσματα το προτεινόμενο σύστημα αποδίδει καλύτερα από ένα εμπορικό OCR πακέτο.


70

Στα πρότυπα των περιγραφέων σχήματος του MPEG-7

Συνεπτυγμένος Περιγραφέας Σχήματος

71

5.

MPEG - 7

72

Ο σκοπός του είναι να καθορίσει ένα πρότυπο περιγραφής διαφόρων τύπων πολυμεσικής πληροφορίας

Ενώ τα άλλα πρότυπα (MPEG-1, MPEG-2, MPEG-4) αντιπροσωπεύουν το περιεχόμενο (the bits), το MPEG-7 αντιπροσωπεύει την πληροφορία που διαχέεται στο περιεχόμενο (the bits about the bits)

Επιπλέον, καθορίζει ένα πρότυπο αποθήκευσης (βάσεις δεδομένων) των περιγραφέων

Οι περιγραφείς που περιέχει υποστηρίζουν μία μεγάλη ποικιλία μορφών δεδομένων όπως ήχος, ομιλία, εικόνες, γραφικά, 3D μοντέλα, συνθετικό ήχο, βίντεο κ.τ.λ.

Αρχές των MPEG-7 Περιγραφέων

73

Καθορίζει τις αρχές που θα πρέπει να υπακούν οι περιγραφείς

Καλή Ακρίβεια στην Ανάκτηση Ευρεία Εφαρμογή Συνεπτυγμένη Μορφή

Ο υπολογισμός μπορεί πολύ εύκολα να παραλληλιστεί καθώς κάθε χαρακτηριστικό υπολογίζεται ξεχωριστά

Το μπλοκ διάγραμμα υπολογισμού του CSPD

74


75

Width To Height Ratio:

min{ , }

max{ , }

W HWHR

W H

Vertical – Horizontal Projections. Είναι ένα διάνυσμα 20 διαστάσεων Οι πρώτες 10 διαστάσεις αποτελούνται από τα πρώτα 10 κβαντισμένα

βάρη του διακριμένου μετασχηματισμού συνημίτονου της λείας και κανονικοποίημένης Κάθετης Προβολής

Τα υπόλοιπα 10 στοιχεία αποτελούνται από τα πρώτα 10 κβαντισμένα βάρη του διακριμένου μετασχηματισμού συνημίτονου της λείας και εξομαλυμένης Οριζόντιας Προβολής


76

Top – Bottom Shape Projections. Ένα διάνυσμα 20 διαστάσεων Οι πρώτες 10 διαστάσεις αποτελούνται από τα πρώτα 10 κβαντισμένα βάρη

του διακριμένου μετασχηματισμού συνημίτονου της λείας και κανονικοποίημένης Προβολής του Πάνω Σχήματος

Τα υπόλοιπα 10 στοιχεία αποτελούνται από τα πρώτα 10 κβαντισμένα βάρη του διακριμένου μετασχηματισμού συνημίτονου της λείας και εξομαλυμένης Προβολής του Κάτω Σχήματος


77

Κβαντοποίηση Περιγραφέα

78

Μειώνεται αρκετά το μέγεθος του περιγραφέα χωρίς να επηρεάζονται τα αποτελέσματα του.

Το MPEG-7 κβαντίζει αρκετούς από τους περιγραφείς που περιέχει

Επειδή οι τιμές συγκεντρώνονται σε μικρές περιοχές θα πρέπει να κβαντιστούνε μη – γραμμικά

Κάθε χαρακτηριστικό θα πρέπει να κβαντιστεί ξεχωριστά καθώς δεν σχετίζονται μεταξύ τους

Η κβαντοποίηση πραγματοποιήθηκε με τον ασαφή αλγόριθμο Gustafson – Kessel

Κάθε διάσταση του περιγραφέα αντιπροσωπεύεται με 3bits.

Οπότε το συνολικό μέγεθος είναι 3x41 = 123 bits

79

Επιλέγουμε ένα πλήθος εικόνων που περιέχουν σχημάτα και εξάγουμε από αυτά τον περιγραφέα.

Επιλέχθηκαν αυθαίρετα 1500 σχήματα και από αυτά χρησιμοποιήθηκαν 1500 δείγματα για το Width to Height Ratio και 15000 δείγματα (10x1500) για κάθε από τα υπόλοιπα χαρακτηριστικά

Ορίσθηκε το πλήθος των κλάσεων του Gustafson – Kessel ίσο με 8 (23)

O ασαφής αλγόριθμος Gustafson – Kessel δίνει 8 κέντρα κλάσεων και τους αντίστοιχους πίνακες Διασπορών

Μετατρέπονται οι συνεχές τιμές του σε δυαδικές τιμές εύρους [000, 1111] δυαδικές ή σε ακέραιες τιμές εύρους [0,7]

Κβαντοποίηση Περιγραφέα

Πίνακας Κβαντοποίησης

80

Width to Height (1st bin)

Value 000 = 0 001 = 1 010 = 2 011 = 3 100 = 4 101 = 5 110 = 6 111 = 7Center 0.194 0.358 0.478 0.606 0.733 0.815 0.89 0.975A 25.013 26.669 30.004 31.839 35.785 52.873 47.896 58.456Vertical Projection (2nd – 11th bin)

Value 000 = 0 001 = 1 010 = 2 011 = 3 100 = 4 101 = 5 110 = 6 111 = 7Center 0.504 -0.215 -0.09 -0.031 0.004 0.069 0.392 1.412

A 6.438 17.255 39.173 70.481 93.974 27.642 4.586 61.264Horizontal Projection (12th – 21th bin)

Value 000 = 0 001 = 1 010 = 2 011 = 3 100 = 4 101 = 5 110 = 6 111 = 7Center -0.456 -0.194 -0.09 -0.035 0.003 0.064 0.252 1.414

A 9.781 21.917 47.372 76.465 90.791 38.51 9.305 6984.45Top Shape Projection (22th – 31th bin)

Value 000 = 0 001 = 1 010 = 2 011 = 3 100 = 4 101 = 5 110 = 6 111 = 7Center -0.438 -0.126 -0.049 -0.014 0.003 0.054 0.505 1.413

A 4.204 24.39 66.304 133.712 162.913 31.417 3.587 94.665Bottom Shape Projection(32th – 41th bin)Value 000 = 0 001 = 1 010 = 2 011 = 3 100 = 4 101 = 5 110 = 6 111 = 7Center -0.677 -0.136 -0.003 0.079 0.206 0.436 0.885 1.413

A 4.045 15.185 51.367 31.653 21.257 11.209 6.465 155.284

Ως Επέκταση του Schema των MPEG – 7 Οπτικών Περιγραφέων

Schema του CSPD

81

Μέτρηση Ομοιότητας

82

Προτείνεται ως Μέτρηση Ομοιότητας την weight Minkowski L1:

3 10

, 1 1 10 1 10 10 1

10 11Q S k n k nk n

D Q S n Q S

Η παραπάνω απόσταση χρησιμοποιεί την ικανότητα του DCT να αποθηκεύει περισσότερη πληροφορία στα πρώτα βάρη

Πειραματικές Μετρήσεις έδειξαν ότι η προτεινόμενη απόσταση δίνει καλύτερα αποτελέσματα από ότι οι αποστάσεις:

normal Minkowski L1

Minkowski L2 (Euclidian Distance) Bhattacharyya The non-binary Tanimoto coefficient


83

Υλοποιήθηκε ένας αλγόριθμος Ανάδρασης Συνάφειας που στηρίζεται στα Support Vector Machines

Αρχικά το σύστημα παρουσιάζει τα αποτελέσματα αναζήτησης με βάση το μετρητή ομοιότητας.

Ο χρήστης επιλέγει ποια θεωρεί σωστά και ποια όχι Οι περιγραφείς των σχημάτων που επέλεξε ο χρήστης χρησιμοποιούνται

ως δεδομένα εκπαίδευσης των Support Vector Machines Κανονικά, η έξοδος των Support Vector Machines είναι δυαδική, η οποία

καθορίζεται από το πρόσημο της συνάρτησης απόφασης Είναι πιθανόν να υπολογιστεί η συνάρτηση συμμετοχής ενός δεδομένου

στην μία κλάση και κατά συνέπεια η ομοιότητα του κανονικοποιώντας την συνάρτηση απόφασης

Αξιολόγηση Περιγραφέα

85

Τρείς διαφορετικές βάσεις MPEG-7 CE1 Set B. Αποτελείται από 1400

σχήματα. 20 σελίδες-εικόνες από τα Γραπτά του

George Washington από τη Βιβλιοθήκη του Κογκρέσου. Αποτελείται από 4847 χειρόγραφες λέξεις

Ελληνικά χειρόγραφα κείμενα που περιέχουν 173 λέξεις από διαφορετικούς ανθρώπους

Τα κίτρινα πλαίσια υλοποιήθηκαν μόνο για τα χειρόγραφα έγγραφα

H δομή του υλοποιημένου συστήματος ανάκτησης


87

.NET Framework

WPF/XAML

C#

libSVM


88

.NET Framework

WPF/XAML

C#

libSVM

89

Mean Average Precision για την Κάθετη

Προβολή

Mean Average Precision για την

Οριζόντια Προβολή

Mean Average Precision για

το Πάνω Σχήμα

Mean Average Precision για

το Κάτω Σχήμα

ANMRR για την Κάθετη

Προβολή

ANMRR για την Οριζόντια Προβολή

ANMRR για το Πάνω Σχήμα

ANMRR για το Κάτω Σχήμα

1 6 11 16 21 26 31 36 41 46

0

20

40

60

80

100

1 6 11 16 21 26 31 36 41 46

0

0.2

0.4

0.6

0.8

1

1 6 11 16 21 26 31 36 41 46

0

20

40

60

80

100

1 6 11 16 21 26 31 36 41 46

0

0.2

0.4

0.6

0.8

1

1 6 11 16 21 26 31 36 41 46

0

0.2

0.4

0.6

0.8

1

1 6 11 16 21 26 31 36 41 46

0

0.2

0.4

0.6

0.8

1

1 6 11 16 21 26 31 36 41 46

0

20

40

60

80

100

1 6 11 16 21 26 31 36 41 460

20

40

60

80

100

Πείραμα Κβαντοποίησης

90

0 10 20 30 40 50 60 70 80 90 1000

20

40

60

80

100

Recall/Precision Γράφημα

1 bit

2 bits

3 bits

4 bits

5 bits

1 bit 2 bits 3 bits 4 bits 5 bits0

0.5

1

ANMRR

Αριθμός bits Κβαντοποίησης

Πείραμα Μετρητή Ομοιότητας

91

0 10 20 30 40 50 60 70 80 90 1000

20

40

60

80

100


Weighted Minkowski L1

Minkowski L1

Minkowski L2

Bhattacharyya

Tanimoto

Weighted Minkowski L1

Minkowski L1 Minkowski L2 Bhattacharyya Tanimoto0.2

0.3

0.4

0.5

ANMRR

Πείραμα στην MPEG-7 CE1 Set B βάση σχήματος

92

0 10 20 30 40 50 60 70 80 90 1000

20

40

60

80

100


Initial Results

1st RF Iteration

2nd RF Iteration

Initial Results 1st RF Iteration 2nd RF Iteration0

0.1

0.2

0.3

0.4

ANMRR

Πείραμα στις Χειρόγραφες Λέξεις του George Washington

93

0 10 20 30 40 50 60 70 80 90 1000

20

40

60

80

100


Initial Results

1st RF Iteration

2nd RF Iteration


0.1

0.2

0.3

0.4

ANMRR

Ελληνικά Χειρόγραφα

94

0 10 20 30 40 50 60 70 80 90 1000

20

40

60

80

100


Initial Results

1st RF Iteration

2nd RF Iteration


0.2

0.4

0.6

ANMRR

Υπολογιστικό Κόστος

95

Windows Platform

Intel Core 2 6400 CPU

Χρησιμοποιήθηκαν και οι δύο πυρήνες του επεξεργαστή

Ο χρόνος υπολογισμού του προτεινόμενου περιγραφέα για 1400 σχήματα

Ολικός χρόνος υπολογισμού του προτεινόμενου περιγραφέα

Μέσος χρόνος υπολογισμού του προτεινόμενου περιγραφέα για κάθε σχήμα

4396 milliseconds 3.14 milliseconds


96

Παρουσιάστηκε ένας περιγραφέας σχήματος

Έχει πολύ μικρό μέγεθος (μόνο 123 bits) Έχει πολύ μικρό υπολογιστικό κόστος Έχει ευρεία εφαρμογής χωρίς να

περιορίζεται η ακρίβεια της ανάκτησης

Δημοσιεύσεις

K .Zagoris, N. Papamarkos and I. Koustoudis, Color Reduction using the combination of the Kohonen Self-Organized Feature Map and the Gustafson-Kessel fuzzy algorithm. International Conference on Machine Learning and Data Mining MLDM´2007, 2007.

Konstantinos Zagoris, Nikos Papamarkos, Christodoulos Chamzas: Web Document Image Retrieval System Based on Word Spotting. ICIP 2006: 477-480

K. Zagoris, E. Kavallieratou and N. Papamarkos, "Developing Document Image Retrieval System", "IADIS International Conference on Computer Graphics and Visualization 2008 ", July 22 to July 27, 2008, Amsterdam, The Netherlands.

Konstantinos Zagoris, Savvas A. Chatzichristofis, Nikos Papamarkos and Yiannis S. Boutalis, « img(Anaktisi): A Web Content Based Image Retrieval System», 2nd International Workshop on Similarity Search and Applications, Prague, Czech Republic, 2009.

Konstantinos Zagoris and Nikos Papamarkos, “Text Extraction using Document Structure Features and Support Vector Machines”, 2009 IEEE International Conference on Image Processing, Cairo, Egypt , November 7-11, 2009. Έχει σταλεί για πιθανή δημοσίευση

Konstantinos Zagoris, Nikos Papamarkos, Ioannis Koustoudis: Color Reduction using the Combination of the Kohonen Self-Organized Feature Map and the Gustafson-Kessel Fuzzy Algorithm. Trans. MLDM 1(1): 31-46 (2008)

S. A. Chatzichristofis, K Zagoris, Y. S. Boutalis and N. Papamarkos. «Accurate image retrieval based on compact composite descriptors and relevance feedback information.” International Journal of Pattern Recognition and Artificial Intelligence (IJPRAI), Έχει γίνει δεκτή για δημοσίευση, 2009.

Konstantinos Zagoris, Kavallieratou Ergina and Nikos Papamarkos. «A Document Image Retrieval System». Engineering Applications of Artificial Intelligence. Έχει σταλεί για πιθανή δημοσίευση.

Konstantinos Zagoris and Nikos Papamarkos.” Text Localization using Document Structure Elements and Support Vector Machines”, Έχει σταλεί για πιθανή δημοσίευση.

Konstantinos Zagoris, Kavallieratou Ergina and Nikos Papamarkos, “Image Retrieval Systems Based On Compact Shape Descriptor and Relevance Feedback Information”, Visual Communication and Image

Representation, Έχει σταλεί για πιθανή δημοσίευση.97

Συνέδρια Περιοδικά

Ευχαριστώ Πολύ!

content and metadata based image document retrieval (in greek)

Technology