7.5 Ενδιάμεσο επίπεδο επεξεργασίας...

24
7.5 Ενδιάμεσο επίπεδο επεξεργασίας εικόνας 7.5.1 Εισαγωγή Kάθε σύστημα επεξεργασίας εικόνας έχει ένα συγκεκριμένο σκοπό λειτουργίας. Παραδείγματος χάριν, διαφορετικές απαιτήσεις θα έχει μια βιομηχανία φαρμάκων στην αναγνώριση σφαλμάτων παραγωγής (π.χ. ακριβής ποσότητα υγρού φαρμάκου σε συγκεκριμένα φιαλίδια), από μία εφαρμογή καταγραφής οχημάτων που διέρχονται από ένα συγκεκριμένο σημείο ενός αυτοκινητοδρόμου. Ανεξάρτητα όμως με το είδος και τις ανάγκες της κάθε εφαρμογής, οι ουσιαστικές απαιτήσεις επεξεργασίας είναι : α) Η ικανότητα συστηματικής διαχείρησης βασικών δεδομένων σε αποδεκτό χρόνο. β) Η επεξεργασία των δεδομένων της εικόνας (image data) να πραγματοποιείται πάντοτε με τον ίδιο τρόπο, έτσι ώστε να έχουμε αξιόπιστα αποτελέσματα. Στο ενδιάμεσο στάδιο επεξεργασίας το ζητούμενο είναι η εξαγωγή χαρακτηριστικών παραμέτρων εικόνας κυρίως για τους εξής λόγους: α) Προετοιμασία της εικόνας με κατάλληλους μετασχηματισμούς (enhancement) απαραιτήτους για τη μετέπειτα εφαρμογή τεχνικών υψηλού επιπέδου επεξεργασίας (αναγνώριση αντικειμένου, segmentation, clustering techniques) β) Προσδιορισμός βασικών παραμέτρων εικόνας (ακμών, ευθυγράμμων τμημάτων, "κώδικα αλυσίδας, περιμέτρου, εμβαδού κλπ) γιά ομαδοποίηση αντικειμένων. Oι τελεστές επεξεργασίας εικόνας που χρησιμοποιούνται βασίζονται: 1. στην τεχνική της συνέλιξης (convolution) 2. στον προσανατολισμό δύο διαδοχικών pixel κατά τη διαδικασία ανίχνευσης περιγράμματος (coutour tracing). 7.5.2 Eντοπισμός των ακμών αντικειμένου (edge detection) O εντοπισμός των ακμών ενός αντικειμένου είναι μία θεμελιώδης διαδικασία στην επεξεργασία εικόνας. Γενικά ως ακμή ενός αντικειμένου ορίζεται το σύνορο μεταξύ δύο περιοχών διαφορετικών επιπέδων φωτεινότητας (Grey-levels). Η ακμή ενός αντικειμένου αποδίδεται με ένα διάγραμμα φωτεινότητας των pixels κατά μήκος μίας γραμμής (Σχήμα 7.46). Σε αυτά τα διαγράμματα παρουσιάζονται δύο επίπεδα γκρί κλίμακας, που περιγράφουν την φωτεινότητα των δύο περιοχών που διαχωρίζονται από την ακμή. Το ιδανικό διάγραμμα παρουσίασης μιάς ακμής είναι αυτό της συνάρτησης βήματος (Σχήμα 7.46 (α)). Στην πράξη όμως μία ακμή εμφανίζει φαινόμενα διάχυσης όπως φαίνεται στην περίπτωση (β). Η αμβλεία ακμή όπως ονομάζεται, αποτελείται από ένα σύνολο μικρών ακμών τοποθετημένων πολύ κοντά η μία στην άλλη. Στην μεγάλη πλειοψηφία των εφαρμογών βιομηχανικής όρασης η ύπαρξη θορύβου έχει σαν αποτέλεσμα την επιπλέον παραμόρφωση του ιδανικού διαγράμματος (Σχήμα 7.46 (γ)). Μία γραμμή αποδίδεται ιδανικά με μία συνάρτηση παλμού (Σχήμα 7.46 (δ)), όπου εκατέρωθεν της λεπτής ζώνης φωτεινότητας της γραμμής υπάρχουν δύο επίπεδα σταθερής φωτεινότητας με την ίδια τιμή. Στην πράξη, αυτά τα επίπεδα σταθερής φωτεινότητας δεν έχουν την ίδια τιμή γκρί κλίμακας (Σχήμα 7.46 (ε)). Ο εντοπισμός των ακμών ενός αντικειμένου επιτυγχάνεται με την χρήση διαφόρων αλορίθμων που βασίζονται σε τελεστές αναγνώρισης ακμών (Operators). Eδώ θα πρέπει να αναφέρουμε, ότι συνήθως πρίν την εφαρμογή ενός τελεστή αναγνώρισης γραμμών ενδείκνυται η χρησιμοποίηση κάποιου φίλτρου χαμηλών συχνοτήτων (Low Pass Filter) ή

Upload: others

Post on 04-Aug-2020

6 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 7.5 Ενδιάμεσο επίπεδο επεξεργασίας εικόναςcourseware.mech.ntua.gr/ml23194/extras/2020-kef-7-3.pdf · 7.5 Ενδιάμεσο επίπεδο επεξεργασίας

7.5 Ενδιάμεσο επίπεδο επεξεργασίας εικόνας

7.5.1 Εισαγωγή

Kάθε σύστημα επεξεργασίας εικόνας έχει ένα συγκεκριμένο σκοπό λειτουργίας. Παραδείγματος χάριν, διαφορετικές απαιτήσεις θα έχει μια βιομηχανία φαρμάκων στην αναγνώριση σφαλμάτων παραγωγής (π.χ. ακριβής ποσότητα υγρού φαρμάκου σε συγκεκριμένα φιαλίδια), από μία εφαρμογή καταγραφής οχημάτων που διέρχονται από ένα συγκεκριμένο σημείο ενός αυτοκινητοδρόμου. Ανεξάρτητα όμως με το είδος και τις ανάγκες της κάθε εφαρμογής, οι ουσιαστικές απαιτήσεις επεξεργασίας είναι :

α) Η ικανότητα συστηματικής διαχείρησης βασικών δεδομένων σε αποδεκτό χρόνο.

β) Η επεξεργασία των δεδομένων της εικόνας (image data) να πραγματοποιείται πάντοτε με τον ίδιο τρόπο, έτσι ώστε να έχουμε αξιόπιστα αποτελέσματα.

Στο ενδιάμεσο στάδιο επεξεργασίας το ζητούμενο είναι η εξαγωγή χαρακτηριστικών παραμέτρων εικόνας κυρίως για τους εξής λόγους:

α) Προετοιμασία της εικόνας με κατάλληλους μετασχηματισμούς (enhancement) απαραιτήτους για τη μετέπειτα εφαρμογή τεχνικών υψηλού επιπέδου επεξεργασίας (αναγνώριση αντικειμένου, segmentation, clustering techniques)

β) Προσδιορισμός βασικών παραμέτρων εικόνας (ακμών, ευθυγράμμων τμημάτων, "κώδικα αλυσίδας, περιμέτρου, εμβαδού κλπ) γιά ομαδοποίηση αντικειμένων.

Oι τελεστές επεξεργασίας εικόνας που χρησιμοποιούνται βασίζονται:

1. στην τεχνική της συνέλιξης (convolution)

2. στον προσανατολισμό δύο διαδοχικών pixel κατά τη διαδικασία ανίχνευσης περιγράμματος (coutour tracing).

7.5.2 Eντοπισμός των ακμών αντικειμένου (edge detection)

O εντοπισμός των ακμών ενός αντικειμένου είναι μία θεμελιώδης διαδικασία στην επεξεργασία εικόνας.

Γενικά ως ακμή ενός αντικειμένου ορίζεται το σύνορο μεταξύ δύο περιοχών διαφορετικών επιπέδων φωτεινότητας (Grey-levels).

Η ακμή ενός αντικειμένου αποδίδεται με ένα διάγραμμα φωτεινότητας των pixels κατά μήκος μίας γραμμής (Σχήμα 7.46). Σε αυτά τα διαγράμματα παρουσιάζονται δύο επίπεδα γκρί κλίμακας, που περιγράφουν την φωτεινότητα των δύο περιοχών που διαχωρίζονται από την ακμή. Το ιδανικό διάγραμμα παρουσίασης μιάς ακμής είναι αυτό της συνάρτησης βήματος (Σχήμα 7.46 (α)). Στην πράξη όμως μία ακμή εμφανίζει φαινόμενα διάχυσης όπως φαίνεται στην περίπτωση (β). Η αμβλεία ακμή όπως ονομάζεται, αποτελείται από ένα σύνολο μικρών ακμών τοποθετημένων πολύ κοντά η μία στην άλλη. Στην μεγάλη πλειοψηφία των εφαρμογών βιομηχανικής όρασης η ύπαρξη θορύβου έχει σαν αποτέλεσμα την επιπλέον παραμόρφωση του ιδανικού διαγράμματος (Σχήμα 7.46 (γ)). Μία γραμμή αποδίδεται ιδανικά με μία συνάρτηση παλμού (Σχήμα 7.46 (δ)), όπου εκατέρωθεν της λεπτής ζώνης φωτεινότητας της γραμμής υπάρχουν δύο επίπεδα σταθερής φωτεινότητας με την ίδια τιμή. Στην πράξη, αυτά τα επίπεδα σταθερής φωτεινότητας δεν έχουν την ίδια τιμή γκρί κλίμακας (Σχήμα 7.46 (ε)).

Ο εντοπισμός των ακμών ενός αντικειμένου επιτυγχάνεται με την χρήση διαφόρων αλορίθμων που βασίζονται σε τελεστές αναγνώρισης ακμών (Operators).

Eδώ θα πρέπει να αναφέρουμε, ότι συνήθως πρίν την εφαρμογή ενός τελεστή αναγνώρισης γραμμών ενδείκνυται η χρησιμοποίηση κάποιου φίλτρου χαμηλών συχνοτήτων (Low Pass Filter) ή

Page 2: 7.5 Ενδιάμεσο επίπεδο επεξεργασίας εικόναςcourseware.mech.ntua.gr/ml23194/extras/2020-kef-7-3.pdf · 7.5 Ενδιάμεσο επίπεδο επεξεργασίας

υψηλών συχνοτήτων (High Pass Filter), που έχει ως αποτέλεσμα την βελτίωση της προς επεξεργασία εικόνας κατά περίπτωση.

Σχήμα 7.46 Παράσταση ακμής αντικειμένου, γραμμής σε διάγραμμα έντασης

φωτεινότητας κατά μήκος μίας γραμμής (line):

α) ιδανική ακμή (συνάρτηση βήματος)

β) συνήθης παρουσίαση ακμής

γ) παρουσίαση ακμής με θόρυβο

Page 3: 7.5 Ενδιάμεσο επίπεδο επεξεργασίας εικόναςcourseware.mech.ntua.gr/ml23194/extras/2020-kef-7-3.pdf · 7.5 Ενδιάμεσο επίπεδο επεξεργασίας

δ) ιδανική γραμμή (συνάρτηση παλμού)

ε) συνήθης παρουσίαση γραμμής

Ο αντιπροσωπευτικός πίνακας (Mask) ενός L.P.F. έχει ως συντελεστές θετικούς όρους με το άθροισμα τους να είναι ίσο με τη μονάδα:

(a)

1 16 1 8 1 161 8 1 4 1 81 16 1 8 1 16

01 01 0101 0 2 0101 01 01

/ / // / // / /

( ). . .. . .. . .

b

Αντίθετα ο πίνακς ενός H.P.F. έχει συντελεστές που το άθροισμα τους είναι ίσο με το μηδέν, και μπορεί να είναι θετικοί ή αρνητικοί.

(a)

0 1 01 4 10 1 0

1 2 12 4 21 2 1

−− −

−− −

( )b

Στη διεθνή βιβλιογραφία υπάρχει ένας μεγάλος αριθμός τελεστών αναγνώρισης ακμής αντικειμένων.

Οι αλγόριθμοι που είναι ευρέως διαδεδομένοι σήμερα είναι αυτοί που χρησιμοποιούν τελεστές διαφορικού τύπου (differential type operators).

Aυτοί οι αλγόριθμοι βασίζονται στον υπολογισμό της κλίσης φωτεινότητας, που παρουσιάζει μία ομάδα pixels (Σχήμα 7.47).

Μετρώντας την κλίση φωτεινότητας ανάμεσα σε δύο διαδοχικά pixels προκύπτει μια τιμή ανάλογη της διαφοράς φωτεινότητας αυτών των pixels.

Μία ακμή εντοπίζεται στην περιοχή εμφάνισης μεγάλης κλίσης φωτεινότητας.

Οι τελεστές διαφορικού τύπου μπορούν να ταξινομηθούν ως εξής:

(α) Πρώτης τάξης (Roberts, Sobel, κ.α.)

(β) Δεύτερης τάξης (Laplacian)

(γ) Αλγόριθμοι τύπου συγκρίσεως (Prewitt, Robinson κ.α.)

Στη συνέχεια, θα ασχοληθούμε με τους τελεστές των Roberts, Sobel, Laplacian και Prewitt που είναι όχι μόνο οι πιό αντιπροσωπευτικοί της συγκεκριμένης κατηγορίας άλλα συγχρόνως και οι πιό διαδεδομένοι σε εφαρμογές βιομηχανικής όρασης.

7.5.2.1 Roberts τελεστής κλίσης

O Roberts είναι ο πιό απλός τελεστής αναγνώρισης ακμών διαφορικού τύπου. Εργάζεται σε χώρο της εικόνας διαστάσεων 2x2 pixels και υπολογίζει την κλίση φωτεινότητας των τεσσάρων σημείων προτείνοντας δύο κατάλληλους τελεστές. Αυτοί υπολογίζονται με βάση τις διαφορές φωτεινότητας των διαγωνίων στοιχείων του πίνακα 2x2. (Σχήμα 7.48).

Αναλυτικότερα ορίζονται:

Τελεστής Μέτρου: ( ) /∆ ∆1 22 2 1 2+ (3.1.1.1)

Τελεστής απόλυτης τιμής: ∆ ∆1 2+ (3.1.1.2)

Page 4: 7.5 Ενδιάμεσο επίπεδο επεξεργασίας εικόναςcourseware.mech.ntua.gr/ml23194/extras/2020-kef-7-3.pdf · 7.5 Ενδιάμεσο επίπεδο επεξεργασίας

όπου (3.1.1.3)

(3.1.1.4)

συμβολίζοντας με p(i,j) την φωτεινότητα του pixel (I,J) της εικόνας εισόδου (input image) και q(i,j) την φωτεινότητα του pixel (I,J) της εικόνας εξόδου (output image).

H κλίση φωτεινότητας καθορίζεται από τον τελεστή απόλυτης τιμής και προσδιορίζει τη νέα τιμή φωτεινότητας του pixel (i,j):

όπου

Σχήμα 7.47 Παρουσίαση της κλίσης φωτεινότητας σε δύο διαδοχικά

σημεία (για ανάλυση εικόνας 256×256 σε 8-bit )

x - άξονας : εύρος τιμών 0-255 (γραμμές - rows)

y - άξονας : εύρος τιμών 0-255 (στήλες - columns)

z - άξονας : εύρος τιμών 0-255 (κλίμακα γκρίζου - grey levels)

Page 5: 7.5 Ενδιάμεσο επίπεδο επεξεργασίας εικόναςcourseware.mech.ntua.gr/ml23194/extras/2020-kef-7-3.pdf · 7.5 Ενδιάμεσο επίπεδο επεξεργασίας

Παράδειγμα:

256231342 3 51

3 7 31 4 3

xx

x x x x

Πίνακας εικόνας Πίνακας εικόνας εξόδου

εισόδου μετά την χρησιμοποίηση

Robert's Operators

p(i,j) p(i.j+1)

p(i+1,j) p(i+1,j+1)

(α)

q(i,j) p(i,j+1)

p(i+1,j) p(i+1,j+1)

(β)

Σχήμα 7.48 Robert's gradient operator

(α) Αρχική κατάσταση φωτεινότητας του pixel

στη θέση (i,j) σε τμήμα εικόνας 2x2

(β) Τελική κατάσταση φωτεινότητας του pixel

στη θέση (i,j) μετά την εφαρμογή του τελεστή κλίσης του Robert's :

q i j p i j p i j p i j p i j( , ) ( , ) ( , ) ( , ) ( , )= − + + + + − +1 1 1 1

7.5.2.2 Sobel τελεστής εντοπισμού ακμών

Ο τελεστής Sobel υπολογίζει το μέτρο της ακμής ενός pixel της εικόνας εισόδου, αλλά αντίθετα με τον Robert's δεν χρησιμοποιεί την τιμή του pixel κατά τον υπολογισμό.

Η τιμή του pixel στον πίνακα εξόδου της εικόνας είναι:

Page 6: 7.5 Ενδιάμεσο επίπεδο επεξεργασίας εικόναςcourseware.mech.ntua.gr/ml23194/extras/2020-kef-7-3.pdf · 7.5 Ενδιάμεσο επίπεδο επεξεργασίας

S x y= +( ) /∆ ∆2 2 1 2 (3.1.2.1)

Εστω ότι ο πίνακας εισόδου είναι της μορφής:

a b cd e fg h i

τότε: ∆x a d g c F i= + + − + +( ) ( )2 2

∆ y g h i a b c= + + − + +( ) ( )2 2 (3.1.2.2)

Δηλαδή οι πίνακες συνέλιξης (convolution masks) του τελεστή Sobel θα έχουν τη μορφή:

∆ ∆x y=−−−

=− − −

1 0 12 0 21 0 1

1 2 10 0 01 2 1

Παράδειγμα: Θα υπολογίσουμε την τιμή του pixel εξόδου q(i,j) στη θέση (2,2)

3 4 2 5 12 1 6 4 23 5 7 1 34 2 5 712 5 1 3 2

x x x x xx q( , )2 2

Πίνακας εισόδου

q x y( , ) ( ) /2 2 2 2 1 2= +∆ ∆ γύρω από το pixel 2,2

∆x = + + − − − = +3 4 3 2 12 7 11

∆ y = − − − + + + = +3 8 2 3 10 7 17

[ ] [ ]q( , ) ( ) ( ) ( )/ / /2 2 11 7 121 49 170 132 2 1 2 1 2 1 2= − + + = + = ≅

7.5.2.3 Laplacian τελεστής βελτίωσης ακμών

Ο τλεστής του Laplace στην επεξεργασία εικόνας βασίζεται στη μαθηματική έκφραση της δεύτερης μερικής παραγώγου του Laplace για συνεχείς συναρτήσεις:

∇ = +22

2

2

2FF

xF

y∂

∂ (3.1.3.1)

O Laplacian τελεστής ουσιαστικά προσδιορίζει την αλλαγή κλίσης φωτεινότητας σε κάθε pixel στις διευθύνσεις x και y.

Page 7: 7.5 Ενδιάμεσο επίπεδο επεξεργασίας εικόναςcourseware.mech.ntua.gr/ml23194/extras/2020-kef-7-3.pdf · 7.5 Ενδιάμεσο επίπεδο επεξεργασίας

L i j p i j x p i j y p i j( , ,) ( , ) ( , ) ( , )= ∇ = +2 2 2∆ ∆ (3.1.3.2)

όπου

[ ] [ ][ ] [ ]

x p i j p i j p i j p i j

y p i j p i j p i j p i j

2

2

1 1

1 1

= − − − − +

= + − − − −

( , ) ( , ) ( , ) ( , )

( , ) ( , ) ( , ) ( , )

a b cd e fg h i

[ ] [ ] [ ] [ ]∆ ∆x d e e f y h e e F2 2= − − − = − − −,

Αρα η Laplacian τιμή του pixel (i,j) δίνεται από τη σχέση:

L i j b d F h e(, ) = + + + − 4 (3.1.3.3)

πίνακας συνέλιξης του τελεστή Laplace θε έχει την εξής μορφή:

0 1 01 4 10 1 0

++ + +

+

Επίσης εδώ μπορεί εύκολα να παρατηρήσει κανείς ότι ο τελεστής Laplace είναι ένα φίλτρο H.P.F., διότι οι συντελεστές του είναι θετικοί και αρνητικοί όροι που το άθροισμά τους είναι ίσο με το μηδέν.

Παράδειγμα: Ας υποθέσουμε ότι έχουμε μία εικόνα εισόδου που εμφανίζει μία κάθετη ακμή:

4 4 4 8 8 8 84 4 4 8 8 8 84 4 4 8 8 8 84 4 4 8 8 8 8

Ο πίνακας εξόδου μετά την εφαρμογή του τελεστή Laplace θα είναι:

x x x x x x xx xx xx x x x x x x

0 4 4 0 00 4 4 0 0+ −+ −

Εάν παραστήσουμε τον πίνακα εισόδου και τον πίνακα εξόδου σε διάγραμμα φωτεινότητας κατά μήκος μίας γραμμής (Σχήμα 7.49), παρατηρούμε ότι η ύπαρξη θετικής ακμής στον πίνακα εισόδου εμφανίζεται με τη μορφή θετικού παλμού ακολουθούμενου από αρνητικό παλμό επειδή ο τελεστής Laplace διαφορίζει την επιφάνεια της εικόνας.

Επειδή οι ακμές και οι γραμμές μίας εικόνας (Image) εμφανίζονται με διάφορες διευθύνσεις, ένας τελεστής πρέπει να είναι ισοτροπικός ή ανεξάρτητος περιστροφής (rotationally insensitive).

Page 8: 7.5 Ενδιάμεσο επίπεδο επεξεργασίας εικόναςcourseware.mech.ntua.gr/ml23194/extras/2020-kef-7-3.pdf · 7.5 Ενδιάμεσο επίπεδο επεξεργασίας

Αυτό συμβαίνει μόνον στην περίπτωση που ο τελεστής χρησιμοποιεί παραγώγους δευτέρας τάξης για τον υπολογισμό της κλίσης φωτεινότητας ενός pixel.

Aν υποθέσουμε ότι εφαρμόζουμε τελεστή Laplace σε μία εικόνα και κατόπιν περιστρέψουμε την εικόνα εξόδου κατά μία γωνία Θ, θα επιτύχουμε το ίδιο αποτέλεσμα εάν πρώτα περιστρέψουμε κατά την ίδια γωνία την εικόνα εισόδου, και κατόπιν εφαρμόσουμε τον τελεστή Laplace.

Σχήμα 7.49 Η Εφαρμογή του τελεστή Laplace σε εικόνα που εμφανίζει κάθετη ακμή (α) οδηγεί σε

αναγνώριση της ακμής που τέμνει τον άξονα 0 (zero crossing) στην εικόνα εξόδου (b).

7.5.2.4 Ο τελεστής Prewitt

Oι τελεστές τύπου συγκρίσεως (Prewitt, Robinson κ.ά.) υπολογίζουν την κλίση φωτεινότητας σε ένα pixel από τη μεγαλύτερη τιμή εξόδου που δίνει η εφαρμογή 8 διαφορετικών πινάκων σύγκρισης (template masks) σε κάθε pixel της εικόνας. Κάθε πίνακας σύγκρισης έχει ορισθεί έτσι ώστε να τονίζει τα pixel της ακμής που ανήκουν σε καθορισμένες διευθύνσεις μέσα στην εικόνα (Σχήμα 7.50).

Page 9: 7.5 Ενδιάμεσο επίπεδο επεξεργασίας εικόναςcourseware.mech.ntua.gr/ml23194/extras/2020-kef-7-3.pdf · 7.5 Ενδιάμεσο επίπεδο επεξεργασίας

Σχήμα 7.50 Συγκριτικοί πίνακες (masks) του τελεστή Prewitt (το άθροισμα των συντελεστών όλων των πινάκων είναι ίσο με το μηδέν).

Η τιμή αυτών των pixel εξαρτάται από τη μεταβολή φωτεινότητας σε συγκεκριμένες περιοχές της αρχικής εικόνας. Η εφαρμογή του τελεστή Prewitt σε μία δυαδική εικόνα, θα έχει ως αποτέλεσμα την εξαγωγή πληροφοριών μόνο των ακμών ενός αντικειμένου της εικόνας με τον εξής τρόπο: Τα pixel που ευρίσκονται στις περιοχές μετάβασης 0→1 (μαύρο προς λευκό) και 1→0 (λευκό προς μαύρο) παίρνουν τη τιμή 1 (λευκό). Ολα τα υπόλοιπα pixel που εμφανίζουν σταθερή φωτεινότητα (0 ή 1) παίρνουν τη τιμή 0 (μαύρο). Ετσι καταλήγουμε σε μία εικόνα με λευκά περιγράμματα (ακμές) σε μαύρο περιβάλλον.

Ο τελεστής αναγνώρισης / βελτίωσης ακμών του Prewitt καθίσταται ένα ιδιαίτερα χρήσιμο εργαλείο, στις περιπτώσεις που απαιτείται βελτίωση της ποιότητας διαφόρων εικόνων, σε συγκεκριμένες περιοχές (ή διευθύνσεις) αυτής.(π.χ. εφαρμογές χαρτογράφησης περιοχών, αεροφωτογραφικές χωρογραφήσεις κ.λ.π.)

7.5.3 Μετασχηματισμός HOUGH

Ο μετασχηματισμός Hough (ΗΤ), μπορεί να περιγραφεί ως μία τεχνική προσδιορισμού του ορίου ενός αντικειμένου.

Στην περίπτωση που το όριο του αντικειμένου σχηματίζεται από ευθύγραμμα τμήματα, ο ΗΤ ανάγει το πρόβλημα στον εντοπισμό συνευθειακών σημείων που ανήκουν σε αυτό.

Η μέθοδος βασίζεται στη μεταφορά καθενός σημείου, που πιθανόν να ανήκει σε μία ευθεία, από το χώρο της εικόνας σε ένα παραμετρικό χώρο, που κάθε σημείο του θα περιγράφει και μία ευθεία γραμμή. Με την εφαρμογή του ΗΤ το αρχικό πρόβλημα εντοπισμού συνευθειακών σημείων θα μετασχηματιστεί μαθηματικά σε ένα ισοδύναμο πρόβλημα εύρεσης συντρεχουσών γραμμών.

Σύμφωνα με τον P.V.C. Hough, ένα σύνολο από σημεία (x,y) ανήκει σε μία ευθεία, που ορίζεται από την εξίσωση:

F m c x y y m x co o o o(( , ), ( , )) .= − − = 0 (3.2.1)

όπου: mo, co είναι δύο παράμετροι η κλίση της ευθείας και η τεταγμένη επί την αρχή των αξόνων, αντίστοιχα. Ετσι το σύνολο όλων των συνευθειακών σημείων στον xy-χώρο της εικόνας μετασχηματίζεται σε σύνολο συντρεχουσών γραμμών στον παραμετρικό mc-χώρο, όπως φαίνεται στο σχήμα 7.51. Η εφαρμογή όμως του ΗΤ αποτυγχάνει στην περίπτωση που η εικόνα μας εμφανίζει ευθείες παράλληλες προς τον άξονα y, γεγονός που απειρίζει τις παραμέτρους m, c.

Page 10: 7.5 Ενδιάμεσο επίπεδο επεξεργασίας εικόναςcourseware.mech.ntua.gr/ml23194/extras/2020-kef-7-3.pdf · 7.5 Ενδιάμεσο επίπεδο επεξεργασίας

(α)

Page 11: 7.5 Ενδιάμεσο επίπεδο επεξεργασίας εικόναςcourseware.mech.ntua.gr/ml23194/extras/2020-kef-7-3.pdf · 7.5 Ενδιάμεσο επίπεδο επεξεργασίας

(β)

Σχήμα 7.51 α) Σημεία P(x,y) στο χώρο της εικόνας

(β) Μετασχηματισμός των σημείων P(x,y) σε ευθείες στον mc-χώρο

Οι R.O. Duda και P.E. Hart χρησιμοποιώντας μία εναλλακτική παραμετρική έκφραση ορισμού ευθείας, λύνουν αυτό το πρόβλημα και στη συνέχεια ακολουθούν τη μεθοδολογία του Hough.

Συγκεκριμένα θεωρούν την ακόλουθη παραμετροποίηση της ευθείας:

ρ ϑ ϑ0 = ⋅ + ⋅x yo ocos( ) sin( ) (3.2.2)

όπου: ρο είναι η απόσταση της ευθείας από την αρχή των αξόνων και ϑο η γωνία που σχηματίζει το ευθύγραμμο τμήμα, που παριστά την απόσταση της ευθείας από την αρχή των αξόνων, με τον άξονα x (Σχήμα 7.52).

Page 12: 7.5 Ενδιάμεσο επίπεδο επεξεργασίας εικόναςcourseware.mech.ntua.gr/ml23194/extras/2020-kef-7-3.pdf · 7.5 Ενδιάμεσο επίπεδο επεξεργασίας

Σχήμα 7.52 Μία ευθεία στο χώρο της εικόνας απεικονίζεται σε σημείο στο χώρο των παραμέτρων

Αν η γωνία ϑ περιορίζεται σε τιμές ανάμεσα στο ο και το π, τότε οι παράμετροι (ρ,ϑ) μίας ευθείας είναι μοναδικές.

Επίσης είναι εύκολο να παρατηρίσουμε ότι ένα συγκεκριμένο σημείο (x,y) του χώρου της εικόνας, μέσω της (3.2.2) περιγράφει μία καμπύλη στο χώρο των παραμέτρων (ρ,ϑ), (Σχήμα 7.53).

Page 13: 7.5 Ενδιάμεσο επίπεδο επεξεργασίας εικόναςcourseware.mech.ntua.gr/ml23194/extras/2020-kef-7-3.pdf · 7.5 Ενδιάμεσο επίπεδο επεξεργασίας

Σχήμα 7.53 Ενα σημείο στο χώρο της εικόνας απεικονίζεται σε καμπύλη στο χώρο των παραμέτρων (ρ,ϑ).

Εστω το σύνολο n-συνευθειακών σημείων { }( , ),...( , )x y x yn n1 1 στο χώρο της εικόνας.

Απεικονίζουμε τα σημεία αυτά μέσω της (3.2.2) στις αντίστοιχες καμπύλες στον ρϑ-χώρο των παραμέτρων. Είναι εύκολο να δειχθεί ότι αυτές οι καμπύλες τέμνονται σε ένα κοινό σημείο, στο ζεύγος παραμέτρων που περιγράφει με μοναδικό τρόπο την ευθεία πάνω στην οποία βρίσκονται τα n-σημεία. Ετσι, συνευθειακά σημεία αντιστοιχίζονται σε συντρέχουσες καμπύλες μέσω της (3.2.2), όπως δείχνει το Σχήμα 7.54.

Page 14: 7.5 Ενδιάμεσο επίπεδο επεξεργασίας εικόναςcourseware.mech.ntua.gr/ml23194/extras/2020-kef-7-3.pdf · 7.5 Ενδιάμεσο επίπεδο επεξεργασίας

Σχήμα 7.54 Συνευθειακά σημεία στο χώρο της εικόνας απεικονίζεται σε καμπύλες στο χώρο των

παραμέτρων, που διέρχονται από ένα κοινό σημείο.

Γιά να λύσει ο Hough το πρόβλημα του υπολογισμού όλων των σημείων τομής των καμπυλών στον παραμετρικό ρϑ-χώρο προτείνει τον ορισμό ενός διδιάστατου πίνακα, που ονομάζεται πίνακας καταμετρήσεων ΗΤ. Κάθε στοιχείο αυτού του πίνακα έχει ως συντεταγμένες γραμμής και στήλης τιμές των μεγεθών ρ και ϑ αντίστοιχα.

Η τιμή ενός στοιχείου του πίνακα καταμετρήσεων ΗΤ είναι ενδεικτική του πλήθους των σημείων της εικόνας, που έχουν κοινές τιμές των παραμέτρων (ρ,ϑ). Οι θέσεις που παρουσιάζουν τις μεγαλύτερες καταμετρήσεις καθορίζουν και τον αριθμό των ευθύγραμμων τμημάτων που αποτελούν το όριο του αντικειμένου της εικόνας, όπως παρουσιάζεται στο Σχήμα 7.55.

Page 15: 7.5 Ενδιάμεσο επίπεδο επεξεργασίας εικόναςcourseware.mech.ntua.gr/ml23194/extras/2020-kef-7-3.pdf · 7.5 Ενδιάμεσο επίπεδο επεξεργασίας

Σχήμα 7.55 Η διαδικασία εφαρμογής του ‘ ΗΤ’ σε μία εικόνα, που παρουσιάζει την πληροφορία της ακμής

του αντικειμένου.

Η παραπάνω διαδικασία μπορεί να αποδωθεί με τον αλγόριθμο που ακολουθεί:

1. Διακριτοποίηση του χώρου των παραμέτρων, με την απόδοση διακριτών τιμών σε κάθε μία παράμετρο.

Page 16: 7.5 Ενδιάμεσο επίπεδο επεξεργασίας εικόναςcourseware.mech.ntua.gr/ml23194/extras/2020-kef-7-3.pdf · 7.5 Ενδιάμεσο επίπεδο επεξεργασίας

2. Διαμόρφωση ενός πίνακα καταμετρήσεων Α(ρ,ϑ) 2-διαστάσεων που αρχικά έχει μηδενικά στοιχεία.

3. Για δεδομένο σημείο (xi,yi), που πιθανώς να ανήκει στο όριο του αντικειμένου (έχει τιμή φωτεινότητας 1), υπολογίζουμε την παράμετρο ρ από την (3.2.2),για όλες τις τιμές της παραμέτρου ϑ.

4. Για κάθε σημείο του ορίου, με συντεταγμένες (xi,yi), αυξάνουμε όλα τα σημεία του πίνακα καταμετρήσεων που ικανοποιούν την (3.2.2) :

Α(ρ,ϑ) = Α(ρ,ϑ) +1

5. Τοπικό μέγιστο στον πίνακα καταμετρήσεων, που βρίσκεται στη θέση (ρκ,ϑκ) αντιστοιχεί σε πλήθος σημείων του χώρου της εικόνας, που ικανοποιούν την αναλυτική εξίσωση της καμπύλης με παραμέτρους (ρκ,ϑκ) :

f (ρκ,ϑκ,x,y) = 0

Οι τιμές, που περιέχονται σε κάθε θέση του πίνακα καταμετρήσεων, μας παρέχουν το πλήθος των σημείων που ικανοποιούν τη παραπάνω εξίσωση.

Τελειώνοντας θα πρέπει να αναφερθεί ότι ο αλγόριθμος του Hough σε τροποποιημένη μορφή μπορεί να χρησιμοποιηθεί σε εικόνες όπου το όριο του αντικειμένου σχηματίζεται από κυκλικά, ελλειπτικά ή και παραβολικά τμήματα.

7.5.4 Μέθοδοι περιγραφής σχήματος και Γεωμετρικής ανάλυσης

Στην αυτοματοποιημένη αναγνώριση αντικειμένων στη βιομηχανία, χρησιμοποιούνται διάφοροι τρόποι σύγκρισης τους. Πολλοί από αυτούς βασίζονται στην εξαγωγή χαρακτηριστικών παραμέτρων τους (features), όπως: η περίμετρος ενός αντικειμένου, το εμβαδόν του, το κέντρο βάρους του σχήματος, κ.λ.π., που μπορούν να δώσουν πολύτιμες πληροφορίες σχετικά με το σχήμα του αντικειμένου.

Οι μέθοδοι περιγραφής σχήματος και γεωμετρικής ανάλυσης έχουν αναπτυχθεί προκειμένου να πετύχουμε τον εντοπισμό των παραμέτρων θέσεως και προσανατολισμού ενός αντικειμένου.

Η πιό χαρακτηριστική μέθοδος ανίχνευσης του ορίου (contour tracing) και κωδικοποίησης (encoding) ενός αντικειμένου, περιγράφεται από τον Freeman με τον όρο "κώδικας αλυσίδας" (chain code).

Το πρώτο βήμα στη διαδικασία αναγνώρισης του περιγράμματος ενός σχήματος, είναι να εντοπίσουμε ένα τυχαίο σημείο (pixel) στο περιγραμμά του (συνήθως με οριζόντια και κατακόρυφη σάρωση της εικόνας: raster scan) και στη συνέχεια να αποθηκεύσουμε τις συντεταγμένες αυτού.

Επειτα ξεκινώντας από το αρχικό pixel, χρησιμοποιούμε "συνδετική ανάλυση" (connectivity analysis) για να εντοπίσουμε διαδοχικά σημεία το όριο του αντικειμένου, μέχρι να φτάσουμε στο αρχικό μας pixel. Με αυτήν τη μέθοδο δημιουργούμε μία κλειστή αλυσίδα πάνω στο όριο του αντικειμένου, που κάθε συνδετικός κρίκος της αντιστοιχίζεται σε ένα pixel στο περίγραμμα του σχήματος.

Ο σχετικός προσανατολισμός ενός pixel με το προηγούμενό του μπορεί να αποθηκευτεί με τη χρησιμοποίηση ενός κατάλληλου "κώδικα αλυσίδας".

Γιά το σκοπό αυτό χρησιμοποιείται μία περιοχή σημείων 3x3 όπου περιγράφονται 8 προκαθορισμένες διευθύνσεις (Σχήμα 7.56).

Με αυτήν την τεχνική του Freeman, αποθηκεύονται σε κωδικοποιημένη μορφή μόνο τα pixels που ανήκουν στο όριο του αντικειμένου, αδιαφορώντας για τα pixels στο εσωτερικό του αντικειμένου, επιτυγχάνοντας έτσι μεγάλη εξοικονόμηση στην μνήμη του υπολογιστή. Επιπρόσθετα, ο "κωδικός αλυσίδας" του ορίου ενός αντικειμένου σε συνδυασμό με άλλες χαρακτηριστικές παραμέτρους

Page 17: 7.5 Ενδιάμεσο επίπεδο επεξεργασίας εικόναςcourseware.mech.ntua.gr/ml23194/extras/2020-kef-7-3.pdf · 7.5 Ενδιάμεσο επίπεδο επεξεργασίας

(features) όπως: ο αριθμός των συνολικών pixels στην περίμετρο, το εμβαδόν του αντικειμένου κ.ά. μπορεί να χρησιμοποιηθεί σε προβλήματα αναγνώρισης αντικειμένων (object recognition).

Το μειονέκτημα όμως αυτής της μεθόδου, είναι ότι δεν μπορεί να εφαρμοστεί στις περιπτώσεις που υπάρχει απώλεια πληροφοριών στο όριο του αντικειμένου, λόγω είτε σπασίματος του ορίου (boundary cracks) είτε εμφάνισης θορύβου στη περιοχή του ορίου.

Η πιό χαρακτηριστική ιδιότητα όμως του "κωδικού αλυσίδας" όπως θα δούμε στη συνέχεια, είναι ότι δίνει

τη δυνατότητα απ΄ευθείας υπολογισμού ορισμένων φυσικών ιδιοτήτων ενός αντικειμένου δίχως να χρειάζεται η μετατροπή της εικόνας σε φόρμα (format) NxN pixel.

Σχήμα 7.56 α) διευθύνσεις “ κωδικού αλυσίδας”

Page 18: 7.5 Ενδιάμεσο επίπεδο επεξεργασίας εικόναςcourseware.mech.ntua.gr/ml23194/extras/2020-kef-7-3.pdf · 7.5 Ενδιάμεσο επίπεδο επεξεργασίας

b) κωδικοποίηση τμημάτων του ορίου

Οι τρείς βασικές παράμετροι που χρησιμοποιούνται για την περιγραφή των ιδιοτήτων ενός αντικειμένου είναι: η περίμετρος, το πλάτος (μέγιστο πλάτος στην οριζόντια διεύθυνση) και το εμβαδόν του αντικειμένου. Ως κοινό παράδειγμα και στις τρείς περιπτώσεις θα χρησιμοποιηθεί το αντικείμενο που δείχνει το Σχήμα 7.57.

Σχήμα 7.57 Παράδειγμα εφαρμογής “κωδικού αλυσίδας”.

7.5.4.1 Υπολογισμός Περιμέτρου (P)

Είναι φανερό ότι ένα βήμα προς κάθε διεύθυνση 0, 2, 4, 6 του "κώδικα αλυσίδας", αντιστοιχεί σε απόσταση ενός pixel, συνεισφέροντας στην καταμέτρηση της περιμέτρου 1 unit (μονάδα απόστασης). Για τις δε μεταβάσεις προς κάθε διεύθυνση 1, 3, 5, 7 η απόσταση μεταξύ δύο pixel είναι 2 units. (βλέπε Σχήμα 7.58).

Η περίμετρος ενός αντικειμένου υπολογίζεται από τη σχέση:

P S S unitsE o= + 2

όπου SΕ είναι ο συνολικός αριθμός βημάτων προς κάθε άρτια διεύθυνση και Sο ο συνολικός αριθμός βημάτων προς κάθε περιττή διεύθυνση.

Page 19: 7.5 Ενδιάμεσο επίπεδο επεξεργασίας εικόναςcourseware.mech.ntua.gr/ml23194/extras/2020-kef-7-3.pdf · 7.5 Ενδιάμεσο επίπεδο επεξεργασίας

Για το παράδειγμα του σχήματος 3.3.-1 έχουμε:

SE = 16

So = 4

Aρα p units= + =16 4 2 2166.

Σχήμα 7.58 Συσχέτιση της διεύθυνσης των στοιχείων του “κώδικα αλυσίδας”και της απόστασης

μετάβασης

Page 20: 7.5 Ενδιάμεσο επίπεδο επεξεργασίας εικόναςcourseware.mech.ntua.gr/ml23194/extras/2020-kef-7-3.pdf · 7.5 Ενδιάμεσο επίπεδο επεξεργασίας

7.5.4.2 Υπολογισμός Εμβαδού (Α)

Το εμβαδόν ενός αντικειμένου υπολογίζεται λαμβάνοντας υπόψιν τις συνεισφορές όλων των επί μέρους στοιχειωδών επιφανειών (elemental areas), που ορίζονται ως κάθετες ταινίες μεταξύ του άξονα των x και του τρέχοντος βήματος μετάβασης μεταξύ δύο διαδοχικών pixel στο όριο του αντικειμένου. Οι στοιχειώδεις επιφάνειες έχουν προσθετική, αφαιρετική και μηδενική συνεισφορά ανάλογα με τον προσανατολισμό όπως φαίνεται στο Σχήμα 7.59(α).

Η μέθοδος ακολουθεί μία βήμα προς βήμα διαδικασία, η οποία υπολογίζει το εμβαδόν του αντικειμένου αφαιρώντας από την επιφάνεια που προσδιορίζεται με μονή διαγράμμιση την επιφάνεια με διπλή διαγράμμιση, όπως φαίνεται στο Σχήμα 7.59 (β).

Για παράδειγμα (βλέπε Σχήμα 7.59 (γ)):

1. Ενα βήμα μετάβασης με διεύθυνση 0 προσθέτει μία στοιχειώδη επιφάνεια (1*y) units στον υπολογισμό του εμβαδού.

2. Ενα βήμα μετάβασης με διεύθυνση 5 θα αντιστοιχεί σε αφαιρετικό κομμάτι (y-0.5) units στον υπολογισμό του εμβαδού.

3. Ενα βήμα μετάβασης με διεύθυνση 2 έχει μηδενική συνεισφορά στον υπολογισμό του εμβαδού.

(b)

Page 21: 7.5 Ενδιάμεσο επίπεδο επεξεργασίας εικόναςcourseware.mech.ntua.gr/ml23194/extras/2020-kef-7-3.pdf · 7.5 Ενδιάμεσο επίπεδο επεξεργασίας

( c )

Σχήμα 7.59 Καθορισμός των συνεισφορών των στοιχείων του " κωδικού αλυσίδας" για τον υπολογισμό

του εμβαδού.

Γενικεύοντας, οι συνεισφορές των στοιχειωδών επιφανειών για το σύνολο των πιθανών διευθύνσεων φαίνονται στον πίνακα 3.3-1.

Page 22: 7.5 Ενδιάμεσο επίπεδο επεξεργασίας εικόναςcourseware.mech.ntua.gr/ml23194/extras/2020-kef-7-3.pdf · 7.5 Ενδιάμεσο επίπεδο επεξεργασίας

Πίνακας 3.3-1: Συνεισφορές στοιχειωδών επιφανειών.

Σχήμα 7.60 Καταγραφή των παραμέτρων που απαιτούνται για τον υπολογισμό του εμβαδού του

αντικειμένου.

Εφαρμόζοντας τώρα τη μέθοδο που περιγράψαμε στο παράδειγμά μας συμπεραίουμε ότι το εμβαδόν του αντικειμένου θα είναι:

A=5.5+6.5+7+7+7+7+0+6+0+0+0-3+0-2-2-2-2-2.5-3.5+0=

=29 sqare units

όπως δείχνει και το Σχήμα 7.60.

7.5.4.3 Πλάτος αντικειμένου

Το μέγιστο πλάτος ενός αντικειμένου στην οριζόντια διεύθυνση υπολογίζεται με παρόμοιο τρόπο, λαμβάνοντας υπόψιν τις συνεισφορές κάθε βήματος μετάβασης από ένα αρχικό στοιχείο του

Page 23: 7.5 Ενδιάμεσο επίπεδο επεξεργασίας εικόναςcourseware.mech.ntua.gr/ml23194/extras/2020-kef-7-3.pdf · 7.5 Ενδιάμεσο επίπεδο επεξεργασίας

"κώδικα αλυσίδας" στην οριζόντια διεύθυνση, ακολουθώντας το "κώδικα αλυσίδας", εως την επιστροφή μας στο αρχικό μας σημείο.

Επειδή μας ενδιαφέρει μόνο η οριζόντια απόσταση, οι διευθύνσεις 0,1 και 7 αντιστοιχούν σε μετάθεση 1 unit προς τα δεξιά (+1), ενώ κάθε βήμα στις διευθύνσεις 3,4,5 αντιστοιχεί σε μετάθεση 1 unit προς τα αριστερά (-1).

Τέλος για τις διευθύνσεις 2 και 6 η μετάθεση είναι μηδενική (0 units). (Σχήμα 7.61).

Σχήμα 7.61 Καταγραφή των παραμέτρων που απαιτούνται για τον υπολογισμό του πλάτους του

αντικειμένου.

Η μεθοδολογία που ακολουθείται για τον υπολογισμό του x-πλάτους είναι:

Eντοπίζουμε το αρχικό στοιχείο του chain code.

1. Yπολογίζουμε την κατά x μετάθεση που αντιστοιχεί με το πρώτο στοιχείο της αλυσίδας.

2. Υπολογίζουμε την κατά x μετάθεση που αντιστοιχεί με το πρώτο και δεύτερο στοιχείο της αλυσίδας.

3. Υπολογίζουμε την κατά x μετάθεση που αντιστοιχεί με το πρώτο, δεύτερο και τρίτο στοιχείο της αλυσίδας και συνεχίζουμε με τον ίδιο τρόπο μέχρι να εξαντλήσουμε όλα τα στοιχεία του chain code (Σχήμα 7.62).

Το πλάτος (w) στην οριζόντια διεύθυνση είναι

w = Shigh - Slow όπου:

Shigh = max oριζόντια μετάθεση κάθε βήματος

SLow = min οριζόντια μετάθεση κάθε βήματος

Εφαρμόζοντας την διαδικασία που περιγράψαμε στο παράδειγμα μας λαμβάνουμε:

Page 24: 7.5 Ενδιάμεσο επίπεδο επεξεργασίας εικόναςcourseware.mech.ntua.gr/ml23194/extras/2020-kef-7-3.pdf · 7.5 Ενδιάμεσο επίπεδο επεξεργασίας

Shigh = 7

SLow = 0

W = Shigh - SLow = 7 - 0 = 7 units.

Σχήμα 7.62 Εκτέλεση αλγορίθμου υπολογισμού πλάτους αντικειμένου