detekcija i klasifikacija saobraæajnih znakova · 2021. 1. 4. · detekcija i klasifikacija...

Milica Aleksiæ i Ervin Seke

Detekcija i klasifikacijasaobraæajnih znakova

Cilj ovog rada je detekcija i klasifikacija sao-braæajnih znakova i uporeðivanje korišæenihmetoda. Za testiranje sistema za detekciju i kla-sifikaciju korišæenjene su dve baze: GermanTraffic Sign Recognition Benchmark (GTSRB) iGerman Traffic Sign Detection Benchmark(GTSDB): GTSRB za klasifikaciju, a GTSDB zadetekciju. Pre primena metoda za detekciju zna-kova, izvršena je predobrada slike: slika je pre-baèena iz RGB kolor sistema, u sistem koji jepogodniji za manipulaciju sa bojama, HSV kolorsistem, nakon èega je uraðena binarizacija pokomponentama. Nakon toga je na celu sliku pri-menjena erozija, odvojeno po komponentamacrvene i plave boje. Saobraæajni znakovi detek-tovani su metodom korelacije i metodom lokal-nih minimuma. Za klasifikaciju korišæena su dvametoda: template matching i treniranje neuron-ske mre�e. Taènost metode korelacije i lokalnihminimuma zavisi od velièine znakova. Za znako-ve manje od 50 piksela, metodom korelacijedobijena je taènost od 22%, a metodom lokalnihmaksimuma 26%. Za znakove veæe od 50 pikselametodom korelacije dobijena je taènost od 55%,a metodom lokalnih maksimuma 65%. Taènostklasifikacije primenom template matchinga iz-nosi 49.6%, dok taènost neuronske mre�e iznosi84.3%. Veæa taènost neuronske mre�e u odnosuna template matching metod je oèekivana poštotempate maching nije pogodan za detektovanjerotiranih znakova.

UvodDetekcija i klasifikacija saobraæajnih zna-

kova su dva problema kojima se trenutno bavikompijuterska vizija. Pošto neopa�anjem nekogsaobraèajnog znaka vozaè mo�e da ugrozi svojubezbednost i bezbednost dugih uèesnika u sa-obraæaju, detekcija i klasifikacija saobraæajnihznakova ima primenu u sistemina za pomoæ vo-zaèima(ADAS) (Stallkamp et al. 2012), takoðeimaju i primenu i u samovozeæim automobilima(Houben et al. 2013). Saobraæajni znaci su di-zajnirani da se istièu bojama, oblikom, kao inatpisima i da budu lako vidljivi i prepoznativiod strane ljudi. Samim tim je dosta olakšana nji-hova pravilna detekcija i klasifikacija.

Ovaj rad se mo�e podeliti na dva dela. To sudetekcija saobraèajnih znakova i klasifikacijasaobraæajnih znakova. U okviru detekcije je po-trebno detektovani saobraæajni znak na slici iodrediti njegov konkretan polo�aj. Klasifikacijase bavi rasporeðivanjem slika saobraæajnih zna-kova u klase tj. grupe. Jednu grupu èine slike sa-obraæanih znakova koji imaju isto znaèenje.

Pre nego što se pristupi detekciji saobraæajnihznakova potrebno je izvršiti prethodnu obradu(predobradu) slike da bi se u toku same detekcijeiskoristilo što više informacija sa slike. Kao što jeopisano u radu Vishwanathan et al. (2017) tre-nutno se za detekciju saobraæajnih znakovanajèešæe koriste konvolucione neuroncke mre�e(KNN). U radu Zhu et al. (2016) je korišæenmetod korelacije. Metod lokalnih maksimuma jekorišæen u radu Gil-Jiménez et al. (2005). Uovom radu æe biti uporeðena uspešnost metodakorelacije i metoda lokalnih maksimuma.

ZBORNIK RADOVA 2017 PRIMENJENA FIZIKA I ELEKTRONIKA • 271

Milica Aleksiæ (2001), Niš, Zelena 28b, uèenica2. razreda Gimnazija ,,Svetozar Markoviæ” uNišu

Ervin Seke (1998), Zrenjanin, DimitrijaTucoviæa 1, uèenik 4. razreda Zrenjaninskegimnazije

MENTORI:

Sofija Petroviæ, student Elektrotehnièkogfakulteta Univerziteta u Beogradu

Ratko Amanoviæ, student Elektrotehnièkogfakulteta Univerziteta u Beogradu

272 • PETNIÈKE SVESKE 76 DEO I

Klasifikacija se mo�e raditi treniranjemneuronske mre�e (Sreækoviæ i Graovac 2010), amo�e i korišæenjem template matchinga(www.automatika.rs). U ovom radu æe se upo-rediti uspešnost ova dva metoda u klasifikacijisaobraæajnih znakova.

Korišæeni algoritam sastoji se iz tri dela: pre-dobrada slike, detekcija saobraæajnog znaka iklasifikacija saobraæajnog znaka. Blok šemaalgoritma prikazana je na slici 1. Predobradaslike se sastoji iz prebacivanja slike iz RGB si-stema boja u HSV sistem boja, binarizacije slike ierozije slike. U okviru detekcije uporeðivani sumetod korelacije i metod lokalnih maksimuma.Dalje na klasifikaciju se prosleðuju samo onidelovi slike za koje se pretpostavlja da se na nji-ma nalazi saobraæajni znak. U okviru klasifika-cije uporeðivani su metodi neuronskih mre�a itemplate maching-a. Kao izlaz klasifikacije sedobija ime znaka koji se nalazi na slici.

Pošto se kod metoda korelacije izgled poten-cijalnih znakova uporeðuje sa izgledom pravihznakova, a kod metoda lokalnih maksimumasamo broji koliko svaki potencijalni znak imauglova, oèekuje se da metod korelacije ima dostamanje false positive detekcija. Ovo je prva hipo-teza. Kod metoda korelacije potencijalni znakoviuporeðivani su sa znakovima koji nisu rotirani.Kao druga hipoteza se pretpostavlja da æe metodlokalnih maksimuma imati više true positivedetekcija nego metod korelacije. Cilj rada jeporeðenje dva metoda za detekciju saobraæajnihznakova i dva metoda za klasifikaciju saobra-æajnih znakova.

Metod

U ovom poglavlju æe biti detaljno razmatranisvi metodi korišæeni za predobradu slike, detek-ciju i klasifikaciju saobraæajnih znakova. Pre-dobrada slike priprema sliku da se što taènije ipreciznije detektuju delovi slike u kojima sepotencijalno nalazi saobraæajni znak. Svaki deoslike koji se detektuje kao potencijalno sao-braæajni znak se prosleðuje klasifikatoru. Uokviru klasifikacije se potom odreðuje da li jeneki potencijalni znak uopšte znak i ako jestoodreðuje se koji je to znak.

Predobrada slike

Da bi se na slici što lakše detektovao saobra-æajni znak potrebno je izvršiti preodobradu slike.Predobrada slike se sastoji iz 3 dela: pretvaranjeslike iz RGB sistema boja u HSV sistem boja,binarizacije slike i erozije slike.

Prvi deo predobrade slike èini pretvaranjeslike iz RGB u HSV sistem boja. HSV sistemboja je intuitivniji ljudima i zato omoguæava lak-še baratanje sa informacijama o svakom pikselu.RGB sistem boja nam daje informaciju o tomekoliko se crvene, zelene i plave boje nalazi u sva-kom pikselu, dok nam HSV sistem boja dajeinformacije o tome koja boje je neki piksel,koliko je zasiæenje te boje i kolika je kolièina teboje na tom pikselu.

Binarizacija je proces u kome se odreðujekoji su sve pikseli odreðene boje na nekoj slici. Uovom radu se tra�e pikseli crvene, plave i bele

Slika 1. Blok šemapredobrade slike i detekcije iklasifikacije saobraæajnogznaka

Figure 1. Block diagram ofimage preprocessing andtraffic sign detection andclassification

boje. Za svaku boju se pravi matrica velièine po-èetne slike. Ukoliko je odreðeni piksel na poèet-noj slici crvene, plave ili bele boje tada se uodgovarajuæoj matrici na odgovarajuæem mestuupisuje 1. Na svim ostalim mestima je upisano 0.Parametri na osnovu kojih se odreðuje da li je naslici neki piksel crvene, plave ili bele boje dati suu tabeli 1.

Razlièite vrednosti ovih parametara su tes-tirane na uzorku od 10 slika iz baze. Odabrane suvrednosti za koje se pretpostavlja da æe omogu-æiti da se izdvoje samo pikseli �eljene boje. Kaoparametri binarizacije su odabrani parametri zakoje je najveæi odnos broja taèno detektovanihznakova i broja oblika koji su detektovani kaoznaci, a nisu znaci. Pod taèno detektvan znak sesmatra svaki detektovani oblik kod kog se povr-šina kvadrata opisanog oko njega poklapa sa višeod 50% sa površinom kvadrata opisanog okostvarnog znaka na slici. Ova vrednost odabranaje na osnovu rada Zitnick i Dollar (2014). Infor-macije o taènim polo�ajima znakova na slici susastavni deo korišæene baze.

Na kraju predobrade vršena je erozija slike dabi se razdvojili svi znakovi koji su na poèetnojslici iste boje i veoma blizu jedan drugon, a posle

binarizacije su ostali spojeni na binarizovanimslikama.Takoðe erozijom je smanjem i šum naslici. To je raðeno tako što je svaki piksel kojiima vrednost 1 i u èijoj okolini svi pikseli imajuvrednost 1 zadr�i vrednost 1, dok svi ostali pik-seli koji ne ispunjavaju ova dva uslova dobijajuvrednost 0.

Detekcija

Cilj detekcije je da se na fotografiji saobra-æaja pronaðe oblast fotografije na kojoj se po-tencijalno nalazi saobraæajni znak. U ovom radusu korišæena dva metoda za detekciju saobra-æajnih znakova, i to: metod lokalnih maksimuma(Gil-Jiménez et al. 2005) i metod korelacije (Zhuet al. 2016). U okviru oba metoda se za svaki po-tencijalni saobraæajni znak analizira udaljenostiviènih piksela od geometrijskog centra znaka uzavisnosti od ugla pod kojim se oni nalaze u od-nosu na horizontalu koja prolazi kroz centar zna-ka.Udaljenost je izra�ena u pikselima. Na slici 2nalazi se primer ove zavisnosti kod nasumiènoodabranog pravougaonog znaka iz GTSDB baze.U okviru detekcije analizirani su znaci trouga-onog i èetvorougaonog oblika.


Tabela 1. Parametri binarizacije

Hue Saturation Value

Crvena 0 < H < 20, 300 < H < 360 0.2 < S < 1 0.2 < V


Metod lokalnih maksimuma. U okviru ovogmetoda je analiziran broj ekstremuma u okviruopisane zavisnosti. Primeæuje se da za svakioblik postoji taèno odreðen broj maksimuma iminimuma. U okviru ovog metoda brojani sulokalni maksimumi kojih trougaoni znakoviimaju 3, a pravougaoni 4. Pod maksimumom sesmatra svaka taèka iz ove zavisnosti koja je veæaod oba svoja suseda.

Metod korelacije. Metod korelacije, kao štomu i ime kaze, raèuna korelaciju izmeðu dva nizaudaljenosti ivicnih piksela od centra. Prvi niz jedobijen iz veæ poznatog modela (templejta) ne-kog oblika (trougla ili èetvorougla), a drugi odoblika koji je detektovan sa slike. Templejt znakje dobijen od proizvoljnog znaka iz baze. Uko-liko je koeficijent korelacije veæi od 0.8, smatrase da detektovan oblik pripada vrsti oblika kojojpripada templejt. U okviru ovog rada se nismobavili odreðivanjem ovog koeficijenta,veæ je onodabran eksperimentalno. Na slici 3 predstavljenje template za znak trougaonog oblika.

Klasifikacija

Klasifikacija slika vršena je dvema meto-dama. Prva metoda je klasifikacija primenomtemplate matchinga, a druga je primenom neu-ronske mre�e.

Primena template matchinga. Iz svakeklase znakova u trening setu izdvojena je repre-zentativna slika. Kao reprezentativna uzeta jeona slika na kojoj se najbolje vidi odgovarajuæisaobraæajni znak. Iz svake reprezentativne slikeizdvojena je sadr�ina znaka. Dobijena slikapredstvalja takozvani template. Svaka slika

uporeðivana je sa templejtma znaka istog oblika(trougao, èetvorougao) kao znak sa slike. Pri-likom svakog uporeðivanja raèunato je po-klapanje slike i templejta (cross correlation).Slika je svrstana u klasu sa èijim templejtom imanajveæe poklapanje.

Primena neuronske mre�e. Pomoæu Mat-laba je istrenirana neuronska mre�a na bazi slika.Ulaz mre�e je slika koja sadr�i saobraæajni znak.U okviru ulaznog sloja neuronske mre�e jedanèvor predstavlja jednu komponentnu HSV sis-tema boja jednog piksela slike. U okviru izlaznogsloja neuronske mre�e jedan èvor predstavljajedan tip saobraèajnog znaka. Odreðeni èvor uokviru izlaznog sloja je aktivan, tj. ima vrednost1, u sluèaju da se na ulaznoj slici nalazi odgo-varajuæi saobraæajni znak. Takoðe postoji i jedanèvor koji je aktivan u sluèaju da se na ulaznojslici ne nalazi saobraæajni znak. Neuronska mre-�a se sastoji od 10 slojeva.

Baze podataka

U okviru ovog rada su korišæene dve baze po-dataka, a to su baze GTSDB i GTSRB.

GTSDB (Houben et al. 2013) je baza sadr�i900 slika saobraæaja. Primer slike iz ove baze senalazi na slici 4. Takoðe ova baza sadr�i i infor-macije o tome gde se sve na slikama nalaze sao-braæajni znaci. Za odreðivanje parametarabinarizacije iskorišæeno je 10 nasumiènih slika izove baze, dok je za testiranje metoda za detekcijukorišæeno 30 nasumièno odabranih slika.

U okrviru klasifikacije za treniranje i testira-nje korišæenih metoda je korišæena baza GTSRB(Stallkamp et al. 2012). Primeri slika iz ove baze

Slika 3. Templejt za znaktrougaonog oblika. Relativnaudaljenost predstavljaudaljenost ivice od centra uodnosu na najudaljenijipiksel.

Figure 3. Template for thetriangular shape sign. Therelative distance is thedistance between the edgeand the center in relation tothe most distant pixel.

se nalazi na slici 4. GTSRB baza sadr�i 39210slika saobraæajnih znakova koji su podeljeni u 43klase. Svaka klasa predstavlja odreðeni saobra-æajni znak. U bazi se nalazi slike 30 razlièitihkvadratnih znakova, slike 31 osmougaonogznaka, 770 slika znakova kru�nog oblika i 576znakova trougaonog oblika. U bazi se nalazi po30 slika svakog saobraæajnog znaka. U okviruove baze se takoðe nalaze informacije o tomekoji se taèno saobraæajni znak nalazi na svakojslici iz baze i na kom delu slike se nalazi. Pošto suslike iz baze velièine 15+ 15 pisela do 250+ 250piksela sve slike su skalirane da budu velièine30 30+ piksela.

Ulazni sloj neuronske mre�e ima 2700 èvo-rova. Izlazni sloj neuronske mre�e ima 44 èvora.Baza slika je podeljenja u tri grupe: trening, vali-

dation i testing set. Za treniranje neuronskemre�e je iskorišæeno 70% slika iz baze, dok je zavalidaciju i testiranje dobijene neuronske mre�eiskorišæeno po 15% slika iz ove baze.

Rezultati i diskusija

Detekcija. U tabelama 2 i 3 predstavljen jebroj taèno detektovanih znakova (true positive),broj nedetektovanih znakova (true negative) ibroj elemenata koji ne predstavljaju znakove, adetektovani su kao saobraæani znaci (false posi-tive) za metod lokalnih maksimuma i korelacije.Rezultati u tabelama su podeljeni u tri grupe.Podela na grupe je uraðena na osnovu velièineznaka. U tabelama 2 i 3 sa h je oznaèeno kolikosu udaljeni najviši i najni�i piksel u svakom po-


Slika 4. Primer slike izGTSDB baze

Figure 4. GTSDB datasetimage example

Slika 5. Primeri slika izGTSRB baze

Figure 5. GTSRB datasetimage example

Tabela 2. Broj true positive, true negative i false positive detekcija za metod lokalnih maksimuma

15 < h < 50 50 < h < 100 100 < h

True positive 6 12 1True negative 17 5 2False positive 332 66 15


tencijalnom saobraæajnom znaku izra�eno upikselima. Znakovi su grupisani na one koji sumanji od 50 piksela, one koji su izmeðu 50 i 100piksela i one koji su veæi od 100 piksela. Iz iz-lo�enih rezultata se vidi da su obe hipotezedokazane, tj. da metod lokalnih maksimuma imaviše true positive detekcija dok metod korelacijeima manje false positive detekcija. Takoðe semo�e zakljuèiti da taènost detekcije raste sa po-veæanjem velièine znaka.

Klasifikacija. Taènost template matchingmetode iznosi 49.6%. Na slici 6 prikazana jetaènost ove metode za znakove grupisane poobliku.

Najveæa taènost postignuta je pri klasifikacijiznakova kvadratnog oblika i ona iznosi 87.6%, asledeæa po vrednosti je bila taènost klasifikacijeznakova trougaonih oblika koja iznosi 83.4%.Prilikom klasifikacije znakova oblika osmouglapostignuta je taènost od 82.3%. Najmanja taènostdobijena je klasifikacijom znakova kru�nog ob-

lika i ona iznosi 26.5%. Razlièite vrednosti dobi-jene za taènost klasifikacije razlièitih oblikaznakova oèekivane su zbog nejednakosti brojaslika razlièitih oblika, tj. oèekivano je da æe taè-nost klasifikacije znakova kvadratnog oblika,kojih ima najmanje u bazi biti najveæa, dok æeznakova okruglog oblika, kojih ima najviše ubazi biti najmanja zato što ima više slika nekogsaobraæajnog znaka to se te slike više razlikujuod odabranog templejta.

Taènost neuronske mre�e za trening setu iz-nosi 86.7%, za validation set 81.2%, a za testingset iznosi 84.3%.

Zakljuèak

Na osnovu opisanih rezultata zakljuèuje se daje taènost detekcije i klasifikacije veæa u sluèajukada su znaci veæih na slici. Od metoda za de-tekciju kao taèniji se pokazao metod lokalnihmaksimuma. Iako metod korelacije ima neštomanju taènost on ima dosta manje false positivedetekcija što omoguæava da se dosta manje po-tencijalnih znakova dalje prosleðuje na klasi-fikaciju. Ovo omoguæuje da celokupan algoritamradi dosta br�e. Za klasifikaciju kao taèniji metodpokazalo se treniranje neuronske mre�e.

Zahvalnost. Milošu Stojanoviæu na savetimakoje nam je pru�io tokom izrade projekta.

Literatura

Gil-Jiménez P., Lafuente-Arroyo S., Gómez-MorenoH., López-Ferreras F., Maldonado-Bascón S. 2005.Traffic Sign Shape Classification Eevaluation II:FFT Applied to the Signature of Blobs. SignalProcessing, 88: 2943.

Hechri A., Hmida R., Mtibaa A. 2015. Robust roadlanes and traffic signs recognition for driverassistance system. International Journal of

Tabela 3. Broj true positive, true negative i false positive detekcija za metod korelacije

15 < h < 50 50 < h < 100 100 < h

True positive 5 10 1True negative 18 7 2False positive 5 6 2

Slika 6. Taènost template matchinga za znakoveistog oblika

Figure 6. Accuracy of template matching method forclassification of same shaped signs

Computational Science and Engineering, 10 (1-2):202.

Houben S., Stallkamp J., Schlipsing M., Salmen J.,Igel C. 2013. Detection of Traffic Signs inReal-World Images. The 2013 International JointConference on Neural Networks.

Sreækoviæ U., Graovac S. 2010. Detekcija i osnovnaklasifikacija saobraæajnih znakova u slici. UTelekomunikacioni forum TELFOR. Beograd, 23-25.novembar 2010, str. 701-704.

Stallkamp J., Schlipsing M., Salmen J., Igel C. 2012.Man vs. computer: Benchmarking machine learningalgorithms for traffic sign recognition. NeuralNetworks, 32: 323.

Vishwanathan H., Peters D., Zhang J. 2017. Trafficsign recognition in autonomous vehicles using edgedetection. U Proceedings of the ASME 2017Dynamic Systems and Control Conference. TysonsVirginia, USA, October 11-13, 2017.

www.automatika.rs.https://www.automatika.rs/baza-znanja/neuronske-mreze/uvod-u-neuronske-mreze.html

Zhu Z., Liang D., Zhang S., Huang X., Li B., Hu S.2016. Traffic-Sign Detection and Classification inthe Wild. U 2016 IEEE Conference on ComputerVision and Pattern Recognition (CVPR), str.2110-2118.

Zitnick C., Dollar P. 2014. Edge boxes: Locatingobject proposals from edge. European Conference onComputer Vision 2014

Milica Aleksiæ and Ervin Seke

Traffic Sign Detection andClassification

Computer vision is an area of computingwhich aims to enable computers to observe theworld like people do. Methods for detection andclassification of traffic signs have been com-pared in this paper. These methods can be used inthe manufacturing of self-driving cars.

The given problem consists of two smallerproblems – detecting traffic signs and their cor-

rect classification. Two datasets are used for test-ing detection and classification algorithms:German Traffic Sign Recognition Benchmark(GTSRB) and German Traffic Sign DetectionBenchmark (GTSDB). The second dataset con-tains images of traffic and it is used for testing thedetector of traffic signs, while the first base isused for training and testing classifiers.

Before the picture is let through the detector itmust come in for preprocessing, which consistsof transferring the picture from RGB to HSV sys-tem of color, binarization of the picture withinthe components of HSV and erosion of the pic-ture.

During detection, every group of pixels is an-alyzed within the binarized pictures. If that groupof pixels has a shape of a traffic sign, then it willbe sent to the classifier. Firstly, the circular signsare detected using the standard deviationmethod. For the detection of the other shapes twoother methods are used: local maxima methodand correlation method. On the sample of 30 im-ages consisting of signs bigger than 50 pixels, thecorrelation method detected 55% of signs, whileit detected 22% of the signs smaller than 50 pix-els. The local maxima method detected 65%signs bigger than 50 pixels and 26% of the signssmaller than 50 pixels. Also, note that 96% of theshapes that the local maxima method classifiedas signs were not actually signs, while themethod of correlation detected 45%. From theseresults we can conclude that the local maximamethod is more successful in detection, but a bigissue with this method is that it slows down theexecution of the algorithm because it falsely rec-ognizes some shapes as signs and then forwardsthem to classifiers for processing.

Classification represents grouping imagesinto certain groups named “classes”. Imagesfrom the GTSRB were arranged into 44 classes.Every class contained images of the same trafficsign except the 44th, which contained imagesthat are not signs. Classification of the dataset isdone using template matching and training neu-ral network, as two separate methods. The accu-racy of classification obtained with templatematching is 49.6%, while the accuracy of theneural network is 84.3%. A higher accuracy ofthe neural network is expected.


detekcija i klasifikacija saobraæajnih znakova · 2021. 1. 4. · detekcija i klasifikacija...

Documents