Rafta Ürün Diziliminin Görüntü Isleme ile TespitiProduct Placement Detection Based on Image

Processing

Gül Varol∗‡, Rıdvan Salih Kuzu†‡, Yusuf Sinan Akgül§∗Bilgisayar Mühendisligi Bölümü, Bogaziçi Üniversitesi

†Elektrik ve Elektronik Mühendisligi Bölümü, Bogaziçi Üniversitesi‡ Idea Teknoloji Çözümleri

§Bilgisayar Mühendisligi Bölümü, Gebze Yüksek Teknoloji Enstitüsü{gul.varol, ridvan.salih}@boun.edu.tr, akgul@bilmuh.gyte.edu.tr

Özetçe —Marketlerde ürünlerin konumlandırılma sekli üreti-ciler için önem tasımaktadır. Bu yüzden raflardaki dizilimplanogram ismi verilen belgelerle yapılandırılır. Ürün yer-lestirmesinin planograma göre yapılıp yapılmadıgını takip ede-bilmek için üreticiler kolay bilgi toplama araçlarına ihtiyaçduymaktadırlar. Bu çalısmada, var olan görüntü isleme tekniklerikullanılarak, marketlerdeki planogram uyumlulugu kontrolününotomatiklestirilmesi amaçlanmıstır. Planogram bilgisi baglamolarak kullanılarak market görüntülerinden anlamlı bilgiçıkartılabilecegi varsayımıyla envanter yönetimi için yenilikçi biryöntem önerilmistir. Görevli kisi, rafların fotografını çekecekve sistemimiz tarafından islenmek üzere görüntüyü sunucuyayükleyecektir. Sistem, üç ayrı birimle çalısmaktadır: 1) raflarıntespiti, 2) ürünlerin tespiti ve 3) marka tanıma. Temel olarakraf tespitinde Hough Dönüsümü’ne, ürün tespitinde KademeliNesne Tanıma algoritmasına, ve marka tanımada Destek Vek-tör Makinesi’ne basvurulmustur. Sistemin sınanması için sigaraürünlerinden görüntü veri kümesi olusturulmus, her birim ayrıcasınanmıstır.

Anahtar Kelimeler—Nesne Tespiti, Nesne Tanıma

Abstract—Product positioning in stores is of importance forthe manufacturers. With this aim, the placement on shelves isdone according to some documents named planograms. To checkwhether the placement is in compliance with the planogram,manufacturers need tools to gather information easily. In thiswork, using existing image processing techniques, we aim for theautomation of planogram compliance control. We propose a noveltechnique for inventory management with the assumption that wecan extract meaningful information from images using planogramcontext. The controller will be able to capture a photograph of theshelves and upload to the server to be processed by our system.The system is composed of three modules: 1) shelf detection, 2)product detection and 3) brand recognition. Basically, we makeuse of Hough Transform, Cascade Object Detection algorithm,and Support Vector Machines for the modules respectively. Wetest each module separately on a dataset we collected withcigarette products.

Keywords—Object Detection, Object Recognition

I. GIRIS

Planogramlar, perakende ürünlerin marketlerdeki yer-lestirmelerini belirten semalardır ve birtakım pazarlama strate-jilerine ve kurallarına göre tasarlanmıslardır. Günümüzdemarket raflarının bu semadaki gösterime uyup uymadıgıbelirli aralıklarla gönderilen görevliler tarafından kontroledilir. Çogunlukla, görevli kisi, ürünleri manuel olarak sa-yar veya daha sonra yine manuel olarak kontrol edilmeküzere ürünlerin fotografını çeker. Son zamanlarda bu kontrolünotomatiklestirilmesi için çalısmalar yapılmıstır [1], [2].Planogram uyumlulugunun otomasyonu daha hızlı ve güveniliroldugundan envanter yönetimi için büyük önem tasır.

Literatürde görüntü islemeyle planogram çıkartılması içinSIFT (scale-invariant feature transform) [3] ve optik karak-ter tanıma gibi yöntemlerin birlesimini kullanan bir patent[4] bulunmaktadır. Bunların yanı sıra, planogram çıkartıl-ması problemine benzer problemler için çesitli yöntemlerönerilmistir. [5]’te dogal sahnelerde logo tespiti için uzamsalpiramit madenciligi ve SIFT tanımlayıcıları kullanılmıstır.[6]’da kütüphanedeki kitapları tanıma üzerine bir yöntemsunulmustur, ancak buradaki yaklasım bizim problemimizdekigörüntüler için yetersizdir.

Market ortamındaki görüntülerle çalısan bir diger çalısma[7]’de sunulmustur. Bu makalede, görme engellilerin alısverislistelerindeki ürünleri kamera yardımıyla bulması hedeflen-mistir. Gerçek zamanlı çalısma kısıtı bulundugundan, dahahızlı hesaplanan SURF (speeded up robust features) tanım-layıcıları tercih edilmistir. Bir baska çalısmada ise bir girdigörüntüde, veritabanındaki imgelerden hangilerinin bulun-dugunu SIFT tanımlayıcıları yardımıyla bulma problemi elealınmıstır [8]. Bu çalısmada market ve ürün imgeleriyle uygu-lamalar yapılmıstır; ayrıca yavas çalısan sistemin hızlandırıl-ması için eniyileme çalısmaları yapılmıstır.

Bildirinin devamı su sekilde düzenlenmistir. II. bölümdeyöntem sunulmustur. Sistemin hangi alt birimlere nasıl veneden ayrıstırıldıgı açıklanmıstır. III. bölümde her bir birimisınamak amacıyla uygulanan deneyler ve sonuçları sunulmus-tur. Son olarak IV. bölümde alınan sonuçlar degerlendirilmistirve bu çalısmanın nasıl gelistirilebilecegi ile ilgili birkaç noktabelirtilmistir.978-1-4799-4874-1/14/$31.00 c©2014 IEEE

market imgesi

planogram

- RafTespiti

-

raflar

- ÜrünTespiti

-

sınırlayıcı kutular

- MarkaTanıma

-

planogramuyumu

Sekil 1: Sistemin genel akısı.

II. YÖNTEM

Bu çalısmada önerdigimiz yöntemde market ürünleriningüvenilir bir sekilde tanınması için üç asamalı bir islem uygu-luyoruz. Bir ürünün logosunu bütün imgede aramak yerine,herhangi bir nesne tanıma gerçeklestirmeden önce raflarınyapısı ve ürünlerin dagılımı bilgisini imgeden çıkartıyoruz.

Önerdigimiz yöntemde, ürünlerin matrise benzer bir yapıdadizilime sahip oldugunu varsayıyoruz. Bu yüzden ilk asamadabu ızgaranın sınırlarını belirlemek istiyoruz. Bu amaçla raftespiti, ardından ürün ve marka tespiti uyguluyoruz. Sekil 1’degösterilen akısta sistemin genel mimarisi, girdi ve çıktılarıözetlenmistir.

A. Raf Tespiti

Raf sınırlarını tespit ederek arama alanını kısıtlamak veimgeyi anlamlı bölgelere ayırmak hedeflenmistir. Bu amaçlayatay dogruları bulmak için Hough Dönüsümü uygulanmak-tadır [9]. Bu dönüsümün kullanılabilir sonuç verebilmesiiçin imge birtakım ön islemlerden geçirilir. Bunlar, imgeyigürültüden arındırmak için Gaussian bulanıklıgı uygulama;kenarları vurgulamak için Canny kenar belirleme algoritmasıuygulama; yataydaki çizgileri öne çıkarmak için yatayda ke-nar bulma çekirdegi ile filtreleme; ve bir esik degeri ileimgeyi ikili görüntüye çevirme olarak özetlenebilir. Ayrıcasistemi parametrelerden olabildigince bagımsızlastırmak için,ilk olarak her imge aynı yükseklige (640 piksel) sahip ola-cak sekilde en-boy oranı bozulmadan yeniden boyutlandırılır.Sekil 2 örnek bir imge üzerinde bahsedilen islemlerden olusançıktıyı görsellestirmektedir.

Sekil 2: Ön islemenin çıktısı (solda). Raf sınırları (sagda).

Ön isleme uygulanmıs imge üzerinde Hough Dönüsümüuygulanır, fakat raf sayısından çok daha fazla yatay dogrutespit edildigi gözlemlenmistir. Bu dogrular arasından rafsınırlarına denk gelenleri seçmek için yukarıdan asagı (top-down) bir yaklasım uyguluyoruz. Eslestirilecek planogramdaraf sayısı bilgisi bulunmaktadır; dolayısıyla bulunması gerekenraf sayısı sisteme girdi olarak verilebilir. Toplamda tespitedilen dogru sayısı N , raf sayısı ise n olursa (n ≤ N );N ’in (n + 1)’li kombinasyonları içerisinde bir arama yapılıpen uygun dogru kombinasyonu raf sınırları olarak seçilebilir.Bu seçimi yaparken kullandıgımız kriter, rafların birbirineesit uzaklıkta/esit uzaklıga yakın bulundugu yönündedir. HerC(N,n+1) kombinasyonu için Denklem (1)’de ortalama karehatası olarak tanımlanan enerji fonksiyonu hesaplanır.

Ec =∑`∈C

(ρ` − ρc)2 (1)

Burada C, o anki dogruların kümesi ve ρ` ise ` dogrusu ileorijin (imgenin sol üst kösesi) arasındaki uzaklıgı temsil eder.Ortalama ρc ise su sekilde hesaplanır:

ρc =

∑`∈C ρ`

|C|(2)

Bu tanımlardan yola çıkarak bir C kombinasyonu içinenerji degeri Ec’nin sıfıra yakın olması esit mesafe özelliginibarındırdıgının göstergesi olur. Dolayısıyla aranılan dogrukümesi C∗, minimum enerji degerine sahip olan olarak tanım-lanır:

C∗ = argminC

Ec (3)

Bazı durumlarda C∗ çözümündeki dogrular birbirine çokyakın dogrulardan çıkabilir. Bunun sebeplerinden bir tanesiHough Dönüsümü’nün sonucunda tek bir kenarın etrafındayogunlasmıs, çok sayıda dogrunun tespit edilmesidir. Busorunu basit bir esikleme uygulayarak çözüyoruz.

t =h

2n(4)

Burada h imge yüksekligini, t ise esik degerini göstermektedir.Her ` için ρ`− ρc > t kısıtını saglayan kombinasyonlar çözümiçin ele alınır. Böylece birbirine çok yakın, fakat esit uzaklıközelligi gösteren kombinasyonlar elenmis olur. Dolayısıyla ntane raf, imgenin dikey eksende en az yarısını kaplar varsayımı

Sekil 3: Tüm dogrular N = 50 (solda), en uygun kombinasyonn = 3 (sagda).

kullanılır. Bu geçerli bir varsayımdır, çünkü fotograf, raflarçerçeveye tam sıgacak sekilde yakından çekilmelidir.

Ürünlerin konumları için kısıtlamalar getiren raf tespitbirimi, çıktı olarak raf bölgelerini vermektedir. Raf sınırçizgilerinden imge bölünür ve her bir raf aralıgı için ürüntespiti birimi uygulanır. Örnek bir raf tespiti imgesi Sekil 3’tegösterilmistir.

B. Ürün Tespiti

Ürün tespiti birimi için Viola-Jones nesne tanıma iskeletinikullandık. Ilk olarak yüz tespit etme problemi için gelistirilenbu iskelet, AdaBoost ögrenme algoritması ile kademeli birsınıflandırma yapısı içerir [10]. En-boy oranı çok degismeyen,düzlem dısı dönme içermeyen nesnelerin tespiti için bu yön-temin iyi çalıstıgı bilinmektedir.

Bu çalısmada öznitelik olarak HOG (Histogram ofOriented Gradients) tanımlayıcılarını kullanıyoruz, ve kendiürün sınıfımız için bir sınıflandırıcı egitiyoruz. Marka farkıgözetmeksizin ürün imgeleri pozitif, ürünün tamamını içer-meyen (arkaplan, raf sınırları, iki ürünün arası vb.) imgeler isenegatif örnek olarak saglanmıstır. Bunun yanı sıra, raf yüksek-liginin üçte birinden daha küçük yükseklige sahip tespitlerinyapılmaması yönünde bir minimum boyut kısıtı tanımlanıncaSekil 4’te görüldügü gibi yanlıs pozitiflerin önemli bir kısmınıngiderildigi görülmüstür.

Ürün tespiti biriminin çıktısı bize raflardaki ürünlerinkonumlarını vermektedir. Bu bilgi kullanılarak ürünlerin

Sekil 4: Ürün tespiti. Minimum esik degeri tanımlanmadanönce (yukarıda) ve sonra (asagıda)

etrafındaki sınırlayıcı kutular bulunabilmektedir. Bir sonrakiasama ise bu sınırlar içerisinde hangi markaya ait ürünlerbulundugunu tespit etmektir.

C. Marka Tanıma

Planogram bilgisinde hangi konumda hangi markanın yeralması gerektigi bulunmaktadır. Planogramı bir matris gibidüsünürsek, her hücrenin imgede karsılık gelen bir bölgesitanımlıdır. Örnegin (2,3) hücresi ikinci raftaki üçüncü ürünübelirtirken, ürün tespiti birimi bu bölgenin bilgilerini (x, y,genislik, yükseklik) seklinde verir. Bu bilgilerden yola çıkarakher konumda bulunması gereken markanın orada olup ol-madıgı sorusu sorulur; yani matrisin her hücresi için dogrulamauygulanır. Dolayısıyla her marka için ayrı bir sınıflandırıcıgerekmektedir. Herhangi bir A markasının sınıflandırıcısındapozitif örnekler A logosu imgeleri, negatif örnekler ise Aolmayan diger markaların logo imgeleridir.

Sekil 5: Bir marka için pozitif örnekler.

Her marka için ayrıca egitilecek Destek Vektör Maki-nesi, HOG öznitelikleri ve renk histogramları kullanılarakmodellenmistir. HOG öznitelikleri uzamsal imge piramidininüç farklı katmanından çıkarılır. Bunun sebebi bütünsel ve yerelözelliklerin ikisini birden yakalayabilmektir. Renk histogramıise HSV renk uzayından çıkarılır. Renk bilgisinin marka logo-larını ayrıstırmada önemli bir gösterge oldugu varsayılmıstır.Her imgeden çıkarılan bu öznitelikler bir vektörde yan yanasıralanır. Pozitif ve negatif olarak etiketlenmis logo örnek-lerinden hesaplanan bu öznitelik vektörleri, Destek VektörMakinesi için egitim kümesi olarak kullanılmaktadır. Sekil 5’tebir marka için kullanılan pozitif örnekler gösterilmistir.

Marka tanıma birimi, daha önceki iki birimin çıktısı olanızgarayı kullanarak, her bir konum için planograma uygun olupolmadıgı ile ilgili bir yanıt üretmektedir.

III. DENEYLER

Bu çalısmada anlatılan birimlerin basarılarını ölçebile-cegimiz bir veri kümesi olusturduk. Öncelikle 4 farklıplanograma göre dizilmis sigara paketlerinin raflar üzerindekifotograflarını flaslı ve flassız çekerek, toplam 229 market im-gesi elde ettik. Daha sonra II. bölümde anlattıgımız yöntemleribu veri kümesi üzerinde sınadık. Gelistirmelerde OpenCVgörüntü isleme kütüphanesi ve Matlab araç kutularını kul-landık.

Ölçümlerin yapılabilmesi için öncelikle veri kümesin-deki imgeler için kesin referans (ground truth) olusturul-mustur. Gelistirilen bir arayüz yardımıyla, bir kullanıcı verikümesindeki imgeler üzerindeki her raf için iki noktaya tıkla-yarak dogru denklemi tanımlanması için yeterli olan verileri

saglamıstır. Daha sonra bu dogrunun orijine uzaklıgı ile sis-temin tespit ettigi dogrunun orijine uzaklıgı arasındaki farkabakılmıs ve belirlenen esikten fazlaysa, raf yanlıs tespit edilmiskabul edilmistir. Veri kümesindeki 687 raf çizgisinin sistemtarafından tespit edilebilme basarısı iki farklı basarı ölçütüiçin Tablo I’de verilmistir. Çizgi bazlı ölçütte, dogru tespitedilen raf çizgisi sayısının toplam raf çizgisi sayısına oranınabakılmıstır. Imge bazlı ölçütte, bütün rafları dogru tespitedilen imge sayısının toplam imge sayısına oranına bakılmıstır.Flaslı ve flassız çekilen fotograflarda basarının karsılastırılmasıyapılmıs ve birinin digerinden belirgin bir üstünlügüne rastlan-mamıstır.

Planogram Flas Çizgi Bazlı (%) Imge Bazlı (%) Imge Sayısı

1+ 91 81 27− 94 83 24

2+ 85 69 29− 98 93 46

3+ 95 91 22− 100 100 23

4+ 99 96 27− 69 55 31

Flaslı 92.38 83.81 105Flassız 90.32 83.06 124Toplam 91.27 83.41 229

Tablo I: Raf tespiti biriminin basarısı

Ürün tespiti birimini sınamak için veri kümesindenegitimde kullanılmayan 40 adet raf bölgesi imgesi rastgeleseçilmistir. Bu imgelerdeki toplam 291 sigara kutusunun sistemtarafından tespit edilebilme basarısı ölçülmüstür. Egitim için375 pozitif, 198 negatif örnek saglanmıstır. Pozitif örnek-ler 20 adet market imgesinden kesilerek isaretlenmis sigarakutularıdır. Negatif örnekler için ise aynı imgelerden sigarakutusunun tamamını içermeyen bölgeler isaretlenmistir. Ürüntespiti biriminin basarısı Tablo II’de gösterilmistir. Buna göresistem, rafları dogru belirlenmis imgelerde sigara kutularını%89 kesinlik, ve %88 geri getirme ile bulabilmistir.

Toplam Dogru pozitif Yanlıs negatif Yanlıs pozitif291 256 35 32

Tablo II: Ürün tespiti biriminin 40 raf imgesi üzerindekibasarısı.

Son olarak, marka tanıma birimi sınıflandırma basarısınabakılarak bir sigara markası ile sınanmıstır. Egitim 80x40piksel boyutunda 47 pozitif, 87 negatif logo imgesi örnegi ilegerçeklestirilmistir. Sınama ise 31 pozitif, 24 negatif örnek içinyapılmıs ve %96 sınıflandırma basarısı sonucu alınmıstır.

IV. SONUÇLAR

Bu çalısmada üreticilerin envanter yönetimini kolaylastır-mak ve verimliligi arttırmak amacıyla, market ürünlerininraflardaki dizilimini otomatik olarak tespit eden bir yön-tem sunduk. Bu uygulamada ürünlerin konumlandırılmasınınplanogram ismi verilen çizenekle olan uyumlulugunu otomatikolarak kontrol etmeyi hedefledik. Önerdigimiz yapı üç ayrıbirimden olusmaktadır. Hough Dönüsümü ile imge raf sınır-ları tespit edilerek bölgelere ayrılmıs, HOG öznitelikleriyle

Kademeli Nesne Tanıma algoritması kullanılarak ürünlerin yer-leri tespit edilmis, ve bu yerlerde bulunan ürünlerin ait olmasıgerektigi markaya ait olup olmadıgı Desktek Vektör Makinesiile sorgulanmıstır. Her bir birimin basarısı ayrı ayrı ölçülmüsve endüstriyel seviyede basarılı sonuçlar elde edilmistir. Altbirimlerin hepsinin basarı oranları %80’in üzerindedir, buyönüyle de üreticiler tarafından gerçek hayatta kullanılabilirnitelik tasır.

Gelecekteki çalısmalarda optik karakter tanıma gibi yön-temlerle nesne tanıma güçlendirilerek sistemin gelistirilmesiplanlanmaktadır. Ayrıca düzgün yüzeyli biçime sahip olmayandegisik ürün sınıfları (kuruyemis, cips paketleri vb.) üzerindeçalısmalar yürütülecektir. HOG öznitelikleriyle, daha yavasfakat daha dogru sonuç verdigi bilinen SIFT özniteliklerininkarsılastırılması yapılacaktır.

TESEKKÜR

Bu bildirideki çalısmalar Idea Teknoloji ve BilgisayarÇözümleri Ltd. Sti. kurumu tarafından 3130322 nolu TEYDEBprojesi kapsamında desteklenmistir.

KAYNAKÇA

[1] R. Groenevelt, “Automatic planogram compliance –saving millions of hours of work.” [Online]. Available:http://mathecsys.com/automatic-planogram-generation/

[2] “Planodata: Check planogram compliancethrough photo recognition,” 2012. [Online].Available: http://www.planorama.com/en/planogram-compliance-photo//

[3] A. Opalach, A. Fano, F. Linaker, and R. Groenevelt,“Planogram extraction based on image processing,”Patent US 8 189 855, May 29, 2012.

[4] D. G. Lowe, “Distinctive image features from scale-invariant keypoints,” International journal of computervision, vol. 60, no. 2, pp. 91–110, 2004.

[5] J. Kleban, X. Xie, and W. Y. Ma, “Spatial pyramidmining for logo detection in natural scenes,” in Proc.IEEE International Conference on Multimedia and Expo(ICME), Jun 2008.

[6] Y. Akiyama and M. Ito, “Book recognition from colorimages of book shelves.” in MVA, pp. 106–110.

[7] T. Winlock, E. Christiansen, and S. Belongie, “Towardreal-time grocery detection for the visually impaired,”in Computer Vision and Pattern Recognition Workshops(CVPRW), 2010 IEEE Computer Society Conference on,June 2010, pp. 49 –56.

[8] A. Auclair, L. D. Cohen, and N. Vincent, “How touse SIFT vectors to analyze an image with databasetemplates.” in Adaptive Multimedia Retrieval, ser. Lec-ture Notes in Computer Science, N. Boujemaa, M. De-tyniecki, and A. Nürnberger, Eds., vol. 4918. Springer,2007, pp. 224–236.

[9] R. O. Duda and P. E. Hart, “Use of the Hough transfor-mation to detect lines and curves in pictures,” Commun.ACM, vol. 15, no. 1, pp. 11–15, Jan. 1972.

[10] P. Viola and M. Jones, “Rapid object detection using aboosted cascade of simple features,” 2001, pp. 511–518.