kbms jan catin cont(1)
TRANSCRIPT
RobustVisualSceneCategoriza4oninContext
Prak4scheenrobuustemethodesvoorgeautoma4seerdevisuelesceneherkenningmetgebruikvancontext
JanvanGemert
NutenDoel• Automa'schebeeldenvideoclassifica'e
Boot Vliegtuig Binnen/Buiten
• Toepassing:filteren,bekijken,zoekeningrotecollec4esvanbeeldenenvideos
• Partner:BeeldenGeluid,700,000uuraantelevisie,radioenfilm
Gezichten
Bloemen
Fietsen
Informa4eBehoeJe
KenmerkGelijkenis
101010 010011 110101
Gebruiker Computer
101010 010011 110101
ZoekenversusClassificerenSeman4schekloof
Automa4scheSceneClassifica4e
Lucht
PlantGebouw
Water WaterGat
LokaleBeeldkenmerken
Lucht
Plant Gebouw
WaterWater
Gat
VisueelwoordenboekLucht
Berg
Zand
Water
Plant
Steen
Lucht9
Berg2
Zand0
Water6
Plant3
Steen4
Helebeeldgerepresenteerdalsvectorvan6getallen
Leren Classificeren
0#beelden
#stukjes
Trainmatrix
Testmatrix
Verdeler
?
Lucht9
Berg2
Zand0
Water6
Plant3
Steen4
Originele“harde”toewijzingvanpuzzelstukjes
Visuele‐WoordenAmbiguïteitLucht
Berg
Zand
Water
Plant
Steen
(Hoofdstuk5vandedisserta4e)
Onzekerheid:keuzeuitmeerderestukjes;Plausibiliteit:iseenstukjerepresenta4ef;
Lucht10.6
Berg0
Zand0
Water7.1
Plant2.3
Steen2.3
Voorgestelde“zachte”toewijzingvanpuzzelstukjes
Interface
Result set
Communicative Devices tree
Presentation
Query
Mediatype / Rh. Relations / Pre. dimensions
Constrains
Interface
Result set
Communicative Devices tree
Presentation
Query
Mediatype / Rh. Relations Pre. dimensions
Constrains
Content analysis
Dynamo
Dynamo
Dynamo
References
12
SMEULDERS, A. W. M., WORRING, M., SANTINI, S., GUPTA, A., and JAIN, R. Content-based image retrieval: the end of the early years, 1349 - 1380, 22 - 12, IEEE trans. PAMI, 2000.
Nack, F., Windhouwer, M., Hardman, L., Pauwels, E., & Huijberts, M. (2001) The Role of High-level and Low-level Features in Style-based Retrieval and Generation of Multimedia Presentations. The New Review of Hypermedia and Multimedia 2001, Vol. 7, pp. 7 – 37.
J. C. van Gemert, J. M. Geusebroek, C. J. Veenman, and A. W. M. Smeulders. Kernel codebooks for scene categorization. In European Conference on Computer Vision, October 2008.
Frank Nack [email protected] KBMS