비디오 인덱싱 및 비디오 시놉시스 방법 및...

5/28/2015 View Details < Patent < SEARCH KIPRIS(Korea Intellectual Property Rights Information Service)

http://engpat.kipris.or.kr/engpat/biblioa.do?method=biblioMain_biblio&next=biblioViewSub01&applno=1020097018271&getType=BASE 1/2

비디오 인덱싱 및 비디오 시놉시스 방법 및 시스템

Method and System for Video Indexing and Video Synopsis

(51) Int. CL

G06F 17/30(2006.01) G11B 27/28(2006.01)

G11B 27/034(2006.01)

(21) Application No.(Date) 1020097018271 (2009.09.01)

(71) Applicant

YISSUM RESEARCH DEVELOPMENT

COMPANY OF THE HEBREW UNIVERSITY OF

JERUSALEM LTD.

Translation submission Date (2009.09.01)

(11) Registration No.(Date) 1014566520000 (2014.10.24)

(65) Unex. Pub. No.(Date) 1020090117771 (2009.11.12)

(11) Publication No.(Date) (2014.11.04)

(86) Int'l Application No.(Date) PCT/IL2007/001520(2007.12.09)

(87) Int'l Unex. Pub. No.(Date) WO 2008/093321(2008.08.07)

(30) Priority info.

(Country / No. / Date)

미국(US) | 60/898,698 | 2007.02.01

미국(US) | 60/911,839 | 2007.04.13

미국(US) | 60/971,582 | 2007.09.12

Final administrative status Decision to grant (General)

Registration Status Registered

Trial Info

Kind/Right of Org. Application international Application /

Right of Org. Application No.(Date)

Related Application No.

Request for an examination(Date) Y(2012.12.07)

Number of examination claims 37

The synopsis video from the source video may be referred to each source object is the connected

sub set of the image point from at least 3 other frames of the source video it is selected as to

system and method for producing according to the restriction in which at least 3 other source objects is defined over one. It is

sampled by the using image points in which at least one synopsis objects are drawn from the specific time period with the

5/28/2015 View Details < Patent < SEARCH KIPRIS(Korea Intellectual Property Rights Information Service)

http://engpat.kipris.or.kr/engpat/biblioa.do?method=biblioMain_biblio&next=biblioViewSub01&applno=1020097018271&getType=BASE 2/2

time-sample from the selected source object. In the synopsis video about each synopsis object, each time for starting display

can be set and each color conversion for the synopsis object being displayed can be determined about each synopsis object

and each frame. Since the synopsis object selected on each time and color conversion the synopsis video is displayed it is

displayed. At the same time, at least 3 points which is drawn in the respective other time is displayed in the source video in the

synopsis video.

The video indexing, the video synopsis, and the synopsis object .

(19) 민 특허청(KR)

(12) 등 특허공보(B1)

(45) 공고 2014 11월04

(11) 등 10-1456652

(24) 등 2014 10월24

(51) 특허 (Int. Cl.)

G06F 17/30 (2006.01) G11B 27/28 (2006.01)

G11B 27/034 (2006.01)(21) 원 10-2009-7018271

(22) 원 ( ) 2007 12월09

심사청 2012 12월07

(85) 역 2009 09월01

(65) 공개 10-2009-0117771

(43) 공개 2009 11월12

(86) 원 PCT/IL2007/001520

(87) 공개 WO 2008/093321

공개 2008 08월07

(30) 우 주

60/898,698 2007 02월01 미 (US)

(뒷 에 계 )

(56) 사 헌

JP2004336172 A

JP2005210573 A

US20060117356 A1

(73) 특허

리 러 트 컴 니 브 브루니 시티 브 루살 엘티 .

엘, 91390 루살 , 에드몬드 . 사 트- , -

(72)

엘

엘 90805 트 시 34/8 트리트

리 야엘

엘 96771 루살 림 트리트 18

(뒷 에 계 )

(74) 리

복,

체 청 : 37 심사 :

(54) 비 싱 비 시 시 시

(57) 약

비 시 시 비 만드는 시 에 어 , 어도 3개 다 객체들

상 약에 택 고, 각 객체는 상 비 어도 3개 다 미

지 포 트들 연결 브 트 다. 상 시 시 객체들 특 시간주 도 미지 포 트

들 시간 샘 링에 각 택 객체 샘 다. 각 시 시 객체에 상 시 시

비 에 시 각각 시간 결 고 각 시 시 객체 각 에 상 시

시 객체 각각 컬러변 결 다. 시 시 비 는 각각 시간과 컬러

변 시 택 시 시 객체 어, 상 시 시 비 에 상 비

에 각각 다 시간에 각각 도 어도 3개 포 트들 동시에 다.

등록특허 10-1456652

- 1 -

도 - 도15

(72)

브-아차 알 산

엘 96757 루살 58 쿠보비 트리트

트만 아비탈

엘 84771 에 62/8 트 루살

(30) 우 주

60/911,839 2007 04월13 미 (US)

60/971,582 2007 09월12 미 (US)

등록특허 10-1456652

- 2 -

특허청

청 1

비 감시 에 생 실질 엔드리 비 트림 시 시 비 생 는

,

상 비 트림에 다 각각 시간 각각 도 어도 3개 포 트들 상 시 시 비

에 동시에 고, 같 시간에 도 어도 2개 포 트들 가 상 시 시 비 에

다 시간에 도 ,

상 비 트림에 어도 3개 다 객체들 실시간 객체 신 는 단계 ,

각각 객체에 간 포 상 객체 연 어 지 는 단계 ,

주어진 상 어도 3개 객체 브 트 택 는 단계 ,

시간 샘 링에 상 시 시 객체 각 택 객체 샘 링 는 단계 ,

상 시 시 비 에 시 각 시 시 객체에 각각 시간 결

는 단계 ,

시 시 객체 는 각각 시간에 각각 도 객체들 상 시 시

비 생 는 단계 포 고,

상 각 는 상 비 트림 어도 3개 다 들 미지 포 트들 연결 브

트 비 시 시 비 생 는 .

청 2

1 에 어 ,

상 시 시 객체 각 시 시 객체 상 시 시 비 에 각 에 각

각 컬러변 결 는 단계 ,

상 택 시 시 객체 는 각각 컬러변 에 도 객체 는 단계 포 는 엔드

리 비 트림 시 시 비 생 는 .

청 3

1 에 어 ,

상 객체들 는 경 객체 엔드리 비 트림 시 시 비 생 는 .

청 4

3 에 어 ,

상 객체 상 경 심리 비 (seamless video)에 티 (stitching) 는 단계 포 는 엔드리

비 트림 시 시 비 생 는 .

청 5

1 내지 3 어느 에 어 ,

객체가 상 에 택 고 트 능 각 시 시 객체 시

각각 시간 결 는 엔드리 비 트림 시 시 비 생 는 .

청 6


상 경 객체는 생 는 엔드리 비 트림 시 시 비 생 는 .

등록특허 10-1456652

- 3 -

청 7


상 시 시 비 에 각 객체는 상 각각 객체가 눈에 보 는 비 트림내 시간 그 트 가

리 는 엔드리 비 트림 시 시 비 생 는 .

청 8

7 에 어 ,

객체 택 상 택 객체에 지 상 비 트림내 상 시간 그 트가

게 는 엔드리 비 트림 시 시 비 생 는 .

청 9


상 시 시 비 에 어도 객체는 심볼에 상 비 트림내 당 객체

체 는 엔드리 비 트림 시 시 비 생 는 .

청 10


객체들 같 들 러 고, 상 시 시 비 는 어도 러 개

객체들 포 는 엔드리 비 트림 시 시 비 생 는 .

청 11


객체들 같 들 러 고, 어도 택 객체들 지 않는

엔드리 비 트림 시 시 비 생 는 .

청 12

7 에 어 ,

객체들 같 들 러 고, 객체 택 는 것 상 택 객체 동

객체만 포 는 비 시 시 가리 는 것 엔드리 비 트림 시 시 비

생 는 .

청 13


상 객체 택 는 것

상 시 시 객체 상 시 시 비 에 시티 트 계산 는 단계 ,

달 는 가능 에 가 운 상 트 가 고 는 시 시 객체 택 는 단계 포

는 엔드리 비 트림 시 시 비 생 는 .

청 14


상 어도 3개 비 첩 객체 택 는 단계는 사 상 객체

링 는 단계 특 시간 도우내에 타 는 객체에 객체 시 는 단계 포

는 엔드리 비 트림 시 시 비 생 는 .

청 15

등록특허 10-1456652

- 4 -


어도 3개 비 첩 객체들 택 는 단계는 심 어 결 는 단계 포 는 엔드리

비 트림 시 시 비 생 는 .

청 16

15 에 어 ,

상 심 어는 동 척도 엔드리 비 트림 시 시 비 생 는 .

청 17


상 시 시 비 는 비 트림내 든 심 객체들 포 는 엔드리 비 트림

시 시 비 생 는 .

청 18


상 시 시 비 에 타 상 비 트림내 심 객체들 개 는 상 시 시 비

시각 지 상 개 는 것 사 에 상 (trade-off) 는 엔드리 비 트

림 시 시 비 생 는 .

청 19


상 비 는 단 에 쳐 는 엔드리 비 트림 시 시 비 생

는 .

청 20

19 에 어 ,

고 에 상 단 지 는 것 포 는 엔드리 비 트림 시 시 비

생 는 .

청 21

20 에 어 ,

상 는 상 고 에 에 는 엔드리 비 트림 시 시 비

생 는 .

청 22


에 상 시 시 객체들 어도 공간 워 (warping) 는 것 포 는 엔

드리 비 트림 시 시 비 생 는 .

청 23


(a) 상 비 트림에 는 들 간에 미지 동 미 들 계산 는 단계 ,

(b) 고 객체들 안 비 트림에 지상태 타 도 상 비 트림에 는 상

비 들 워 는 단계에 안 비 트림 만들도 상 비 트림

사 는 단계 포 는 엔드리 비 트림 시 시 비 생 는 .

등록특허 10-1456652

- 5 -

청 24


감시 비 사 는 엔드리 비 트림 시 시 비 생 는 .

청 25


비 싱, 비 브 우징 비 검색 그룹 에 어도 사 는 엔드리 비

트림 시 시 비 생 는 .

청 26

25 에 어 ,

상 시 시 비 에 는 에 상 비 트림에 당 에 포 지 는 단

계 포 는 엔드리 비 트림 시 시 비 생 는 .

청 27

비 감시 에 생 실질 엔드리 비 트림 시 시 비 생

시 (10) ,

상 비 트림에 어도 3개 다 객체들 객체 연 어 지 는

객체 리(16)에 결 도 객체 택 (18) ,

특 시간주 도 미지 포 트들 시간 샘 링 여 각 택 객체

상 시 시 객체들 샘 링 상 객체 택 (18)에 결 시 시 객체 샘 러(20) ,

상 시 시 비 에 시 각 시 시 객체에 각각 시간 결

상 시 시 객체 샘 러(20)에 결 시간 택 닛(23)과,

상 비 내 다 각각 시간에 각각 도 어도 3개 포 트들 상 시 시 비

에 동시에 도 연 시 시 비 만들 상 택 시 시 객체 는 각

각 시간에 도 객체 티 상 시간 택 닛(23)에 결 는 티 닛(26)과,

상 시 시 비 상 티 닛(26)에 결 는 시 시 리(27)

비 고,

상 객체 각 객체에 간 포 고, 상 객체 택 (18)는

상 들에 어도 3개 다 객체들 택 도 , 각 는 상 비

트림 어도 3개 다 들 미지 포 트들 연결 브 트 엔드리 비

트림 시 시 비 만드는 시 .

청 28

27 에 어 ,

상 시 시 비 상 티 닛(25)에 결 닛(28) 비

는 브 트 엔드리 비 트림 시 시 비 만드는 시 .

청 29

27 는 28 에 어 ,

각 시 시 객체 각 에 상 시 시 객체 각각 컬러변 결

상 시간 택 닛(23)에 결 는 컬러변 닛(24)과,

택 시 시 객체 는 각각 컬러변 시 도 객체 티 상 컬러변 닛(24)에 결

는 티 닛(26) 비 는 엔드리 비 트림 시 시 비 만드는 시 .

등록특허 10-1456652

- 6 -

청 30

27 는 28 에 어 ,

사 들 게 도 상 객체 리(16)에 결 는 사 (17) 비 는

엔드리 비 트림 시 시 비 만드는 시 .

청 31

27 는 28 에 어 ,

에 객체 러 링 러 링 닛(19) 비 는 엔드리 비


청 32

27 는 28 에 어 ,

상 비 트림에 상 객체 검 쳐 비 처리 리-

(13) 비 고, 상 리- (13)는 상 객체 상 객체 리(16)에 결 도

는 엔드리 비 트림 시 시 비 만드는 시 .

청 33

32 에 어 ,

상 리- (13)는 상 비 트림에 비 사 닛(14)

비 는 엔드리 비 트림 시 시 비 만드는 시 .

청 34

33 에 어 ,

상 닛(14) 1 시 에 들 간에 미지 동 미 계산 고, 1 동 지

객체들 비 에 지상태에 도 상 1 시 에 는 비 들 워 도 는 엔드

리 비 트림 시 시 비 만드는 시 .

청 35

27 는 28 에 어 ,

상 생 는 상 시 시 비 에 시티 에 어도 객체 공간 워

워 닛(25) 비 는 엔드리 비 트림 시 시 비 만드는 시 .

청 36

27 는 28 에 어 ,

비 싱, 비 브 우징 비 검색 그룹 에 어도 는 엔드리 비


청 37

컴퓨 상에 실 시 1 내지 3 어느 컴퓨 그 드 단

비 는 컴퓨 그 컴퓨 독가능 매체.

청 38

삭

청 39

삭

등록특허 10-1456652

- 7 -

청 40

삭

청 41

삭

청 42

삭

청 43

삭

야

본 원 2006 11월 15 원 "Method and system for producing a video synopsis"[0001]

2007 5월 24 공개 WO 2007/057893( 브-아 (Rav-Acha) 등) 계 원 , 2007 2월 1

원 가 원 No 60/898,698; 2007 4월 13 원 60/911,839; 2007 9월 12

원 60/971,582 우 택 주 , 상 참 헌 든 내 본 에 참 포 어

다.

본 비 약 비 싱 야에 것 다.[0002]

경

[0003]

본 에 경 것 고 는 참 헌들 에 열거 어 상 내[0004]

들 본 에 참 체 어 다. 가 참 헌들 상 미 가 원 60/898,698;

60/911,839; 60/971,582에 언 어 고 상 내 들 본 에 참 체 어 다. 본 에

상 참 헌들 시 본 에 개시 본 특허 에 들 어 식 든 는 것

미 는 것 결 짓지 않아야 다. 각 참 헌 []에 포 시 []에

포 체에 걸쳐 언 것 다.

[1] A.Agarwala, M. Dontcheva, M. Agawala, S. Drucker, A. Colburm, B. Curless, D. Salesin, M. Cohen.[0005]

Interactive digital photomontage, In SIGGRAPH, 지 294-302, 2004

[2] Y. Boykov V. Kolmogorov. An experimental comparison of min-cut/max-flow algorithems for energy[0006]

mminimization in vision. IEEE Trans. on Pattern Analysis and Machine Intelligence, 26(9):1124-1137,

2004 9월

[3] S. Cohen. Background estimation as a laveling problem. In ICCV'05, 지 1034-1041, 워싱 DC,[0007]

2005

[4] A. Divakaran, K. Peker, R. Radhakrishnan, Z. Xiong, R. Cabasson. Video summarization using[0008]

mpeg-7 motion activity and audio descriptors. Technical Report TR-2003-34, MERL - A Mitsubishi

Electirc Research Laboratory, Cambridge, 사 , 2003 5월

[5] G. Doretto, Chiuso, Y. Wu, S. Soatto. Dynamic textures, Int. J. Computer Vision, 51:91-109.[0009]

2003

[6] M. Irani, P. Anadndan, J. Bergern, R. Kumar, S. Hsu. Efficient representations of video[0010]

sequences and their applications. Signal Processing: Image Communication, 8(4):327-351, 1996

[7] H. Kang, Y. Matsushita, X. Tang, X. Chen. Space-time video motage. In CVPR'06, 지 1331-[0011]

등록특허 10-1456652

- 8 -

1338, 뉴 , 2006 6월

[8] C. Kim J. Hwang. An integrated scheme for object-based video abstraction. In ACM Multimedia, [0012]

지 303-311, 뉴 , 2000

[9] S. Kirkpatrick, C.D. Gelatt, M.P. Vecchi. Optimization by simulated annealing, Science,[0013]

4598(13):671-680, 1983

[10] V. Kolomogorov R. Zabih. What energy functions can be minimized via graph cuts? In ECCV, [0014]

지 65-81, 2002

[11] Y. Li, T. Zhang, D. Tretter. An oveview of video abstraction techniques. Technical Report HPL-[0015]

2001-191, HP Laboratory, 2001

[12] J. Nam A. Tewfik. Video abstract of video. In 3rd IEEE Workshop on Mutlimedia Signal[0016]

Processing, 지 117-122, 겐, 1999 9월

[13] J. Oh, Q. Wen, J. lee, S. Hwang. Video abstraction. In S. Deb, editor, Video Data Management[0017]

and Information Retrieval, 지 321-346. Idea Group Inc. IRM Press, 2004

[14] M. Oren, C. Papageorgiou, P. Shinha, E. Osuna, T. Poggio, A trainable system for people[0018]

detection. In Proceedings of Image Understanding Workshop, 지 207-214, 1997

[15] M. Gangnet, P. Perez A. Blake, Poisson image editing, In SIGGRAPH, 지 313-318, 2003 7월[0019]

[16] C. Pal N. Jojic. Interactive montages of sprites for indexing and summarizing security video.[0020]

In Video Proceedings of CVPR05, 지 Ⅱ:1192, 2005

[17] R. Patil, P. Rybski, T. Kanade, M. Veloso. People detection and tracking in high resolution[0021]

panoramic video mosaic. In Int. Conf. on Intelligent Robots and System(IROS 2004), volume 1, 지

1323-1328, 2004 10월

[18] N. Petrovic, N. Jojic T. Huang. Adaptive video fast forward. Mutlimedia Tools and[0022]

Applications, 26(3):327-344, 2005 8월

[19] A. Pope, R. Kumar, H. Sawhney, C. Wan. Video abstraction: Summarizing video content for[0023]

retieval and visualization. In Signals, Systems and Computers, 지 915-919, 1998.

[20] A. Rav-Acha, Y. Pritch, S. Peleg. Making a long video short: Dynamic video sysnopsis. In[0024]

CVRP'06, 지 435-441, 뉴 , 2006 6월

[21] A. M. Smith T. Kandae. Video skimming and characterization through the combination of image[0025]

and language understanding. In CAIVD, 지 61-70, 1998

[22] J. Sun, W. Zhang, X. Tang, H. Shum. Background cut. In ECCV, 지 628-641, 2006[0026]

[23] Y. Weiss W.T. Freeman. On the optimality of solutions of the max-product belief propagation[0027]

algorithm in arbitray graphs. IEEE Transcations on Information Theory, 47(2):723-735, 2001

[24] X. Zhu, X. WU, J. Fan, A.K. Elmagramid W.G. Aref. Exploring video content structure for[0028]

heirachical summarization. Mutlimedia Syst. 10(2):98-115, 2004

[25] S. Peleg A. Rav-Acha, WO 2007/057893 "Method and system for producding a video synopsis"[0029]

[26] J. Assa, Y. Caspi D. Coher-Or. Action syopsis: Pose selection and illustration. In SIGGRAPH,[0030]

지 667-676, 2005

[27] Carsten Rother, Lucas Bordeaux, Youssef Hamadi, Andrew Blake. Autocollage. ACM Transcations on[0031]

Graphics, 25(3):847-852, 2006 7월

[28] Assem Agarwala. Efficient gradient-domain compositing using quadtrees. ACM Transactions on[0032]

Graphics(Proceedings of SIGGRAPH 2007), 2007

등록특허 10-1456652

- 9 -

[29] G. Brostow I. Essa. Motion based decompositing of video. In ICCV'99 지 8-13, Corfu, 1999[0033]

[30] J. Shi J. Malik, Normalized cuts and image segmentaion, IEEE Transactions on Pattern Analysis[0034]

and Machine Intelligence, 22(8):888-905, 2000

[31] O. Boiman M. Irani. Detecting irregularities in images and in video. In ICCV, 지 I: 462-[0035]

469, 경, 2005

[32] B.M. Carvalho, G.T. Herman, T.Y. Kong. Simulatneous fuzzy segmentation of multiple objects.[0036]

Discrete Applied Mathematics, Vol 151, No. 1-3, 2005 10월 pp 55-77

[33] G.T. Herman B.M. Carvalho. Mutliseeded Segmentation Using Fuzzy Connectedness. IEEE[0037]

Transactions on Pattern Analysis and Machine Intelligenece, v.23 no.5, pp. 406-474, 2001 5월

[34] A. Levin, A. Rav-Acha, D. Lishinski, Spectral Matting. IEEE Conf. on Computer Vision and[0038]

Pattern Recognition(CVPR), Minneapolis, 2007 6월

[35] N.E. Apostoloff A.W. Fiitzgibbon, Bayyesian video matting using learnt image priors. In[0039]

Proceedings IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR), 2004

6월, 워싱 DC.

본 경[0040]

우 비 (raw video) 집 통 는 시간 , 는 심 어 것 었는지 단[0041]

비 립 볼 가 다. 지루 업 개 비 집에 ,

감시 웹 (webcams)에 는 엔드리 비 (endless video)가 는 경우에는 가능

다. 루 24시간 시계(視界) 포착 는 만 개 웹 계 고 다. 에 만 도시 거리 고

는 만 개 감시 가 다고 보고 다. 많 웹 들 심지어 누 보도 통 공개

비 다. 많 보안 들도 상 , 공 다 공공 에 다.

웹 시 는 웹 원 편집 지 않 공 다는 것 다. , 감[0042]

시 비 는 결 주시 거 검사 지 않는다. 본 원 앞 참 헌 WO 2007/057893 [25]에 ,

다 원본 미지들 택 들 여 단 비 만드는 비 시 시 안

고 다. 비 립 시간에 시각 동 , 시간 압 짧 시간내에 러

립 약 시청 가능 진다. 택 들 사 에 다 들 건 뛰어 지는 빨리감 가 비

약에 사 는 가 공통 (tool) 다. 등과 같 매우 느린 과 비 만드는 빨리감

특별 경우 "시간 경과" 다. 빨리감 는 빠 린 들 에 빠 동 에,

빨리감 (adaptive fast forward) 개 었다[12, 18, 4]. 런 심도가 낮고 동 낮

주 들 킵 고 심도가 고 동 주 들 지 시도 다. 사 근

컨 비 가 타내는 쇼트 비 시 집 다[21].

비 약에 많 근들 시간 거 고 심 택 비 시[0043]

시 보여 다[8, 24]. 들 들 택 거 가지 에 택

다. 그러 , 비 동 상실 다. 비 약에 포 개 [11,

13]에 타 다.

상 양 근에 , 체 본 빌 블 들처럼 사 다. 다 비 싱 [0044]

타- 께 미지 사 다[6, 19, 16]. 경우 시 시 미지는 다 시간 객

체들 포 다.

비 시 시 에 객체 근 [20, 7]에 타 , 상 참 헌에 움직 는 객[0045]

체는 시공간 역에 다. 비 연 들에 걸쳐 객체(objects) 는 동(activities) 타내

는 미지 연결 " 브(tubes)" 다. 객체가 시공간량 브에 에, "객체"

" 브" 는 어는 에 상 게 사 다. 들 [20, 7] 다 시간 동

시 시 비 만드는 새 운 개 도 다(도 1 참 ).

객체 근 가 본 원 에 양도 WO 2007/057893[25]에 개시 어 , 상 참 헌에 [0046]

상 객체들 움직 보여주는 비 내 브 트가 얻어 진다. 동 에 객체

등록특허 10-1456652

- 10 -

비공간 첩 는 습 보여주는 브 트 택 들 다 들 비

시 에 감 개 들에 복 어 비 에 다 시간에 보여진 것처럼 객체 다

들 비 에 동시에 타 진다.

참 헌[20, 7]에 개시 근 연 가 강 지 않는다 많 동들 짧 비 보여질[0047]

다는 식 다. 감시 얻어진 엔드리 비 시 시 시 에 러

근 계 비 지 시간 는 편 그럼에도 고 드러진 상실

험 는 어 식 는 것 다.

특 비 없 집 는 감 개 가 격 가 다 , 비 싱, 검색[0048]

브 우징 진다. 비 싱 워드 비 동 주 (manual annotation)

, 시간 감시 에 비실 다. 비 는

시간 간격 택 다 비 싱 들 안 었다.

비 시 시 는 다루어지는 시간주 에 많 객체들 짧 시 시 비 에 타 싱, 검색 [0049]

브 우징에 다. 그러 , 다 많 객체들 동시에 타 에, 간단 시 시 비

검사 는 것 동 다.

US2006117356(마 트)는 체 비 내에 생 고 트들 식 브 우징 공 는

비 브 우 개시 고 다. 특 , 상 비 브 우 는 상 비 처리 비 체 주 내

에 생 고 트들 타내는 비 트(video sprite) 트 생 다. 들 고 트는

비 가 담 주 는 내에 생 컨 운동 트, 보안 트 는 다

트 타 포 다. 비 가 트 식별 처리 후, 상 트들 상 비

경 미지 열 어 식 비 몽타주 다. 식 비 몽타주는 단

에 비 내 생 든 트 타낸다. 상 몽타주내 트들 사 택 상

택 트들 식별 는 비 재생 는 동 비 몽타주내에 택 트들

동시 재생 게 다.

WO0178050( 지사(Inmotiion Technologies Ltd.))는 동 컨 포 사 트 보

(stroboscope) 시 얻 심지어 단 비 비 트 (footage)

시 개시 고 다. 시 는 사진 특 미지 는 동 재

지 는 비 시 에 타낼 , 어 경우 비 시 는 트 보 사진에

우 움직여 는 동 는 상 움직 는 객체가 경 복 들 동경

는 움직 는 듯 트 보 사진 간주 다. 다 들 컨 시계(視界) 는

다 시 비 사 다.

JP-2004-336172는 동시에 움직 는 객체들 간에 없 트 연 지 는 감시 비 단

는 시 개시 고 다. 연 지 는 것 실질 단 가능 다. 시

시 비 에 객체 본 시간 게 결 도 객체 는 어 안도 없다.

상

본 1 태양에 , 비 감시 에 생 실질 엔드리 비 트림[0050]

시 시 비 생 컴퓨 실 , 상 비 트림에 다 각각 시간

각각 도 어도 3개 포 트들 상 시 시 비 에 동시에 고, 같 시간에

도 어도 2개 포 트들 가 상 시 시 비 에 다 시간에 도 , 상 비

트림에 어도 3개 다 객체들 실시간 객체 신 는 단계 , 각각 객

체에 간 포 상 객체 연 어 지 는 단계 , 주어진

상 어도 3개 객체 브 트 택 는 단계 , 시간 샘 링에 상

시 시 객체 각 택 객체 샘 링 는 단계 , 상 시 시 비 에 시

각 시 시 객체에 각각 시간 결 는 단계 , 시 시 객체 는 각각

시간에 각각 도 객체들 상 시 시 비 생 는 단계

포 고, 상 각 는 상 비 트림 어도 3개 다 들 미지 포 트들 연

결 브 트 비 시 시 비 생 컴퓨 실 공 다.

본 2 태양에 , 비 감시 에 생 실질 엔드리 비 트림[0051]

등록특허 10-1456652

- 11 -

시 시 비 생 시 , 상 비 트림에 어도 3개 다 객체

들 객체 연 어 지 는 객체 리에 결 도 객체 택 ,

특 시간주 도 미지 포 트들 시간 샘 링 여 각 택 객체

상 시 시 객체들 샘 링 상 객체 택 에 결 시 시 객체 샘 러 , 상 시

시 비 에 시 각 시 시 객체에 각각 시간 결 상 시

시 객체 샘 러에 결 시간 택 닛과, 상 비 트림내 다 각각 시간에 각각 도 어

도 3개 포 트들 상 시 시 비 에 동시에 도 연 시 시 비

만들 상 택 시 시 객체 는 각각 시간에 도 객체 티 상 시간

택 닛에 결 는 티 닛과, 상 시 시 비 상 티 닛에 결 는

시 시 리 비 고, 상 객체 각 객체에 간 포 고,

상 객체 택 는 상 들에 어도 3개 다 객체들 택 도

, 각 는 상 비 트림 어도 3개 다 들 미지 포 트들 연결

브 트 비 시 시 비 만드는 시 공 다.

본 에 개시 비 시 시 는 비 브 우징과 검색 가능 게 고 다 특징들 싱 가[0052]

능 게 여 택 특징들 리 게 여 는 특 시간간격에 시간 진 게 는 비

시간 압 다. 본 실시 에 , 비 시 시 계 비

싱 , 싱 객체 는 동 택 고 단지 에 개개 객체 는

동 택 는 것 다. 차는 티 계 싱 가능 게 도 복 다.

본 고 는 비 시 시 타 가 도 1에 도시 시공간량 참 [25]에 [0053]

어 다. 비 는 지상에 걷고 는 사 시 고 비 동 주 후 새가 늘에 다. 비 동

비 약 에 생략 다. 비 시 시 는 실질 사 과 새가 동시에 움직 여

압 다. 는 다 동들 들 공간 에 생 지 않 본 시간간격에 다 시간간격

트 동 미지 역 사 게 다. 러 트 연

시 다. 사 들 본 에 는 도는 본 에 복 지 않 것

WO 2007/057893 참 . 태양에 는 WO 2007/057893 상 보여질 는 본

간략 고 시 지 않도 , 본 에 들 특징들만 상 것 다.

웹 과 감시 에 얻 비 에 런 원리는 많 가 들 포 다:[0054]

·어 도 지 않 에, 비 가 약 는 경우 트 " 시" 는 것 다.[0055]

· 경 습 비 에 , 가 , 낮에 실질 변 다. 들 변 는 시 시 경 만들[0056]

그리고 객체 경에 삽 결 어야 다.

·다 시간에 그리고 심지어 다 시간 경에 동들 동시에 타 에, 비[0057]

공 들 티 특별 주 가 어야 다.

· 량에도 고 사 질 에 빠 답 다.[0058]

비 시 시 는 감시 웹 가 브 비 트림 에 엔드리 비 약 볼 능 시[0059]

청 에게 공 게 다. 가능 게 , 시 시 는 브 비

드 보고, 심 트에 비 고 상 비 객체 다.

각 웹 에 상 심 객체, 객체 지 시간, 객체 습 열거 다.

시 에 답 질 는 질 는 "지 시간동안 쳐 웹 에 비 시 시 1 내 보고[0060]

싶다" 는 "지 주 시 시 5 내 보고 싶다" 등과 같 다. 러 질 에 답 여

심 트(" 브")가 주 집 고 시 시 비 에 어 블리 다. 시 시

비 는 각 객체가 본 시간에 포 포 에 본 비 에 다.

웹 비 가 엔드리 고 객체 개 가 지 않 , 각 웹 에 가능 량 [0061]

다. 객체 지 , 공간 고갈 객체 거 차

안 다. 객체 거는 가 객체들 검사 게 여 시 시 에 포 객체

택 지는 사 도 에 야 다.

본 내 청 에 , "비 " 는 어는 후처리에 는 컴퓨 미지 [0062]

등록특허 10-1456652

- 12 -

고 , 컨 , 지 , 아 그 단지 포 는 경우 가

어 " " 동 어 다. 는 직 게는 고 는 것 미 는 고 에

, 지 지 안 에 진 것처럼 평 동 지 않는다. 본 에 계 어도 시간

동 다.

본 사 는 시 시 비 만들 "시공간량" 언 는 만들어[0063]

진다. 시공간량 시간 든 차 미지 시

다. 그러 , 실 실 에 컨 동 2D 시간 실 시

공간량 드시 가 없 알아야 다. 보다 , 들 타겟

개별 진 , 개 보다는 리 것처럼 시공간량 미 는 것

에 도움 것 다.

실 시

동 브 산[0081]

각 객체 , 상 객체가 타 는 브 트 택 그 트가 생 다. 러 그[0082]

트는 택 다 샘 도 취 다 시간간격 타낼 다.

엔드리 비 시 시 만들 러 , 심 객체과 동( 브) 식[0083]

별 어야 다. 많 경우, 심 시는 간단 다. 움직 는 객체가 심 다. 많 에 심 시

객체 동 사 지만 도 주 어야 다. 는 늘 과 같 움직 지

않 다. 에 사 다 동 들 심지어 움직 지 않 도 다. 들 언

지 않지만, 객체 식( 컨 , 사 검 [14, 17]), 역동 직 [5], 는 특 동[31] 검 포

다. 다 객체 에 우 주는 비 시 시 간단 시 것 다.

경 [0084]

움직 는 객체 그 (segmentation) 가능 게 , 경 시 다. 짧 비[0085]

립에 , 경 습 변 지 않고, 체 립에 걸쳐 시간 앙값 다. 감시

경우, 경 습 변 , 경 객체들 변 시간 변 다. 경우, 각 시간에

경 각 후 간 시간 앙값 계산 다. 통상 4 에 앙값 사

다. 심지어 짧 시간 도우[3, 9] 에도 경 다 들도 가능 ,

앙값 다.

도 2a 내지 도 2d는 트가 트 공 에 는 감시 경 미지 도시 것 다. 도 2a 도[0086]

2b는 낮 미지 타낸 , 도 2c 도 2d는 타낸 것 다. 주차 동차들과 주차 비 들

경 가 다.

동 객체 타내는 시공간 브 계산 [22] 간략 다. 는 객체 만 [0087]

그 얻 단(min-cut)과 께 경 거(background subtraction) 여 진다.

[22]에 같 , 동 경계에 계가 것 같 에 경 그 언트 는 미지 그 언

트가 감쇠 다. 생 " 브"들 3D 시공간량 연결 들 들 그 언트는 간략

에 어 다.

B 재 경 미지 고, I 처리 재 미지 고 . V I에 는 든 트 고, N[0088]

I에 는 든 들 트 . 링 (f)는 (fr=1) 는 후 (fr=0) 미지내

에 는 각 (r)에 다. 링(f) 통상 에 지(Gibbs energy) 시

다[2]:

식 1

[0089]

여 E1(fr) 단색(unitray-color) 고, E2(fr,fs) (r s)들 간 (pairwise-[0090]

등록특허 10-1456652

- 13 -

contrast) , λ는 사 가 다.

, [22]에 안 공식 사 다:[0091]

식 2

[0092]

여 β=2<∥I(r)-I(s)∥2>-1는 가 고(<.>는 미지 샘 에 걸 ), drs는 경 그 언트[0093]

에 감쇠 미지 그 언트 다 과 같 주어진다:

식 3

[0094]

식에 , zrs는 과 후 사 상 (dissimilarity) 다:[0095]

식 4

[0096]

K σz는 미 , [22]에 안 같 각각 5 10 다.[0097]

단색 에 , dr=∥I(r)-B(r)∥ 미지(I) 재 경(B) 간 컬러 차 고 . (r)에 [0098]

(1)과 경(0) 트(cost)는

식 5

[0099]

, 여 , k1 k2는 사 계 다. 경험상 k1 = 30/255 k2 = 60/255가 본 실시 에 [0100]

다.

가 갖는 낮 계 사 지 않는 , 는 알고리 단계들 못 식별[0101]

들 강 게 처리 다. 같 , 시공간량 든 들 마

고 마 에 3D 상 창(morphological dilation) 다. 그 결과, 각 객체는 경 다

들에 러싸여 진다. 는 티 알고리 (stitching algorithm)에 에 사 것 다.

마지막 , 3D 마 는 " 동 브" 시 연결 들 그룹 다. 도 3a 내지 도 3d는 도 2 당[0102]

경에 " 랫" 게 도시 4개 브 도시 것 다. 브는 지상 차량에 것 ,

우 브는 쪽에 주 상 비 에 것 다. 도 4a 도 4b는 시간 다 어들

등록특허 10-1456652

- 14 -

단 에 사 "당 " 에 2개 브 도 시 시 도시

것 다.

각 브(b)는 특 다:[0103]

식 6

[0104]

여 B(x,y,t)는 경 미지에 고, I(x,y,t)는 미지에 각 , tb는 객체가[0105]

는 시간간격 다.

객체가 움직 는 그 에 다 들도 가능 다. 컨 , 진 그 에 , 미지내[0106]

든 는 객체에 거 객체에 지 않는 것 다. 객체에 십 등 미지내 각

에 당 는 그 지 않 다. 근 [32, 33, 34, 35]에 어

다. 지 연결 개 [33]에 어 다. 지 그 지 매 (Fuzzy matting) 고

[35], 다 경 객체들 삽 그 에 리 사 다[35]. 업에 , 든 객체는 진 처리

다. 그러 , 지 객체 직 다. 컨 , 트 (cost function) 든 들 계

들 지 십 값에 가 다. , 지 객체가 미지에 삽 는 경우, 십 값

과 허 "알 매 (alpha matting)"에 사 다.

브들 간 에 지[0107]

브들 간 상 에 지 다. 에 지는 에 동 갖는 편 돌 는 시 시[0108]

생 는 단계에 사 고 객체들 간에 첩 다. B 든 동 브들 트 . 각 브(b)

는 원 비 트림 tb=[tbs, tb

e]에 시간 그 트에 다.

시 시 비 는 비 에 본 시간 비 시 시 에 시간 그 트[0109]

시간 객체(b) 동시 는 시간 매 (M) 생 다. M(b)= 는 브

(b) 시 시 시간 동 타내고, b는 시 시 M(b)=Ø 맵 지 않는 경우 타낸다.

에 지 는 시 시 비 다:

식 7

[0110]

여 , Ea는 동 트(activity cost) , Et는 시간 트(temporal consistency cost) 고,[0111]

Ec는 돌 트(collision cost) , 는 에 어 다. 가 α β는 특 질 에

상 도에 사 가 다. 컨 , 돌 트 가 객체들 첩 는

비 가 다. 가 늘림 객체들 첩 없고 동 낮게 타 는 듬 비

가 것 다. β 변 시 얻 다 시 시 트에 가 도 10b에 주어 다.

동 브 후 트는 객체 트 체 다. 체 , [25]에 [0112]

같 근과 티 트(Stitching cost)는 식(7)에 돌 트(후

)에 체 다. 트는 심지어 들 습( 컨 2사 ) 사 도 2개 다 객체들

께 티 티 다. , "시간 " 트는 객체들( 는 브들) 간 시간 계

에 티 주는 것 다. 러 시 시 특징 트 는 가

들다.

등록특허 10-1456652

- 15 -

동 트[0113]

동 트는 동 갖는 시 시 다. 시 시 에 시간 맵 지 않는 객체들[0114]

에 티 다. 브가 시 시 지 않는 경우, , M(b)=Ø ,

식 8

[0115]

여 , χb(x,y,t)는 식(6)에 특 다. 각 브(b)에 , 브 맵 =M(b) [0116]

시 시 에 포 고, 식(8)과 사 게 동 트 , 상 시 시 에 들어가지 않

들만 동 트에 가 다.

돌 트[0117]

매 2개 " 동 " 브 들 간 든 상 시간 동에 , 동 단에 가 시공간 첩량[0118]

돌 트 다:

식 9

[0119]

여 는 시 시 비 에 b b' 시간 차 다. 컬러가 경과 사[0120]

에 낮 티 것 지만, 상 창 에 동 브에 가 다. 돌 트 Ec 가

변경 도 10b에 도시 같 시 시 비 에 객체 도가 변 다.

시간 트[0121]

시간 트는 트 연 보 는 어 (bias) 가 다. 연 보[0122]

강 상 갖는 브들에 다. 컨 , 는 사 상 시간

지 거 , 당 게 2개 사건 연 지 는 것 직 다. 그러 , 런 상 검

가 매우 어 다. 신, 후 같 상 시공간 거리에 각 브 들간 상 량

d(b,b') 다:

식 10

[0123]

여 , d(b,b',t)는 t에 b b' 가 가 운 동 간 리드 거리 고, σ공간[0124]

브들 간에 공간 상 결 다.

브 b b'가 시 시 비 에 공통시간 공 지 않고, b가 b'보다 시간에 맵 다 , 들[0125]

상 시간에 지 어든다:

등록특허 10-1456652

- 16 -

식 11

[0126]

여 , σ시간 트가 여 시간 상 갖는 것 간주 는 시간 는 미 다.[0127]

시간 트는 들 계가 는 경우에 티 객체들 간 시간 계 지[0128]

우 생 다:

식 12

[0129]

여 C는 시간 지 지 않는 트에 상 티 다.[0130]

에 지 [0131]

식(7) (15)에 에 지 는 단 브 는 브 들에 에 지 들 [0132]

에, 브리 게 (Brief Propagation)[23] 그 컷(Graph Cuts)[10]과 같 다양 MRF

에 다. 본 실 에 는 양 결과 심 러 티뮬 티드 어닐링 드

(simpler stimulated annealing method)[9] 사 다. 티뮬 티드 어닐링 브가 시 시 비 에

사 지 않는 특별 경우 포 든 가능 시간 맵 (M) 공간에 었다.

각 상태는 시 시 에 포 브들 브 트 고 웃 상태들 단 동 브가 거 거 시 시[0133]

에 맵 변경 는 상태 다. 상태 든 브들 시 시 비 동 상태

사 다. , 컴퓨 사 (computation) 가 시 , 브 시간 동 10 내

에 게 다.

엔드리 비 시 시[0134]

앞 언 같 , 루 24시간 시계(視界) 쳐 는 만 웹 과 감시 들 상 고[0135]

다. 들 는 어 가지 들 편집 지 않 원 공 다는 것

다. 컨 , 2시간 편 개 우 비 (raw video) 트 는 심지어 천 시간 만들

어진다. 편집없 , 웹 는 없다. , 다 에 보는 것 시차

비 동 시간동안에만 편리 다.

본 특징 시청 에게 에 공 브 비 트림 에 엔드리 비 [0136]

약 볼 는 능 공 웹 리 게 만드는 것 다. 사 는 주 동안 쳐

든 컨 시 시 5 내에 보고 싶어 다. 가능 게 , WO 2007/057893에 재

같 객체 시 시 , 엔드리 비 다루게 는 가 포 는 시

다.

시 에 , 는 브 비 드 보고, 심 는 트에 비 , 상 비[0137]

객체 다. 상 객체, 간, 습 각 에 열 다.

엔드리 비 시 시 상처리(two phase process)가 안 다:[0138]

1) 비 쳐동안 상(Online phase). 지는 실시간 진다.[0139]

·객체( 브) 검 과 그[0140]

·검 객체 객체 에 삽[0141]

·공간 계에 다다 경우 상 객체 객체 거[0142]

2) 사 질 에 시 시 는 답 상(Response phase). 지는 심 시간주 내 동량[0143]

에 걸릴 다. 지는 다 포 다:

등록특허 10-1456652

- 17 -

· 변 는 경 시간경과 비 는 것. 경 변 는 주 낮 차 야 , 움직 시[0144]

( 지) 는 객체 결과 다.

·시 시 비 에 포 브 택과 들 브 시각 는 시간 열 산 .[0145]

· 브 경 가간 비 (coherent video)에 티 . 동 다 시간 동들 동시에 그리고[0146]

다 시간 경에 타 고 야 다.

고 처리- 링 아웃[0147]

많 감시 들과 웹 들 주 에 걸쳐 동 보 지 않는 들 상 다. ,[0148]

런 시간주 에 당 는 들 통상 지 동안 다. 지 본 시간

각 과 께 다. 가지 실 , 들 2개 에 었다:(1) 커

(incoming frame)과 마지막 보 간에 차 곱 (sum of squared difference, SSD)에

에 변 . 체 에 진 변 에 변 . (2)

도우에 SSD에 움직 는 객체 재.

매우 간 갖는( 컨 , 1 미만) 움직 는 객체들 지 않다고 가 , 비 동 [0149]

에 단 만 다.

객체 [0150]

엔드리 비 처리에 어 주 는 새 운 객체가 도착 객체 "망각" 도 는 안[0151]

개 고 다. 가 동 폐 는 안 지 않는 , 사 가 체 주 객체

포 는 시간 간 약 얻고 싶 다. 신, 가능 미 질 에 각 객체

도 평가 고 에 객체 폐 는 다 안 안 다.

시공간량 브 든 검 객체들 사 질 는 에 다. 객체가 상 에[0152]

삽 , 동 트( 식(8))가 시 시 비 미 가 계산 다. 웹 에

생 비 가 엔드리 에, 아마도 어느 시 에 당 공간 고갈 것 고 객체들 상

거 어야 것 다.

객체( 브) 거시, 시 시 에 가 게 포 것 같 객체 거 는 것 낫다. 본 실시[0153]

에 , 계산 는 3가지 간단 , , " 도"( 동), " 돌 가능 ", "에 지(ag

e)" 사 다. 그러 , 컨 , 특 태 동에 심 는 경우, 다 택들도 가능 다.

객체 도에 가능 단 식(8)에 같 특 다.[0154]

사 질 에 돌 트가 계산 없 에, 내에 공간 동 포 브 돌[0155]

트에 평가가 루어진다. 공간 동 각 공간 에 1 도 규 든 객체들

동 들 미지에 다. 사공간 동 포는 각 개개 객체에 계산 다( 에는

규 지 않 ). 들 2개 동 포간 상 계는 객체에 "가능 돌" 사 다. 도 5a 도 5b

는 도 2에 도시 공 에 동 공간 포 타낸 것 , 여 강도(intensity)는 동값 그

(log) 다. 도 5a는 단 브 동 포 타낸 것 고, 도 5b는 든 브들에 평균 타낸

것 다. 상 는 같 , 가 동 동차 통 주 에 다. 브들 가능 돌

동 갖는 지역에 다.

시 시 에 객체 포 고 여, 객체 거 착 여러 가지 가능[0156]

근들 다. 컨 , 사 는 새 운 트에 는 심 지만 경우

트에 겨 다. 안 , 시 시 는 매 시간간격 균 가 야 다. 컨

, 24시간 시 시 에 사 는 가능 다 각각 매 시간 객체 보는 심 다.

첫 째 근 에 는 객체 도가 객체 에 지에 지 어들어야 다고 가 [0157]

다. 컨 , 에 지 리 시간간격 누 , t' 간격에 객체 개 (Nt)는

등록특허 10-1456652

- 18 -

식 13

[0158]

에 비 야 , 여 σ는 감쇠계 고, K는 에 객체 개 어 결 다. 객체가[0159]

거 어야 는 경우, 각 시간간격(t)에 객체 개 는 Nt에 비 다. 집단 Nt 과 는 시

간간격(t) 객체들만 동 트 가능 는 돌 평가 것 다. 동과 돌

갖는 객체는 거 것 다.

에 도달 객체 시간 포 가 도 6에 타 , 29시간에 걸쳐 도 2 공 에 움직 는[0160]

객체 개 에 것 동 시간 포 그 도시 것 다. 주 동안 1,920개 객체

가 다. 에 객체 지 감쇠 감쇠 지 에 곱 진 도착 포에 비 는 에 지 포가

게 다.

시 시 생[0161]

객체 는 " 는 동안 1 시 시 갖고 싶다" 같 질 통 다. [0162]

비 주 시 시 가 , 시 시 비 는 4개 동 , , (ⅰ) 경

비 생 (ⅱ) 상 경 비 가 후, 시 시 에 각 객체 각 가능 간에

트 계산 (ⅲ) 에 지 단계가 브(시공간 객체)가 시 시 에 그리고 언 타 는지 결

(ⅳ) 택 브들 시 시 얻 경 시간경과 결 는 것 생 다. 들 동

에 어 다. 객체 에 본 비 뺌 질 에 빠 답 가능

다.

사 질 후, 시간주 객체들만 갖는 째( ) 객체 가 생 다. 빠 [0163]

가능 게 , 에 매 2개 객체들 간에 식(9) 돌 트가 미리 계산 다.

시간경과 경[0164]

시 시 비 경 동 브 시 시 에 가 에 생 시간경과 경 비 다. 경 비[0165]

는 2가지 과 가 다:(ⅰ) 시간에 걸 경변 ( 컨 , 낮 등) 타내야 다; (ⅱ) 동 브

경 타내야 다. 동 브 경 타내는 것 경 비 가 컨 시간 시 고

동주 만 가 지 에 들 2개 들 상 다.

2개 시간 포 (ⅰ) 도 6에 도시 같 비 트림 시간 동 포(Ha) (ⅱ) 균 시간[0166]

포(Ht) 상 계(trade-off) 결 다. 2개 시간 포 λ·Ha + (1-λ)·Ht 내

삽 째 시간 포 계산 , 여 λ는 사 가 가 다. λ=0 경 시간경과

비 는 동에 게 시간 균 λ=1 경 시간경과 비 는 동주 만 경 포

것 다. 개 0.25<λ<0.5 사 다.

내삽 시간 포에 시간경과 경 비 에 경 들 택 다. 매 2개 택 경 [0167]

들 간에 그 같도 택 진다. 많 들 동시간 간에 택 는

비 동 주 들 시 다.

안 , 경 경 체 고, 객체들 경 에 것 다.[0168]

경과 [0169]

움직 는 객체 그 가 지 않 에, 사 태 갖는 경 미지들에 브들[0170]

워 는 것 다. 새 에 지 Eb(M) 가 경 에 브가 고 다.

객체 시간경과 경에 시티 는 트 단 것 다. 공식 , 맵 브

( ) 컬러 값 고 Bout(x,y,t) 시간경과 경 컬러값 . 그러 다 과 같 고

등록특허 10-1456652

- 19 -

식 14

[0171]

여 , σ( )는 맵 동 브( ) 경계에 는 들 트 고 tout 시 시 간 다.[0172]

트는 각 브가 ( 동 마 상 창 ) 본 경 에 러싸 는 것

다.

식(14)에 경 식(7)에 에 지 에 가 어 다 과 같 주어진다:[0173]

식 15

[0174]

여 , α,β,γ는 질 에 사 택 가 다.[0175]

시 시 비 티[0176]

다 시간 주 브 티 ([1, 16]과 같 ) 에 다. 꺼 에 든 [0177]

브 티 다 객체들 컬러들 , 는 직 지 못 과 다. 다

객체들 간에 보 는 객체 경 간 매만 거 는 것 낫다. 객체들

그 결 , 그 비 실 다. 신, 각 브 경계는

동 브가 생 는 상 창 경 다.

[27]에 안 알 아 미지 블 (α-Poisson Image Blending) 객체들 간 티 에 양 [0178]

안 , 경에 객체 티 아 에 (Poisson Editing)[15]처럼 지는 않다. 안

근 든 객체들 ( 변 지) 사 경 갖는 찰 여 시간경과 경에 게 브

티 는 것 다. 블 가능 본 원 아 에 변 다: 다

상태 경 미지에 티 었 도 객체 본 습( 컨 , 시간 경 에 티 낮동안 본 사

들) 보 는 규 (regularization) 가 다.

경에 어 객체들 비 에 당 객체 그 동 가 없는 것에 야 다.[0179]

컨 , 시 시 비 에 어도 객체는 객체 공간 감싸거 심볼 는 아 에

비 에 당 객체 체 다. , 객체가 시 시 비 에 가 는 경

우, 객체 값 경값 드시 체 가 없다. 새 값 과 만드는 경과 객체 평균

다.

Ω 경계∂Ω 갖는 미지 . f,b 객체( 브) 경(시간경과) 컬러 고 고, s Ω[0180]

내 에 걸쳐 티 객체 미지 값 . 규 에 포아 블 결과는

식 16

[0181]

주어지 , 여 λ는 규 가 다. [28]에 , 그 언트 도 에 티 매우 [0182]

질 타났다.

각 브 경에 시티 후, 각 동 에 비 는 가 가지 시티 동[0183]

브( ) 당 가 평균 게 브 첩 께 블 다. 안 , 가 평

등록특허 10-1456652

- 20 -

균 신 동 갖는 취 도가 지 다.

"객체 브"가 사 고, 경우 가 운 브가 다 브 가 막는다. [0184]

직 미지 가 낮 객체가 가 운 것 가 간단 "지평 " 견 습(heuristic)

사 다. 다 매 는(depth ordering) [29] 포 다. 객체 가림(object

occlusion) 경우 빈도는 다 트에 ( 러 경우 지 는) 돌 트 상 가 에 다.

싱[0185]

시 시 계 비 싱 감시 경우에 처럼 엔드리 비 도 비 컨[0186]

타내고 브 우징 는 컴 트 고 운 공 는 것 다. 도 7 시 시 계

비 싱과 검색 개 도시 것 다. 시 에 컨 "마지막 시간", "마지막 36

시간" 등 싱 는 비 가 미 택 것 가 다.

안 , 비 가 고 동/ 객체들 비 에 어 상 비[0187]

객체 생 다.

싱 째 단계에 객체는 러 링 사 객체 러 트들에 러 트 다.[0188]

러 러 링 가능 든 객체 들 간에 사도 단 도(

사도) 매트릭 는 것 다.

객체들 간 도( 사도)[0189]

객체들 간 도 단 객체 시 간 들 간 상 계 포 에 지 않는 다양 특징들[0190]

다. 사도 단 , 비 시공간 에 3D 브 객

체들 공통 시 에 곡 고 가능 다 극복 도 공간 시간

다. 러 곡 비 다양 변 에 객체 시공간 에 변 사도 단

에 다. 사 동 경 가지 비 에 다 에 는 사 객체들 본 습

원근 과 다 도 사 것 간주 것 다. 가 도 단 객체 태, 는

컬러 당 야에 알 진 다 많 가능 사도 단 다.

러 링[0191]

단 도 매트릭 가 후, [30]과 같 러 링 각 객체 당 는 사[0192]

다. 러 링 " 규 " 객체 동 식별 는 도움 주 사

주 는 것 다. 어느 러 트 지 않는 객체는 "고 " 는 " 규 " 것

심 고 후 는 시 시 생 에 특별 마킹 시각 다.

주차 에 24시간 비 시 객체에 러 동 러 링 가[0193]

도 8에 도시 어 다. 도 8에 사 6개 들에 6개 , , (ⅰ) 우 걸어가는 사 ; (ⅱ)

걸어가는 사 ; (ⅲ) 건 걸어가는 사 ; (ⅳ) 우 동 는 동차; (ⅴ) 동

는 동차; (ⅵ) 주차 에 들어 거 가는 동차 객체들 도시 어 다.

안 , 러 링 사 어, 어 객체가 어 에 는지에 어 운 단[0194]

는 신 가 각 객체 다 에 다. 는 계 싱 에 사

다. 컨 , 객체는 들 에 맞는 다 상 연계 다. 규 동

다 에 는 실질 같 갖는 객체에 진 것 검 경우에도 사

다.

계 [0195]

러 가 결 고 객체가 러 트 그룹 , 싱 계 비 시 시 시 집[0196]

러 링( 러 -SFC 시 시 ) 생 다.

가능 싱 계 "톱 시 시 ", , 각 러 가지 것 포 시 시 비[0197]

사 에게 타낼 다. 컨 도 8에 도시 러 , "톱 " 시 시 는 우

동 는 동차, 동 는 동차, 우 걸어가는 사 , 걸어가는 사 등 각

객체 타낼 다. 시 시 단 도 9에 볼 , 상 도 에

는 다 러 들 그림 동시에 타 다. 사 는 "톱 " 시 시 에 객체 택

등록특허 10-1456652

- 21 -

객체 체 택 다. 택 택 러 에 객체만 타낸 시 시 비

사 에게 타 게 다.

톱 시 시 는 본 비 에 각각 객체 는 동에 얻 액티브 싱 [0198]

(interactive indexing tool) 사 다. 사 가 특 러 는 러 집 택 ,

계 내 다 시 시 가 다. 러 시 시 는 들 러 많 들 는 심지어

든 객체들 포 게 다. 단계에 사 는 그 객체 특 고 비 에 본

시간에 얻 다. 각 에 객체가 많 고 쇼트 시 시 만들 어 운 경우, 많 계

에 가 여 각각 본 러 다 브 러 만들 다. 컨 , "우 동 는

동차" 러 택 트럭과 단 2개 브 러 만들 다. 경우 본 객

체들 갖는 시 시 보여주는 검색 결과 얻 에 브 러 들 택 는 것

것 다.

러 근 매우 빠 검색과 시각 질 고 본 비 에 든 객체 동 시간[0199]

에 도달 게 는 매우 비 에 싱 공 다.

[0200]

담 비 트림에 비 시 시 트 다. 통 지[0201]

않고 들 주 어지 에, 시간 웃 사 마다 개 는게 아니 각

시간 사 다.

도 10 도 12는 고 야 에 것 , 도 11 갖는 고 실내 에 [0202]

것 다. 에 각 브 주 " 심" 동 는 개 다.

도 10a 도 10b는 비 시 시 에 객체 도 돌 트 택 과 도시 것 다. 도 10a는 [0203]

트가 트 공 에 24시간에 걸쳐 쳐 비 20 시 시 도시 것 다. 도 10b는

트 에 " 돌 티" 실질 객체 도가 가 어 객체들 간 첩 많 가

능 게 는 것 도시 것 다. 도 12는 우 에 태 도시 것 다. 도 12a에 , 규 트

능 사 었고 객체( 동 는 동차)들 우 었다. 도 12b에 는, 다 보 동 타

내는 고, 검 객체들 우 었다. 도 11 당 럽에 9시간에 걸쳐 쳐 비 쇼트 시 시

도시 것 다. 시 시 에 블당 다 어들 주 .

맞 식 에 지 [0204]

경우 든 객체들 심 는 것 아니다. 통감시 는 동차에만 심 는 , 다[0205]

애 리 보 우 다. 객체 링 여러 에 질 다. 객체들 에

들어 에 고 경우 객체들 결 검색 없게 다. 안 , 객체는 에 단계에 만

다. 경우 는 든 객체들 포 것 , 다 들 다 객체들

다. 각 애 리 에 맞 식 에 지 만들 다.

맞 간단 가 도 12b에 도시 어 , 상 도 에는 단지 고 어 운 체들 에[0206]

택 었다. 본 시 시 는 주 동차 포 , 새 시 시 는 주 보 포 다. 다 가

도 13에 도시 어 , 상 도 에는 동 는 객체들 춰 경 가 어 다. 도 13a는 주

차 감시 는 웹 에 5시간에 걸쳐 쇼트 시 시 도시 것 다. 가

상 ( 컨 , 춰 경 동 는 객체들)에 주어진다. 비 시 시 는 주 주차 에 여 동

차들 포 다. 도 13b는 상 없는 객체들 는 다 시 시 도시 것 단지 지 가는 동

차 보 들만 타 다.

시 시 사양[0207]

비 시 시 지 시간과 질 특 가지 안 다.[0208]

(a) 사 가 비 시 시 지 시간과 객체 돌에 티 특 게 . 경우, 단[0209]

계는 상 특 약 에 시 시 에 포 는 동량 극 것 다.

(b) 사 가 비 비 시 시 지 시간과 상 지 시간에 포 동 트 특 게 [0210]

. 단계는 상 특 약 에 돌 갖는 비 시 시 생 것 다.

등록특허 10-1456652

- 22 -

(c) 사 가 상실 객체 허 트 객체 돌 티 특 게 . 단계는 상 특 약[0211]

에 시 시 지 시간 것 다.

본 실험에 는 (a) , 상 비 시 시 지 시간 강 약 사 에 결[0212]

었다. 객체들 시 시 에 타 것 감시 비 는 (b),(c)

다.

객체 도변[0213]

빨리감 는 비 약에 사 는 가 통상 체 에 상 어 다. 컨 , "시간경[0214]

과" 비 는 등과 같 쇼트타 슬 우 (short time slow process) 다.

재 빨리감 [12,18,4] 안 고 , 여 체 에 다. 비

시 시 들 각 객체는 신 는 객체 본 도 신 "빨리감 " 가질 다.

느린 객체는 가 , 빠 객체는 가 지 않 다. 안 , 빠 객체는 게 보

느 질 다.

객체 도변 는 간단 식 , 들 , 든 움직 는 객체들 균 도 만들게 는 식 [0215]

질 다. , 느린 객체는 도가 여지고 빠 객체는 느 질 것 다. 안 , 객체 도변 는

객체 도변 에 가지 티 주 단계 동안 결 다. 상 단계에 객체

도변 가 복 도 가 시 시 비 시간 압 상

다.

객체 도변 는 택 시간주 에 객체 샘 링 질 다. 택 시간[0216]

주 개 가 브에 개 보다 경우, 과는 객체 도가 빨 진다는 것 다. 택

시간주 개 가 브에 개 보다 많 경우, 객체 도가 느 진다. 택 시간주 가

에 게 지 않는다 , 시간 가 가 운 웃 에 는 웃 택

시간에 내삽 다. 가능 내삽 사 다.

경 경 상 [0217]

상 는 움직 는 객체가 지 거 경과 께 병 는 지 객체가 동 시 생 다.[0218]

들 주차 에 주차 거 가는 동차들 다. 경우 상 는 트 단계에 사

각 상 검 고 시 다.

브 시 과 에 당 는 경 변 살펴 상 찾 다. 들 는 경 변[0219]

에 다. 상 는 경 변 에 당 에, 경에 상 티 는 것 특별

도가 어야 다. 상 가 경에 시에 삽 지 않 경우 2가지 과가 시 시 비 에 생

다. (ⅰ) 경객체가 아 런 없 빡 과 타 고 사 질 것 다. (ⅱ) 움직 는 객

체가 움직 경 가 보다는 사 질 것 다. 비 시 시 에 런 과

, 상 가 본 시간에 당 는 시간에 시간경과 경에 삽 어야 다.

시 드웨어[0220]

도 14 참 , (11)에 쳐 비 시 시 생 본 에 시[0221]

(10) 블 도가 도시 어 다. 시 (10) 각각 x,y,z 에 복 들 포 는 어

도 객체 동 보여주는 1 비 비 브 트 비 리

(12) 포 다. 리- (13)가 쳐 비 처리 다. 리- (13)는 비

사 (14) 포 다. 경우, (11)가 (14) 결 어 비

리(12)에 사 비 게 다. (14)는 비 에 는 들 간 미

지 동 미 계산 고, 상 미지 내 고 객체들 비 에 고 도 상 비 에

는 비 들 워 (warping) 동 다.

리- (13)는 비 내 객체들 검 는 객체 검 (15) 포 고 객체 리(1[0222]

6)내 검 객체들 시 다. 상 같 , 객체가 에 삽 , 시 시 비 미 가

시 객체 동 트( 식(8))가 계산 , 리- (13)에 진다. 리-

(13)는 엔드리 비 시 시 만들 사 에 결 타 것 알

아야 다. 본 에 시 시 비 만들 객체 객체

등록특허 10-1456652

- 23 -

리(16)에 결 도 리- (13)가 없는 시 고 다. 러 시 후

는 같 도 14에 지 들에 다.

, 사 (17)는 사 들 게 객체 리(16)에 결 다. 러[0223]

컨 약 비 내 시간 도우 사 다. 시 시 비

지 시간 는 사 다. 사 (17)는 싱 객체 는 객

체 택 는 사 다. 본 실시 들 사 (17) 지 않는 경우

에 들 다.

객체 택 (18)는 사 는 시 에 폴트 에 도 3개 다[0224]

객체들 브 트 택 객체 리(16)에 결 다. 각각 다 객체는 비

어도 3개 다 들 미지 포 트들 연결 브 트 다. 러 링 닛(19) 사

(17) 사 에 는 에 객체 러 링

객체 택 (18) 택 결 다. 시 시 객체 샘 러(20)는 컨 택 들

도 미지 포 트들 시간 택에 각 택 객체 상 시 시 객체

샘 링 공 경우 객체 택 (18)에 는 러 링 닛(19)에 결 다. "샘 러"는 개개

객체들 도 꾸는 사 다. 생 (21)는 단지 택 러 들만 시 시 비

에 포 게 는 러 택 (22) 포 다. 생 (21)는 시 시 비 에

시 각 시간 각 시 시 객체에 택 시간 택 (23) 포 다.

생 (21)는 각 시 시 객체 각 에 시 시 객체 각각 컬러 변

택 컬러 변 닛(24) 포 다. 택 , 생 (21)는 시 시 비 에 시티

에 공간 워 워 닛(25) 포 다. 본 청 내 에 , "워

" 어는 객체 공간 편집 포 는 것 도 어 다. 상 같 , 는

과 같 다 객체에 체 객체 체 는 것 포 다; 는 시 시 비 에 티

에 객체에 약간 는 것 포 다. 생 (21)내 티 닛(26)

연 시 시 비 생 택 컬러변 시 시 객체 티 다. 시 시 비

닛(28)에 연 처리 는 특 시간 컬러 변 시간 동

객체 는 리에 시 시 리(27)에 다.

시 (10) 실 그 드 는 워 주변 갖는 게 그 컴퓨 에[0225]

, 가 당 야에 알 다.

도 15는 본 실시 에 시 (10)에 주 동 도시 도 다.[0226]

결[0227]

객체 시 시 는 컨 감시 에 엔드리 비 트림 시 시 쇼트 비[0228]

만드는 사 다. 2가지 상 포 다. 실시간 는 상에 , 비 트림

고 심 객체가 경 검 고 그 트 다. 운동에 객체 심 능 , 객체

검 , 식 그 다 근 " 브", , 각 객체 3D 시공간 생

사 다.

리는 비 매체 간 갭 고, 사 에 빠 답 가능 게 는 다.[0229]

가득 찬 후, 어 객체가 거 어야 지 단 는 여러가지 사 었 , 다 도

가능 다. 심지어 거 객체 택 게 다.

째 상 사 질 가 주어진 후에 생 다. 브 트는 심 주 고 객체 브[0230]

가 비 시 시 만들 (시간 동에 ) 열 다. 계산 는 단계

는 비 시 시 사 에게 달 다.

가지 매우 심 는 태양들 경에 주 에 계 다. 낮- 주 는 특 검 에 다. [0231]

경우 낮 단 시 시 에 취재 , 시간경과 경 루만 는 , 동

든 에 것 다. 는 질 시 는 사 에게 주어진 택 어야 다.

진 그 에 특별 경우가 아니 , " 미지 포 트"들에 언 내삽 는 지 그[0232]

과 같 비 진 그 에 결 는 것 미지 포 트들 포 도 도 어

등록특허 10-1456652

- 24 -

것 다.

비 가 (monochrome) 경우 컬러 변 닛 티 에 택 시 시 객체에 [0233]

그 변 단 는 사 어야 다. , 청 내

에 , "컬러" 는 어는 RGB에만 는 것 아니 도 도 고 다.

컬러 는 그 변 티 에 택 시 시 객체에 는 변 단지 타[0234]

것에 주 야 다. 상 같 , 는 경 실 지 시간에 걸

비 시 시 비 생 시 특별 다. 그러 , 시 시 비 가 경색 시간 도

우동안 비 도 다.

본 에 시 게 그 컴퓨 것 다. 마찬가지 , 본 본[0235]

실 컴퓨 에 독 는 컴퓨 그 고 다. 본 본

실 에 실 는 그 는 계 독가능

리 고 다.

산업상 가능

본 상 내 에 포 .[0236]

도 간단

본 고 실 어떻게 는지 알 첨 도 참도 단지 비 실[0064]

시 들 어 다.

도 1 시간 겨진 쳐(feature)들 동시에 시 압 비 시 시 만들 [0065]

근 타낸 도 다.

도 2a 내지 도 2d는 다 시간에 트가 트 공 에 감시 경 미지 도시 것 다.[0066]

도 3a 내지 도 3d는 도 2a 내지 도 2d 당 경에 " 랫(flattened)" 게 타 4개 브들[0067]

도시 것 다.

도 4a 내지 도 4d는 "당 " 에 2개 브 도시 것 다.[0068]

도 5a 내지 도 5d는 도 2에 도시 공 에 동 공간 포 도시 것 다.[0069]

도 6 움직 는 객체 개 도 2에 도시 공 에 동 시간 포 그 도시 것[0070]

다.

도 7 본 실시 에 시 시 계 비 싱과 검색 도시 블 도 다.[0071]

도 8 도 12에 도시 주창 감시 비 에 타 컬러 링 객체들 결과 도시 것 다.[0072]

도 9는 다 러 들 사진들 동시에 타 도 13에 도시 주차 비 싱 계 에 " 상[0073]

시 시 " 도시 것 다.

도 10a 도 10b는 트가 트 공 에 24시간에 걸쳐 쳐 비 시 시 도시 것[0074]

다.

도 11 당 럽에 9시간에 걸쳐 쳐 비 에 취 3개 만들어진 시 시 [0075]

도시 것 다.

도 12a 도 12b는 트 그에 룻 동안 쳐 비 만들어진 시 시 도시 것[0076]

다.

도 13a 도 13b는 주차 5시간에 걸쳐 찍 웹 만든 시 시 도시 것 다.[0077]

도 14는 본 에 시 주 능 도시 블 도 다.[0078]

도 15는 본 에 주 동 도시 도 다.[0079]

도 에 들 도시 비 시 시 들 비 가 보여진다. 들[0080]

등록특허 10-1456652

- 25 -

http://www.vision.huji.ac.il/video-synopsis/에 다.

도

도 1

도 2a

도 2b

등록특허 10-1456652

- 26 -

도 2c

도 2d

도 3a

도 3b

등록특허 10-1456652

- 27 -

도 3c

도 3d

도 4a

도 4b

등록특허 10-1456652

- 28 -

도 5a

도 5b

도 6

등록특허 10-1456652

- 29 -

도 7

도 8

도 9

등록특허 10-1456652

- 30 -

도 10a

도 10b

도 11

도 12a

등록특허 10-1456652

- 31 -

도 12b

도 13a

도 13b

등록특허 10-1456652

- 32 -

도 14

등록특허 10-1456652

- 33 -

도 15

등록특허 10-1456652

- 34 -

비디오 인덱싱 및 비디오 시놉시스 방법 및...

Documents