موزاییک بندی تصاویر ویدیویی

56
1 ي ي و ي د ر وي ي صاو ت دی ن ب ک ن ب ا وز م ي ي سا ک ره ه% ش ر کت ما : د ن هد زا ا ن س ا ده ن ه ه د ازاي ری ق ا ی ي ب ت ج م: Video Mosaicing

Upload: catalogsara

Post on 20-Jun-2015

325 views

Category:

Education


10 download

DESCRIPTION

Video mosaicing is the process of effectively expanding the visual field of view of a scene by combining several partially viewed images captured from the scene, in a single broad view. Video mosaicing has been an active research topic in the fields of video processing, computer vision, and computer graphics. It can be used in many different applications such as video compression, surveillance, and indexing. In a video mosaicing process, the video data is transformed from its sequential and redundant frame-based representation (in which the information about the scene is distributed upon many frames), to an explicit and compact scene-based representation.

TRANSCRIPT

Page 1: موزاییک بندی تصاویر ویدیویی

1

موزاييک بندی تصاوير ويديويي

استاد راهنما : دکتر شهره کسايي : مجتبی باقري ارايه دهنده

Video Mosaicing

Page 2: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 2

عناوين مورد بحث

مسايل مهم در موزاييک مسايل مهم در موزاييک بنديبندي

2

کاربردهاي موزاييک بندي کاربردهاي موزاييک بندي تصاويرتصاوير

3

مراحل موزاييک بندي مراحل موزاييک بندي تصاويرتصاوير

4

بررسي روشهاي موجودبررسي روشهاي موجود 5

مقدمه و تعريف مسالهمقدمه و تعريف مساله 1

روش پيشنهاديروش پيشنهادي 6

نتايج تجربي و راهکارهای نتايج تجربي و راهکارهای آتیآتی

7

Page 3: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 3

تعريف موزاييک بندي تصاوير

ديدتصاوير يك دوربين با هفرآيندي كه در آن زاوي محدود از يك ديدتركيب چندين تصوير با نماي

.يابد‌صحنه مشترك افزايش مي

.از بين بردن مرز تصاوير سازنده موزاييکبندي شده حاصل، كمترين انحراف ‌تصوير موزاييك

.دهنده داشته باشد‌ممكن را از تصاوير تشكيل

ديدتصاوير يك دوربين با هفرآيندي كه در آن زاوي محدود از يك ديدتركيب چندين تصوير با نماي

.يابد‌صحنه مشترك افزايش مي

.از بين بردن مرز تصاوير سازنده موزاييکبندي شده حاصل، كمترين انحراف ‌تصوير موزاييك

.دهنده داشته باشد‌ممكن را از تصاوير تشكيل

View‌1 View‌2

Mosaic‌Image

Page 4: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 4

فرآيند موزاييک بندي تصاوير ويديويي

نمايش مبتني بر نمايش مبتني بر قابقاب

اطالعات سرباراطالعات سربار• سنگين سنگينپردازشپردازش•

موزاييک بندیتصاوير ويديويي

نمايش مبتني برنمايش مبتني برصحنهصحنه

نمايش فشردهنمايش فشرده •پردازش سريعپردازش سريع•

Page 5: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 5

مسايل مهم در موزاييک بندي تصاوير ويديويي

کاربرد

نوع صحنهحرکت دوربين

موزاييک بندي

مسايل مهم

Page 6: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 6

يك نمونه از هرشي متحرک حفظ ميشود و خطسير

اشياي درون تصاوير به شيوهاي

.نشان داده ميشود

محتويات هرتصوير موزاييك جديد براساس

اطالعات همزمان از قابهاي جاري

بهروزرساني .شود‌مي

اشياي متحرکاز موزاييك حذف

.شوند‌مي موزاييک حاصل

نشاندهندهي تصوير پسزمينه

.ميباشد

دسته بندی روشهای موزاييک بندي تصاوير ويديويي

پويا اختصاری ايستا(Sprite)

Page 7: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 7

مراحل انجام موزاييک بندي پويا تصاوير ويديويي

ناحيه بندي حرکتMotion Segmentation

درهم آميزیBlending

تثبيت قاب هاRegistration

Page 8: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 8

دسته بندي روش های ناحيه بندي حرکت

ناحيه بنديناحيه بنديحرکتحرکت

تفريق زماني

تفريق پس زمينه

شار نوري

ميانگين زماني

فيلتر كالمن

مدل گاوسي تطبيقي

مدل گاوسي مخلوط

Page 9: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 9

دسته بندي روش های تثبيت تصاوير

تثبيتتثبيتتصاويرتصاوير

روش هاي مبتني بر ويژگي

روش هاي مبتني بر شدت نور پيکسلها

روشهاي ترکيبي

روشهاي مبتني بر همبستگي

روشهاي مبتني FFTبر

روشهاي مشتقي

Page 10: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 10

دسته بندي روش های درهم آميزی تصاوير

صاف کردن فضاي انتقالالگوريتم های الگوريتمهاي شناسايي درز بهينه

در فضاي مشترک ميان دوتصوير براي يافتن يک منحني

اتصال )درز( بهينه جستجو.ميکنند

تصوير حاصل کمينه اختالف از.تصاوير ورودي را ايجاد نمايد

و پر هزينه.بسيار قوي ي ويديويي راي کاربردهاب

.نيستمناسب رخطب

ميزان خطاي مصنوعي حاصلدر شکاف و درز ميان تصاوير،

با نرم و صاف کردن فضاي

.انتقال، کمينه ميشود از اين دسته از روشها مي

توان به روش ميانگينگيري و و يا يا روش انفصال

اشاره نمود. روشهايهرمي سريع و مناسب کاربردهاي

ويديويي.

Page 11: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 11

کاربرد موزاييک بندي پويا در کدگذاري تصاوير ويديويي

کدگذاري تصاوير ويديويي بر اساساستخراج کارآمد تصاوير پسزمينه و کد کردن

اشياي متحرک..توليد اسپرايت در کدکننده

Page 12: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 12

روش پيشنهادی

روش موزاييکبندي تصاوير ويديويي با کاربرد در

کدگذاري تصاوير ويديويي آموزش از دور

Page 13: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 13

روش پيشنهادي موزاييکبندي با کاربرد در کدگذاري تصاوير ويديويي

نوع: موزاييک بندي پويا

کاربرد: کدگذاري تصاوير ويديويي

دوربين: ثابت

صحنه: کالس درس

مشخصاتمشخصاتروش پيشنهادیروش پيشنهادی

مشخصاتمشخصاتروش پيشنهادیروش پيشنهادی

هدف: فشرده سازي

Page 14: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 14

ساختار کلي روش پيشنهادي

ايده : استفاده از نوع نمايش فشرده يک ويديو )نمايش مبتني برصحنه( براي کدگذاري.

مدل کدکننده/کدبردار به عنوان مراحل پيش پردازش و پسH.264پردازشی روی کدکننده

مدل پيشنهادي کدکننده و کدبردار براي تبديل نوع نمايش دنبالههاي ويديويي از حالت مبتني بر قاب به حالت مبتني بر صحنه

..کدکننده: تجزيه تصاوير به قاب هاي جزيي.کدبردار: بازسازی صحنه توسط قاب های جزيي

Page 15: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 15

چرا تصاوير آموزش از دور؟

تعداد اشياي متحرک محدود

حرکات اشياي متحرک با سرعت کم

بالدرنگ درسامانه برخط نياز به الگوريتمهاي فشردهسازي

ويژگيهاي مهم درتصاوير آموزش

از دور

ويژگيهاي مهم درتصاوير آموزش

اغلب تغييرات مهم در فضاي اطراف اشياي متحرکاز دور

Page 16: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 16

مدل سازیپس زمينه

Background Modeling

مدل کدکننده – الگوريتم ناحيه بندي حرکت پيشنهادی

جداسازي پيکسل هاي مربوط به اشياي متحرک در هر قاب مي باشد.

روش تفريق پس زمينهتعادل ميان ميزان دقت اجرا و پيچيدگي زماني

ROI Finding

يافتن نواحیمورد توجه -

Motion‌Segmentation

Page 17: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 17

ROIيافتن نواحی مورد توجه

از تبديل موجک هار استفاده شده تا نقاطي که يقين بهزمينه است از تصوير جدا گردد. تعلق آنها به تصوير پيش

دو زير تصوير باند پايين که از دو قاب متوالي ساخته شده انداز هم تفريق مي شوند و نقاطي که اندازه آنها از يک حد آستانه

بيشتر باشد به عنوان نقاط پيش زمينه اعالم مي شوند.

Page 18: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 18

مدل سازي پس زمينه-روش پيشنهادی انباره زمانی

فرض مي شود که يک نقطه از تصوير نمي تواند بيشتر از يک بازه پيش زمينه باشد.

اگر اختالف يک پيکسل در فاصله زماني بيشتر از يک حدزمينه در نقطه مربوط به آن آستانه باشد مقدار مدل پس

.پيکسل را برابر مقدار آن در قاب جاري کنيمکه در آنM مقدار مدل در زمان t است و I مقدار قاب جاري

مي باشد.حداکثر زماني است که بزرگترين جسم در مقدار ،

حرکت کند.Wتصوير به اندازه عرض خود

Page 19: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 19

توليد قاب های جزيي در کدکننده

:خروجی های کدکنندهقاب جزيي از شي متحرکنقشه باينری قاب جزييمختصات نقطه مشخصه قاب جزيي

کدکنندهEncoder

ChannelH.264Coder

نقطه مشخصه

Page 20: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 20

کدبردار- موزاييک بندي قاب های جزيي و بازسازی صحنه

بازسازي صحنه با موزاييک بندیقابهای جزيي:

ناحيهA ناحيه بازسازي شده از صحنه : اصلي توسط قابهاي جزيي قبلي

نواحیBو MO نواحي مربوط به قاب : جزيي جاري

جايگذاری براساس مختصات نقطهمشخصه

Channel H.264Decoder ‌کدبردار

Page 21: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 21

کدبردار- موزاييک بندي قاب های جزيي و بازسازی صحنه

نواحیB و MOتشکيل دهنده قاب جاری

تصوير موزاييک بندی شده در زمانt

:برای محاسبه تصوير موزاييک بندی داريم

چگونگي تعيين ضريب وزني آلفا ؟

B ناحيه

A ناحيهضريب درهم آميزي آلفا

Page 22: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 22

معيارهاي مهم در تعيين ضرايب درهمآميزي آلفا

معيارهایمعيارهایدرهم آميزيدرهم آميزي

کمينه کردن ميزان تأخير زماني در تصوير موزاييکحاصل

کمينه کردن ميزان تغييرات زماني در تصوير موزاييکحاصل

پردازش سريع و بالدرنگ

قاب جاری داراي تغييراتزيادي نسبت به موزاييک

باشد کيفيت موزاييک .حاصل نزول ميکند

.کاهش مقدار آلفا

موزاييک حاصل تا حدممکن شبيه به قاب

جاری باشد..افزايش مقدار آلفا

Page 23: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 23

روش پيشنهادی برای تعيين وفق پذير ضرايب درهم آميزی آلفا

تعيين مقادير ضرايب درهمآميزي آلفا به صورت وفق پذير با استفاده از يک سامانه استنتاج

فازي براساس پارامترهاي حرکت اشياي .متحرک

تعيين مقادير ضرايب درهمآميزي آلفا به صورت وفق پذير با استفاده از يک سامانه استنتاج

فازي براساس پارامترهاي حرکت اشياي .متحرک

سرعت نسبی شی متحرکوجود يک رابطه مستقيم ميان سرعت حرکت اشياي متحرک

در داخل دنباله ويديويي و تغييرات زماني در اطالعات پسزمينهاي

سرعت نسبی شی متحرکوجود يک رابطه مستقيم ميان سرعت حرکت اشياي متحرک

در داخل دنباله ويديويي و تغييرات زماني در اطالعات پسزمينهاي

مقدار اطالعات پس زمينه = معکوس اندازه شی متحرکيک رابطه معکوس ميان ميزان اطالعات پسزمينهاي

درقاب جاري و مقدار ضريب درهمآميزي آلفا

مقدار اطالعات پس زمينه = معکوس اندازه شی متحرکيک رابطه معکوس ميان ميزان اطالعات پسزمينهاي

درقاب جاري و مقدار ضريب درهمآميزي آلفا

پارامترهای مؤثر

بر معيارها

ي درهم آميزی

پارامترهای مؤثر

بر معيارها

ي درهم آميزی

Page 24: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 24

محاسبه سرعت نسبي اشياي متحرک در داخل يک قاب

فرض ميشود که بيشينه ميزانجابجايي مکاني يک شي متحرک

Rدر طول دو قاب متوالي ميباشد.

Rقطر قاب جاري= سرعت نسبي عبارت است از

ميزان جابجايي قاب جاري نسبت که (Rبه بيشينه جابجايي قاب )

.1 تا 0عددي در بازه

مجموعه فازی برای 3طراحی مقادير سرعت نسبی شامل: »سرعتکم«، »سرعتمتوسط« و

»سرعتزياد«.

ارايه يک تابع عضويت برای هرمجموعه فازي براساس دانش

خبره.

Page 25: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 25

محاسبه اندازه نسبي اشياي متحرک در داخل قابهاي جزيي

رابطه معکوس ميان ميزان اطالعاتپسزمينهاي درقاب جاري و مقدار

ضريب درهمآميزي آلفا موجود ميباشد. رابطه معکوس ميان ميزان اطالعات

پسزمينهاي درقاب جاري و اندازه نسبي شي متحرک موجود ميباشد.

اندازه نسبي اشياي متحرک در داخلقاب جاری = نسبت مساحت نواحي

مربوط به شي متحرک )در قاب جاري( به کل مساحت قاب محاسبه ميگردد.

مجموعه فازی برای مقادير 3طراحی

سرعت نسبی شامل: »اندازهبزرگ«، »اندازهمتوسط« و »اندازهکوچک«.

ارايه يک تابع عضويت برای هر مجموعهفازي براساس دانش خبره.

Page 26: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 26

خروجی و پايگاه قواعد فازی

مجموعه فازی 4طراحی برای مقادير ضريب درهم

آميزي خروجي شامل: »کم«، »متوسط«، »زياد« و

»خيليزياد« توابع عضويت گاوسي براي

فازيسازي مقادير خروجي سامانه، کارايي مطلوبي

دارد.

پايگاه قواعد در سامانهاستنتاج فازي اساس

تصميمسازي. يک سامانه منعطف براي

توليد مقادير ضرايب درهمآميزي وفق پذير بر

اساس دانش خبره.

پايگاه قواعد فازي

Page 27: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 27

رفتار خروجي سامانه استنتاج فازي پيشنهادي

:خواص قابل توجه در رفتار تابع خروجی سامانه استنتاج فازي در هنگام حرکات سريع اشيا، تصويري نرمتر )مقدار آلفا کوچکتر( و در

زمان حرکات آهسته توجه به اطالعات قاب جاري بيشتر شود )مقدار آلفا بزرگتر(.

کاهش ميزان اطالعات پسزمينهاي در قاب جاري )اندازه نسبيبزرگ(= افزايش ميزان توجه به اطالعات قاب جاري افزايش مييابد.

)افزايش آلفا(.حساسيت بيشتر نسبت به پارامتر اندازه نسبي در اشياي متحرک

)اهميت اطالعات اطراف اشياي متحرک(

Page 28: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 28

مزايا و معايب روش پيشنهادي تعيين وفق پذير ضرايب درهم آميزي

سريع و مناسب برای کاربردهای ويديوييسريع و مناسب برای کاربردهای ويديويي

دقت پايين در مقايسه با روش های جستجوی درز بهينهدقت پايين در مقايسه با روش های جستجوی درز بهينه

مزايا و معايب روش

پيشنهادی تعيين وفق

پذير آلفا

مزايا و معايب روش

پيشنهادی تعيين وفق

پذير آلفا

تطابق کامل با معيارهای درهم آميزي

سهولت تنظيم مجدد سامانه برای کاربردهای ديگر

وابستگی پارامترهای سامانه به نوع ويديووابستگی پارامترهای سامانه به نوع ويديو

Page 29: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 29

مزاياي روش پيشنهادي براي کدگذاري تصاوير آموزش از دور

مزايايروش کدگذاري

پيشنهادي

ROIاختصاص پهنای باند به مناطق مورد توجهROIاختصاص پهنای باند به مناطق مورد توجه

آستانه ای کردن حرکات درون صحنهآستانه ای کردن حرکات درون صحنه

کوچک کردن قاب های به روزرسانی صحنهکوچک کردن قاب های به روزرسانی صحنه

حذف نويز درون صحنهحذف نويز درون صحنه

Original Video Reconstructed Video

Page 30: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 30

نتايج تجربي

بخش:3نتايج مقايسه اي در الگوريتم 2-ناحيه بندي حرکت. 1نتايج تجربي الگوريتم پيشنهادي -

- نتايج تجربی کدگزاري ويديويي تصاوير 3پيشنهادي درهم آميزي. کالس درس.

:پايگاه داده مورد استفاده دنباله ويديوييPETS 2002 .تصاوير گرفته شده در يکي از کالسهاي دانشگاه صنعتي شريف.ويديو هاي استاندارد استفان و اتوبوس

:ابزار استفاده شده زبانC++ و Matlab و کتابخانه OpenCV کامپيوتر شخصي با پردازندهIntel و مدل Pentium Dual Core با

. گيگا هرتز بر ثانيه3سرعت پردازش

Page 31: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 31

نتايج تجربي الگوريتم پيشنهادی ناحيه بندي حرکت

.PETsمقايسه نتايج بدست آمده از مدل هاي پس زمينه مختلف در دنباله الف( تصوير اصلي ب( تصوير هدف ج( پيش زمينه بدست آمده از حذف ميانگين. د( پيش زمينه بدست آمده از مدل گاوسي با گراديان. ه( پيش زمينه بدست

آمده از مدل مخلوط گاوسي. و( پيش زمينه بدست آمده از روش پيشنهادي.

(ج)

(و) (ه) (د)

(ب) (الف)

Page 32: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 32

نتايج تجربي الگوريتم پيشنهادی ناحيه بندي حرکت

مقايسه نتايج بدست آمده از مدل هاي پس زمينه مختلف در محيط کالس. الف( تصوير اصلي ب( تصوير هدف ج( پيش زمينه بدست آمده از حذف ميانگين. د( پيش زمينه بدست آمده از مدل گاوسي با گراديان. ه( پيش زمينه بدست آمده از

مدل مخلوط گاوسي. و( پيش زمينه بدست آمده از روش پيشنهادي.

(ج)(ب)(الف)

(و)(ه)(د)

Page 33: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 33

نتايج تجربي الگوريتم پيشنهادی ناحيه بندي حرکت

.PETsمقايسه نتايج بدست آمده از مدل هاي پس زمينه مختلف در محيط باز الف( تصوير اصلي ب( تصوير هدف ج( پيش زمينه بدست آمده از حذف ميانگين. د( پيش زمينه بدست آمده از مدل گاوسي با گراديان. ه( پيش زمينه بدست آمده از

مدل مخلوط گاوسي. و( پيش زمينه بدست آمده از روش پيشنهادي.

(ج)(ب)(الف)

(و)(ه)(د)

Page 34: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 34

مقايسه زماني روش هاي حذف پس زمينه بر روي

ويديو با سايز مختلف

انباره زماني

گاوسي با گراديان

گاوسي مخلوطي

حذف ميانگين

8.23 162 14 1.21120x16

0

11.45 231 31 1.51240x32

0

23.57 308 64 1.53 480x64

0

37.32 432 87 2.92 520x76

8

برحسب ميلي ثانيه

Page 35: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 35

مقايسه خطاي روش هاي استخراج پيش زمينه

انباره زماني

گاوسي با گراديان

گاوسي مخلوطي

حذف ميانگين

0.0574 0.0813 0.0919 0.116 PETSويديو )فضاي بسته(

0.0621 0.0841 0.103 0.136 PETSويديو )فضاي باز(

0.0694 0.091 0.116 0.171 ويديو کالس درس

Page 36: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 36

نتايج تجربي روش پيشنهادی تعيين وفق پذير ضرايب درهم آميزي

موزاييک بندي دنباله استفان. از 74و37 الف و ب( قابهاي شماره

دنباله استفان. .ج( تصوير موزاييک بندي حاصل( نتيجه ضرايب ثابت آلفا )8/0د)ه(روش وفق پذير تعيين آلفا

(ه) (د)

Page 37: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 37

مقايسه پيچيدگي محاسباتي و نتايج حاصل از اجراي روش هاي درهمآميزي

روش پيشنهاد

ي

روش درهم آميزي با ضريب ثابت

روش GIST

روش هرم الپالس

ي

ابعاد ويديو

33.02 6.05 101.12 62

120x160

استفان

84.19 20.28 324.08220.5

3

240x32

0 PETS

152.94 62.15 928.01603.2

1480x64

0 اتوبوس

برحسب ميلي ثانيه

Proposed‌MethodConstant‌Alpha‌Blending

Page 38: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 38

نتايج تجربي روش پيشنهادی تعيين وفق پذير ضرايب درهم آميزي

نتايج بدست آمده از موزاييک بندي در اطراف اشياي متحرک.

. ب( تصوير PETS در دنباله 45الف( قسمتي از قاب شماره بازسازي شده با اعمال روش درهمآميزي انفصال. ج(

تصوير بازسازي شده با اعمال روش پيشنهادي.

Page 39: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 39

براي PSNRمقايسه مقدار معيار کيفيت

روشهاي درهمآميزي.

روش پيشنهاد

ي

روش درهم

آميزي با ضريب

ثابت

روش GIST

روش هرم

الپالسي ابعاد ويديو

31.84

25.07 38.9 34.4120x16

0 استفان

32.34

23.6341.1

234.8

240x320

PETS

32.87

26.8440.0

3 37.3

480x640

اتوبوس

Page 40: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 40

نتايج تجربي حاصل از مدل کدگزاری پيشنهادي

Page 41: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 41

ميزان فشرده سازي در مدل کدگزاري پيشنهادي

مدل پيشنهادي

استاندارد MPEG-4

استاندار H.264د

حالت غير فشرده

ابعاد ويديو

1.622 2.536 1.834 4.673120x16

0 کالس

درس

1.239 1.823 1.347 3.327 240x32

0 PETS برحسب مگابايت

Original‌Video Reconstructed‌Video

Page 42: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 42

برای روش PSNRمقايسه معيار کيفيت کدگزاری پيشهادی

قاب 100 در طول PETsدنباله ويديويي PSNRمقايسه ميزان و روش H.264[ در دو کدکنندهي 199-100متوالي ]

پيشنهادي.

Page 43: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 43

راهکارهای آتي

ارايه يک مدل تعميميافته براي موزاييکبندي حرکات متنوع دوربين )دوربين متحرک( ارايه يک مدل تعميميافته براي موزاييکبندي حرکات متنوع دوربين )دوربين متحرک(

استفاده از ويژگيهاي ذاتي تصاوير آموزش از دور براي تثبيت تصاوير متحرک استفاده از ويژگيهاي ذاتي تصاوير آموزش از دور براي تثبيت تصاوير متحرک

مدل سازي حرکات اشياي درون صحنه و کدگزاری بر اساس مدلمدل سازي حرکات اشياي درون صحنه و کدگزاری بر اساس مدل

راهکارهاي آتي

راهکارهاي آتي

ارايه روش های هرمي براي در هم آميزي تصاوير ويديويي ارايه روش های هرمي براي در هم آميزي تصاوير ويديويي

Page 44: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 44

مقاالت ارايه شده

M.Bagheri, T. Lotfi, A.A. Darabi, and S. Kasaei. Content-Based‌Video‌Coding‌for‌Distance‌Learning. In The 7th IEEE International Symposium on Signal Processing and Information Technology, ISSPIT, Cairo, Egypt, Dec. 2007.

M.Bagheri, T. Lotfi, A.A. Darabi, and S. Kasaei. Content-Based‌Video‌Coding‌for‌Distance‌Learning. In The 7th IEEE International Symposium on Signal Processing and Information Technology, ISSPIT, Cairo, Egypt, Dec. 2007.

M.Bagheri, T.Lotfi, S.Kasaei. An‌Adaptive‌Method‌for‌Moving‌Object‌Blendingin‌Dynamic‌Mosaicing. In press in The 13th Annual CSI Computer Conference, CSICC, Kish island, Iran, March. 2008.

M.Bagheri, T.Lotfi, S.Kasaei. An‌Adaptive‌Method‌for‌Moving‌Object‌Blendingin‌Dynamic‌Mosaicing. In press in The 13th Annual CSI Computer Conference, CSICC, Kish island, Iran, March. 2008.

A.Khalili, M.Bagheri, S.Kasaei. Object-Based‌Video‌Coding‌for‌Distance‌Learning‌using‌Stereo‌Cameras. In press in The 13th Annual CSI Computer Conference, CSICC, Kish island, Iran, March. 2008.

A.Khalili, M.Bagheri, S.Kasaei. Object-Based‌Video‌Coding‌for‌Distance‌Learning‌using‌Stereo‌Cameras. In press in The 13th Annual CSI Computer Conference, CSICC, Kish island, Iran, March. 2008.

T.Lotfi, M.Bagheri, S. Kasaei. Content-Based‌Distance‌Learning‌Video‌Coding‌using‌Moving‌Object‌Tracking‌and‌Mosaicing. Submitted in EURASIP Journal on Applied Signal Processing, Dec. 2007.

T.Lotfi, M.Bagheri, S. Kasaei. Content-Based‌Distance‌Learning‌Video‌Coding‌using‌Moving‌Object‌Tracking‌and‌Mosaicing. Submitted in EURASIP Journal on Applied Signal Processing, Dec. 2007.

Page 45: موزاییک بندی تصاویر ویدیویی

45

Page 46: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 46

پديده پاراالکس

اگر دوربين به مقدار معيني حركت كند، چيزهاي دورتر يا به اصطالح

تر، كمتر از چيزهاي نزديكتر ‌عميقشوند.‌جابجا مي

اگر دوربين به مقدار معيني حركت كند، چيزهاي دورتر يا به اصطالح

تر، كمتر از چيزهاي نزديكتر ‌عميقشوند.‌جابجا مي

Page 47: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 47

نوع صحنه ويديويي

3

تصوير اي ‌صحنه

نزديك كه اختالف عمق

قسمتهاي آن قابل

نظر ‌صرفنباشد.

2

تصوير اي ‌صحنه

نزديك كه اختالف عمق

قسمتهاي آن قابل

نظر ‌صرف.باشد

1

تصوير اي در ‌صحنه

دور دست با جزئيات زياد

Page 48: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 48

نحوة حركت دوربين

كه غالبا¡ Tilt و Panدوربين ثابت با حركت •براي تهية پانوراما دوربين به اين صورت

كند.‌حركت ميRollدوربين ثابت با حركت• دوربين ثابت با حركت بزرگنمايي•دوربين متحرك•

كه غالبا¡ Tilt و Panدوربين ثابت با حركت •براي تهية پانوراما دوربين به اين صورت

كند.‌حركت ميRollدوربين ثابت با حركت• دوربين ثابت با حركت بزرگنمايي•دوربين متحرك•

Page 49: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 49

کدگزاری تصاوير کالس درس به وسيله اسپرايت

MPEG-4کدينگ در

مدل مبتنی بر کدکننده و کدبردار دوربين2استفاذه از مدل Stereo توليد اسپرايت بر اساس خواصStereo Matching

Page 50: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 50

نتايج تجربي روش پيشنهادی تعيين وفق پذير ضرايب درهم آميزي

رفع اثر شبح در موزاييک بندي تصاوير در کدبردار. الف( صحنه بازسازي شده با ضرايب ثابت. ب ( روش پيشنهادی

ج( اثر شبح درموزاييک حاصل از ضريب ثابت درهمآميزي. د(رفع اثر شبح به . وسيله روش پيشنهادي

الف

دجب

Page 51: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 51

نتايج تجربي حاصل از مدل کدگزاری پيشنهادي

Page 52: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 52

بازسازي دنباله ويديويي در کدبردار

Page 53: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 53

روشهای درهم آميزی ويديويي )صاف کردن فضای انتقال(

درهم آميزی با ضريب درهم آميزي آلفامزايا : سرعت و بار محاسباتی پايين معايب : تار شدن تصاوير(Blur)

پيش زمينه

Page 54: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 54

روشهای درهم آميزی ويديويي )صاف کردن فضای انتقال(

درهم آميزی به روش انفصالمزايا : سرعت و بار محاسباتی پايين-انتقال نرم معايب : تار شدن تصاوير حاصل-تداخل لبه ها در

نواحی اشتراک

Page 55: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 55

کاربرد هاي موزاييک بندي تصاوير ويديويي

موزاييک بندیموزاييک بندیويديوييويديويي

گذاريگذاري‌‌نمايهنمايهويديوييويديويي

کدگذاري تصاويرکدگذاري تصاويرويديوييويديويي

ردگيري ردگيري اشيا اشيا

در ويديودر ويديو

توليد پانوراما و تصاوير کيفيت باال

ساخت ساخت فضاهايفضاهايمجازيمجازي

Page 56: موزاییک بندی تصاویر ویدیویی

موزاييک بندی تصاوير ويديويي 56

مزاياي روش پيشنهادی ناحيه بندي حرکت

کاهش حجم محاسباتکاهش حجم محاسبات

کاهش اثر نويزهاي ويديويي کاهش اثر نويزهاي ويديويي

آستانه ای کردن حرکات درون صحنهآستانه ای کردن حرکات درون صحنه

مزاياي روش

پيشنهادی ناحيه بندي حرکت

مزاياي روش

پيشنهادی ناحيه بندي حرکت

انتقال سريع اشيا از پيش زمينه به پس زمينه در هنگام سکون انتقال سريع اشيا از پيش زمينه به پس زمينه در هنگام سکون