پذیرفته شده نوشتار

در دنیای واقعی با استفاده از تصاویر صورت نوان: تشخیص حالت چهره ع

های هوشمند: پژوهش و تحقیق روش

د عثمانجد علی خان، ایاز حسین و محمانویسنده: س

PII: S0030-4026(16)30280-7

DOI : 2016.04.015j.ijleo./10.1016http://dx.doi.org/doi:

IJLEO 57498 مرجع:

4/11/2015تاریخ دریافت:

6/4/2016تاریخ پذیرش:

صورت با استفاده ریتصاو یواقع یایحالت چهره در دن صیتشخ، د عثمانمحم ،ایاز حسین ،د علی خانجاسبرچسب های این مقاله:

/2016.04.015j.ijleo./10.1016http://dx.doi.org، ژورنال بین المللی نورشناسی الکترون و نور، قیهوشمند: پژوهش و تحق یهااز روش

ارمغانیباشد که برای پذیرش در نشریه مورد قبول واقع شده است. لذا صرفًا به عنوان ای مییح نشدهتصح PDFاین نوشتار فایل

ی مندان قرار بگیرد. نوشتهایم تا مورد مطالعه عالقهار دادهتشبرای خوانندگان نشریه است که نوشته مذکور را پیش از موعد رسمی ان

بگیرد شامل اصالحاتی همچون تصحیح و دخل و تصرف خواهد شد. همچنین شایان حاضر قبل از اینکه در قالب نهایی خود قرار

ممکن است که اشتباهاتی رخ دهد که صحت و دقت محتوا را دستخوش تغییر قرار دهد و تمامی ذکر است که در طول فرآیند تولید

حقوق قانونی مرتبط، متعلق به ژورنال می باشد.

2

ر دنیای واقعی با استفاده از دتصاویر صورت تشخیص حالت چهره

های هوشمند: پژوهش و تحقیقروش

الفو محمد عثمان ج، ایاز حسینsajidalibn@gmail.com * الف و بساجد علی خان

آباد، پاکستاناسالمداشنکده مهندسی رایانه، موسسه تحقیقاتی علم و فناوری شهید ذوالفقار علی بوتو، الف

آباد، پاکستاندانشکده مهندسی نرم افزار، دانشگاه اسالم ب

آباد، پاکستاندانشکده مهندسی نرم افزار و علوم رایانه، دانشگاه بین المللی اسالمی، اسالم ج

نویسنده مکاتبه کننده *

3

چکیده:های تعیین شده هایی از محیطچهره، بر روی مجموعه دادههای تشخیص حالت اغلب تحقیقات صورت گرفته در زمینه سیستم

های که در نهایت سیستممهم و حیاتی است به این دلیل هاهای واقعی برای محک الگوریتمداده کاگیرید. به نباشآزمایشگاهی می

. بایست کار کنندو متغیر میهای حقیقی، در شرایط کامالً پویا تشخیص حالت چهره قرار است که در محیط واقعی، بر روی صورت

ها و انطباقات ، توصیف مکانی مبتنی بر تشخیص حالت چهره، بیش از پیش دستخوش تاثیرات تغییرات، دگرگونیهای اخیردر سال

های واصفبه طور اغلب توسط (WLD)و توصیف کننده موضعی وبر (LBP)شده است. به طور مثال از الگوی موضعی دودویی

ها، مورد استفاده قرار گرفته است. لذا در این میان، طبقه بندی تصاویر ظور ارائه اطالعات اساسی بافت ترکیبی صورتمکانی، به من

های متفاوت، بسیار چالش برانگیز و دشوار شده های چهره بنا به حاالت گوناگون فردی و ظاهری، همچنن بنا به نژادها و قومحالت

های واقعی نیاز دارد تا به دقت بهتری دست العات جزیی، بلکه کلی در ارتباط با بافت تصاویر چهرهاست. لذا این امر نه تنها به اط

ارائه ،، لذا پیشنهاد تحقیق پیش رونددر مقیاس بزرگ نیستهای سنتی دیگر جوابگوی استخراج اطالعات ترکیبی یابد. توصیف کننده

ها، با دقت و اطمینان باال می باشد. چارچوب پیشنهادی قصد این امر را رهچارچوبی تازه و بدیع برای شناسایی و تشخیص حالت چه

های بزرگی ، با ثبت اطالعات کلی و جزیی، صرفه جوییWLDو LBPوری زمان و حافظه، بر خالف طرز کارکردی دارد که در بهره

تصاویر ساختگی )آزمایشگاهی( و حقیقی )دنیای واقعی( به ارمغان بیاورد. در نهایت عملکرد روش پیشنهادی با استفاده از اطالعات

مورد ارزیابی قرار خواهد گرفت.

های واقعیالت چهره، استخراج خصیصه مکانی، تصاویر چهرهشناسایی ح واژگان کلیدی:

مقدمه:هدف نهایی آنها ایجاب هایی می باشد که یادگیری ماشینی، قسمتی از علوم رایانه است که اغلب در ارتباط با بهبود الگوریتم

توانند که بعضی از وظایف را به صورت ها میها به یادگیری بدون دخالت انسان است. بنا به این قابلیت یادگیری، ماشینکردن ماشین

ها ها، تشخیص حالت چهره انسانهای درمانی پیشنهادی برای بیماریهای دقیق، روشبینیخودکار انجام دهد همچون محاسبه پیش

و غیره.

برای ابراز حاالت چهره، حاالت بسیار گوناگون و متنوعی وجود دارد اما مهمترین راه در بین همه، شناسایی و تشخیص حالت

ی رفتار ظاهری و چهره است. تحقیقات اخیر و همچنین علوم ارتباطات و مذاکره، به صراحت بیان کرده است که شناسایی نحوه

4

های ارتباطی غیر زبانی است که تاثیرات غیر قابل اغماضی به همراه دارد، حتی گاهی جمله مهمترین راهحالت چهره )زبان بدن( از

ترین نمود حالت چهره توانایی انتقال بهترین مفهوم در عمل را دارد.اوقات کوچکترین و جزئی

و خشم از تصاویر ی، غمگینهای صورت انسانی همچون خوشحالیبندی حالتیند طبقهحالت چهره در حقیقت فرآتشخیص

ماشین -صور آدمیان است. تشخیص حالت چهره همچنین این اقبال را دارد تا به عنوان جزئی کلیدی و تاثیرگذار در تعامالت انسان

باشد و همچنین در علوم مختلف کاربردی همچون رفتاری و پزشکی مورد استفاده قرار بگیرد. البته انسان به راحتی می تواند نوع

های متعددی حالت چهره را در شخص مقابل بفهمد، اما این فهم و درک در ماشین به همین سهولت امکان پذیر نیست و چالش

پیش رو دارد.

تشخیص حالت چهره چیست؟ 1.1

تشخیص حالت چهره شامل فرآیندهای شناسایی روانشناختی و درونی افراد، تغییر شکل حالت چهره و حرکات صورتی است

های اساسی بندی آنها در پایهبندی و دستهدهد. هدف ما در اینجا طبقهاستفاده از تصاویر ثابت و سلسله مراتب آنها، رخ می که با

ی آدمیان بازگو کننده حاالت و احساسات درونی است از این رو حاالت چهره مستعد تغییر مبتنی بر وقایع بصری است. در واقع چهره

لذا نمود ظاهری و بیرونی فرد که همان حالت چهره است، شاخص و معیاری برای تفکرات فرد به شمارو بالقوه متفاوت هستند.

رود. از این رو تفسیر حالت چهره )به کمک تشخیص( بیان کننده تفکرات و احساسات فردی و تمایز کننده بین نمود گفتاری و می

درونی فرد است.

چهرهشباهت فطری تفسیر حالت 1.1.1

های مختلف چهره، بسیار کار مهم و چالش برانگیزی است، به طور مشابه زمانی ص و شناسایی بنا به حاالت شباهتیفرآیند تشخ

توجه به تنوع و گستردگی معیارهابندد که حاالت و احساسات درونی فرد برانگیخته شده باشد. با تغییر شکل بر صورت فرد شکل می

افتد. اولین شخصی که به چنین هایی در بین حاالت چهره اتفاق می، جنسیت و غیره، شباهتدر شکل صورت همچون سن، قومیت

و Ekman، بعد از گذر تقریباً صد سال، 1872در سال [1] امری واقف شد، کسی نبود جز دانشمند بزرگ علوم طبیعه، داروین

Friesen [2 ]دادند که شش حالت چهره را به عنوان پایه و اساس برای قضاوت حالت چهره انتخاب کنند: غم، شادمانی، پیشنهاد

خشم، تعجب، ترس و تنفر. این شش حالت چهره که به عنوان پایه احساسات فردی به رسمیت شناخته شده است، در هر سیستم

گیرد.مورد استفاده قرار می تشخصی حالت چهره انسانی

5

تشخیص حالت چهره به عنوان موضوع تحقیقاتی در منظر رایانه 1.2

های مشوق اصلی و دلیل ترغیب کننده در ورای هر پژوهشی، توانایی کاربردی آن در حل مسائل و موارد استفاده آن در زمینه

صوری به اطالعات کاربردی های ای، تبدیل دادههای پردازش تصویر و قدرت بصری رایانهمختلف است. هدف اصلی تمامی الگوریتم

شود. حالت چهره با یک آرمان و هدف مشترک آغاز می ای و تشخیصدر تصمیم گیری است. از این رو دامنه قدرت بینش رایانه

کامپیوتر، جایی که از نگاه بصری انسان، بینش و -و نیازمندی این حیطه تحقیقاتی، به خاطر کاربرد آن در تعامالت انساناهمیت

گیرد. در کنار چنین امکاناتی، روانشناسی اجتماعی بیان ت المسه )وضع روانی( و صدا، به طور همزمان مورد استفاده قرار میاحساسا

در صورتی –از انتقال پیام را %55تواند سهم کند که حالت چهره از مکالمه و گفتگوهای فردی، پشتیانی می کند. حالت چهره میمی

دهد. لذا حالت از مابقیه را تشکیل می %38و تن صدا %7. سهم کلمات گفتاری [3] انتقال دهد -باشدکه گفتگو به صورت حضوری

همین ماشین را بر عهده دارد.-چهره در نهایت مهمترین رکن اساسی در تاثیرگذاری و انتقال مفاهیم در مراودات و تعامالت انسان

باشد، همچنین عالوه بر این حوزه مطرح شده، منظر دستگاه خودکار یواقعیت دلیل مهم بودن عنوان تحقیقاتی پژوهش حاضر م

های مذکور برای )روبات(، حرکت صورتی و حقیقت مجازی همچنین به تشخیص و تفسیر حالت چهره نیازمند است چرا که سیستم

اقدامات کنش و واکنشی، های اساسی چهره واند. تشخیص حالتحذف خطای انسانی در کنترل ماشین آالت طراحی و ساخته شده

ذهنی ای هستند که تحقیق حاضر بر روی آنها تمرکز کرده است. هدف تشخیص حاالت اساسی چهره، پیگیری حاالت دو جز اساسی

.خیص کنش و واکنش، بر تغییرات عضالت و ماهیچه های صورت در حاالت مختلف تمرکز داردشتو احساساتی است در حالی که

اده تفسیر حالت چهره واقع گرایانهمرور پایگاه د 1.3

ها در ادامه ها فراهم کند. الگوریتمسازد که جایگاه پایدار و مستحکمی برای آزمایش الگوریتمپایگاه داده این امکان را فراهم می

ها شامل تصاویر و حقایق گیرند. این پایگاه دادهاغلب در برابر تصاویر یا ویدیوهای بخصوص پایگاه داده مورد بررسی و تحلیل قرار می

در بنا به عوامل غیر قابل کنترل و مختلف شرایطی، ای آنها می باشد. همچنین این امکان وجود دارد که تغییرات گسترده ای زمینه

های مختلف صورت. پایگاه داده تشخیص حالت ، قومیت، جنسیت و بافت و شکلمحتوای تصاویر حضور پیدا کند همچون سن و سال

ه دو قسمت تقسیم شده است: پایگاه داده آزمایشگاهی که حاالت چهره بر اساس اطالعات و تصاویر صورت عمداً تحت شرایط چهره ب

های کنترل شده می باشند، و پایگاه داده واقعی که حاالت تحت عوامل غیرقابل کنترل )همچون شرایط واقعی(. اغلب پایگاه داده

JAFFE ،BU-3DFE، CK+ ،Semaine ،SAL ،MMI ،AAI می باشد همچون اولمرتبط با حاالت چهره، از نوع دسته

ای در نور تصویر، . بر خالف حاالت چهره آزمایشگاهی، تفاسیر حاالت چهره واقعی حاوی دامنه تغییرات بسیار گستردهNVIEو

6

واقعی، بیش از پیش سخت و چالش برانگیز بندی حاالت را در دنیایباشد که کار طبقه بندی و دستهاندازه و نوع شکل و زاویه آن می

نشان داده شده است. 1هایی از پایگاه داده در جدول کند. مثالمی

تفاوت قیاسی پایگاه داده های واقعی -1جدول

اندازه داده موضوع حالت منبع پایگاه داده

Luggage Lost فیلم 209 109 شوخ، غم، خشم، تنش، خونسردی فرودگاه

Belfast فیلم 298 125 برانگیختگی و ارزشیابی تلویزیون

Yeasin شش حالت پایه تلویزیون N/A 108 فیلم

VAM 104 ظرفیت بنیانی، برانگیختگی و غلبه تلویزیون فیلم/ 1421

تصویر 1872

HUMAINE فیلم 48 48 واژگان حالت، شدت، برانگیختگی و ظرفیت بنیانی تلویزیون

SFEW شش حالت پایه و خنثی تلویزیون N/A 700 تصویر

AFEW فیلم 1426 330 شش حالت پایه و خنثی تلویزیون

HAPPEI Flicker )شادی )شش مرحله N/A 4600 تصویر

GENKI خنده وب N/A 4000 تصویر

GV تصویر 350 328 شش حالت پایه و خنثی وب

Belfast و Luggage [4] [ د5و ] های بدون قید و محدودیت محیطی همچون گفتگو و آوری دادهفعالیت جمعر ابتدا

های گروهی و تلوزیونی های خود را از شبکه تارنمای جهانی و رسانهها را جا انداختند. تحقیقات و مطالعات اخیر اغلب دادهمصاحبه

GV [6] ،HAPPEIاند: های ادامه را تولیدنمودهداده اند و لذا پایگاهچهره در شرایط واقعی استفاده کرده برای بازگو کردن حاالت

[7 ] ،SFEW [8] ،GENKI [9 ] ،AFEW [10 ] ،HUMAINE [11] ،و [12] های تلویزیونیداده VAM [13 .]

و همکارانش Yeasinتفسیر نشده است. HUMAINE و VAMای حاالت، مستقیماً در چارچوی فیلمی های پایهبندیستهد

ی جدید و نوینی پایگاه داده AFEWهای ما اند اما جزئیات آن را همراه نکردند. در مقایسه با دادهداده های تلویزیونی را معرفی کرده

تصویر را از 700بیش از SFEWهایی است که از ویدیوهای مختلفی گردآوری شده است. پایگاه داده است که شامل تصاویر و فیلم

7

ع آوری تصویر شاد را جم HAPPEI ،4600نیز برای خلق پایگاه داده Flickerاستخراج کرده است. تارنمای AFEWهای فیلم

مهیا GVای است مشتمل بر تصاویر همراه با خنده ولی جزئیاتی برای تصاویر نیز پایگاه داده GENKIاست. به طور مشابه کرده

نشده است.

اهمیت مطالعه 1.4

حال دهد. در احساسی، فردی، روحی و روانی در نهایت، در صورت فرد خود را به عنوان حالت چهره نشان میت مختلف حاال

کنند که تغییرات بسیار متنوع در وضعیت حالت چهره سبب گوگوناگونی کارکردی چالشی فعالیت میبر روی حاضر محققان

ماشین است که سعی در ادامه همین -بسیار مهم در سیستم تعاملی انسانشود. شناسایی حاالت چهره کاربر، یک اصل ها میالگوریتم

باشد که بتوانیم با ساخت سیستمی، به تشخیص حالت چهره دست یابیم. لذا در نتیجه شناخت و تشخیص حالت چهره در محیط می

واقعی پیش بینی نشده که احتمال هرگونه تغییر وجود دارد، بسیار مهم و کاربردی است.

انگیزش 1.5

های بسیار فراوان صورت گرفته که نتایج چشمگیری نیز به ارمغان در زمینه هوش مصنوعی و رایانه، تا به حال کوشش و تالش

انسان در -ماشین به تعامالت انسان-، شبیه کردن تعامالت انسانیادی در روح تحقیق حاضرآورده است. هدف اصلی و انگیزش بن

ماشین نیز بتواند دهد، خیص میشبه راحتی حالت چهره فرد مقابل خود را تکه که انسان همانطور دنیای واقعی است، بدین معنا

افراد بسیار زیادی تا به حال های تحقیقاتی است که حالت چهره فرد مقابل را تمیز دهد. لذا تشخیص حالت چهره از آن دسته زمینه

نه شده است.ن فعالیت کردند که سبب پیشرفت هوش مصنوعی در رایادر آ

های اخیر کارهای های مرتبط با بحث تشخیص حالت چهره است و در سالشناسایی، تشخیص و ردیابی صورت از جمله زمینه

کرده است، با این حال بحث تشخیص حالت چهره بنا ها در علوم کمک شایانی بسیار فراوانی صورت گرفته که به پیشرفت این زمینه

د همچنان نیاز به تحقیق بیشتر و افزایش صحت در قضاوت سیستمی است. یکی دیگر از دالیلی که باعث به دقت و اثرگذاری که دار

های تشخیص حالت انگیزش ما برای فعالیت در این زمینه بود، این امر است که آینده کاربردهای بسیار گسترده و فراوانی از سیستم

های ارتباطی و غیره( وجود های خودپرداز، رسانهها، دستگاهکاربردی آنها، رایانههای ها )همچون تلفن همراه، برنامهچهره در دستگاه

دارد و همچنین در کنار تحقیق و دستاوردی که در زمینه تشخیص حالت چهره به ثمر می نشیند، علوم روانشناسی، اعصاب، پزشکی،

کند. تشخیص حالت چهره ای را نیز تقویت میرایانه هایها و بازیرفتار صورت و زیان بدن در مذاکرات، حرکت شناسی، روبات

8

کنند، بسیار کاربردی باشد و ابعاد جدیدی را به ماشین برقرار می-هایی که تعامالت بین انسانتواند برای توسعه طراحی سیستممی

وجود آورد.

مرور ادبیاتخیص خودکار حالت چهره، ارائه و به کار گرفته شده ای به منظور تشهای اخیر، رویکردهای بسیار متنوع و گستردهدر طی سال

توان در دو گروه جای داد که عبارتند از: روش های مبتنی بر هندسه و روش های مبتنی بر ظاهر.است. این رویکردها را می

Leeو Ghimireی انبوهی از تصاویر صورتی است. گام ابتدایی در روش مبتنی بر هندسه، متمرکز کردن و شناسایی مجموعه

ی در ادامه Gaborدر حالی که نداز مکان وقایع برجسته شناخته شده برای تخمین محل وقایع برجسته در تصویر استفاده کرد[ 15]

جمله کرد تا به دقت باالتری دست یابد، به طور مثال ازه میسهای از پیش تعیین شده مقایبا یکی از مدلرا آن تصویر استخراجی

ته بر برجسواقعه 52ها بوده است. در کل یانی مابین چشممی صورت، نقطهروی مشخصات اصلی برای جستجوی وقایع برجسته بر

ای از وقایع برجسته در نظر گرفته شده است. دهی و تعریف شدند. توالی و ترتیب برای هر مدل از صورت بر اساس میانهصورت مقدار

های حاصل توسط چندگانه انتخاب شد. در آخر ویژگی AdaBoostمتمایزکننده، با استفاده از ویژهای از بردارهای زیر مجموعه

انجام شد و با نرخ دقت +CK، مورد آزمایش و بررسی قرار گرفت. تمامی آزمایشات بر پایگاه داده (SVM)ماشین بردار پشتیبان

یابی ی اساسی و پایه را در چارچوب اولیه، به کمک مکاننقطه، هشت [16] . سعید و همکارانشبه دست آمد %95.17 طبقه بندی

تا نقاط نمودنداستفاده (PDM)ای از مدل بهبود یافته توزیع نقطه ،یابی نقاطدستی، تعیین کردند. آنها برای مقابله با نقص مکان

و Ghimireدهد، لذا به طور مشابه رخ می +CKفضای حجمی صورت، قرار دهند. همچنین آزمایشات بر پایگاه داده در صورت را

یابی بر روی اولین قالب و تعمیم برای مقداردهی و مکان (EBGM)از سیستم گراف دسته االستیک تطبیق پذیر [17] همکارانش

ی یادگیرنده فزونی، برا بندی ماشینچندگانه به همراه طبقه AdaBoostاز ها در مرور زمان استفاده کردند.آن به دیگر قالب

%95.5های هندسی متمایز کننده مورد استفاده قرار گرفت. در ادامه بعد از اجرای آزمایش به ترتیب نتایج بندی انتخاب ویژگیطبقه

[18] و همکارانش Nieseبه دست آمد. Cihn-kanade (CK+)و پایگاه داده (MUD)برای گروه درک چندرسانه ای %97.8و

های هندسی استوار بود تا حاالت چهره را شناسایی کند. در ه بر اساس جریان نوری گذرا و ویژگیپیشنهاد دادند کروش جدیدی را

بندی توسط ماشین آید. کار طبقههای گذرا از اجرای حاالت نوری مبتنی بر جریان در خالل تصاویر متوالی، به دست میادامه ویژگی

استفاده از واقعه برجسته را با 54در ابتدا [19] و همکارانش Loconsoleبردار پشتیبان و شبکه مصنوعی عصبی، انجام می شود.

های وقایع برجسته سبب شد که دو نوع دسته ویژگی: گریز از مرکز )بی یابی کردند. در ادامه مکانمکان (ASM)مدل شکل فعال

9

ای را محاسبه کردند. قاعدههای بیا بیضیهای گریز از مرکز، آنهد. برای خلق مجموعه ویژگیوقاعده( و ویژگی خطی استخراج ش

های های ماشینبندیدر قدم بعد از طبقههای خطی محاسبه شد. ی خطی بین جفت وقایع برجسته برای تعیین ویژگیفاصله

مکان یادگیرنده برای آزمایش و بررسی هر دو نوع ویژگی مورد استفاده قرار گرفت. گرچه در استخراج مشخصات هندسی، پیگیری و

یابی دقیق مشخصات همچنان های صورت، اجباری است. در بسیاری از شرایط دنیای واقعی، شناسایی و مکانیابی دقیق ویژگی

ای چالش برانگیز است که مستعد اشتباه و زمان بسیار زیادی به منظور برطرف کردن نقائص آن است. از این رو ویژگی مبتنی مسئله

ی است.بر ظاهر همچنان مورد بررس

رات ظاهری همچون چین و چروکیدگی و شیارهای صورت، مدلی در رویکرد مبتنی بر ظاهر است که در تشخیص چهره یتغی

[ و تحلیل 21] (LDA)، تحلیل خطی تفکیک کننده [20] (ICA)آید. تحلیل سه بعدی جامع مثل تحلیل اجزای مستقل به کار می

شود تا مشخصات مبتنی بر ظاهر را استخراج کند.اقسام صورت یا کل تصویر صورت تعمیم داده می [ بر22] (PCA)اجزای اصلی

[ از تحلیل 23و همکارانش ] Luoهای مورد استفاده، تحلیل شوند. شود تا بر اساس روشتصویر صورت به چند زیر فضا تقسیم می

واسطه ه کردند. همچنین داده اصلی حداقل مجذور میانگین، به اجزای مستقل به منظور استخراج مشخصات مبتنی بر ظاهر استفاد

برای استخراج ترکیبات (LBP)د. در ادامه الگوی دودویی محلی لیل اجزای اصلی، ارائه و معرفی شبهترین روش تصویرسازی تح

بندی منظور افزایش دقت طبقهبافتی محلی از اطراف دهان مورد استفاده و در گام بعدی ادغام سطوح ویژگی هر دو نوع مشخصات به

استفاده کردند،ها، های فضایی و زمانی از فیلم[ از تحلیل اجزای مستقل برای ساخت فیلتر24و همکارانش ] Longگیرد. صورت می

و گردیدآزمایش CKساخته شد. روش پیشنهاد شده بر روی پایگاه داده ،های فیلمیلذا در نتیجه آن مشخصات برداری ورود داده

[ نیز روش نوین و جدیدی را برای 25و همکارانش ] Zhang. شدهای دیگر مقایسه با محتویات استخراج شده از روشنتایج آن

برای (ASM)هایی که از تلویزیون یا شبکه جهانی وب برگرفته شده بود، ارائه کردند. مدل شکلی فعال بندی حاالت چهرهطبقه

نقطه؛ برای استخراج مشخصات 68نقطه درونی از 53ویر چهره مورد استفاده قرار گرفت که تنها نقطه معتمد بر سطح تص 68جایابی

6748مشخصات برداری هندسی و ترکیباتی، به منظور حفظ گستره پذیرش برای قبول تغییرات و حرکات صورت، استفاده شد.

آمد. برای استخراج کردن مشخصات هندسی، جمع نقطه داخلی، بدست 53برای هر کدام از SIFTعامل با بکارگیری سیستم

1و 0[ محسابه گردید. هر دو گونه مشخصات بین 26] (FAP)با استفاده از پارمتر حرکت صورت 53نقطه از میان 43فواصل

سازی مشخصات ترکیبی صورت و هندسی، بدستنرمال سازی شدند و ادغام سطوح مشخصات و ویژگی به کمک فرآیند ساده الحاق

[ 27و همکارانش ] Tarigانجام شده است. QUTهای واقعی از جهان حقیقی، بنام پایگاه داده آمد. تمامی آزمایشات بر روی داده

همچون لزوم انجام گام ثبت تمامی -از تحقیق صورت گرفته را چالشبا استفاده از تصاویر مختلف، حاالت را تشخیص دادند و چند

10

انجام شدهبه منظور ترازسازی تصاویر و یافتن نقاط کلیدی، در این پژوهش اولین قدم پیش از پردازش، نمایان نمودند. -تصاویر

شود. توصیف کننده تبدیل مشخصات است. آنگاه از تصاویر شناسایی شده برای استخراج گروهی مشخصات یاد شده، استفاده می

گیرد، یکی بر برآمدگی قرار می ها()مردمک نقطه در مرکز چشم دوشود. توسط هفت نقطه کلیدی، مشخص می (SIFT)مقیاس ثابت

خواهد بود. آنگاه از مشخصات SIFTاز مشخصات توصیفی 896هم در اطراف لب که در ابعاد نتیجه بردار )قله( بینی و چهار نقطه

حرکات بسیاری در نواحی شود، شود. زمانی که فرد خشمگین میاستفاده می (GMM)استخراج شده برای مدل مختلط گاوسی

ج ادهد. به منظور استخرپیوندند و حتی ابروهای خود بسیار باالتر از کسی که ترسیده است، حرکت میپیشانی و دهان به وقوع می

های جریان نوری و فیلمی، [ برای محاسبه هر کدام از تراکم28، پژوهشگر از الگوریتم توضیح داده شده در قسمت ]MFمشخصات

های جریان نوری و کل هفت محل استخراج استفاده کرده است. لذا در ادامه از نقاط مشخص کلیدی صورت برای هم ترازی قالب

شوند تا در قدم بعدی برای به هم الحاق می GMMو SIFT ،HGبعد از فرآیند استخراج سازی مشخصات شده، استفاده شده اند.

تصاویری که فاقد حین مراحل آزمایش و آموزش،دار پشتیبان مورد استفاده قرار بگیرد. در بندی برآموزش و تعلیم به ماشین طبقه

شوند. روشی که همراه با رای اکثریت هم است، برای نهایی سازی تصمیم فیلمی مورد صورت هستند، از دستور کار خارج و حذف می

دست فردی،تقسیم بندی مشخص در مورد 1رخ میانگین طبقه بندی گیرد. بعد از انجام آزمایشات مختلف، آنها به ناستفاده قرار می

اند که تشخیص حاالت چهره برای فرد مشابه، فرآیند آموزش بسیار راحت تر است. لذا اهمیت کار یافتند. آنها همچنین اذعان کرده

ل این اتفاق هستند که در آینده با در مقایسه با تصدیق فردی، بیشتر بر تشخیص حالت چهره متمرکز است بنابراین آنها به دنبا

استفاده از رویکردهای نوین، تصدیق الگوریتم ها را بهبود دهند. روش آنها در محاسبه گران و پر تکلف است اما در حقیقت چنین

نیست.

اند. ده نمودهات ترکیبی از تصاویر استفادر سال های اخیر، اغلب پژوهشگران از توصیف کننده مکانی برای استخراج سازی اطالع

نگر، مقاوم تر و کاراتر هستند. ها و اختالفات در مقایسه با روش های کلشدنهای مکانی در برابر تغییرات ظاهری، جفتتوصیف کننده

Khan [ چارچوب کاری نوینی را ارائه داده29و همکارانش ] بندیبرای تصاویر با کیفیت کم، حاالت چهره را دستهاند که به طور موثر

معروف است، به منظور خلق بردار ویژه برای نواحی برجسته (PLBP)کند. چارچوب جدید که به نام هرم الگوی دودویی مکانی می

عکسی های فضایی و حرکات و به واسطه ترکیبات مکانی است. هر ی طرحنشان دهنده PLBPگیرد. صورت مورد استفاده قرار می

ها فضایی آن که همان مشخصات برجسته شود تا تا مکانتکه میهای مختلف کیفیتی، تکهدر مدلشود ابتدا خه بررسی میکه وارد چر

شوند. همچنین الزم است؛ تعیین شود. آنگاه مشخصات استخراجی نواحی گوناگون به منظور تشکیل یک بردار ویژه، با هم ادغام می

و Ouyangشود. انجام می MMIحالت چهره تشخیصو +CKهای داده به تاکید است که تمامی آزمایشات در فضای پایگاه

11

اند. در ج مشخصات چهره، استفاده کردهابه منظور استخر (HOG)متمایل شیب سنج های و هیستوگرام LBP[ از 30همکارانش ]

پراکنده مبتنی بر طبقه بندی ارائه گیری در سطوح کیفیت با ادامه هر کدام از انواع مشخصات به طور مجزا با استفاده از ادغام تصمیم

نشان از نرخ دقت بسیار CKشوند.آزمایشات انجام شده بر پایه پایگاه داده که از جهت شناسایی چهره بسیار قوی است، ترکیب می

ود مرسوم و سنتی را به منظور افزایش و بهب LBP[ 31و همکارانش ] Gaoدهد. ها را نشان میباال در مقایسه با نتایج دیگر روش

های جدیدی که به نام هرم الگوی دودویی مکانی وزن داده شده انطباقی توسعه نرخ دقت، تعمیم و گسترش دادند. توصیف کننده

نیز مورد استفاده قرار گرفته است. شیوه کار بدین صورت است که در ابتدا تصویر داده شده ورودی، به کمک (AWELBPP)یافته

ای از تصاویر زیر افقی با تقسیم کردن تصویر، شود. در قدم بعدی، مجموعههای مختلف تقسیم مییتتبدیل هرمی به تصاویری با کیف

شود. در زیر مجموعه تصاویر، اجرا می ELBPبه کمک اجرای روش (ELBP)شود. الگوی دودویی مکانی زیر گسترش تنظیم می

نتایج آزمایش روش پیشنهادی .آنتروپی آن اندازه گیری نموده کمک توان باطالعات مهم درون زیرمجموعه تصاویر را میهمچنین

[ روش جدیدی را 32و همکارانش ] Chao. ه استخود را نمایان ساخت LBPتر در قیاس با روش سنتی تر و برجستهبسیار عالی

به الگوی دودویی مشخص کننده مشخصات چهره تعمیم یافته که اند. در قدم اول توصیفبندی حاالت چهره ارائه کردهبرای طبقه

های انسانی را تبدیل به نقاط مشخص جزیی تصاویر چهرهاطالعات ES-LBPمعروف است، تعریف شده است. (es-LBP)مکانی

کرد. در این پژوهش، طرح مراقبتی کالس نظم داده شده مکانی به منظور بیشینه سازی استقالل کالس و بهبود ارتباط صورت می

های متنوع بر سازیحاالتی و مشخصات چهره، ارائه شده است. دقت و صحت روش پیشنهاد شده به کمک شبیههای کالسبین

توسط (WLD)شود. اخیراً توصیف کننده مکانی قدرتمندی که به نام توصیف کننده مکانی وبر شهرت دارد پایگاه داده، سنجیده می

Chen [ معرفی شده است. 33و همکارانش ]WLD برد. بر خالف روش تغییرات تراکم درون پیکسلی تصویر، بهره میاز نسبت

LBP [ مشخصات ترکیبی را با استفاده 34جهت گیری سطوح توسط شیب سنج های متمایل، تعریف می شود. محمد و همکارانش ]

از دو جز به WLDاطالعات مختلف را رمزگذاری می کند. WLDروش LBP. در مخالفت با نمودنداستخراج LBPو WLDاز

برد. مشخصات برجسته کوچک به تمایالتی شیبی است، بهره می منظور استخراج کردن ویژگی ها که همان اختالفات حرکتی و

که در نهایت برای ساخت پایه و اساسی جهت شکل گیری الگو مفید گرددکمک اختالفات حرکتی و تمایالت شیب دار محاسبه می

Kruskal-Wallisنرخ دقت طبقه بندی، مجموعه مشخصات متمایز کننده بیشتری به کمک الگوریتم شود. به منظور بهبودواقع می

شود. ادغام کننده سطوح کیفیت به منظور ترکیب هر دو نوع مشخصات و ، به کار برده میLBPو WLDبرای استخراج مشخصات

رای پیشرفت موثر سیستم تشخیص چهره، به خیل عظیمی [ بیان نمودند که ب35و همکارانش ] Yuشود. بهبود نرخ دقت، اجرا می

ها در این اندازه و فراوانی خود کاری بزرگ و بسیار زمان بر است. البته با پیشرفت علم فناوری آوری این دادهها نیاز است. جمعاز داده

12

1 همعادل

با این روند،توان به چنین امکانی به کمک نیروی مرورگرهای وب دست یافت. در های اینترنتی، میاطالعات و توسعه در زیر ساخت

های مختلف را جمع آوری کرد. برای برتری یافتن تور جستجو، می توان از شبکه جهانی وب، تصاویر حقیقی در چهرهوکمک قالب م

که تصاویر مرتبط را از مجموعه – (SVM)ار پشتیبان ماشین یادگیرنده فعال که به نام ماشین برد بر این محدودیت، آنها از رویکرد

، پایگاه داده CKو JAFFEها استاندارد همچون . در مقایسه با دیگر پایگاه دادهاندبهره برده -تصاویر مختلط جدا و انتخاب می کند

بندی حاالت هتر است. برای طبقهتر و بچهره دارد، غنی شتری به ازای هر حالتحاصل آنها از این جهت که تعداد تصویر بسیار بی

. همچنین بعد از سری آزمایشات نمدنداستفاده (WLD)مختلف چهره، آنها از هیستوگرام ضمنی به کمک توصیف کننده مکانی وبر

حاالت ، پایگاه داده حاصله شباهت بسیار بیشتری با CKو JAFFEداده یسه با پایگاهاند که در مقامختلف، به این نتیجه دست یافته

است. تر را داراواقعی دارد و به ازای تصاویر داده شده تحلیل و توانایی استخراج سازی باالتری با دقت بیشتر و موثر

روش های استخراج سازی مشخصات موجود 2.1

Haralickمشخصات ترکیب 2.1.1

است و اطالعات استخراج شده از این بندی تصاویر ا برای طبقههترین روشیکی از ابتدایی Haralickمشخصات ترکیبی

مشخصات مذکور به صورت بنیادین در ساخت ماتریس هم زمان، در ادامه شود. مشخصات، در الگوی ترکیبی بافت صورت نمایان می

[.36د. ]گیرجای می

شهرت دارد، ساختاربندی GLCMترکیبی بر اساس ماتریس سطح خاکستری هم زمان که به نام این مشخصات بافت و

نشان داده شده است. تعداد دفعاتی که Ngاست که سطوح خاکستری تصویر توسط Ngشوند. ماتریس مربعی زیر حاوی ابعاد می

یم ماتریس کلی ها برای تقسرود و در مرحله بعد تعداد مقایسهبه کار می I,jبرای تولید ماتریس عامل jمجاور به پیکسل iپیکسل

در jدر کنار پیکسل iگیرد. بنابراین ورودی هر کدام از ماتریس هم زمان به نظور احتمال جانشینی پیکسل استفاده قرار می دروم

دهد.را نشان می Haralickبرخی از مشخصات 1شود. شکل نظر گرفته می

13

2 همعادل

شوند، به این دلیل تولید می این مسیرهای همجوار، های هم زمان با استفاده هر کدام ازبرای ماتریس Haralickآمار و ارقام

که همجواری به معنای رخداد پیکسل تصویر در هر کدام از چهار مسیر سطح دو بعدی، برای چنین تصاویر ماتریس مربع پیکسلی،

تعریف می شود )عمودی، افقی و قطرهای چپ و راست(.

(LBP)الگوی دودویی مکانی 2.1.2

تصاویر مقیاس خاکستری به منظور استخراج اطالعات ترکیبی بافتی نقاط همسایه و همجوار مکانی، [ از 37] LBPی والگ

LBPشود. کدهای محاسبه می LBPها و نقاط همجوار مکانی با استفاده از کند. رابطه دودویی ما بین هر کدام از پیکسلاستفاده می

فرآیند 2شوند. در زیر، شکل شوند و در ادامه مشخصات تصاویر توالی هیستوگرام وزن دهی میبنا به قوانین معین، کدگذاری می

دهد.را شرح می LBPتبدیل کدگذاری

برای تبدیل 2آید. در ادامه رابطه ساعت، بدست میمقدار مشخصه )ویژه( پیکسل از طریق خوانش عدد دودویی در جهت عقربه های

کد به عدد اعشاری مناسب است.

بیانگر هر پیکسل در تصویر اصلی هستند. cyو cxدر حای که

LBPتولید کد دودویی - 2شکل

در جهات مختلف Harakنمایش مشخصات - 1شکل

14

، کدهای دودویی تصاویر بدست می آیند. اطالعات کوچک و خرد تصاویر در LBPبعد از اسکن کردن تصویر با استفاده از عملگر

برای نشان دادن اطالعات بافتی ترکیبی مکانی ارائه شده است. LBPذخیره می شود. هیستوگرام LBPتصویر کدگذاری شده

(DWT)تبدیل موجی گسسته 2.1.3

توانیم تصاویر با سطوح می DWTاز طریق رود.[ برای استخراج مجموعه مشخصات به کار می38] DWTدر اغلب موارد از

گیرد. همچنین از این مختلف کیفیتی را تحلیل و بررسی کنیم. تجزیه تصویر اصلی از طریق فیلترهای درشت و خرد صورت می

گیرد. در ادامه تصویر تخمینی بدست اطالعات معیار تصویر، مورد استفاده قرار می فیلترهای برای بدست آوردن تخمین تصویر و حفظ

، cH، افقی cV، عمودی cDچهار زیر دسته دیاگنول شوند. های مختلف بر اساس کاربردهای متنوع تقسیم میآمده به انواع زیر دسته

آید. در ادامه اطالعات ضریب تخمینی زیردسته بدست مینشان داده شده است، 3دو بعدی که در شکل DWTتوسط cAو تخمینی

cA .نقش مهمی در کاهش مشخصات بازی می کندDWT حاوی اطالعات تواتر و لبه ها در مقایسه با دیگر روش های تبدیل سازی

است. (DCT)و تبدیل گسسته کسینوسی (DFT)همچون تبدیل گسسته فوریه

(DCT)تبدیل گسسته کسینوسی 2.1.4

DCT [39روش بسیار شناخته شده تبدیل کننده ]رود. ضریب یک تصویر ج سازی مشخصات بکار میای است که برای استخرا

شود.ده است، ذخیره میاسی در ابتدا امر جستجو برگزیده شاین است اطالعات مهم و اس در حالت زیگ زاگ که نشان دهنده

وری بدون بهره ضرایبتمامی شوند. در گام بعدی ، از هم گسسته میDCTسازی با استفاده از روش تبدیلهای تصویر داده

وجود شوند. اگر ضریب تغییرپذیری باالیی در گوشه کناری سمت راست باالی تصویر سازی، بدون خطر و ریسک، کدگذاری میفشرده

شود. ه بردار یک بعدی تبدیل میداشته باشد، ماتریس ضرایب توسط اسکن تصویر به صورت زیگ زاگ از گوشه سمت باال چپ، ب

توانیم سه اجزای بر روی تصویر، ما می DCTاین فرآیند دقیقًا شبیه دسته بندی چیزی بنا به درجه اهمیت آن است. بعد از اجرای

یانگین تصویر . تراکم موریمباشد، بدست می آاصلی یعنی باال، میانه و پایین تواتر را که شامل برخی اطالعات تصویر و جزئیات آن می

[. از نگاه ریاضی تصویر 39] استبه طور اغلب در جز تواتر پایین که بیشتر در سیستم تشخیص حالت چهره مرسوم است، موجود

DCT باشد:بدین صورت می دو بعدی

DWTتجزیه مرحله اول - 3شکل

15

5 معادله

uمتغیر است و N-1تا 0از vبه طور هماهنگ است که ارزش مقداری yو xنشان دهنده تراکم پیکسلی yو f، xدر معادله باال

نمایش داده می شود. MxNموجود است. اندازه ی تصویر به سورت M-1تا 0بین

(WLD)توصیف کننده ی مکتنی وبر 2.1.5

WLD سط دو جز حرکت نی است که اخیراً مهندسی شده است که توهای قدتمند و موثر مکایکی از بهترین توصیف کننده

کند تغییرات شود که بیان میتخمین زده می "قاون وبر"توسط قانونی به نام WLD[ است. 33اضلی و جهت گیری درجه ای ]فت

ترین مقیاس، واضح و قابل تشخیص است. اگر ضریب تغییرات کمتر از ، به بهترین صورت خود در عالیمحرک همچون نور و صوت

و Chenسهمیه ثابت باشد، از آن برای برآوردهای آتی استفاده نخواهد شد و از انسان برای تعیین موجودیت فرد استفاده می شود.

های تصویر را علی رغم شرایط بسیار اوم لبهتواند به طور مد[ ثمرات استاده از روش فوق را چنین بیان نمودند که می33همکارانش ]

نامطلوب، نتیجه گیری کند و حتی در برابر تغییرات نوری بهتر عمل کند.

حرکت تفاضلی:

ها باتوجه به پیکسل بخش اول به عبارتی، حرکت تفضیلی را به کمک محاسبه ضریب که همان تفاوت پیکسل WLDدر ابتدا

که از آن دارد، محاسبه می کند. تفسیر آن بدین صورت است:ای مرکزی و فاصله

هم تعداد pی حرکت تفاضلی پیکسل مرکزی و نماینده ξ(x_c )همان پیکسل مرکزی، X_Cاین رابطه بدین صورت است که

. در اینجا از باشدمی x_cی چندمین همجوار نشان دهنده است، p-1تا 0از iکه در آن X_iدهد. پیکسل همجوار را نشان می

شود. در ادامه مقدار محاسبه شده آرکتانژانت به منظور محدود کردن خروجی و کنترل افزایش فوری در افت ورودی، استفاده می

[. اگر مقدار در حالت افزایش باشد به معنای این است که پیکسل 33خروجی ممکن است برای حرکت تفاضلی، مثبت یا منفی باشد ]

3 معادله

4 معادله

16

، معنای آن چیزی نیست جز اینکه پیکسل مورد نظر تر شدن است اما در نقطه ی مقابل اگر ارزش منفی بدست آید در حال تاریک

تر است. هدف عمده حرکت تفاضلی این است که مهم ترین الگوی دقیق و جامع مکانی را از در برابر پیکسل همجوار خود، روشن

تصویر بدست آورد.

(FS) انتخاب مشخصه 2.2

ای از مشخصات های ریاضی، روش انتخاب مشخصه )ویژگی( برای انتخاب زیرمجموعهساخت مدل تنومند و مبتنی بر پایهبرای

هدف و آنچه در نشان دادن یند حاوی مشخصات مرتبط است و همان سبب افزایش دقتبرآگیرد. بردار بهینه، مورد استفاده قرار می

آن نرخ اشتباهات یشود و در نتیجهانتخاب حاالت مرتبط و بهینه، زمان محاسباتی کاسته میشود. بنا به که مورد نظر ما است، می

صحیح دسته اطالعات شود. برای تعیین د و به سبب آن نتایج دسته بندی با دقت و صحت باالتری تولید مینیز کاسته خواهد ش

. پیچدگی و دشواری قسمت تقسیم بندی، دسته بندی و ی انتخاب شده باید حاوی اطالعات کافی و مرتبط باشدورودی، مشخصه

های ضعیف شود و همچنین انتخاب مشخصهتر و بیشتر میهای مازاد و اضافی، به طور اضافه بر نیاز سختآموزش، بنا به مشخصه

ترین محدودیات ممکن است که بر نتیجه دسته بندی تاثیر منفی بگذارد و در نهایت باعث کاهش نرخ دقت شود. یکی از اساسی

حی در هایی به طور مطلوب کاربرد دارد که الگوی ساده و واضروش انتخاب مشخصه، این است که روش مذکور صرفاً برای مشخصه

تری را تشکیلها بر هم منطبق شوند و الگوی توزیعی پیچیدههای محدودیتاند، اما اگر لبهبه تعاریف موجود مرتبط توزیع دارند که

ها لفاف و فیلترها دو رویکرد اساسی کلی برای انتخاب مشخصهتواند این روش کار خود را به طور احسن انجام دهد. ه نمیدهند، آنگا

است. هدف رویکرد مبتنی بر فیلتر، دادن جایگاه و دسته بندی مشخصات و زیرمجموعه های مشخصات بدون دخالت دادن طبقه

شوند. از طرف دیگر رویکردهای لفاف و فیلتری، نتخاب نتایج طبقه بندی در نظر گرفته نمییند ادر طی فرآبندی کننده است. بنابراین

های مبتنی بر لفاف کند. در کل روشی انتخاب زیرمجموعه بهینه از مشخصات، کمینه مینرخ اشتباهات طبقه بندی را به واسطه

.نیاز به محاسبات بسیار زیاد برای یافتن بهترین مشخصات نیاز دارد

ای را لحاظ ای و درون دستههای ترکیبی که نتایج طبقه بندی و تغییرات برون دستهبه طور کلی، از معیار عینی در روش

های مبتنی بر فیلتر نیاز به جستارهای بسیار زیاد برای انتخاب مشخصه بنا به اینکه شود. به صورت عمومی روشکند، استفاده میمی

تر هستند، نیاز ندارد. از طرف دیگر رویکردهای مبتنی بر لفاف و ترکیبی بسیار حجماز جهت محاسباتی کمکدام یک از این رویکردها

توان هیچ کدام از . همچنین در بخش مقدمه و مرور ادبیات، صحبت شد که نمیباشندمی از جهت محساباتی سنگین و دشوار

بهترین توانند که دهند، نمیهایی که جستارهای غیر جامع انجام میروشاما ،به عنوان روش عالی و برتر شناخترا مذکور هایروش

17

)تحلیل تفکیک LFDAو PCA) تحلیل تفکیک کننده مکانی(، LDAمشخصه را پیدا کنند و حجم محاسبات آنها به روش های

گیرد.کننده مکانی فیشر( برای انتخاب مشخصه، صورت می

(WLD بلوک و LBP کوبل) 1حل پیشنهادی راه 3.1

قدم پیش پردازش شامل های کلی این مرحله به صورت پیش پردازش، استخراج سازی مشخصات و طبقه بندی است. گام

شود. پشت زمینه تصویر صورت حذف میها، صورت را تشکیل داده، و بعد سازی صورت است. در این مرحله نقاط مرکزی چشمنرمال

گیرد و بعد در زیر نمایش داده شده است. گام پیش پردازش بر روی داده ورودی صورت می 1دیاگرام نموداری راه حل پیشنهادی

به گام استخراج سازی که قدم بعدی است سپرده می شود.

1حل پیشنهادی نمودار توضیحی راه 4شکل

18

به منظور تولید DCTاجرا می شود. در گام بعدی، برای تمامی تصویر صورت LBPدر گام استخراج سازی مشخصات، عملگر

فعالیت می کند و بعد از اسکن زیگ زاگ تنها مشخصات اصلی صورت که مورد نظر است، استخراج می شود. LBPتصویر

گام های راه حل پیشنهادی به صورت زیر خالصه شده است:

گر : در قدم اول توصیف1گامLBP برای تولید کد تصویرLBP، گیرد.مورد استفاده قرار می

برای دست آوردن اطالعات فضایی مکانی، تصویر کدگذاری شده 2گام :LBP به تعدادی ردیف(NR) و تعدادی ستون

(NC) که همانNRxNC شود.است، تقسیم می

برای بدست آوردن ضرایب 3گام :DCT ،DCT .را برای هر بلوک از تصویر اجرا می کنیم

4گام :DCT ضریب متمایزی به طور اخص در قسمت باال سمت چپ یب را بر اساس اهمیت آنها بنا به اینکه کدام ضرا

شوند.قرار دارد، دسته بندی می کند. مشخصات با تغییرپذیری باال با استفاده از عملکرد زیگ زاگ انتخاب می

تنها ضرایب متمایزی 5گام :(NHDCT) شوند.می انتخابوک لهر ب از

که همان 6گام( بردار مکانی سراسری :NHxNRxNC )با الحاق کردن مشخصات استDCT بلوک انتخاب شدههر ،

شوند.تولید می

، تکرار WLDبرای استخراج مشخصات بلوک از تصویر برچسب گذاری شده 6الی 3همچنین شایان ذکر است که گام های

شود.می

چندگانه( WLDچندگانه و LBP) 2راه حل پیشنهادی 3.2

ذخیره سازی منظور شود تا ابعاد داده ها را کاهش دهد. به قسمتی که حاوی صورت است، از تصویر استخراج می در گام اول،

شود و آنگاه هیستوگرام مربوطه از هر بخش محاسبه ، تصویر ورودی به مناطق مستطیلی تقسیم میمکان فضایی کوچک ترکیب بافتی

در نظر گرفتن این مالحظه، به هر کدام به احساسات آدمی، برخی از مناطق صورت از اهمیت بیشتری برخوردارند. برای ا . بنگرددمی

مقیاس تحلیلتا صه شده القدم بعدی تصویر اصلی خشود. در ، وزن تخصیص میمندندهره از مناطق که از اهمیت خاص خود ب

ها بود یافته )که هیستوگرامهای بهادامه تمامی هستوگرامدر .آیدمیبدست ، 3*3اندازه WLDفیلتر بکارگیریبه کمک چندگانه

الگوریتم های نتیجه، بزرگ است. اقسام بدست آمده در هیستوگرامتعداد اما ،شوندبا هم ترکیب می سطح نشات گرفته( راز ه

Kruskal-Wallis رود.برای انتخاب بیشترین مشخصه متمایزی هستوگرام، به کار می

19

به صورت زیر گام بندی می شود: 2حل پیشنهادی راه

شود همچون اول: تصویر ورودی به مناطق مستطیلی متفاوت تقسیم بندی میگامR1 ،R2، R3 ،...،Rn

هیستوگرام ،: برای هر زیرمجموعهدومگامHn (n الی 2، 1شاملN محاسبه می )شود.است

وزن سوم: گامWn (n=1,2,…,N) شود.بنا به اهمیت هر بخش تخصیص داده می

چهارم: گامH=[Wn Hn] کهn باشد.هر دو اطالعات جهانی و مکانی را دارا می

شود.فضایی در هر سطح تشکیل میپنجم: هیستوگرام گام

شوند.الحاق میه در مقیاس های متخلف استخراج می شوند برای تولید بردار مشخصه نهایی، هایی کششم: هیستوگرامگام

انتخاب مشخصهدر هفتم: برای کاهش اقسام هیستوگرامگام Kruskal-Wallisم برای استخراج سازی ، گام اول تا پنج

شود.تکرار می LBPمشخصات

منابع:

[1] C. Darwin, “The expression of the emotions in man and animals,” J. Murray, London, 1872.

[2] P. Ekman, and W.V. Friesen, “Constant across cultures in face and emotions,” Journal of

Personality and Social Psychology, vol. 17, no. 2, pp. 124-129, 1971.

[3] A. Mehrabian, “Communication without words,” Psychology Today, vol. 2, no. 4, pp. 53-56,

1968.

[4] E. Douglas-Cowie, R. Cowie, M. Schroeder, “The description of naturally occurring

emotional speech”, in Proceedings of 15th International Congress of Phonetic Sciences,

pp. 2877–2880, 2003.

[5] K.R. Scherer, G. Ceschi, Lost luggage, “a field study of emotion-antecedent appraisal,”

Motivation and Emotion, vol. 21, pp. 211–235, 1997.

[6] K. Yu, Z.Wang, L. Zhuo, J.Wang, Z. Chi, D. Feng, “Learning realistic facial expressions

from web images,” Pattern Recogn, vol. 46, pp. 2144–2155, 2013.

[7] A. Dhall, J. Joshi, I. Radwan, R. Goecke, “Finding happiest moments in a social context,”

Computer Vision—ACCV, vol. 7725, pp. 613–626, 2013.

[8] A. Dhall, R. Goecke, S. Lucey, T. Gedeon, “Static facial expression analysis in tough

conditions: Data, evaluation protocol and benchmark”, IEEE International Conference on

Computer Vision, pp. 2106–2112, 2011.

20

[9] J.Whitehill, G. Littlewort, I. Fasel, M. Bartlett, J.Movellan, “Toward practical smile

detection,” IEEE Trans. Pattern Anal. Mach. Intell. Vol. 31, pp. 2106–2111, 2009.

[10] A. Dhall, R. Goecke, S. Lucey, T. Gedeon, “Collecting large, richly annotated facialexpression

databases from movies,” IEEE Multimedia, vol. 19, pp. 34–41, 2012.

[11] E. Douglas-Cowie, C. Cox, J.-C. Martin, L. Devillers, R. Cowie, I. Sneddon, et al., "The

HUMAINE Database," in Emotion-Oriented Systems, ed: Springer Berlin Heidelberg, pp. 243-

284, 2011.

[12] M. Yeasin, B. Bullot, R. Sharma, “Recognition of facial expressions and measurement of

levels of interest from video,” IEEE Trans. Multimedia vol. 8, pp. 500–508, 2006.

[13] M. Grimm, K. Kroschel, S. Narayanan, “The Vera am Mittag German audio-visual

emotional speech database,” IEEE International Conference on Multimedia and Expo, pp. 865–

868, 2008.

[14] G. Ghimire and J. Lee, “Geometric Feature-Based Facial Expression Recognition in Image

Sequences Using Multi-Class AdaBoost and Support Vector Machines,” Journal of sensors, vol.

13, pp. 7714-7734, 2013.

[15] G. Ghimire and J. Lee, “Geometric Feature-Based Facial Expression Recognition in Image

Sequences Using Multi-Class AdaBoost and Support Vector Machines,” Journal of sensors, vol.

13, pp. 7714-7734, 2013.

[16] A. Saeed, A. Al-Hamadi, R. Niese, and M. Elzobi, “Frame-Based Facial Expression

Recognition Using Geometrical Features,” Advances in Human-Computer Interaction, vol. 14,

pp. 1-14, 2014.

[17] D. Ghimire, J. W. Lee, Z. N. Li, S.W. Jeong, S. H. Park and H. S. Choi, “Recognition of

Facial Expressions Based on Tracking and Selection of Discriminative Geometric Features,”

International Journal of Multimedia and Ubiquitous Engineering, vol. 10, no. 3, pp. 35-44,

2015.

[18] R. Niese, A. Al-Hamadi, A. Farag, H. Neumann, B. Michaelis, “Facial expression

recognition based on geometric and optical flow features in colour image sequences,” IET

Computer Vision, vol. 6, no. 2, pp. 79-89, 2012.

[19] C. Loconsole, C. R. Miranda, G. Augusto, A. Frisoli, and V. Orvalho, “Real-Time Emotion

Recognition: a Novel Method for Geometrical Facial Features Extraction,” Proc International

Conf. on Computer Vision Theory and Applications - VISAPP , Lisbon , Portugal , vol. 01 , pp.

378 – 385, 2014 .

[20] M. Bartlett, J. Movellan, T. Sejnowski, Face recognition by independent component

analysis, IEEE Transactions on Neural Networks, vol. 13, no. 6, pp.1450–1464, 2002.

[21] P. Belhumeur, J. Hespanha, D. Kriegman, Eigen faces vs fisher faces: recognition using

class specific linear projection, IEEE Transactions on Pattern Analysis and Machine

Intelligence, vol. 19. no. 7, pp. 711–720, 1997.

[22] M. Turk, A. Pentland, “Face recognition using eigen faces, in: IEEE Conference on

21

Computer Vision and Pattern Recognition,1991.

[23] Y. Loa, C. Wub, Y. Zhangb, “Facial expression recognition based on fusion feature of PCA

and LBP with SVM,” Journal of Optik, vol. 124, pp. 2767– 2770, 2013.

[24] F. Long, T. Wub, J. R. Movellan, M. S. Bartlett, G. Littlewort, “Learning spatiotemporal

features by using independent component analysis with application to facial expression

recognition,” Journal of Neurocomputing, vol. 93, pp. 126– 132, 2012.

[25] L. Zhang, D. Tjondronegoro, V. Chandran, “Facial expression recognition experiments with

data from television broadcasts and the World WideWeb,” Image and Vision Computing, vol.

32, pp. 107– 119, 2014.

[26] I.S. Pandzic, R. Forchheimer, MPEG-4 Facial Animation: The Standard, Implementation

and Applications, Wiley, 2002.

[27] U. Tariq, K.H. Lin, Z. Li, X. Zhou, Z. Wang, V. Le, T.S. Huang, X. LV, and T.X. Han,

“Recognizing Emotions From an Ensemble of Features,” IEEE Transaction on system, man and

cybernetics, vol. 42, no. 4, pp. 1017-1026, 2012.

[28] C. Zach, T. Pock, and H. Bischof, A duality based approach for real time TV-L 1 optical

flow, In processing of International Conference on Pattern Recognition, pp. 214–223, 2007.

[29] R. A. Khan, A. Meyer, H. Konik, S. Bouakaz, “Framework for reliable, real-time facial

expression recognition for low resolution images,” Pattern Recognition Letters, vol. 34, pp.

1159–1168, 2013.

[30] Y. Ouyang, N. Sang, R. Huang, “Accurate and robust facial expressions recognition by

fusing multiple sparse representation based classifiers” Journal of Neurocomputing, vol. 149, pp.

71–78, 2015.

[31] T. Goa, X.L. Fenga, H. Lub, and J.H. Zhaia, “A novel face feature descriptor using

adaptively weighted extended LBP pyramid,” Journal of Optik, vol. 124, pp. 6286– 6291, 2013.

[32] W. L. Chao, J. J. Ding and J. Z. Liu “Facial expression recognition based on improved local

binary pattern and class-regularized locality preserving projection,” Journal of Signal

Processing, vol. 2, pp. 552– 561, 2015.

[33] J. Chen, C. He, G. Zhao, M. Pietikainen, X. Chen, and W. Gao, WLD: a robust local image

descriptor, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 32, no. 9, pp.

1705–1720, 2010.

[34] G. Muhammad, M. Hussain, F. Alenzezy, G. Bebis, A.M. Mirza, and H. Aboalsamh, Race

classification from face images using local descriptors, Journal of artificial intelligence tools,

vol. 21, no. 5, pp. 113–121, 2012.

[35] K. Yu, Z. Wang, Li. Zhuo, J. Wang, Z. Chi, and D. Feng, “Learning realistic facial

expressions from web images,” Journal of Pattern Recognition, vol. 46, pp.2144–2155, 2013.

[36] R.M. Haralick, K. Shanmugam, and H. Dinstein, Textural Features for Image Classification.

IEEE Transaction on system, man and cybernetics, SMC-3, pp. 610-621, 1973.

22

[37] T. Ojala, M. Pietikainen, D. Harwood, “A comparative study of texture measures with

classification based on featured distributions, Pattern Recognition, vol. 29, pp. 51–59, 1996.

[38] T. Edwards, “Discrete Wavelet Transforms: Theory and Implementation, 1992.

[39] N. Ahmad, “Discrete Cosine Transform, IEEE transaction of computers, vol. 23, pp. 90–93,

1974.

[40] M. J. Lyons, J. Budynek, and S. Akamatsu, “Automatic classification of single facial

images,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 21, no. 12, pp. 1357–1362, 1999.

[41] J. A. Swets, R. M. Dawes and J. Monahan. “Better decisions through science.” Scientic

American, pp. 70-75, 2000.

[42] M. J. Lyons, M. Kamachi, and J. Gyoba, “Japanese female facial expressions (jaffe),” 1997.

[43] P. Phillips, H. Moon, S. Rizvi, P. Rauss, The feret evaluation metho- dology for facerecognition

algorithms, IEEE Transactions on Pattern Analysis and Machine Intelligence.