deep belief networks شبکه های باور عمیق

20
ق ی م ع اور های ب ه ک ب شی در د ب ب ه ت ش های د روشClassification method in DBN ر ص ن وی س و م ا مدرض ح م د ب ش& ان ب س ب ا ب1393

Upload: mohammad-reza-mousavinasr

Post on 08-Aug-2015

116 views

Category:

Technology


2 download

TRANSCRIPT

Page 1: Deep Belief Networks شبکه های باور عمیق

روش های دسته بندی در شبکه های باور عمیقClassification method in DBN

سیدمحمدرضاموسوی نصر1393تابستان

Page 2: Deep Belief Networks شبکه های باور عمیق

فهرست مطالب

مقدمه•

تعاریف شبکه باور عمیق •

•RBMچیست؟

DBNروش های دسته بندی در •

مثالی از مقایسه عملکرد روش ها•

بررسی مقاله مورد مطالعه•

روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر

1393مرداد ید از 0اسال15

Page 3: Deep Belief Networks شبکه های باور عمیق

مقدمه تعاریف RBM روش های دسته بندی

مثال مقایسه ای

مقاله مورد مطالعه

تاکنون NN وDT ، SVMروش های دسته بندی زیادی مانند•

معرفی شده

هرکدام مزایا ومعایب خود را داشته اند•

معرفی DBN با نام Hinton توسط آقای NNتوسعه جدیدی از •

شده

جهت دسته بندی DBNسعی بر تعریف بهبود هایی از اجزای •

داریمید از 1اسال15

روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر

1393مرداد

Page 4: Deep Belief Networks شبکه های باور عمیق

DBNیا شبکه های باور عمیق توسعه جدیدی از شبکه های عصبی ارائه 2005هینتون درسال •

استفاده کرد RBMکرد که در این شبکه ها از اجزایی به نام

در واقع یک مدل تولیدی و ترکیبی از چند الیه پنهان و آشکار •درست کرد.

برگ برنده کارهنیتون پیش آموزش بدون ناظر و حریصانه مدل • نجات دادTrain روی over fit را از DBN بود که RBMهای

تشکیل شده RBM از یکسری DBNدر واقع •

ید از 2اسال15

روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر

1393مرداد

مقدمه تعاریف RBM روش های دسته بندی

مثال مقایسه ای

مقاله مورد مطالعه

Page 5: Deep Belief Networks شبکه های باور عمیق

RBMماشین بولتزمن محدود شده یا

یک گراف بدون جهت ، دو الیه است که یک الیه از آن واحد •

استHidden و دیگری Visibleهای

بین دو الیه ارتباط متقارن ولی بین واحدهای یک الیه ارتباطی •

وجود ندارد

Visible مدل کردن یک توزیع برروی متغیر های RBMهدف •

استید از 3اسال15

روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر

1393مرداد

مقدمه تعاریف RBM روش های دسته بندی

مثال مقایسه ای

مقاله مورد مطالعه

Page 6: Deep Belief Networks شبکه های باور عمیق

RBMماشین بولتزمن محدود شده یا Dtrain=(xi,yi)برای آموزش یک مدل تولیدی روی داده های داده شده به فرم •

را درنظر می گیریمlog likelihoodکمینه منفی

دنبال تخمین گیری هستیم که گرادیانش Likeli hoodجهت کمینه کردن •

براساس پارامترهای مدل باشد

اما در بقیه مراحل غیر قابل tractableمشکل : در اولین نتیجه قابل کنترل و •

کنترل

ید از 4اسال15

روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر

1393مرداد

مقدمه تعاریف RBM روش های دسته بندی

مثال مقایسه ای

مقاله مورد مطالعه

Page 7: Deep Belief Networks شبکه های باور عمیق

RBMماشین بولتزمن محدود شده یا

راه حل : استفاده از تخمین گری به نام گرادیان اختالف مقابله •

(Contrastive divergence gradientجهت تخمین گرادیان قبلی )

بوسیله یک نمونه تولید شده ، بعد از تعداد تکرار محدودی از •

ی visibleنمونه سازی گیبس با حالت اولیه نمونه های متغیر های

در نمونه های آموزش مقدار دهی می شود

بر مبنای نمونه ای از آن یا P(Y|X) بسیار سخت اما P(y|x)محاسبه •

انتخاب محتمل ترین کالس تحت این مدل قابل محاسبه است

ید از 5اسال15

روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر

1393مرداد

مقدمه تعاریف RBM روش های دسته بندی

مثال مقایسه ای

مقاله مورد مطالعه

Page 8: Deep Belief Networks شبکه های باور عمیق

ید از 6اسال15

روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر

1393مرداد

مقدمه تعاریف RBM روش های دسته بندی

مثال مقایسه ای

مقاله مورد مطالعه

Page 9: Deep Belief Networks شبکه های باور عمیق

DRBMماشین بولتزمن محدود شده تبعیضی یا گفته می DRBM هایی که از فرمول زیر استفاده می کنند RBMبه •

شود

تقریب زننده کلی برای ورودی های باینری RBMبه دلیل اینکه • تقریب زننده کلی توزیع های شرطی با ورودی DRBMاست ،

باینری است

می تواند به طور دقیق محاسبه شود گرادیان P(y|x)از آنجایی که •دقیق محاسبه می شود و نیازی به گرادیان اختالف مقابله نیست

(Stochasticاستفاده : در بهینه سازی گرادیان کاهشی الحاقی )•ید از 7اسال15

روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر

1393مرداد

مقدمه تعاریف RBM روش های دسته بندی

مثال مقایسه ای

مقاله مورد مطالعه

Page 10: Deep Belief Networks شبکه های باور عمیق

ید از 8اسال15

روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر

1393مرداد

مقدمه تعاریف RBM روش های دسته بندی

مثال مقایسه ای

مقاله مورد مطالعه

ماشین بولتزمن محدود شده ترکیبی تبعیضی یا

HDRBMمزیت های بدست آمده با تبعیضی وابسته به داده آموزشی •

دردسترسدیتا ست کوچکتر به سمت آموزش تولیدی و بزرگتر به سمت •

تبعیضی تمایل دارنداستفاده از هر دو در یک فرمول ترکیبی•

وزن آلفای معیار تولیدی می تواند بهینه شده باشد •جهت آموزش : استفاده از گرادیان کاهشی اتفاقی و اضافه •

با Ldiscکردن سهم گرادیان به به هر نمونه با توجه به Lgenتعداددفعات ارتباط تخمینگر با

Page 11: Deep Belief Networks شبکه های باور عمیق

ید از 9اسال15

روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر

1393مرداد

مقدمه تعاریف RBM روش های دسته بندی

مثال مقایسه ای

مقاله مورد مطالعه

Page 12: Deep Belief Networks شبکه های باور عمیق

Modeling electroencephalographywaveforms with semi-supervised deep

belief nets: fast classification andanomaly measurement

ساختار مقاله •قسمت اول معرفیقسمت دوم روش های مورد استفادهقسمت سوم نتایج بدست آمدهقسمت چهارم بررسی مباحث مختلفقسمت آخر نتیجه گیری

ید از 9اسال15

روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر

1393مرداد

مقدمه تعاریف RBM روش های دسته بندی

مثال مقایسه ای

مقاله مورد مطالعه

Page 13: Deep Belief Networks شبکه های باور عمیق

ید از 10اسال15

روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر

1393مرداد

قسمت اول معرفی ، موج گونه های مورد بررسی و کالس های EEGمعرفی •

مورد مطالعهکالس های مدنظر•

Spikyموج های تیز و •تخیله صرعی دوره عمومی و موج تری فازیک طبیعی•Lateralizedدوره تخلیه صرعی •پلک زدن مصنوعی چشم•فعالیت های پس زمینه ای•

روند مقاله :• دسته بند باهم مقایسه شده و به عنوان ورودی به 4ابتدا عملکرد

سیستم داده می شود در انتها نتایج دسته بندها با هم مقایسه می شود

مقدمه تعاریف RBM روش های دسته بندی

مثال مقایسه ای

مقاله مورد مطالعه

Page 14: Deep Belief Networks شبکه های باور عمیق

ید از 11اسال15

روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر

1393مرداد

قسمت دوم روش های مورد استفادهشامل چند بخش ازجمله معرفی دسته بندهای مورداستفاده، •

محاسبه آنومالی ، نحوه بدست آوردن دیتا ست ها و نحوه بررسی عملکرد است

دسته بندهای مورد استفاده : ••Decision Tree•SVM•KNN•DBN

Root Mean Square Errorبرای محاسبه آنومالی از معیار •استفاده شده

هرتز 256 بیمار صرعی در فرکانس 11بدست آوردن دیتاها : از •نمونه برداری شده

مقدمه تعاریف RBM روش های دسته بندی

مثال مقایسه ای

مقاله مورد مطالعه

Page 15: Deep Belief Networks شبکه های باور عمیق

قسمت دوم روش های مورد استفاده

بررسی نحوه عملکرد با استفاده از معیار های زیر•

عملکرد دسته بندی •

• F1=2 (دقت + حساسیت)/(دقت * حساسیت)

زمان دسته بندی•

بار آزمایش و محاسبه میانگین زمان برای هردسته بند 100تکرار •

برروی دیتا ست های مختلف

ید از 12اسال15

روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر

1393مرداد

مقدمه تعاریف RBM روش های دسته بندی

مثال مقایسه ای

مقاله مورد مطالعه

Page 16: Deep Belief Networks شبکه های باور عمیق

قسمت سوم نتایج بدست آمده

ید از 13اسال15

روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر

1393مرداد

مقدمه تعاریف RBM روش های دسته بندی

مثال مقایسه ای

مقاله مورد مطالعه

Page 17: Deep Belief Networks شبکه های باور عمیق

قسمت چهارم بررسی مباحث مختلف

DBN در تمامی آزمایش ها بدتر از بقیه بود و DTبه طور کلی •

KNN و SVMبهتر

DT سریعتر ولی از KNN و SVM از DBNدر زمان دسته بندی •

کندتر

هدف اصلی مقاله : •

بدست آوردن یک تکنیک دسته بندی قابل اعمال در زمان واقعی

برروی داده های خام در یک محیط بالینی

قابلیت پیاده KNN و SVM قابلیت انجام آن را دارد DBNتنها •

روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی سازی در این محیط را ندارندمالک اشتر

1393مرداد ید از 14اسال15

مقدمه تعاریف RBM روش های دسته بندی

مثال مقایسه ای

مقاله مورد مطالعه

Page 18: Deep Belief Networks شبکه های باور عمیق

قسمت آخر نتیجه گیری

•DBN نسبت به SVM و KNN سرعت بهتر

•SVM و KNN نسبت به DBN در این تست ها براساس معیار

F1 بهتر ولی قابلیت پیاده سازی در محیط های مذکور را

ندارند

بهتر از سایر دسته بندها حتی در ابعاد باالی DBNبه طورکلی •

داده های خام

روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر

1393مرداد ید از 15اسال15

مقدمه تعاریف RBM روش های دسته بندی

مثال مقایسه ای

مقاله مورد مطالعه

Page 19: Deep Belief Networks شبکه های باور عمیق

منابع• “Classification using Discriminative Restricted Boltzmann Machines”, Hugo

Larochelle&Yoshua Bengio, Appearing inProceedings of the 25thInternational Confer-ence

on Machine Learning, Helsinki,Finland, 2008

• “Modeling electroencephalography waveforms with semi-supervised deep belief nets: fast

classification and anomaly measurement”, D F Wulsin, JRGupta, R Mani, J A Blanco, B Litt,

journal of neural engineering,2011, doi:10.1088/1741-2560/8/3/036015

• A Practical Guide to Training Restricted Boltzmann Machines Version 1,Geoffrey Hinton,2010

روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر

1393مرداد ید از 15اسال15

مقدمه تعاریف RBM روش های دسته بندی

مثال مقایسه ای

مقاله مورد مطالعه

Page 20: Deep Belief Networks شبکه های باور عمیق

ANY QUESTION ?

روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر

1393مرداد یدی اسالنمونده