deep belief networks شبکه های باور عمیق
TRANSCRIPT
روش های دسته بندی در شبکه های باور عمیقClassification method in DBN
سیدمحمدرضاموسوی نصر1393تابستان
فهرست مطالب
مقدمه•
تعاریف شبکه باور عمیق •
•RBMچیست؟
DBNروش های دسته بندی در •
مثالی از مقایسه عملکرد روش ها•
بررسی مقاله مورد مطالعه•
روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر
1393مرداد ید از 0اسال15
مقدمه تعاریف RBM روش های دسته بندی
مثال مقایسه ای
مقاله مورد مطالعه
تاکنون NN وDT ، SVMروش های دسته بندی زیادی مانند•
معرفی شده
هرکدام مزایا ومعایب خود را داشته اند•
معرفی DBN با نام Hinton توسط آقای NNتوسعه جدیدی از •
شده
جهت دسته بندی DBNسعی بر تعریف بهبود هایی از اجزای •
داریمید از 1اسال15
روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر
1393مرداد
DBNیا شبکه های باور عمیق توسعه جدیدی از شبکه های عصبی ارائه 2005هینتون درسال •
استفاده کرد RBMکرد که در این شبکه ها از اجزایی به نام
در واقع یک مدل تولیدی و ترکیبی از چند الیه پنهان و آشکار •درست کرد.
برگ برنده کارهنیتون پیش آموزش بدون ناظر و حریصانه مدل • نجات دادTrain روی over fit را از DBN بود که RBMهای
تشکیل شده RBM از یکسری DBNدر واقع •
ید از 2اسال15
روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر
1393مرداد
مقدمه تعاریف RBM روش های دسته بندی
مثال مقایسه ای
مقاله مورد مطالعه
RBMماشین بولتزمن محدود شده یا
یک گراف بدون جهت ، دو الیه است که یک الیه از آن واحد •
استHidden و دیگری Visibleهای
بین دو الیه ارتباط متقارن ولی بین واحدهای یک الیه ارتباطی •
وجود ندارد
Visible مدل کردن یک توزیع برروی متغیر های RBMهدف •
استید از 3اسال15
روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر
1393مرداد
مقدمه تعاریف RBM روش های دسته بندی
مثال مقایسه ای
مقاله مورد مطالعه
RBMماشین بولتزمن محدود شده یا Dtrain=(xi,yi)برای آموزش یک مدل تولیدی روی داده های داده شده به فرم •
را درنظر می گیریمlog likelihoodکمینه منفی
دنبال تخمین گیری هستیم که گرادیانش Likeli hoodجهت کمینه کردن •
براساس پارامترهای مدل باشد
اما در بقیه مراحل غیر قابل tractableمشکل : در اولین نتیجه قابل کنترل و •
کنترل
ید از 4اسال15
روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر
1393مرداد
مقدمه تعاریف RBM روش های دسته بندی
مثال مقایسه ای
مقاله مورد مطالعه
RBMماشین بولتزمن محدود شده یا
راه حل : استفاده از تخمین گری به نام گرادیان اختالف مقابله •
(Contrastive divergence gradientجهت تخمین گرادیان قبلی )
بوسیله یک نمونه تولید شده ، بعد از تعداد تکرار محدودی از •
ی visibleنمونه سازی گیبس با حالت اولیه نمونه های متغیر های
در نمونه های آموزش مقدار دهی می شود
بر مبنای نمونه ای از آن یا P(Y|X) بسیار سخت اما P(y|x)محاسبه •
انتخاب محتمل ترین کالس تحت این مدل قابل محاسبه است
ید از 5اسال15
روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر
1393مرداد
مقدمه تعاریف RBM روش های دسته بندی
مثال مقایسه ای
مقاله مورد مطالعه
ید از 6اسال15
روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر
1393مرداد
مقدمه تعاریف RBM روش های دسته بندی
مثال مقایسه ای
مقاله مورد مطالعه
DRBMماشین بولتزمن محدود شده تبعیضی یا گفته می DRBM هایی که از فرمول زیر استفاده می کنند RBMبه •
شود
تقریب زننده کلی برای ورودی های باینری RBMبه دلیل اینکه • تقریب زننده کلی توزیع های شرطی با ورودی DRBMاست ،
باینری است
می تواند به طور دقیق محاسبه شود گرادیان P(y|x)از آنجایی که •دقیق محاسبه می شود و نیازی به گرادیان اختالف مقابله نیست
(Stochasticاستفاده : در بهینه سازی گرادیان کاهشی الحاقی )•ید از 7اسال15
روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر
1393مرداد
مقدمه تعاریف RBM روش های دسته بندی
مثال مقایسه ای
مقاله مورد مطالعه
ید از 8اسال15
روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر
1393مرداد
مقدمه تعاریف RBM روش های دسته بندی
مثال مقایسه ای
مقاله مورد مطالعه
ماشین بولتزمن محدود شده ترکیبی تبعیضی یا
HDRBMمزیت های بدست آمده با تبعیضی وابسته به داده آموزشی •
دردسترسدیتا ست کوچکتر به سمت آموزش تولیدی و بزرگتر به سمت •
تبعیضی تمایل دارنداستفاده از هر دو در یک فرمول ترکیبی•
وزن آلفای معیار تولیدی می تواند بهینه شده باشد •جهت آموزش : استفاده از گرادیان کاهشی اتفاقی و اضافه •
با Ldiscکردن سهم گرادیان به به هر نمونه با توجه به Lgenتعداددفعات ارتباط تخمینگر با
ید از 9اسال15
روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر
1393مرداد
مقدمه تعاریف RBM روش های دسته بندی
مثال مقایسه ای
مقاله مورد مطالعه
Modeling electroencephalographywaveforms with semi-supervised deep
belief nets: fast classification andanomaly measurement
ساختار مقاله •قسمت اول معرفیقسمت دوم روش های مورد استفادهقسمت سوم نتایج بدست آمدهقسمت چهارم بررسی مباحث مختلفقسمت آخر نتیجه گیری
ید از 9اسال15
روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر
1393مرداد
مقدمه تعاریف RBM روش های دسته بندی
مثال مقایسه ای
مقاله مورد مطالعه
ید از 10اسال15
روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر
1393مرداد
قسمت اول معرفی ، موج گونه های مورد بررسی و کالس های EEGمعرفی •
مورد مطالعهکالس های مدنظر•
Spikyموج های تیز و •تخیله صرعی دوره عمومی و موج تری فازیک طبیعی•Lateralizedدوره تخلیه صرعی •پلک زدن مصنوعی چشم•فعالیت های پس زمینه ای•
روند مقاله :• دسته بند باهم مقایسه شده و به عنوان ورودی به 4ابتدا عملکرد
سیستم داده می شود در انتها نتایج دسته بندها با هم مقایسه می شود
مقدمه تعاریف RBM روش های دسته بندی
مثال مقایسه ای
مقاله مورد مطالعه
ید از 11اسال15
روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر
1393مرداد
قسمت دوم روش های مورد استفادهشامل چند بخش ازجمله معرفی دسته بندهای مورداستفاده، •
محاسبه آنومالی ، نحوه بدست آوردن دیتا ست ها و نحوه بررسی عملکرد است
دسته بندهای مورد استفاده : ••Decision Tree•SVM•KNN•DBN
Root Mean Square Errorبرای محاسبه آنومالی از معیار •استفاده شده
هرتز 256 بیمار صرعی در فرکانس 11بدست آوردن دیتاها : از •نمونه برداری شده
مقدمه تعاریف RBM روش های دسته بندی
مثال مقایسه ای
مقاله مورد مطالعه
قسمت دوم روش های مورد استفاده
بررسی نحوه عملکرد با استفاده از معیار های زیر•
عملکرد دسته بندی •
• F1=2 (دقت + حساسیت)/(دقت * حساسیت)
زمان دسته بندی•
بار آزمایش و محاسبه میانگین زمان برای هردسته بند 100تکرار •
برروی دیتا ست های مختلف
ید از 12اسال15
روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر
1393مرداد
مقدمه تعاریف RBM روش های دسته بندی
مثال مقایسه ای
مقاله مورد مطالعه
قسمت سوم نتایج بدست آمده
ید از 13اسال15
روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر
1393مرداد
مقدمه تعاریف RBM روش های دسته بندی
مثال مقایسه ای
مقاله مورد مطالعه
قسمت چهارم بررسی مباحث مختلف
DBN در تمامی آزمایش ها بدتر از بقیه بود و DTبه طور کلی •
KNN و SVMبهتر
DT سریعتر ولی از KNN و SVM از DBNدر زمان دسته بندی •
کندتر
هدف اصلی مقاله : •
بدست آوردن یک تکنیک دسته بندی قابل اعمال در زمان واقعی
برروی داده های خام در یک محیط بالینی
قابلیت پیاده KNN و SVM قابلیت انجام آن را دارد DBNتنها •
روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی سازی در این محیط را ندارندمالک اشتر
1393مرداد ید از 14اسال15
مقدمه تعاریف RBM روش های دسته بندی
مثال مقایسه ای
مقاله مورد مطالعه
قسمت آخر نتیجه گیری
•DBN نسبت به SVM و KNN سرعت بهتر
•SVM و KNN نسبت به DBN در این تست ها براساس معیار
F1 بهتر ولی قابلیت پیاده سازی در محیط های مذکور را
ندارند
بهتر از سایر دسته بندها حتی در ابعاد باالی DBNبه طورکلی •
داده های خام
روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر
1393مرداد ید از 15اسال15
مقدمه تعاریف RBM روش های دسته بندی
مثال مقایسه ای
مقاله مورد مطالعه
منابع• “Classification using Discriminative Restricted Boltzmann Machines”, Hugo
Larochelle&Yoshua Bengio, Appearing inProceedings of the 25thInternational Confer-ence
on Machine Learning, Helsinki,Finland, 2008
• “Modeling electroencephalography waveforms with semi-supervised deep belief nets: fast
classification and anomaly measurement”, D F Wulsin, JRGupta, R Mani, J A Blanco, B Litt,
journal of neural engineering,2011, doi:10.1088/1741-2560/8/3/036015
• A Practical Guide to Training Restricted Boltzmann Machines Version 1,Geoffrey Hinton,2010
روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر
1393مرداد ید از 15اسال15
مقدمه تعاریف RBM روش های دسته بندی
مثال مقایسه ای
مقاله مورد مطالعه
ANY QUESTION ?
روش های دسته بندی در شبکه های باور عمیق-دانشگاه صنعتی مالک اشتر
1393مرداد یدی اسالنمونده