شبکه بازگشتی

124
ی ت ش گ از ه ب ک ب ش ا ب ن اد رز ی ش وزی ح ر مه! ان ب ک ا ب ی ه ا ا;pma& ب ا هادی ب ی ت وز) پ ه عطا ان رز ف دا ام خ ه ب ن د ب م جد از ا ب ش ا ی ت اد ب ع ر کی ای د : ا;pma&ق

Upload: tom

Post on 26-Jan-2016

96 views

Category:

Documents


2 download

DESCRIPTION

به نام خدا. شبکه بازگشتی. حوری شیرزادنیا آناهیتا کیان مهر تینا هادی فرزانه عطاپور. استاد ارجمند : آقای دکتر عبادتی. مباحث:. یادگیری در شبکه های بازگشتی شبکه بازگشتی ساده شبکه بازگشتی انتقالی شبکه بازگشتی خطی معماری شبکه شبکه عصبی بازگشتی و هاپفیلد. یادگیری در شبکه های بازگشتی. - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: شبکه بازگشتی

شبکه حوری شیرزادنیابازگشتی

آناهیتا کیان مهرتینا هادی

فرزانه عطاپور

به نام خدا

: آقای دکتر استاد ارجمند عبادتی

Page 2: شبکه بازگشتی

Recurre

nt

Network

s

مباحث:

یادگیری در شبکه های بازگشتی1.

شبکه بازگشتی ساده2.

شبکه بازگشتی انتقالی3.

شبکه بازگشتی خطی4.

معماری شبکه5.

شبکه عصبی بازگشتی و هاپفیلد6.

Page 3: شبکه بازگشتی

Recurre

nt

Network

s

یادگیری در شبکه های بازگشتی

Page 4: شبکه بازگشتی

Recurre

nt

Network

s

:برای تحلیل شبکه بازگشتی دو مدل داریم

پیوستهگسسته

Page 5: شبکه بازگشتی

Recurre

nt

Network

s

درمدل گسسته:فعالیت شبکه در هر گام زمانی مشخص، توسط یک

رابطه از میزان ورودی در گام قبل مشخص می گردد.

درمدل پیوسته:توسط معادلت دیفرانسیلی و بر روی زمان پیوسته

تعریف می شود

Page 6: شبکه بازگشتی

Recurre

nt

Network

s

نمایشی ریاضی از مدل گسسته و پیوستهی شبکه های بازگشتی:

Page 7: شبکه بازگشتی

Recurre

nt

Network

s

ی مورد نمایشی از ساختار شبکهاستفاده:

Page 8: شبکه بازگشتی

Recurre

nt

Network

s

ی مورد نمایشی از ساختار شبکهاستفاده:

Page 9: شبکه بازگشتی

Recurre

nt

Network

s

ی مورد نمایشی از ساختار شبکهاستفاده:

Page 10: شبکه بازگشتی

Recurre

nt

Network

s

ی مورد نمایشی از ساختار شبکهاستفاده:

Page 11: شبکه بازگشتی

Recurre

nt

Network

s

:روش های نزول در امتداد گرادیانامانهCالت درونی هر سCای حCک فضCنوعی، دارای یCوش مصCی ه

اCسCت. همچCنین بCا تزریCق یCک Cورودی CبCه CسیسCتم، خCروجی آن، کCه وCابسCتهC بCه حCالت درونی Cآن اسCتC، قاCبCل CمحاسCبه اسCت. ایCده آل بتCواCن حCالت درونCی CهCت کCسCا CورتCن صCدیCبC اCه هCنCاماCن سCای در سCاماCنCه راC بCهC گوCنCه ایC تCنظیمC CنمCوCد، CکCه خCرCوجی مطلCوب راC بCرای هCر ورودCی تCولیCد نمCاینCد.C یکی از روCش هCایC متCداول در این زCمینCه، صCورت داخلی CسCامانه CبCه حCالت CیرCتغیC ی ی CنحCوه مCحاسCبه ریCاضCی CاسCت؛ بCاC اینC هCدفC کCه خCطCا ی خCرCوجی آCن Cکم CشCود.C بCه عبCاCرCت دیCگCر، CخطCایC سCاCمانهC بCه CعCنCوان CیCک مCتغCیرC در CفضCای CحCالت

می CشCود Cو CهCتCگرف نCظCر دCر از مش)تق) سCاماCنCه ب)ا )اس)تفاد)ه کم) را) )در )جهت) س)ا)مانه ب)ا)التر()، م)رات)ب ))گرا)دی)ا)ن )د)ر

CبCهC CروشC هCاییC کCه CبCرC اCین پCایCه Cن)م)ودن )خط)ا )س)وق )می )د)هن)د).)عمل Cمی کننCد، رCوش های نزولC در امتداCد گرادیان می گویند.

Page 12: شبکه بازگشتی

Recurre

nt

Network

s

روش های نزول در امتداد :گرادیان

پس انتشار خطا

یادگیری بازگشتی

Page 13: شبکه بازگشتی

Recurre

nt

Network

s

پس انتشار خطا )پاخ(:

Page 14: شبکه بازگشتی

Recurre

nt

Network

s

پس انتشار خطا )پاخ(:

Page 15: شبکه بازگشتی

Recurre

nt

Network

s

پس انتشار خطا )پاخ(:

)9( این شCبکه آمCوزش هدف ای اسCت کCه بCه مجموعCه

از وزن هCا دسCت بیCابیم کCه مجمCوع خطCای عمCل کCرد نمایCد. حCداقل را شCبکه خطCا مجمCوع این عمومCا توسCط خطCای مجمCوع را مCربعی ماننCد رابطCه روبCرو

محاسبه می کنند:

Page 16: شبکه بازگشتی

Recurre

nt

Network

s

پس انتشار خطا )پاخ(:

)10( تغی)یر وزن این عمCل توسCط گرادی)ان ب)ردار) در ط)ول ب)ه خط)ا نس)بت ه)ا وزن

ش))ود اCگCCرC ا)ن)ج))ام) ))می .رCا CوعCجمCم CیCاCخطE رCظCن در

تCوCاCن CگراCدیCان می ،CیمCرCیCبگمجCمCوعC آن راC CمCطCابق رابCطCه

C ه ۱0یCب Cاز گرCادیCاCن خطCای دCسCت CآCمCده بCرای CهCر وCرCودی

.CدCآور Cدست Cبه

Page 17: شبکه بازگشتی

Recurre

nt

Network

s

پس انتشار خطا )پاخ(:

با در نظر گرفتن یک نرخ یادگیری رابطه ی قبل به

برای ۱۱صورت رابطه ی تغییر وزن های در هر مرحله در خواهد آمد.

Page 18: شبکه بازگشتی

Recurre

nt

Network

s

پس انتشار خطا )پاخ(: ای اسCت کCه در یCادگیری دسCته ای بCه کCار این رابطCه، رابطCه

رابطCه ایCن در کCه جهت این از رCود. تم)ام)ی مCی ابت)دا) و ش)ده دا)ده ش)بکه) ب)ه ه)ا خ)ر)وجی و ه)ا ور)ودی

. سCپCس تغیCیر Cوزن هCا خ)ط)ا)ی مجم)وع) محا)س)به) می )ش)ودتCوCسCط خطCای کلCی اCنجCامC Cمی شCود. یCک باCرCمحاسCبهC ی CخطCا CرCعصC کCیC ،ریCیCادگCد یCنCیCفرآC ا درCه CوزنC یرCتغی CوC اCودی هCرCرای وCبیCا یCکC دورCه نامیCدCه Cمی شCودC. عCمومCاC پیCش اCز یCادگیری،C وزCن هCا بCاC مCقCادیر CاCتفCاقCی کCوCچکیC مقCدار Cدهی مCی شCوند. CاینC رCابطCه راC مCی تCواCنC بCه صCورCت یCادCگیری افزCایشCیC نCیز CتغیCیر داCد کCه در آن پCس اCز هCر بCار ورCودCیC بCه شCبکه، وزCن هCا بCه رCوزC رسCانی

مCشاهCده می شود.۱۲Cمی Cشوند که Cدر رابطه ی (12)

Page 19: شبکه بازگشتی

Recurre

nt

Network

s

الگوریتم پس انتشار خطا )پاخ(:

، فعالیت واحد های nبرای هر نمونه ی ورودی 1.داخلی و خروجی را محاسبه نمایید. )انتشار به جلو(

خطای خروجی شبکه را در آخرین الیه )الیه ی 2. محاسبه نمایید.۱۳خروجی( طبق رابطه ی

با انتشار به عقب خطای محاسبه شده، از الیه ی 3.m+1 تا اولین الیه، برای هر واحدمیزان خطای دلتا

محاسبه نمایید.۱۴را مطابق رابطه ی به روزرسانی ۱5وزن های شبکه را توسط رابطه ی 4.

نمایید که در آن آلفا نرخ یادگیری شبکه است.

Page 20: شبکه بازگشتی

Recurre

nt

Network

s

پس انتشار خطا )پاخ(:

Page 21: شبکه بازگشتی

Recurre

nt

Network

s

پس انتشار خطا )پاخ(:

پس از هر فاز، خطای مربعی شبکه در رابطه یرا محاسبه نموده و در صورتی تغییر در میزان ۹

خطا، از یک مقدار آستانه ی تعیین شده پایین تر بیاید، آموزش را خاتمه می دهیم.

Page 22: شبکه بازگشتی

Recurre

nt

Network

s

اشکاالت:

روش های آموزش بر پایه ی نزول در امتدادگرادیان دارای اشکال هایی شناخته شده هستند.

همگرایی از جمله ی این اشکالت می توان به اشاره کند و گیر کردن در حداقل محلی

نمود.

Page 23: شبکه بازگشتی

Recurre

nt

Network

s

مثال:

Page 24: شبکه بازگشتی

Recurre

nt

Network

s

مثال:

Page 25: شبکه بازگشتی

Recurre

nt

Network

s

:مثال

Page 26: شبکه بازگشتی

Recurre

nt

Network

s

:مثال

Page 27: شبکه بازگشتی

Recurre

nt

Network

s

:مثال

Page 28: شبکه بازگشتی

Recurre

nt

Network

s

:مثال

Page 29: شبکه بازگشتی

Recurre

nt

Network

s

:مثال

Page 30: شبکه بازگشتی

Recurre

nt

Network

s

:پس انتشار خطا در طول زمان سCازی و اسCتفاده بCر الگCوریتم پCاخ، بCه تنهCایی قCابلیت پیCاده

رCوی شCبکهC هCای CبازگشCتی Cرا نCدارCد، از آنجCا کCه اCین روش بCر اCین فCرض CبنCا CشCده CاCسCت CکCه دCرC شCبCکهC هیچC حلقCه اCی وجCود نCدCاCرد.C راهC حلیC کCه بCراCی اCین قضCیه CوجCود داCرد،C این اسCت C ایCه هCخCنس CنCدادC رCاCرCا قCب C،CراC کهCبCشC CتCالCاتصC وانCت CیCم CهCک

مCتعCدCدی Cاز آCن درC CکنCاCر یCگCدیCگCرC، درC طCولC زCمCانC بCاز نCمCود. در C،ن روشCاتص)االتی) ک)ه )در)ون )ش)ب)که وجود)د)ار)ن)د ب)ه ای

ی )قب)ل) ) مرح)ل)ه) ی)ک) ش)بکه) )در ق)ب)لی ه)ای) ن)س)خ)ه اCینC CروشC بCاز کCردCن شCبCکهC، دCر نCهCایت م)نتق)ل می ش)وند. )

یCک شCبCکCه ی پیش CخCوCردCر اCخCتیCار Cمی گCذاCردC کCه می CتCوCان رCوش Cپاخ راC بCر روCی آن CاجراC نمCود.

Page 31: شبکه بازگشتی

Recurre

nt

Network

s

ی باز نمودن یک شبکه ی نحوهبازگشتی:

Page 32: شبکه بازگشتی

Recurre

nt

Network

s

:پس انتشار خطا در طول زمان

Page 33: شبکه بازگشتی

Recurre

nt

Network

s

:پس انتشار خطا در طول زمان

Page 34: شبکه بازگشتی

Recurre

nt

Network

s

:پس انتشار خطا در طول زمان

Page 35: شبکه بازگشتی

Recurre

nt

Network

s

:پس انتشار خطا در طول زمان

Page 36: شبکه بازگشتی

Recurre

nt

Network

s

اشکاالت:

کندی همگراییپیچیدگی محاسباتی

Page 37: شبکه بازگشتی

Recurre

nt

Network

s

یادگیری بازگشتی بی درنگ:

یکی از روش های نزول یادگیری بازگشتی بی درنگدر امتداد گرادیان است که گرادیان خطای دقیق خروجی را در هر گام زمانی محاسبه می کند؛ در

مناسب است.برای آموزش آنی نتیجه

Page 38: شبکه بازگشتی

Recurre

nt

Network

s

یادگیری بازگشتی بی درنگ:

Page 39: شبکه بازگشتی

Recurre

nt

Network

s

یادگیری بازگشتی بی درنگ:

Page 40: شبکه بازگشتی

Recurre

nt

Network

s

Page 41: شبکه بازگشتی

Recurre

nt

Network

s

مشکالت روش های نزول در امتداد :گرادیان

روش هCای یCادگیری بازگشCتی بی درنCگ و پس انتشCار خطCا در طCول زمCان، هCر دو دارای مشCکالت اسCتاندارد

بهینCه سCازی هCای امتCداد روش در نCزول بCر مبتCنی گرادیCان هسCتند. جCواب هCایی کCه یCافت می شCوند می

مق)دار بهین)ه ی محلی ت)ابع ه)دف ب)وده، و تواننCد . علCوه درنتیج)ه مق)دار بهین)ه ی واقعی نباش)ند

بCر این درجCه ی یCادگیری ، بایCد خیلی کوچCک باشCد که می تواند به همگرایی بسیارکندی منجر شود.

Page 42: شبکه بازگشتی

Recurre

nt

Network

sSimple Recurrent Network

بازگشتی شبکهساده

Page 43: شبکه بازگشتی

Recurre

nt

Network

s

تاریخچه طCتوس بCار اولین بازگشCتی سCاده شبکه

Jeff Elman .استفاده شد وعCا موضCه بCک مقالCار در یCرای اولین بCو ب

(finding structure in time الCCس در ) چاپ شد. Elman توسط 1990

Page 44: شبکه بازگشتی

Recurre

nt

Network

s

،هCاین مقال چنCدین شCبیه سCازی Elman در یCک از لغCات تقCدم یکی ، داده انجCام مجموعCه عناصCر لغCوی را نشCان میدهCد)وی عنCوCان بCه CاتCلغ CاختنCسC رایCب حCروف از

C).ه استCاده کردCآن استف CناصرCع اتCان لغCک جریCدم جمالت از یCری تقCو دیگ

را نشان می دهد.

Page 45: شبکه بازگشتی

Recurre

nt

Network

s

،در هر تکه ای از زمان از ورودیدر هر دو مدل کوچک می آید. الفبای ثابت یک

دCیزی می توانCه چCه چCت کCر اینسCز بCالب تمرکCه جCنکت C.وخته شودCه آمCشبکC یC دهCسا CیارCبسC ریCعماCک مCدر ی

هCک اینسCت بCرای شCبکه در گرفتCه قCرار فعCالیت (CوردCمitem طCرا توس C)تهCدر رش(C دیCبع )item ودCموج

C انCزمC درt هCموعCعیت مجCز وضCلی اCخCش داCایCمCک نCی Cو پیش زمCانCی CقبلCی، گCاCم از واحCدهای CپنCهCان Cاز ای

بینی کند.

Page 46: شبکه بازگشتی

Recurre

nt

Network

s

تعریف ایCه بCه شCبکه بازگشCتی سCاده شCبیه هCای شبکه

اCسCتاندCارد رCو بCه جلCو می CباشCنCد. بCه این معCنی کCه عCات Cدر تمCام CطCول CمسCیر شCبCکه بCر روCی هCر Cاطال

پCالس رCو بهC جلو Cمنتشر مCی شCوند. فCه در صCبی کCه ترتیCا بCروه هCا، گCبکه هCدر این ش

گCروهC شCبCکه ظCاCهر شCدCه انCدC بCه رCوز Cمی شCوند. بCه روز رسCانCی گCروهC شCامل محCاسCباتC ورودی هCای آن وC بCه سCرعتC محاسCبه کCردCن خCروجی هCای آن می

بCاشد.

Page 47: شبکه بازگشتی

Recurre

nt

Network

s

: تفاوت شبکه های بازگشتی ساده دCاوت می کنCل تفCتی کامCای بازگشCبکه هCا شCاین ب

چCرا کCه دCر آنC هCا تمCامیC گCروCه هCا CبCا همC ورودی هCایشCان را بCه روزC رسCانی Cمی کننCد Cو سCپس همCه

با هم CخروجیC هایشCان Cرا محاCسبه می کنند. ایCه شCبکه در کCه شCود می گفتCه بنCابراین،

CورتCصC هCب رCسCانی روCز ، CبCه همزم)انپCیوسCته صCورتC می CپCذیرد CامCا دCر شCبCکCه هCایC اسCتCاندارد CیCا صCوCرت CهCب روزC CرسCانCی ، CبCه بCازگشCتCی CسCاده

می باشد.متوالی

Page 48: شبکه بازگشتی

Recurre

nt

Network

s

Page 49: شبکه بازگشتی

Recurre

nt

Network

s

Page 50: شبکه بازگشتی

Recurre

nt

Network

s

:SRNتعریفی دیگر از یکSRN اCو بCه جلCبکه رو بCک شCع یCدر واق

( ELMANیCک یCا چنCد گCروه از نCوع المCان )می باشCد. یCک گCروه بCا زمینCه ی المCان ،بCا یCک گCروه منبCع کCه تعCداد واحCد هCای برابCر بایCد دارد مرتبCط می باشCد. گCروه زمینCه از نCوع المCان داشCته باشCند امCا گCروه منبCع

می توانند از هر نوعی داشته باشند.

Page 51: شبکه بازگشتی

Recurre

nt

Network

s

وریتمCدر الگSRN هCیرد کCاد میگCبکه یCاده، شCس بCرC اسCاس CپCالCس داده خ)رو)جی ه)ا)ی د)رس)ت

عCاCتی اCسCت CطالCی اC هCپایC CرCه بCاری کCجC ه یCدCشC C ایCهC هCروCگ CرCدC CهCکcontext ،دCافتC یCاق مCفCات

تولید کند. ایCده هCیره نماینCرای ذخCاری بCه، هیچ اجبCاگرچ

خCاص دCر گCروه CهCای زCمینCه کCهC درC خCروجی هCای .CداردCنC ودCجCو C،تندCسCه بCهCترینC CکمCک آCینCده

هCا میC تواCننCد CمشCکل یCادCگیCری در SRNبنCابCراCین، فعCالیCتC های Cموقتی CدCشوارC رCا داشتCه Cباشند.

Page 52: شبکه بازگشتی

Recurre

nt

Network

s

،کلCع این مشCبرای رفLens عهCک توسCی ارائCه نمCوده کCه خطCا SRNبCرای الگCوریتم

را در عCرض چنCدین پCالس بCه عقب منشCر می کنCد. این کCار بCه وزن هCا این اجCازه را پایCه ی مشCتقات خطCای بCر می دهCد کCه آینCده تنظیم شCوند. )وزن هCایی کCه بCرای بهبCود اجCرای قابCل توجCه بCه مCا کمCک می

کنند.(

Page 53: شبکه بازگشتی

Recurre

nt

Network

s

. SRNساختار شبکه

Page 54: شبکه بازگشتی

Recurre

nt

Network

s

توضیح شکل ساختار شبکه: هرbox کCه)ا ی واح)د از را مخ)زن

نشان می دهد. و هرCه جلCان رو بCک پیکCمجموع)ه کام)ل ی

آم)وزش قاب)ل ارتباط)ات هCر از از دریCافتی واحCد هCر بCه ارسCالی در واحCد

مخزن بعدی را نشان می دهد. ه عقبCان رو بCه پیکCه الیCان بCه پنهCاز الی ،

زمینCه یCک عملیCات کCپی را معCنی می دهCد.

Page 55: شبکه بازگشتی

Recurre

nt

Network

s

اییCزیبSRN در اسCت. آن سCادگی در feed-forward backیCک SRNحقیقت،

propagation

Network رطCا شCد . تنهCه می باشCه الیCا سCب اینسCت کCه یکی از دو بخش ورودی شCبکه الگCوی فعCال سCازی اسCت بCر روی واحCدهای

پنهان خود شبکه در گام زمانی قبلی.

Page 56: شبکه بازگشتی

Recurre

nt

Network

s

Simple recurrent network

Page 57: شبکه بازگشتی

Recurre

nt

Network

s

نتیجه اینکه :SRN شبکه از خاص نوعی back-

propagation ساختار یک .که است feed-forward ای ورودیCزن هCایی در مخCد هCا واحCب

و پنهCان و خCروجی دارد. آن همچCنین یCک نCوع نCام الیCه بCه پنهCان از الیCه را contextخCاص

می تواند دارا باشد.

Page 58: شبکه بازگشتی

Recurre

nt

Network

s

هCالیcontext وعCن یCک کCه پنهانیسCت الیCه یCک C(ویرCتص Cی ازCاصCخprojection هCاز الی Cد راCواح )

تعCداد CبرابCر CاCب وCاحCدCهایی شCاCمل دیگCری CکCه است دریافت می کند.

از خCاص نCوع کCه projectionاین copy-back projection الCفع الگCوی CهCب میC شCود نامیCده

Cروی بCر کCه دCهCد می را اجCاCزه Cاین سCازCی الگCوی Cورودی آخCرCین از ارسCالCی وCاحCدCهای عنCوان اسCتفCاده CبCه بCرCای شCده پCردCازش

context پیCدی کCبع Cوی ورودیCدازش الگCرCر پCد شوند .

Page 59: شبکه بازگشتی

Recurre

nt

Network

s

Recursive transition network

شبکه انتقال بازگشتی

Page 60: شبکه بازگشتی

Recurre

nt

Network

s

:RTNتعریف

شبکه انتقال بازگشتی گراف جهت داریستبا بردارها و حالت های نشاندار.

یک حالت متمایز، »حالت شروع« یا start state نامیده می شود. و یک مجموعه ای از

حالت های متمایز ، »حالت های نهایی« یا final states.نامیده میشوند

Page 61: شبکه بازگشتی

Recurre

nt

Network

s

:RTNکاربرد ودارCک نمCی ، انتقCال بازگشCتی یک شCبکه

نمCایش بCرای کCه اسCت تئCوری شCماتیک متن از مسCCتقل گرامCCر یCCک قCCوانین

استفاده می شود. ایی درCا کاربردهCبکه هCزب)ان ه)ای این ش

، زب)ان ه)ای ط)بیعی، برنام)ه نویس)یدارند. تجزیه و تحلیل واژگانی و

Page 62: شبکه بازگشتی

Recurre

nt

Network

s

هCب توجCه بCا کCه ای جملCه RTNیCک قCوانینهر گفتCه می well-formedسCاخته می شCود ، بCه آن

ی یک Cجمله CعناصرC اختارCس خود -wellشود. formed تCمکن اسCیز مCنC well-formed اCی باشCند

C.شندCساده تر داشته با Cساختاری هCک بCه عنCوان RTNبه همین علت اسCت را هCا

recursive.توصیف می کنند قوانینRTN کCط یCده توسCد شCه تولیCک جملCی :

RTN هCولی کCانین معمCوCی قC لهCیCه وسCع بCواق Cدر مشCخصC شCده اCسCت بCه کCار گرفتCه RTNدCر خCود

.Cشود Cمی

Page 63: شبکه بازگشتی

Recurre

nt

Network

s

Fancy noun recursive transition network

A recursive transition network for "fancy nouns". Note that recursion is created by the nodes labeled "Fancy noun".

Page 64: شبکه بازگشتی

Recurre

nt

Network

s

شبکه انتقال بازگشتی شامل چه مواردی است؟

یک شبکه انتقال بازگشتی از گره ها یا( و بردارهای nodes or statesحالت ها )

labeled arc orنشاندار یا انتقال ها )transitions .شامل می شود )

Page 65: شبکه بازگشتی

Recurre

nt

Network

sانواع بردارهای شبکه انتقال

:بازگشتی هرRTN نوع بردار داشته 5 می تواند

باشد :

1. CAT : current word must belong to category (e.g. verb)

2. WORD : current word must match label exactly (e.g. “dog”)

3. PUSH : named network must be successfully traversed

Page 66: شبکه بازگشتی

Recurre

nt

Network

s

4. JUMP : can always be traversed

5. POP : can always be traversed and indicates that input string has been accepted by the network

One state is specified as a start state. A string is accepted by an RTN if a POP arc is reached and all the input has been consumed.

Page 67: شبکه بازگشتی

Recurre

nt

Network

s

EX : The metal can was dark blue

Page 68: شبکه بازگشتی

Recurre

nt

Network

s

Example:We have: NN: woman, house, table, mouse, man,

genius, …NNP: Mary, John, Washington, Ben, …DT: a, the, that, …VB: sees, hits, sings, loves, saw, …WH: who, which, that, …

Page 69: شبکه بازگشتی

Recurre

nt

Network

s

A valid Sentence is a string with a NounPhrase follows by a VerbPhrase.

Page 70: شبکه بازگشتی

Recurre

nt

Network

s

A valid NounPhrase is a string composed of a determinant follows by a noun and possibly follows by a WH and VerbPhrase

Page 71: شبکه بازگشتی

Recurre

nt

Network

s

And for the VerbPhrase network (VP):

Page 72: شبکه بازگشتی

Recurre

nt

Network

s

Example of a recursive transition network for a small subset of English

It is easy to visualize the range of acceptable sentences from inspection of the transition network.

To recognize the sentence "Did the red barn collapse?" the network is started in state S.

Page 73: شبکه بازگشتی

Recurre

nt

Network

s

Page 74: شبکه بازگشتی

Recurre

nt

Network

s

The first transition is the aux transition .

to state q2 permitted by the auxiliary "did". From state q2 we see that we can get to state q3 if the next "thing" in the input string is an NP.

"Did the red barn collapse?"

Page 75: شبکه بازگشتی

Recurre

nt

Network

s

"Did the red barn collapse?" To ascertain if this is the case, we call the state NP.

From state NP we can follow the arc labeled det to state q6 because of the determiner "the".

Page 76: شبکه بازگشتی

Recurre

nt

Network

s

From here, the adjective "red" causes a loop which returns to state q6, and the subsequent noun "barn" causes a transition to state q7. Since state q7 is a final state, it is possible to "pop up" from the NP computation and continue the computation of the top level S beginning in state q8 which is at the end of the NP arc.

"Did the red barn collapse?"

Page 77: شبکه بازگشتی

Recurre

nt

Network

s

"Did the red barn collapse?"

From q3 the verb "collapse" permits a transition to the state q4 , and since this state is final and "collapse" is the last word in the string, the string is accepted as a sentence.

Page 78: شبکه بازگشتی

Recurre

nt

Network

s

شبکه های بازگشتی خطی

Page 79: شبکه بازگشتی

Recurre

nt

Network

s

Linear Recursive Networks(LRN)

-بعدی به طور کلی در nهر شبکه بازگشتی خطی ارتباط با یک بازگشت خطی به فرم زیر می باشد:

0

1:

...... 2211

k

i

knknnn

a

kia

XaXaXaX

Page 80: شبکه بازگشتی

Recurre

nt

Network

s

برابر با بعد شبکه می باشد. nدر بازگشت، اندیس )که با نمایش داده می شود ( پارامترهای

نیز تعداد رخ دادن های یک شبکه با بعد پایین تر را بعدی ( n-iنشان می دهد. ) : شبکه

برای مثال:Binary n-cube:

Fibonanci cube:

nX

iainX

21

12

nnn

nn

XXX

XX

Page 81: شبکه بازگشتی

Recurre

nt

Network

s

در هCر شCبکه بازگشCتی، شCرایط مCرزی تعCداد واقعی نودهCا در شCبکه را تعCیین می کنCد، و شCرایط متفCاوت مCرزی منجCر بCه تغیCیرات )کمی( در توپولCوژی شCبکه قطCر، چCون مهم هCای ویCژگی بیشCتر گCردد. می توسCط ... و پCذیری مقیCاس دوبخشCی، عCرض

بازگشت تشخیص داده می شوند.

Page 82: شبکه بازگشتی

Recurre

nt

Network

s

A finite set of symbols is called an alphabet. We will confine ourselves to the binary alphabet S = {0,1}. Thus, a symbol will also be called a bit. A string is a finite sequence of symbols. The null string, denoted by , is a string of length zero.

A language is a collection of strings.

Page 83: شبکه بازگشتی

Recurre

nt

Network

s

Page 84: شبکه بازگشتی

Recurre

nt

Network

s

Page 85: شبکه بازگشتی

Recurre

nt

Network

s

Page 86: شبکه بازگشتی

Recurre

nt

Network

s

Page 87: شبکه بازگشتی

Recurre

nt

Network

s

Page 88: شبکه بازگشتی

Recurre

nt

Network

s

Page 89: شبکه بازگشتی

Recurre

nt

Network

s

Page 90: شبکه بازگشتی

Recurre

nt

Network

s

Advantages

member of these network will be parameterized by

a generator (call it A)

a dimension n

so main advantages :

1. cost, performance, reliability of network expressed by the same parameters ( A&n)

2. A&n provides a quantitative link between individual network

Page 91: شبکه بازگشتی

Recurre

nt

Network

s

Property :

since recursive construction of Ln(A) an LRN of higher dimension contains other LRN of lower dimensions.

Page 92: شبکه بازگشتی

Recurre

nt

Network

s

LRNs کاربردهای قطر یک شبکه، که بیشترین تأخیر را در زمان راه

اندازی ارتباط بین دو نود را مشخص می کند، بیشترین فاصله بین هر دو نود در یک شبکه است.

N .تعداد نودها در یک شبکه را نشان می دهد تعداد لینک های روی یک نود اغلب در پیاده سازی

نگرانی ایجاد می کند. هر دو تعداد گره و تراکم ارتباطات مقیاس پذیر

می باشند و می توانند با هزینه و عملکردهای مورد نیاز در ارتباط باشند.

Page 93: شبکه بازگشتی

Recurre

nt

Network

s

LRNs کاربردهای در کارهای ارتباطات داده ها به LRNاز کاربردهای

موارد زیر می توان اشاره نمود: ارسال نقطه به نقطهدریافت و پخش جمع آوری

Page 94: شبکه بازگشتی

Recurre

nt

Network

s

معماری شبکه

Page 95: شبکه بازگشتی

Recurre

nt

Network

s

معماری شبکه های پیش خوردر یCک دیCد کلی، دو نCوع معمCاری اصCلی در یCک شCبکه عصCبی موجCود اسCت. این دو نCوع، شCبکه هCای پیش طCور بCه دارنCد. نCام بازگشCتی هCای شCبکه و خCور خالصCه، در شCبکه هCای پیش خCور، فعCالیت نCورون هCا خCروجی هCای الیCه سCمت بCه ورودی هCای الیCه از انتشCار می یابCد و تمCامی اتصCاالت در الیCه هCا رو بCه

جلو است.

Page 96: شبکه بازگشتی

Recurre

nt

Network

s

معماری شبکه های بازگشتیدر هCا نCورون بازگشCتی، خCروجی هCای در شCبکه امCا هCای الیCه هCای نCورون ورودی بCه بCاالتر، هCای الیCه اولیCه بCازمی گCردد و بCه همین دلیCل بCه آن هCا شCبکه هCای بازگشCتی می گوینCد. در یCک تعریCف دقیCق تCر، اگCر شCبکه ای عصCبی را معCادل یCک گCراف جهت دار

در نظر بگیریم، این شبکه ها دارای دور هستند.

Page 97: شبکه بازگشتی

Recurre

nt

Network

s

کاربرد معماری شبکه بازگشتیمعمCاری بازگشCتی شCبکه هCای عصCبی، در سCاختار هCای تCوان می و شCود، می مشCاهده وفCور بCه زیسCتی گفت کCه تمCامی شCبکه هCای عصCبی زیسCتی، از نCوع واقCع سیسCتم در هCا شCبکه این هسCتند. بازگشCتی پیCاده سCازی می کننCد، پویCا را مCدل سCازی و هCای می تCوان گفت کCه شCبکه هCای بازگشCتی قCادر هسCتند تخمین دقCتی مشCخص بCا را پویCا هCای کCه سیسCتم دلیCل بCه هCا این شCبکه آمCوزش و اسCتفاده بزننCد. همین و بCوده مشCکل هCا آن بازگشCتی سCاختار مسCئله مCوجب شCده اسCت کCه اسCتفاده هCای عملی از این شCبکه هCا پیشCرفت چنCدانی نداشCته باشCد. این هCا، عمومCا در آن آمCوزش هCا و روش هCای شCبکه

کتاب های مهندسی مطرح نمی شوند.

Page 98: شبکه بازگشتی

Recurre

nt

Network

s

کاربرد معماری شبکه بازگشتیو پرسCپترون چCون مصCنوعی عصCبی هCای شبکه داده روی بCر پCردازش بCرای الیCه، چنCد پرسCپترون انCد. ثCابت طCراحی شCده هCای ورودی فاصCله ای و بCرای مثCال می تCوان تشCخیص کاراکترهCای یCک دسCت بCرای ای ثCابت فاصCله بCه عنCوان ورودی را نوشCته این نCوع شCبکه در نظCر گCرفت. معمCاری اولیCه این جداگانCه عامCل یCک عنCوان بCه را زمCان هCا، شCبکه بCرای هCا شCبکه این کCه زمCانی کننCد. نمی دخیCل مسCایل مرتبCط بCا زمCان، از جملCه تشCخیص گفتCار، بCه

کار گرفته شدند؛ راهکارهایی ارائه شد.

Page 99: شبکه بازگشتی

Recurre

nt

Network

s

کاربرد معماری شبکه بازگشتی هCب ارائCه شCده در نظCر گCرفتن زمCان اولین راهکCار

عنCوان یCک بعCد اضCافی در فضCا بCود. بCه عنCوان مثCال، در مسCاله تشCخیص گفتCار یCک قطعCه از صCدا را می و قطعCه نمCوده تقسCیم زمCانی هCای بCازه بCه تCوان هCای زمCانی ایجCاد شCده را، متغCیری دیگCر در فضCا در

نظر گرفت. ا میCتی بنCای زیسCدل هCه مCر پایCه بCری کCار دیگCراهک

شCود، بCرای نCورون هCای موجCود در شCبکه یCک تCأخیر ثCابت در نظCر می گCیرد. بCا این مCدل می تCوان در هCر لحظCه، ورودی لحظCات قبCل را بCه نحCوی در نCورون هCایی کCه در سCطوح جلCوتر تCاخیری قCرار دارنCد، بCه در شCده انجCام محاسCبات بنCابراین آورد. دسCت بCا نCورون هCای بCه بCاالتر کCه نCورون هCای الیCه هCای تCأخیر نگCاه می کننCد، شCامل ورودی هCای بCازه ای از

زمان گذشته نیز می شود.

Page 100: شبکه بازگشتی

Recurre

nt

Network

s

کاربرد معماری شبکه بازگشتی

وردCر برخCنوعی، روش دیگCبی مصCای عصCبکه هCا در شCامبCا CمسCائلC زمCاCنی، ورCود آن بCه شCبکه CبCه CصCورت CضCمنی دCر CمعمCارCی شCبکهC اCسCت. وCرودC زمCان، CمعمCارCی شCبکه را این دهCد. CیCم باCزگشCتCی CتغیCیر بCه خCوCر پCیCش حCالت CزCامعمCارCی، ارتCبCاط حCالتC سیسCتم را CبCا ورودی CکنCونCی و بCا خCروCجی و حCاCلت قبلی شCبCکه، میسCر مCی سCازد. CقابCل ذکCر اسCت کCه اینC شCبکه CهCا، همچنCان یCک مCدCل قCطعCه آنجCا کCه CعناCصCر شCبکه اCز زمCان CدارنCد؛ Cاز قطعCه CشCده توCسCط CیCک CتمCسیس Cو زمCانی CنداشCتCه خCاصCیCت Cهیچ

ساعCت مرکCزی، به رCوز رسانیC می شوCد.

Page 101: شبکه بازگشتی

Recurre

nt

Network

s

Applications :شبکه بازگشتی بی نظم

بی هCای بCرای سیسCتم تCوان را می بازگشCتی شبکه بCه نسCبت پویCا عصCبی شCبکه بCرد. کCار بCه نظم موضCعی نوسCانات ماننCد زیCاد، بسCیار نوسCانات و نوسCانات توانCا هسCتند. و رفتCار بی نظم محCدود تغیCیر الگوهCای فعCالیت بCه صCورت بCالقوه می تواننCد بCرای اهCداف محاسCباتی و مCدل نمCودن پدیCده هCای

فیزیکی به کار گرفته شوند.

Page 102: شبکه بازگشتی

Recurre

nt

Network

s

Applications:یادگیری زبان

فهم در بازگشCCتی شCCبکه کCCارگیری بCCه و طراحی یCاCدگیریC زبCان رسCمیC میC توCانCد CبCه کCاCر بCرده شCود. عCملکCردC شCبCکه بCه صCوCرت نگCاشCتCی اسCت کCه دنبالCه ورCودی رCا بCه مقCدCار خCروجCی و یCا دنبCالCه ایC از مقCاCدیر خCرCوجی وCصCل می نمCایCد. دCر Cاین نگاشCتC ورودیC و یCادCگیری دCر باCشCند. Cمی هCر Cدو CگسسCته خCروCجی C هCوعCمCرمجCزیC دیCبن CتهCدسC CرایCتی بCشCازگCب CبکهCان، شCبCز

.Cشود Cمی CبردهC کارC ک زبان بهCی یCهای ورود

Page 103: شبکه بازگشتی

Recurre

nt

Network

s

Language LearningGiven a set of strings S, each composed of a series of

symbols, identify the strings which belong to a language L. A simple example: is the language composed of strings of any number of a's, followed by the same number of b's. Strings belonging to the language include aaabbb, ab, aaaaaabbbbbb. Strings not belonging to the language include aabbb, abb, etc. A common benchmark is the language defined by the reber grammar. Strings which belong to a language L are said to be grammatical and are ungrammatical otherwise.

},{ nn baL

Page 104: شبکه بازگشتی

Recurre

nt

Network

s

Applications Speech recognition:

In some of the best speech recognition systems built so far, speech is first presented as a series of spectral slices to a recurrent network. Each output of the network represents the probability of a specific phone (speech sound, e.g. /i/, /p/, etc), given both present and recent input. The probabilities are then interpreted by a Hidden Markov Model which tries to recognize the whole utterance.

Page 105: شبکه بازگشتی

Recurre

nt

Network

s

Applications Music composition:

A recurrent network can be trained by presenting it with the notes of a musical score. It's task is to predict the next note. Obviously this is impossible to do perfectly, but the network learns that some notes are more likely to occur in one context than another. Training, for example, on a lot of music by J. S. Bach, we can then seed the network with a musical phrase, let it predict the next note, feed this back in as input, and repeat, generating new music. Music generated in this fashion typically sounds fairly convincing at a very local scale, i.e. within a short phrase.

Page 106: شبکه بازگشتی

شبکه عصبی بازگشتی

Page 107: شبکه بازگشتی

Recurre

nt

Network

s همان طور که می دانیم در شبکه های عصبی داده

ها به الیه ورودی داده می شود و الیه به الیه جلو می رود تا در خروجی جواب حاصل شود.)همه

جهت ها رو به جلو می باشد و بازخوردی از الیه های باالتر به الیه های پیشین نداریم(

در شبکه های بازگشتی برخالف شبکه های رو به( ،می توانیم از خروجی نرون feedforwardجلو )

های الیه جلوتر به نرون های الیه قبلی و یا از خروجی یک نورون به خودش ارتباط

(connection.داشته باشیم )شبکه هایRNN طوری طراحی شدند که می توانند

اطالعات را در گره های خروجی ذخیره کنند.به می حافظهعبارت دیگر این شبکه ها دارای

باشند. سیستم های این شبکه ها بسیار مناسب برای

می باشند.دینامیکی هاپفیلد وTDNN دو نمونه از RNN.می باشند

Page 108: شبکه بازگشتی

Recurre

nt

Network

s

شبکه دو FF & RNN مقایسه

Page 109: شبکه بازگشتی

Recurre

nt

Network

s

هاپفیلد شبکه

حافظه شبکه هاپفیلد جز شبکه های 1982است که در سال خود انجمنی

توسط جان هاپفیلد مطرح شد. تنها یک الیه در ساختار این شبکه

وجود داردبه عبارت دیگر در شبکه هاپفیلد تمامی نرون ها مانند یکدیگر

عمل می کنند و تقسیم بندی نرون های ورودی و خروجی وجود ندارد.این امر

وجه بارز اختالف بین این شبکه با دیگر شبکه ها می باشد.

Page 110: شبکه بازگشتی

Recurre

nt

Network

s

).. ادامه) هاپفیلد

یکی از دو خروجی هر نرون در شبکه هاپفیلد- را اتخاذ می کند.که این مقدار به 1 یا 1مقدار

تمامی نرون های دیگر غیر از خودش بازگردانده میشود.

Page 111: شبکه بازگشتی

Recurre

nt

Network

s

نمایش شبکه عصبی هاپفیلد

متقارن می باشد پس داریم:RNNشبکه Wij=wji

اطالعات الگوها شامل wijوزن های هستند

Page 112: شبکه بازگشتی

Recurre

nt

Network

s

).. ادامه) هاپفیلد است که در شبکه بازگشتی شبکه هاپفیلد یک

آن خروجی هر نرون به ورودی تمام نرون های دیگر متصل است.

پس از اعمال ورودی ها به شبکه،خروجی آنمحاسبه شده و در قدم بعد،خروجی محاسبه شده

به عنوان ورودی جدید به شبکه اعمال می شود.این روند انقدر تکرار می شود تا خروجی

شود.نقطه ثابت همگرا شبکه به یک سیستم دینامیکی در اینجا شبکه به عنوان یک

عمل می کند و همگرایی یعنی رسیدن به جوابی که بر اثر تکرار شبکه تغییر نمی کند.در این حالت

رسیده است.حالت ماندگار می گوییم شبکه به

Page 113: شبکه بازگشتی

Recurre

nt

Network

s

).. ادامه) هاپفیلد هاپفیلد برای به دست آوردن نقاطی که شبکه به آنها

تئوری پایداری لیاپانوف همگرا می شود از استفاده نمود.

به ازای هر نمونه ای که به سیستم وارد شود،انرژیآن نمونه محاسبه شده و در حافظه به عنوان یک معیار برای مقایسه نمونه ها نگه داری می شود.

تابع انرژی که به عنوان معیار استفاده می شود یک می باشد:نزولیتابع

تابع انرژی به صورت یکنواخت کاهش می یابد تا درپایدار شود.مینیمم محلی

Page 114: شبکه بازگشتی

Recurre

nt

Network

s

Learning Algorithm الگوریتم یادگیری در هاپفیلد بر اساس قانون

یادگیری هب می باشد که یک الگوریتم یادگیری با ناظر است.

قانون هب می گوید که اگر دو واحد به طورهمزمان فعال باشند،وزن ارتباط آنها افزایش می

یابد و متناسب با ضرب آنهاست. در این قانون ماتریس وزن ها به صورت زیر به

روز می شود.

Page 115: شبکه بازگشتی

Recurre

nt

Network

s

Learning Algorithm)cont..(ابتدا نمونه ها را به وسیله تعیین قدم اول:

کردن وزن هایشان ذخیره می کنیم.هر - را می گیرد.1 یا 1 ها مقدار qکدام از

ارائه یک الگوی مشاهده نشده با قدم دوم: q=fundamentalها به سیستم.)qابعادی برابر

patterns) در Oiهر کدام از اجزای قدم سوم:

خروجی به هنگام به روز رسانی از سیکل l به سیکل l+1 به صورت زیر به روز می

شوند:

Page 116: شبکه بازگشتی

Recurre

nt

Network

s

Learning Algorithm)cont..(

این پروسه آنقدر ادامه پیدا می کند تا دیگر تغییری در خروجی حاصل نشود.

همین پروسه برای دیگر الگوهای ارائه قدم چهارم:شده که تا به حال مشاهده نشده اند تکرار می شود.

Page 117: شبکه بازگشتی

Recurre

nt

Network

s

Example نود باینری داریم.می 4شبکه هاپفیلد تک الیه با

را ذخیره کند.مقدار حد o=[1,1,1,-1]خواهیم الگوی بدون w در نظر می گیریم.ماتریس 0آستانه را برابر برابر می شود باn/1در نظر گرفتن

Page 118: شبکه بازگشتی

Recurre

nt

Network

s می n=16^2تعداد کل حالت های ممکن برابر

باشد.

مقدار انرژی را از رابطه زیر برای هر حالت ممکن به دست می آوریم:

Page 119: شبکه بازگشتی

Recurre

nt

Network

s

،مقدار انرژی برابر است A]=1,1,1,1[برای حالت با:

به همین ترتیب میزان انرژی برای تمامی حاالت ممکن محاسبه می شود.

Page 120: شبکه بازگشتی

Recurre

nt

Network

s

همان طور که می بینیممی6-کمترین انرژی مقدار

باشد که مربوط به دو حالتL=[-1,-1,-1,1]&B=[1,1,1,-1]ا

.است که مکمل هم می باشند

حاال هریک از مولفه های خروجی را به طور جداگانه به روز می کنیم.این بدان معناست که برای هرحالت تنها یک نرون و پس از O3 بعد O2سپسO1 را فعال می کنیم.یعنی ابتدا

.را به منظور به روز رسانی فعال می کنیم O4 آن

Page 121: شبکه بازگشتی

Recurre

nt

Network

sرا بررسی میکنیم:J=[-1,-1,1,-1]حالت

Page 122: شبکه بازگشتی

Recurre

nt

Network

s

Page 123: شبکه بازگشتی

Recurre

nt

Network

sDifferent state’s transitions

Page 124: شبکه بازگشتی

با تشکر از توجه شما