شبکه بازگشتی
DESCRIPTION
به نام خدا. شبکه بازگشتی. حوری شیرزادنیا آناهیتا کیان مهر تینا هادی فرزانه عطاپور. استاد ارجمند : آقای دکتر عبادتی. مباحث:. یادگیری در شبکه های بازگشتی شبکه بازگشتی ساده شبکه بازگشتی انتقالی شبکه بازگشتی خطی معماری شبکه شبکه عصبی بازگشتی و هاپفیلد. یادگیری در شبکه های بازگشتی. - PowerPoint PPT PresentationTRANSCRIPT
شبکه حوری شیرزادنیابازگشتی
آناهیتا کیان مهرتینا هادی
فرزانه عطاپور
به نام خدا
: آقای دکتر استاد ارجمند عبادتی
Recurre
nt
Network
s
مباحث:
یادگیری در شبکه های بازگشتی1.
شبکه بازگشتی ساده2.
شبکه بازگشتی انتقالی3.
شبکه بازگشتی خطی4.
معماری شبکه5.
شبکه عصبی بازگشتی و هاپفیلد6.
Recurre
nt
Network
s
یادگیری در شبکه های بازگشتی
Recurre
nt
Network
s
:برای تحلیل شبکه بازگشتی دو مدل داریم
پیوستهگسسته
Recurre
nt
Network
s
درمدل گسسته:فعالیت شبکه در هر گام زمانی مشخص، توسط یک
رابطه از میزان ورودی در گام قبل مشخص می گردد.
درمدل پیوسته:توسط معادلت دیفرانسیلی و بر روی زمان پیوسته
تعریف می شود
Recurre
nt
Network
s
نمایشی ریاضی از مدل گسسته و پیوستهی شبکه های بازگشتی:
Recurre
nt
Network
s
ی مورد نمایشی از ساختار شبکهاستفاده:
Recurre
nt
Network
s
ی مورد نمایشی از ساختار شبکهاستفاده:
Recurre
nt
Network
s
ی مورد نمایشی از ساختار شبکهاستفاده:
Recurre
nt
Network
s
ی مورد نمایشی از ساختار شبکهاستفاده:
Recurre
nt
Network
s
:روش های نزول در امتداد گرادیانامانهCالت درونی هر سCای حCک فضCنوعی، دارای یCوش مصCی ه
اCسCت. همچCنین بCا تزریCق یCک Cورودی CبCه CسیسCتم، خCروجی آن، کCه وCابسCتهC بCه حCالت درونی Cآن اسCتC، قاCبCل CمحاسCبه اسCت. ایCده آل بتCواCن حCالت درونCی CهCت کCسCا CورتCن صCدیCبC اCه هCنCاماCن سCای در سCاماCنCه راC بCهC گوCنCه ایC تCنظیمC CنمCوCد، CکCه خCرCوجی مطلCوب راC بCرای هCر ورودCی تCولیCد نمCاینCد.C یکی از روCش هCایC متCداول در این زCمینCه، صCورت داخلی CسCامانه CبCه حCالت CیرCتغیC ی ی CنحCوه مCحاسCبه ریCاضCی CاسCت؛ بCاC اینC هCدفC کCه خCطCا ی خCرCوجی آCن Cکم CشCود.C بCه عبCاCرCت دیCگCر، CخطCایC سCاCمانهC بCه CعCنCوان CیCک مCتغCیرC در CفضCای CحCالت
می CشCود Cو CهCتCگرف نCظCر دCر از مش)تق) سCاماCنCه ب)ا )اس)تفاد)ه کم) را) )در )جهت) س)ا)مانه ب)ا)التر()، م)رات)ب ))گرا)دی)ا)ن )د)ر
CبCهC CروشC هCاییC کCه CبCرC اCین پCایCه Cن)م)ودن )خط)ا )س)وق )می )د)هن)د).)عمل Cمی کننCد، رCوش های نزولC در امتداCد گرادیان می گویند.
Recurre
nt
Network
s
روش های نزول در امتداد :گرادیان
پس انتشار خطا
یادگیری بازگشتی
Recurre
nt
Network
s
پس انتشار خطا )پاخ(:
Recurre
nt
Network
s
پس انتشار خطا )پاخ(:
Recurre
nt
Network
s
پس انتشار خطا )پاخ(:
)9( این شCبکه آمCوزش هدف ای اسCت کCه بCه مجموعCه
از وزن هCا دسCت بیCابیم کCه مجمCوع خطCای عمCل کCرد نمایCد. حCداقل را شCبکه خطCا مجمCوع این عمومCا توسCط خطCای مجمCوع را مCربعی ماننCد رابطCه روبCرو
محاسبه می کنند:
Recurre
nt
Network
s
پس انتشار خطا )پاخ(:
)10( تغی)یر وزن این عمCل توسCط گرادی)ان ب)ردار) در ط)ول ب)ه خط)ا نس)بت ه)ا وزن
ش))ود اCگCCرC ا)ن)ج))ام) ))می .رCا CوعCجمCم CیCاCخطE رCظCن در
تCوCاCن CگراCدیCان می ،CیمCرCیCبگمجCمCوعC آن راC CمCطCابق رابCطCه
C ه ۱0یCب Cاز گرCادیCاCن خطCای دCسCت CآCمCده بCرای CهCر وCرCودی
.CدCآور Cدست Cبه
Recurre
nt
Network
s
پس انتشار خطا )پاخ(:
با در نظر گرفتن یک نرخ یادگیری رابطه ی قبل به
برای ۱۱صورت رابطه ی تغییر وزن های در هر مرحله در خواهد آمد.
Recurre
nt
Network
s
پس انتشار خطا )پاخ(: ای اسCت کCه در یCادگیری دسCته ای بCه کCار این رابطCه، رابطCه
رابطCه ایCن در کCه جهت این از رCود. تم)ام)ی مCی ابت)دا) و ش)ده دا)ده ش)بکه) ب)ه ه)ا خ)ر)وجی و ه)ا ور)ودی
. سCپCس تغیCیر Cوزن هCا خ)ط)ا)ی مجم)وع) محا)س)به) می )ش)ودتCوCسCط خطCای کلCی اCنجCامC Cمی شCود. یCک باCرCمحاسCبهC ی CخطCا CرCعصC کCیC ،ریCیCادگCد یCنCیCفرآC ا درCه CوزنC یرCتغی CوC اCودی هCرCرای وCبیCا یCکC دورCه نامیCدCه Cمی شCودC. عCمومCاC پیCش اCز یCادگیری،C وزCن هCا بCاC مCقCادیر CاCتفCاقCی کCوCچکیC مقCدار Cدهی مCی شCوند. CاینC رCابطCه راC مCی تCواCنC بCه صCورCت یCادCگیری افزCایشCیC نCیز CتغیCیر داCد کCه در آن پCس اCز هCر بCار ورCودCیC بCه شCبکه، وزCن هCا بCه رCوزC رسCانی
مCشاهCده می شود.۱۲Cمی Cشوند که Cدر رابطه ی (12)
Recurre
nt
Network
s
الگوریتم پس انتشار خطا )پاخ(:
، فعالیت واحد های nبرای هر نمونه ی ورودی 1.داخلی و خروجی را محاسبه نمایید. )انتشار به جلو(
خطای خروجی شبکه را در آخرین الیه )الیه ی 2. محاسبه نمایید.۱۳خروجی( طبق رابطه ی
با انتشار به عقب خطای محاسبه شده، از الیه ی 3.m+1 تا اولین الیه، برای هر واحدمیزان خطای دلتا
محاسبه نمایید.۱۴را مطابق رابطه ی به روزرسانی ۱5وزن های شبکه را توسط رابطه ی 4.
نمایید که در آن آلفا نرخ یادگیری شبکه است.
Recurre
nt
Network
s
پس انتشار خطا )پاخ(:
Recurre
nt
Network
s
پس انتشار خطا )پاخ(:
پس از هر فاز، خطای مربعی شبکه در رابطه یرا محاسبه نموده و در صورتی تغییر در میزان ۹
خطا، از یک مقدار آستانه ی تعیین شده پایین تر بیاید، آموزش را خاتمه می دهیم.
Recurre
nt
Network
s
اشکاالت:
روش های آموزش بر پایه ی نزول در امتدادگرادیان دارای اشکال هایی شناخته شده هستند.
همگرایی از جمله ی این اشکالت می توان به اشاره کند و گیر کردن در حداقل محلی
نمود.
Recurre
nt
Network
s
مثال:
Recurre
nt
Network
s
مثال:
Recurre
nt
Network
s
:مثال
Recurre
nt
Network
s
:مثال
Recurre
nt
Network
s
:مثال
Recurre
nt
Network
s
:مثال
Recurre
nt
Network
s
:مثال
Recurre
nt
Network
s
:پس انتشار خطا در طول زمان سCازی و اسCتفاده بCر الگCوریتم پCاخ، بCه تنهCایی قCابلیت پیCاده
رCوی شCبکهC هCای CبازگشCتی Cرا نCدارCد، از آنجCا کCه اCین روش بCر اCین فCرض CبنCا CشCده CاCسCت CکCه دCرC شCبCکهC هیچC حلقCه اCی وجCود نCدCاCرد.C راهC حلیC کCه بCراCی اCین قضCیه CوجCود داCرد،C این اسCت C ایCه هCخCنس CنCدادC رCاCرCا قCب C،CراC کهCبCشC CتCالCاتصC وانCت CیCم CهCک
مCتعCدCدی Cاز آCن درC CکنCاCر یCگCدیCگCرC، درC طCولC زCمCانC بCاز نCمCود. در C،ن روشCاتص)االتی) ک)ه )در)ون )ش)ب)که وجود)د)ار)ن)د ب)ه ای
ی )قب)ل) ) مرح)ل)ه) ی)ک) ش)بکه) )در ق)ب)لی ه)ای) ن)س)خ)ه اCینC CروشC بCاز کCردCن شCبCکهC، دCر نCهCایت م)نتق)ل می ش)وند. )
یCک شCبCکCه ی پیش CخCوCردCر اCخCتیCار Cمی گCذاCردC کCه می CتCوCان رCوش Cپاخ راC بCر روCی آن CاجراC نمCود.
Recurre
nt
Network
s
ی باز نمودن یک شبکه ی نحوهبازگشتی:
Recurre
nt
Network
s
:پس انتشار خطا در طول زمان
Recurre
nt
Network
s
:پس انتشار خطا در طول زمان
Recurre
nt
Network
s
:پس انتشار خطا در طول زمان
Recurre
nt
Network
s
:پس انتشار خطا در طول زمان
Recurre
nt
Network
s
اشکاالت:
کندی همگراییپیچیدگی محاسباتی
Recurre
nt
Network
s
یادگیری بازگشتی بی درنگ:
یکی از روش های نزول یادگیری بازگشتی بی درنگدر امتداد گرادیان است که گرادیان خطای دقیق خروجی را در هر گام زمانی محاسبه می کند؛ در
مناسب است.برای آموزش آنی نتیجه
Recurre
nt
Network
s
یادگیری بازگشتی بی درنگ:
Recurre
nt
Network
s
یادگیری بازگشتی بی درنگ:
Recurre
nt
Network
s
Recurre
nt
Network
s
مشکالت روش های نزول در امتداد :گرادیان
روش هCای یCادگیری بازگشCتی بی درنCگ و پس انتشCار خطCا در طCول زمCان، هCر دو دارای مشCکالت اسCتاندارد
بهینCه سCازی هCای امتCداد روش در نCزول بCر مبتCنی گرادیCان هسCتند. جCواب هCایی کCه یCافت می شCوند می
مق)دار بهین)ه ی محلی ت)ابع ه)دف ب)وده، و تواننCد . علCوه درنتیج)ه مق)دار بهین)ه ی واقعی نباش)ند
بCر این درجCه ی یCادگیری ، بایCد خیلی کوچCک باشCد که می تواند به همگرایی بسیارکندی منجر شود.
Recurre
nt
Network
sSimple Recurrent Network
بازگشتی شبکهساده
Recurre
nt
Network
s
تاریخچه طCتوس بCار اولین بازگشCتی سCاده شبکه
Jeff Elman .استفاده شد وعCا موضCه بCک مقالCار در یCرای اولین بCو ب
(finding structure in time الCCس در ) چاپ شد. Elman توسط 1990
Recurre
nt
Network
s
،هCاین مقال چنCدین شCبیه سCازی Elman در یCک از لغCات تقCدم یکی ، داده انجCام مجموعCه عناصCر لغCوی را نشCان میدهCد)وی عنCوCان بCه CاتCلغ CاختنCسC رایCب حCروف از
C).ه استCاده کردCآن استف CناصرCع اتCان لغCک جریCدم جمالت از یCری تقCو دیگ
را نشان می دهد.
Recurre
nt
Network
s
،در هر تکه ای از زمان از ورودیدر هر دو مدل کوچک می آید. الفبای ثابت یک
دCیزی می توانCه چCه چCت کCر اینسCز بCالب تمرکCه جCنکت C.وخته شودCه آمCشبکC یC دهCسا CیارCبسC ریCعماCک مCدر ی
هCک اینسCت بCرای شCبکه در گرفتCه قCرار فعCالیت (CوردCمitem طCرا توس C)تهCدر رش(C دیCبع )item ودCموج
C انCزمC درt هCموعCعیت مجCز وضCلی اCخCش داCایCمCک نCی Cو پیش زمCانCی CقبلCی، گCاCم از واحCدهای CپنCهCان Cاز ای
بینی کند.
Recurre
nt
Network
s
تعریف ایCه بCه شCبکه بازگشCتی سCاده شCبیه هCای شبکه
اCسCتاندCارد رCو بCه جلCو می CباشCنCد. بCه این معCنی کCه عCات Cدر تمCام CطCول CمسCیر شCبCکه بCر روCی هCر Cاطال
پCالس رCو بهC جلو Cمنتشر مCی شCوند. فCه در صCبی کCه ترتیCا بCروه هCا، گCبکه هCدر این ش
گCروهC شCبCکه ظCاCهر شCدCه انCدC بCه رCوز Cمی شCوند. بCه روز رسCانCی گCروهC شCامل محCاسCباتC ورودی هCای آن وC بCه سCرعتC محاسCبه کCردCن خCروجی هCای آن می
بCاشد.
Recurre
nt
Network
s
: تفاوت شبکه های بازگشتی ساده دCاوت می کنCل تفCتی کامCای بازگشCبکه هCا شCاین ب
چCرا کCه دCر آنC هCا تمCامیC گCروCه هCا CبCا همC ورودی هCایشCان را بCه روزC رسCانی Cمی کننCد Cو سCپس همCه
با هم CخروجیC هایشCان Cرا محاCسبه می کنند. ایCه شCبکه در کCه شCود می گفتCه بنCابراین،
CورتCصC هCب رCسCانی روCز ، CبCه همزم)انپCیوسCته صCورتC می CپCذیرد CامCا دCر شCبCکCه هCایC اسCتCاندارد CیCا صCوCرت CهCب روزC CرسCانCی ، CبCه بCازگشCتCی CسCاده
می باشد.متوالی
Recurre
nt
Network
s
Recurre
nt
Network
s
Recurre
nt
Network
s
:SRNتعریفی دیگر از یکSRN اCو بCه جلCبکه رو بCک شCع یCدر واق
( ELMANیCک یCا چنCد گCروه از نCوع المCان )می باشCد. یCک گCروه بCا زمینCه ی المCان ،بCا یCک گCروه منبCع کCه تعCداد واحCد هCای برابCر بایCد دارد مرتبCط می باشCد. گCروه زمینCه از نCوع المCان داشCته باشCند امCا گCروه منبCع
می توانند از هر نوعی داشته باشند.
Recurre
nt
Network
s
وریتمCدر الگSRN هCیرد کCاد میگCبکه یCاده، شCس بCرC اسCاس CپCالCس داده خ)رو)جی ه)ا)ی د)رس)ت
عCاCتی اCسCت CطالCی اC هCپایC CرCه بCاری کCجC ه یCدCشC C ایCهC هCروCگ CرCدC CهCکcontext ،دCافتC یCاق مCفCات
تولید کند. ایCده هCیره نماینCرای ذخCاری بCه، هیچ اجبCاگرچ
خCاص دCر گCروه CهCای زCمینCه کCهC درC خCروجی هCای .CداردCنC ودCجCو C،تندCسCه بCهCترینC CکمCک آCینCده
هCا میC تواCننCد CمشCکل یCادCگیCری در SRNبنCابCراCین، فعCالیCتC های Cموقتی CدCشوارC رCا داشتCه Cباشند.
Recurre
nt
Network
s
،کلCع این مشCبرای رفLens عهCک توسCی ارائCه نمCوده کCه خطCا SRNبCرای الگCوریتم
را در عCرض چنCدین پCالس بCه عقب منشCر می کنCد. این کCار بCه وزن هCا این اجCازه را پایCه ی مشCتقات خطCای بCر می دهCد کCه آینCده تنظیم شCوند. )وزن هCایی کCه بCرای بهبCود اجCرای قابCل توجCه بCه مCا کمCک می
کنند.(
Recurre
nt
Network
s
. SRNساختار شبکه
Recurre
nt
Network
s
توضیح شکل ساختار شبکه: هرbox کCه)ا ی واح)د از را مخ)زن
نشان می دهد. و هرCه جلCان رو بCک پیکCمجموع)ه کام)ل ی
آم)وزش قاب)ل ارتباط)ات هCر از از دریCافتی واحCد هCر بCه ارسCالی در واحCد
مخزن بعدی را نشان می دهد. ه عقبCان رو بCه پیکCه الیCان بCه پنهCاز الی ،
زمینCه یCک عملیCات کCپی را معCنی می دهCد.
Recurre
nt
Network
s
اییCزیبSRN در اسCت. آن سCادگی در feed-forward backیCک SRNحقیقت،
propagation
Network رطCا شCد . تنهCه می باشCه الیCا سCب اینسCت کCه یکی از دو بخش ورودی شCبکه الگCوی فعCال سCازی اسCت بCر روی واحCدهای
پنهان خود شبکه در گام زمانی قبلی.
Recurre
nt
Network
s
Simple recurrent network
Recurre
nt
Network
s
نتیجه اینکه :SRN شبکه از خاص نوعی back-
propagation ساختار یک .که است feed-forward ای ورودیCزن هCایی در مخCد هCا واحCب
و پنهCان و خCروجی دارد. آن همچCنین یCک نCوع نCام الیCه بCه پنهCان از الیCه را contextخCاص
می تواند دارا باشد.
Recurre
nt
Network
s
هCالیcontext وعCن یCک کCه پنهانیسCت الیCه یCک C(ویرCتص Cی ازCاصCخprojection هCاز الی Cد راCواح )
تعCداد CبرابCر CاCب وCاحCدCهایی شCاCمل دیگCری CکCه است دریافت می کند.
از خCاص نCوع کCه projectionاین copy-back projection الCفع الگCوی CهCب میC شCود نامیCده
Cروی بCر کCه دCهCد می را اجCاCزه Cاین سCازCی الگCوی Cورودی آخCرCین از ارسCالCی وCاحCدCهای عنCوان اسCتفCاده CبCه بCرCای شCده پCردCازش
context پیCدی کCبع Cوی ورودیCدازش الگCرCر پCد شوند .
Recurre
nt
Network
s
Recursive transition network
شبکه انتقال بازگشتی
Recurre
nt
Network
s
:RTNتعریف
شبکه انتقال بازگشتی گراف جهت داریستبا بردارها و حالت های نشاندار.
یک حالت متمایز، »حالت شروع« یا start state نامیده می شود. و یک مجموعه ای از
حالت های متمایز ، »حالت های نهایی« یا final states.نامیده میشوند
Recurre
nt
Network
s
:RTNکاربرد ودارCک نمCی ، انتقCال بازگشCتی یک شCبکه
نمCایش بCرای کCه اسCت تئCوری شCماتیک متن از مسCCتقل گرامCCر یCCک قCCوانین
استفاده می شود. ایی درCا کاربردهCبکه هCزب)ان ه)ای این ش
، زب)ان ه)ای ط)بیعی، برنام)ه نویس)یدارند. تجزیه و تحلیل واژگانی و
Recurre
nt
Network
s
هCب توجCه بCا کCه ای جملCه RTNیCک قCوانینهر گفتCه می well-formedسCاخته می شCود ، بCه آن
ی یک Cجمله CعناصرC اختارCس خود -wellشود. formed تCمکن اسCیز مCنC well-formed اCی باشCند
C.شندCساده تر داشته با Cساختاری هCک بCه عنCوان RTNبه همین علت اسCت را هCا
recursive.توصیف می کنند قوانینRTN کCط یCده توسCد شCه تولیCک جملCی :
RTN هCولی کCانین معمCوCی قC لهCیCه وسCع بCواق Cدر مشCخصC شCده اCسCت بCه کCار گرفتCه RTNدCر خCود
.Cشود Cمی
Recurre
nt
Network
s
Fancy noun recursive transition network
A recursive transition network for "fancy nouns". Note that recursion is created by the nodes labeled "Fancy noun".
Recurre
nt
Network
s
شبکه انتقال بازگشتی شامل چه مواردی است؟
یک شبکه انتقال بازگشتی از گره ها یا( و بردارهای nodes or statesحالت ها )
labeled arc orنشاندار یا انتقال ها )transitions .شامل می شود )
Recurre
nt
Network
sانواع بردارهای شبکه انتقال
:بازگشتی هرRTN نوع بردار داشته 5 می تواند
باشد :
1. CAT : current word must belong to category (e.g. verb)
2. WORD : current word must match label exactly (e.g. “dog”)
3. PUSH : named network must be successfully traversed
Recurre
nt
Network
s
4. JUMP : can always be traversed
5. POP : can always be traversed and indicates that input string has been accepted by the network
One state is specified as a start state. A string is accepted by an RTN if a POP arc is reached and all the input has been consumed.
Recurre
nt
Network
s
EX : The metal can was dark blue
Recurre
nt
Network
s
Example:We have: NN: woman, house, table, mouse, man,
genius, …NNP: Mary, John, Washington, Ben, …DT: a, the, that, …VB: sees, hits, sings, loves, saw, …WH: who, which, that, …
Recurre
nt
Network
s
A valid Sentence is a string with a NounPhrase follows by a VerbPhrase.
Recurre
nt
Network
s
A valid NounPhrase is a string composed of a determinant follows by a noun and possibly follows by a WH and VerbPhrase
Recurre
nt
Network
s
And for the VerbPhrase network (VP):
Recurre
nt
Network
s
Example of a recursive transition network for a small subset of English
It is easy to visualize the range of acceptable sentences from inspection of the transition network.
To recognize the sentence "Did the red barn collapse?" the network is started in state S.
Recurre
nt
Network
s
Recurre
nt
Network
s
The first transition is the aux transition .
to state q2 permitted by the auxiliary "did". From state q2 we see that we can get to state q3 if the next "thing" in the input string is an NP.
"Did the red barn collapse?"
Recurre
nt
Network
s
"Did the red barn collapse?" To ascertain if this is the case, we call the state NP.
From state NP we can follow the arc labeled det to state q6 because of the determiner "the".
Recurre
nt
Network
s
From here, the adjective "red" causes a loop which returns to state q6, and the subsequent noun "barn" causes a transition to state q7. Since state q7 is a final state, it is possible to "pop up" from the NP computation and continue the computation of the top level S beginning in state q8 which is at the end of the NP arc.
"Did the red barn collapse?"
Recurre
nt
Network
s
"Did the red barn collapse?"
From q3 the verb "collapse" permits a transition to the state q4 , and since this state is final and "collapse" is the last word in the string, the string is accepted as a sentence.
Recurre
nt
Network
s
شبکه های بازگشتی خطی
Recurre
nt
Network
s
Linear Recursive Networks(LRN)
-بعدی به طور کلی در nهر شبکه بازگشتی خطی ارتباط با یک بازگشت خطی به فرم زیر می باشد:
0
1:
...... 2211
k
i
knknnn
a
kia
XaXaXaX
Recurre
nt
Network
s
برابر با بعد شبکه می باشد. nدر بازگشت، اندیس )که با نمایش داده می شود ( پارامترهای
نیز تعداد رخ دادن های یک شبکه با بعد پایین تر را بعدی ( n-iنشان می دهد. ) : شبکه
برای مثال:Binary n-cube:
Fibonanci cube:
nX
iainX
21
12
nnn
nn
XXX
XX
Recurre
nt
Network
s
در هCر شCبکه بازگشCتی، شCرایط مCرزی تعCداد واقعی نودهCا در شCبکه را تعCیین می کنCد، و شCرایط متفCاوت مCرزی منجCر بCه تغیCیرات )کمی( در توپولCوژی شCبکه قطCر، چCون مهم هCای ویCژگی بیشCتر گCردد. می توسCط ... و پCذیری مقیCاس دوبخشCی، عCرض
بازگشت تشخیص داده می شوند.
Recurre
nt
Network
s
A finite set of symbols is called an alphabet. We will confine ourselves to the binary alphabet S = {0,1}. Thus, a symbol will also be called a bit. A string is a finite sequence of symbols. The null string, denoted by , is a string of length zero.
A language is a collection of strings.
Recurre
nt
Network
s
Recurre
nt
Network
s
Recurre
nt
Network
s
Recurre
nt
Network
s
Recurre
nt
Network
s
Recurre
nt
Network
s
Recurre
nt
Network
s
Recurre
nt
Network
s
Advantages
member of these network will be parameterized by
a generator (call it A)
a dimension n
so main advantages :
1. cost, performance, reliability of network expressed by the same parameters ( A&n)
2. A&n provides a quantitative link between individual network
Recurre
nt
Network
s
Property :
since recursive construction of Ln(A) an LRN of higher dimension contains other LRN of lower dimensions.
Recurre
nt
Network
s
LRNs کاربردهای قطر یک شبکه، که بیشترین تأخیر را در زمان راه
اندازی ارتباط بین دو نود را مشخص می کند، بیشترین فاصله بین هر دو نود در یک شبکه است.
N .تعداد نودها در یک شبکه را نشان می دهد تعداد لینک های روی یک نود اغلب در پیاده سازی
نگرانی ایجاد می کند. هر دو تعداد گره و تراکم ارتباطات مقیاس پذیر
می باشند و می توانند با هزینه و عملکردهای مورد نیاز در ارتباط باشند.
Recurre
nt
Network
s
LRNs کاربردهای در کارهای ارتباطات داده ها به LRNاز کاربردهای
موارد زیر می توان اشاره نمود: ارسال نقطه به نقطهدریافت و پخش جمع آوری
Recurre
nt
Network
s
معماری شبکه
Recurre
nt
Network
s
معماری شبکه های پیش خوردر یCک دیCد کلی، دو نCوع معمCاری اصCلی در یCک شCبکه عصCبی موجCود اسCت. این دو نCوع، شCبکه هCای پیش طCور بCه دارنCد. نCام بازگشCتی هCای شCبکه و خCور خالصCه، در شCبکه هCای پیش خCور، فعCالیت نCورون هCا خCروجی هCای الیCه سCمت بCه ورودی هCای الیCه از انتشCار می یابCد و تمCامی اتصCاالت در الیCه هCا رو بCه
جلو است.
Recurre
nt
Network
s
معماری شبکه های بازگشتیدر هCا نCورون بازگشCتی، خCروجی هCای در شCبکه امCا هCای الیCه هCای نCورون ورودی بCه بCاالتر، هCای الیCه اولیCه بCازمی گCردد و بCه همین دلیCل بCه آن هCا شCبکه هCای بازگشCتی می گوینCد. در یCک تعریCف دقیCق تCر، اگCر شCبکه ای عصCبی را معCادل یCک گCراف جهت دار
در نظر بگیریم، این شبکه ها دارای دور هستند.
Recurre
nt
Network
s
کاربرد معماری شبکه بازگشتیمعمCاری بازگشCتی شCبکه هCای عصCبی، در سCاختار هCای تCوان می و شCود، می مشCاهده وفCور بCه زیسCتی گفت کCه تمCامی شCبکه هCای عصCبی زیسCتی، از نCوع واقCع سیسCتم در هCا شCبکه این هسCتند. بازگشCتی پیCاده سCازی می کننCد، پویCا را مCدل سCازی و هCای می تCوان گفت کCه شCبکه هCای بازگشCتی قCادر هسCتند تخمین دقCتی مشCخص بCا را پویCا هCای کCه سیسCتم دلیCل بCه هCا این شCبکه آمCوزش و اسCتفاده بزننCد. همین و بCوده مشCکل هCا آن بازگشCتی سCاختار مسCئله مCوجب شCده اسCت کCه اسCتفاده هCای عملی از این شCبکه هCا پیشCرفت چنCدانی نداشCته باشCد. این هCا، عمومCا در آن آمCوزش هCا و روش هCای شCبکه
کتاب های مهندسی مطرح نمی شوند.
Recurre
nt
Network
s
کاربرد معماری شبکه بازگشتیو پرسCپترون چCون مصCنوعی عصCبی هCای شبکه داده روی بCر پCردازش بCرای الیCه، چنCد پرسCپترون انCد. ثCابت طCراحی شCده هCای ورودی فاصCله ای و بCرای مثCال می تCوان تشCخیص کاراکترهCای یCک دسCت بCرای ای ثCابت فاصCله بCه عنCوان ورودی را نوشCته این نCوع شCبکه در نظCر گCرفت. معمCاری اولیCه این جداگانCه عامCل یCک عنCوان بCه را زمCان هCا، شCبکه بCرای هCا شCبکه این کCه زمCانی کننCد. نمی دخیCل مسCایل مرتبCط بCا زمCان، از جملCه تشCخیص گفتCار، بCه
کار گرفته شدند؛ راهکارهایی ارائه شد.
Recurre
nt
Network
s
کاربرد معماری شبکه بازگشتی هCب ارائCه شCده در نظCر گCرفتن زمCان اولین راهکCار
عنCوان یCک بعCد اضCافی در فضCا بCود. بCه عنCوان مثCال، در مسCاله تشCخیص گفتCار یCک قطعCه از صCدا را می و قطعCه نمCوده تقسCیم زمCانی هCای بCازه بCه تCوان هCای زمCانی ایجCاد شCده را، متغCیری دیگCر در فضCا در
نظر گرفت. ا میCتی بنCای زیسCدل هCه مCر پایCه بCری کCار دیگCراهک
شCود، بCرای نCورون هCای موجCود در شCبکه یCک تCأخیر ثCابت در نظCر می گCیرد. بCا این مCدل می تCوان در هCر لحظCه، ورودی لحظCات قبCل را بCه نحCوی در نCورون هCایی کCه در سCطوح جلCوتر تCاخیری قCرار دارنCد، بCه در شCده انجCام محاسCبات بنCابراین آورد. دسCت بCا نCورون هCای بCه بCاالتر کCه نCورون هCای الیCه هCای تCأخیر نگCاه می کننCد، شCامل ورودی هCای بCازه ای از
زمان گذشته نیز می شود.
Recurre
nt
Network
s
کاربرد معماری شبکه بازگشتی
وردCر برخCنوعی، روش دیگCبی مصCای عصCبکه هCا در شCامبCا CمسCائلC زمCاCنی، ورCود آن بCه شCبکه CبCه CصCورت CضCمنی دCر CمعمCارCی شCبکهC اCسCت. وCرودC زمCان، CمعمCارCی شCبکه را این دهCد. CیCم باCزگشCتCی CتغیCیر بCه خCوCر پCیCش حCالت CزCامعمCارCی، ارتCبCاط حCالتC سیسCتم را CبCا ورودی CکنCونCی و بCا خCروCجی و حCاCلت قبلی شCبCکه، میسCر مCی سCازد. CقابCل ذکCر اسCت کCه اینC شCبکه CهCا، همچنCان یCک مCدCل قCطعCه آنجCا کCه CعناCصCر شCبکه اCز زمCان CدارنCد؛ Cاز قطعCه CشCده توCسCط CیCک CتمCسیس Cو زمCانی CنداشCتCه خCاصCیCت Cهیچ
ساعCت مرکCزی، به رCوز رسانیC می شوCد.
Recurre
nt
Network
s
Applications :شبکه بازگشتی بی نظم
بی هCای بCرای سیسCتم تCوان را می بازگشCتی شبکه بCه نسCبت پویCا عصCبی شCبکه بCرد. کCار بCه نظم موضCعی نوسCانات ماننCد زیCاد، بسCیار نوسCانات و نوسCانات توانCا هسCتند. و رفتCار بی نظم محCدود تغیCیر الگوهCای فعCالیت بCه صCورت بCالقوه می تواننCد بCرای اهCداف محاسCباتی و مCدل نمCودن پدیCده هCای
فیزیکی به کار گرفته شوند.
Recurre
nt
Network
s
Applications:یادگیری زبان
فهم در بازگشCCتی شCCبکه کCCارگیری بCCه و طراحی یCاCدگیریC زبCان رسCمیC میC توCانCد CبCه کCاCر بCرده شCود. عCملکCردC شCبCکه بCه صCوCرت نگCاشCتCی اسCت کCه دنبالCه ورCودی رCا بCه مقCدCار خCروجCی و یCا دنبCالCه ایC از مقCاCدیر خCرCوجی وCصCل می نمCایCد. دCر Cاین نگاشCتC ورودیC و یCادCگیری دCر باCشCند. Cمی هCر Cدو CگسسCته خCروCجی C هCوعCمCرمجCزیC دیCبن CتهCدسC CرایCتی بCشCازگCب CبکهCان، شCبCز
.Cشود Cمی CبردهC کارC ک زبان بهCی یCهای ورود
Recurre
nt
Network
s
Language LearningGiven a set of strings S, each composed of a series of
symbols, identify the strings which belong to a language L. A simple example: is the language composed of strings of any number of a's, followed by the same number of b's. Strings belonging to the language include aaabbb, ab, aaaaaabbbbbb. Strings not belonging to the language include aabbb, abb, etc. A common benchmark is the language defined by the reber grammar. Strings which belong to a language L are said to be grammatical and are ungrammatical otherwise.
},{ nn baL
Recurre
nt
Network
s
Applications Speech recognition:
In some of the best speech recognition systems built so far, speech is first presented as a series of spectral slices to a recurrent network. Each output of the network represents the probability of a specific phone (speech sound, e.g. /i/, /p/, etc), given both present and recent input. The probabilities are then interpreted by a Hidden Markov Model which tries to recognize the whole utterance.
Recurre
nt
Network
s
Applications Music composition:
A recurrent network can be trained by presenting it with the notes of a musical score. It's task is to predict the next note. Obviously this is impossible to do perfectly, but the network learns that some notes are more likely to occur in one context than another. Training, for example, on a lot of music by J. S. Bach, we can then seed the network with a musical phrase, let it predict the next note, feed this back in as input, and repeat, generating new music. Music generated in this fashion typically sounds fairly convincing at a very local scale, i.e. within a short phrase.
شبکه عصبی بازگشتی
Recurre
nt
Network
s همان طور که می دانیم در شبکه های عصبی داده
ها به الیه ورودی داده می شود و الیه به الیه جلو می رود تا در خروجی جواب حاصل شود.)همه
جهت ها رو به جلو می باشد و بازخوردی از الیه های باالتر به الیه های پیشین نداریم(
در شبکه های بازگشتی برخالف شبکه های رو به( ،می توانیم از خروجی نرون feedforwardجلو )
های الیه جلوتر به نرون های الیه قبلی و یا از خروجی یک نورون به خودش ارتباط
(connection.داشته باشیم )شبکه هایRNN طوری طراحی شدند که می توانند
اطالعات را در گره های خروجی ذخیره کنند.به می حافظهعبارت دیگر این شبکه ها دارای
باشند. سیستم های این شبکه ها بسیار مناسب برای
می باشند.دینامیکی هاپفیلد وTDNN دو نمونه از RNN.می باشند
Recurre
nt
Network
s
شبکه دو FF & RNN مقایسه
Recurre
nt
Network
s
هاپفیلد شبکه
حافظه شبکه هاپفیلد جز شبکه های 1982است که در سال خود انجمنی
توسط جان هاپفیلد مطرح شد. تنها یک الیه در ساختار این شبکه
وجود داردبه عبارت دیگر در شبکه هاپفیلد تمامی نرون ها مانند یکدیگر
عمل می کنند و تقسیم بندی نرون های ورودی و خروجی وجود ندارد.این امر
وجه بارز اختالف بین این شبکه با دیگر شبکه ها می باشد.
Recurre
nt
Network
s
).. ادامه) هاپفیلد
یکی از دو خروجی هر نرون در شبکه هاپفیلد- را اتخاذ می کند.که این مقدار به 1 یا 1مقدار
تمامی نرون های دیگر غیر از خودش بازگردانده میشود.
Recurre
nt
Network
s
نمایش شبکه عصبی هاپفیلد
متقارن می باشد پس داریم:RNNشبکه Wij=wji
اطالعات الگوها شامل wijوزن های هستند
Recurre
nt
Network
s
).. ادامه) هاپفیلد است که در شبکه بازگشتی شبکه هاپفیلد یک
آن خروجی هر نرون به ورودی تمام نرون های دیگر متصل است.
پس از اعمال ورودی ها به شبکه،خروجی آنمحاسبه شده و در قدم بعد،خروجی محاسبه شده
به عنوان ورودی جدید به شبکه اعمال می شود.این روند انقدر تکرار می شود تا خروجی
شود.نقطه ثابت همگرا شبکه به یک سیستم دینامیکی در اینجا شبکه به عنوان یک
عمل می کند و همگرایی یعنی رسیدن به جوابی که بر اثر تکرار شبکه تغییر نمی کند.در این حالت
رسیده است.حالت ماندگار می گوییم شبکه به
Recurre
nt
Network
s
).. ادامه) هاپفیلد هاپفیلد برای به دست آوردن نقاطی که شبکه به آنها
تئوری پایداری لیاپانوف همگرا می شود از استفاده نمود.
به ازای هر نمونه ای که به سیستم وارد شود،انرژیآن نمونه محاسبه شده و در حافظه به عنوان یک معیار برای مقایسه نمونه ها نگه داری می شود.
تابع انرژی که به عنوان معیار استفاده می شود یک می باشد:نزولیتابع
تابع انرژی به صورت یکنواخت کاهش می یابد تا درپایدار شود.مینیمم محلی
Recurre
nt
Network
s
Learning Algorithm الگوریتم یادگیری در هاپفیلد بر اساس قانون
یادگیری هب می باشد که یک الگوریتم یادگیری با ناظر است.
قانون هب می گوید که اگر دو واحد به طورهمزمان فعال باشند،وزن ارتباط آنها افزایش می
یابد و متناسب با ضرب آنهاست. در این قانون ماتریس وزن ها به صورت زیر به
روز می شود.
Recurre
nt
Network
s
Learning Algorithm)cont..(ابتدا نمونه ها را به وسیله تعیین قدم اول:
کردن وزن هایشان ذخیره می کنیم.هر - را می گیرد.1 یا 1 ها مقدار qکدام از
ارائه یک الگوی مشاهده نشده با قدم دوم: q=fundamentalها به سیستم.)qابعادی برابر
patterns) در Oiهر کدام از اجزای قدم سوم:
خروجی به هنگام به روز رسانی از سیکل l به سیکل l+1 به صورت زیر به روز می
شوند:
Recurre
nt
Network
s
Learning Algorithm)cont..(
این پروسه آنقدر ادامه پیدا می کند تا دیگر تغییری در خروجی حاصل نشود.
همین پروسه برای دیگر الگوهای ارائه قدم چهارم:شده که تا به حال مشاهده نشده اند تکرار می شود.
Recurre
nt
Network
s
Example نود باینری داریم.می 4شبکه هاپفیلد تک الیه با
را ذخیره کند.مقدار حد o=[1,1,1,-1]خواهیم الگوی بدون w در نظر می گیریم.ماتریس 0آستانه را برابر برابر می شود باn/1در نظر گرفتن
Recurre
nt
Network
s می n=16^2تعداد کل حالت های ممکن برابر
باشد.
مقدار انرژی را از رابطه زیر برای هر حالت ممکن به دست می آوریم:
Recurre
nt
Network
s
،مقدار انرژی برابر است A]=1,1,1,1[برای حالت با:
به همین ترتیب میزان انرژی برای تمامی حاالت ممکن محاسبه می شود.
Recurre
nt
Network
s
همان طور که می بینیممی6-کمترین انرژی مقدار
باشد که مربوط به دو حالتL=[-1,-1,-1,1]&B=[1,1,1,-1]ا
.است که مکمل هم می باشند
حاال هریک از مولفه های خروجی را به طور جداگانه به روز می کنیم.این بدان معناست که برای هرحالت تنها یک نرون و پس از O3 بعد O2سپسO1 را فعال می کنیم.یعنی ابتدا
.را به منظور به روز رسانی فعال می کنیم O4 آن
Recurre
nt
Network
sرا بررسی میکنیم:J=[-1,-1,1,-1]حالت
Recurre
nt
Network
s
Recurre
nt
Network
sDifferent state’s transitions
با تشکر از توجه شما