سازگاري فرايندهاي يادگيري consistency of learning processes ارائه...
Post on 19-Dec-2015
236 views
TRANSCRIPT
سازگاري فرايندهاي يادگيري
Consistency of Learning Processes
ارائه دهنده: الهام باوفای حقیقیاستاد درس: آقای دکتر شيري
دانشگاه امير كبير مهندسي كامپيوتر و فناوري دانشكده
اطالعات
فهرست
باوفا الهام يادگيري 2 فرايندهاي سازگاري
مقدمه•همگرايي•آنتروپي مجموعه اي از توابع•شروط همگرايي•تئوري غير قابل رد كردن•نتايج•ضميمه )تعاريف و بحث هاي •
آماري(
مقدمه
باوفا الهام يادگيري 3 فرايندهاي سازگاري
را نيز ريسك واقعي كم كرد؟
،حداقل كردن ريسك مشاهدات
چه زماني مي توان همزمان با
سازگاريConsistency
مقدمه تعريف سازگاري
باوفا الهام يادگيري 4 فرايندهاي سازگاري
تعريف كالسيك
ريسك )خطاي( مشاهدات
ريسك )خطاي( واقعي
مقدمه انواع سازگاري
باوفا الهام يادگيري 5 فرايندهاي سازگاري
(trivial case) نسخه غير جدي
(non trivial case) نسخه جدي
...ادامه
مقدمه انواع سازگاري
باوفا الهام يادگيري 6 فرايندهاي سازگاري
(trivial case) نسخه غير جدي
(non trivial case) نسخه جدي
...ادامه
non trivially consistent consistent
همگرايي
باوفا الهام يادگيري 7 فرايندهاي سازگاري
همگرايي يكنواخت يك طرفه -
همگرايي يكنواخت دو طرفه -
شرط الزم و كافي براي
همگرايي؟
آنتروپي مجموعه از توابع
)Indicator(توابع جداكننده
باوفا الهام يادگيري 8 فرايندهاي سازگاري
Sample Set:
به چند طريق مختلف مي توابع توان با استفاده از
جداكنندهدسته بندي هاي مختلف
روي مجموعه از نمونه ها يك
داشت
...ادامه
آنتروپي مجموعه از توابع
)Indicator(توابع جداكننده
باوفا الهام يادگيري 9 فرايندهاي سازگاري
...ادامه
Random Entropy:
Entropy:
افزايش آنتروپي نشاندهنده تعدد در تصميم گيري هاي مختلف و توانمندي
در خرد كردن مجموعه نمونه ها به .صورت هاي دلخواه است
آنتروپي مجموعه از توابع
توابع حقيقي
باوفا الهام يادگيري 10 فرايندهاي سازگاري
s.t.find
كوچكترين عددي كه شرايط فوق را تامين كند :
Nl عدد بردار به طول
for
N
...ادامه
آنتروپي مجموعه از توابع
توابع حقيقي
باوفا الهام يادگيري 11 فرايندهاي سازگاري
...ادامه
آنتروپي مجموعه از توابع
توابع حقيقي
باوفا الهام يادگيري 12 فرايندهاي سازگاري
...ادامه
Random V.C. Entropy:
V.C. Entropy:با توجه به توزيع نمونه ها
شروط همگرايي همگرايي دوطرفه
باوفا الهام 13
جهتكافي و الزمشرط
دو طرفههمگرايي يكنواخت :
كفايت:تابع صعودي
...ادامه
شروط همگرايي
همگرايي دوطرفه
باوفا الهام يادگيري 14 فرايندهاي سازگاري
...ادامه
...ادامه
شروط همگراييهمگرايي دوطرفه
باوفا الهام يادگيري 15 فرايندهاي سازگاري
...ادامه
SUP
...ادامه
شروط همگرايي
همگرايي دوطرفه
باوفا الهام 16
...ادامه
...ادامه
شروط همگرايي
همگرايي دوطرفه
باوفا الهام يادگيري 17 فرايندهاي سازگاري
...ادامه
...ادامه
شرط تكنيكي:
شروط همگرايي
همگرايي يك طرفه
باوفا الهام يادگيري 18 فرايندهاي ...ادامهسازگاري
همگرايي يكطرفه
if
شروط همگرايي
همگرايي يك طرفه
باوفا الهام يادگيري 19 فرايندهاي سازگاري
...ادامه
s.t.
جهتكافي و الزمشرط
يك طرفههمگرايي يكنواخت
تئوري غير قابل رد كردنTheory of Nonfalsifiablity
باوفا الهام يادگيري 20 فرايندهاي ...ادامهسازگاري
آيا همچنان مي توانيم سازگاري داشته باشيم؟
تئوري غير قابل رد كردنTheory of Nonfalsifiablity
باوفا الهام يادگيري 21 فرايندهاي ...ادامهسازگاري
...ادامه
Popper’s Theory:two models of reasoning
(i) Deductive: which means moving from general to particular(ii) Inductive: which means moving from particular to general
تئوري غير قابل رد كردنTheory of Nonfalsifiablity
باوفا الهام يادگيري 22 فرايندهاي ...ادامهسازگاري
...ادامه
با توجه به تئوري پوپر:
)Falsifiable (
حقايقي وجود داشته باشند كه در شرايط تئوري مورد نظر قرار داشته
اماباشندنتوانند توسط آن تئوري توضيح داده
شوند!
چون تئوري بر اساس تعداد محدود داده هاي آزمايشي درست شده پس
حتما داراي نايقيني خواهد بود.
زيرا
قابل رد بايد يك تئوري استقرايي باشد!شدن
تئوري غير قابل رد كردنTheory of Nonfalsifiablity
باوفا الهام يادگيري 23 فرايندهاي سازگاري
...ادامه
غير قابل رد شدن خواهد شد
Complete (Popper’s) Nonfalsifiablity
Partial Nonfalsifiablity
Potential Nonfalsifiablity
ERM
تئوري غير قابل رد كردنComplete Nonfalsifiablity
باوفا الهام يادگيري 24 فرايندهاي سازگاري
توانمندي در خرد كردن مجموعه نمونه ها
. صورت دلخواه استهربه
تئوري غير قابل رد كردن Partial Nonfalsifiablity
باوفا الهام 25
For any given sequence of binary values
تئوري غير قابل رد كردن Potential Nonfalsifiablity
باوفا الهام 26
Q is Potentially Nonfalsifiable
If exist two functions:
s.t.
...ادامه
تئوري غير قابل رد كردن Potential Nonfalsifiablity
باوفا الهام 27
...ادامه
يادگيري فرايندهاي سازگاري
تئوري غير قابل رد كردن
نتيجه
باوفا الهام يادگيري 28 فرايندهاي سازگاري
مسئله حداقل كردن ريسك براي داده هاي
همواره سازگار نيستآموزشي
(ERM)
نتايج
باوفا الهام يادگيري 29 فرايندهاي سازگاري
1
...ادامه
Sufficient condition for consistency of the ERM principle
نتايج
باوفا الهام يادگيري 30 فرايندهاي سازگاري
...ادامه2
3
Sufficient condition for a fast rate of convergence
ERM principle consistent and simultaneously provides a fast rate of convergence
independent of the probability measure
necessary and sufficient conditions Consistency sufficient condition for a fast rate of convergence
ضميمه )تعاريف و بحث هاي آماري(
باوفا الهام ...ادامه31
مجموعه رخدادهاي پايه
تعريف كيفي از آزمايش نگاه ايده
آل
مدل آماري
ضميمه )تعاريف و بحث هاي آماري(
باوفا الهام يادگيري 32 فرايندهاي ...ادامهسازگاري
...ادامه
Probability Measure
تعريف كمي از نگاه ايده آزمايش
آل
مدل آماري
ضميمه )تعاريف و بحث هاي آماري(
باوفا الهام يادگيري 33 فرايندهاي ...ادامهسازگاري
...ادامه
Practical
ضميمه )تعاريف و بحث هاي آماري(
باوفا الهام يادگيري 34 فرايندهاي ...ادامهسازگاري
...ادامه
مسئله اصلي در:
تئوري آمارتئوري
احتماالت
بدست آوردن تابع توزيع
بدست Probability Measureآوردن
دو مود اصلي در Probability Measureمحاسبه
مود قويمود ضعيف
ضميمه )تعاريف و بحث هاي آماري(
باوفا الهام 35
در مود شرايط سازگاري در بررسي ...ادامهضعيف قرار داريم
باوفا الهام يادگيري 36 فرايندهاي سازگاري
باتشکر از توجه شما
آنتروپي مجموعه از توابع
)Indicator(توابع جداكننده
باوفا الهام يادگيري 37 فرايندهاي سازگاري
آنتروپي بي نهايت و كاهش قابليت تعميم
1بازگشت 2بازگشت