Download - یادگیری بر پایه نمونه
نمونه یادگیری پایه بر
Instance Based LearningInstance Based Learning
Author : Saeed Shiry
With little change by: Keyvanrad
& Mitchell Ch. 8
Fall 1392
مقدمه بود این بر سعی کردیم، بررسی تاکنون که روشهائی در
بتواند که کنیم پیدا تابعی آموزشی مثالهای از استفاده با که. باشد ها داده کننده توصیف
یادگیری روش ذخیره IBLدر را مثالها فقط بسادگیتعویق به جدید مثال مشاهده تا تعمیم هرگونه و میکنیم
یا. تنبل روش گاهی روش این دلیل همین به lazyمیافتد. میشود نامیده هم
ذخیره های نمونه با آن رابطه جدید مثالهای مشاهده بانسبت آن هدف تابع برای مقدار یک و شده بررسی شده
. میشود بدست IBLروش درداده ها داده برای مشخص عمومی فرضیه یکبر و آن مشاهده هنگام جدید نمونه هر بندی دسته بلکه آمد نخواهد
. شد خواهد انجام شده، ذخیره مثالهای نزدیکترین اساس
Instance-based Learning
Its very similar to aDesktop!!
اساسی یک تفاوت
روش IBL جداگانه تقریب جدید، نمونه هر برای . به فقط تقریب این میکند ایجاد را هدف تابع از ای
هرگز و بوده اعمال قابل جدید نمونه همسایگی. کند عمل ها نمونه تمام فضای روی بر نمیتواند
هدف تابع که است موثر هنگامی روش این کاربردنمایش قابل حال عین در ولی بوده پیچیده خیلی
. باشد محلی تر ساده توابع توسط
Instance-based Learning
When To Consider IBL Instances map to points Less than 20 attributes per instance Lots of training data
Advantages: Training is very fast Learn complex target functions Don't lose information
Disadvantages: Slow at query time Easily fooled by irrelevant attributes
ها مشخصه
دارای این :3روش است اصلی مشخصه : شباهت تابع
. انتخاب هستند هم به نزدیک چقدر نمونه دو که میکند مشخص . میتوان چگونه مثال باشد مشکل بسیار میتواند تابع این
موی رنگ نمود؟ 2شباهت بیان را نفر : ذخیره برای ها نمونه انتخاب
که شوند ذخیره هائی نمونه میشود سعی الگوریتم این در . دارد عمومیت نمونه یک آیا اینکه تشخیص باشند تر عمومی
. باشد مشکلی کار میتواند خیر، یا: کننده بندی دسته تابع
. میکند تعیین آنرا بندی دسته مثال یک بامشاهده که است تابعی
مشکالت
دسته . باشد پرهزینه بسیار میتواند جدید داده بندیو پذیرد نمی صورت عملی آموزش مرحله در زیرا
انجام بندی دسته هنگام در محاسبات تمامیمیگردند.
از بندی دسته زمان کاهش برای اینرو تکنیک ازایندکس .های میشود استفاده
باینری درخت روش مثل روشهای اغلب مثالهای IBLدر بازخوانی برای
موجود های ویژگی تمامی از حافظه از مشابه . به فقط هدف تابع اگر بنابراین میشود استفاده
مثالهائی باشد، داشته بستگی ها ویژگی از برخیاز بسیار است ممکن هستند مشابه واقعا که
. شوند دور یکدیگر
کاربردها مثالی از
Image Scene Classification
از برای استفاده با تصویر هریک آن پیکسلهای مقادیر
signature از و شده محاسبهورودی تصویر مقایسه برای آن
بیس دیتا در موجود تصاویر با. میشود استفاده
کاربردها مثالی از
image size: 82x100 pixels 5NN is used for prediction error rate is about 9.5% 5NN performs best among LVQ, CART, NN,
… .
مختلف روشهای
K-Nearest Neighbor (KNN) Discrete Target Functions Continuous Target Functions Distance Weighted
Locally Weighted Regression Radial Basis Function Networks Case-Based Reasoning General Regression Neural Networks
K-Nearest Neighbor Learning (k-NN)
k-NN برپایه روش متداولترین و ترین ساده. است نمونه یادگیری
ها نمونه تمام که میشود فرض روش این درفضای در همسایه nنقاطی و هستند حقیقی بعدی
تعیین استاندارد اقلیدسی فواصل برمبنای هامیشوند.
از شده kمراد گرفته نظر در های همسایه تعداداست.
اقلیدسی فاصله
ویژگی اگر بردار یک بصورت را دلخواه مثال یک: دهیم نمایش
مثال دو بین تعریف xjو xiفاصله زیر بصورتمیشود:
)(),...(),( 21 xaxaxa n
n
r
jrirji xaxaxxd1
))()(( 2),(
هدف k-NN الگوریتم تابع برایگسسته
بصورت برای گسسته هدف تابع یک:k-NNالگوریتم است زیر بصورت
یادگیری الگوریتم آموزشی مثال لیست <x , f(x)>هر به اضافه training_examplesرا
.کنید: بندی دسته الگوریتم
: بررسی مورد نمونه xqبرای
از هائی نمونه ترین با training_examplesنزدیک آنرا x1 … xkبه. دهید نمایش
. برگردانید و نموده محاسبه را زیر مقدار
},...{set finite theis where,: 1 sn vvVVf
k
i
iq xfvxf1Vv
))(,(argmax)(ˆ otherwise 0
if 1 b)(a, where
b a
مثالاگر k=1 الگوریتم شود نزدیکترین NN-1انتخاب مقدار
به . xqنمونه بزرگتر مقادیر برای نمود خواهد انتخاب kرابین مقدار خواهد kمتداولترین انتخاب نزدیک همسایه
شد.
+
+
+
+
-
-
-
-
-
·Xq
مثال در حالت xqاین برای NN-1در و .NN-5مثبت بود خواهد منفی
فرضیه فضای
توسط ماهیت شده گرفته درنظر ضمنی فرضیه فضایچیست؟ k-NNالگوریتم
ایجاد مشخصی عمومی فرضیه هرگز الگوریتم این اگرچهشده القا تصمیم سطح است ممکن وجود این با نمیکند،
بصورت را بعدی دو فضای یک برای الگوریتم توسطوجهی چند هر که داد نشان ها چندوجهی از ترکیبی
خواهند بندی دسته آن توسط که را نقاطی از ای مجموعه . مینماید مشخص شد
سایر توسط که بود خواهند نقاطی چندوجهی خارج نقاط . شد خواهند بندی دسته ها چندوجهی
نمودار نوع .Voronoi diagramاین میشوند خوانده
Voronoi diagram
query point qf
nearest neighbor qi
1مثال 2مثال
استقرا بایاس
الگوریتم بایاس بصورت k-NNاستقرا میتوان را: گرفت نظر در زیر
های دسته نمونه دسته مشابه نمونه یک بندیدارند قرار آن نزدیکی در که بود خواهد دیگری
هدف k-NN الگوریتم تابع برایپیوسته
الگوریتم k-NN هدف توابع برای بسادگی میتواند را . بجای حالت این در نمود استفاده نیز پیوسته
همسایگی در موجود مقدار متداولترین انتخابمیانگین .kمقدار میشود محاسبه همسایه مثال
زیر رابطه از الگوریتم آخر خط در نتیجه در: میشود استفاده
k
xfxf
k
i
i
q
1
)()(ˆ
k-NN پیوسته هدف تابع برای
1-nearest neighbor 3-nearest neighbor
twoone
four
three
five six
seven Eight ?
مثال
ها نقاشی این از برخیمتعلق بعد جدول طبق
نام به نقاشی بهMondrian . هستند
آیا که کنید مشخصبه نیز هشتم نقاشی
دارد؟ تعلق وی
Training dataNumber Lines Line types Rectangles Colours Mondrian?
1 6 1 10 4 No
2 4 2 8 5 No
3 5 2 7 4 Yes
4 5 1 8 4 Yes
5 5 1 10 5 No
6 6 1 8 6 Yes
7 7 1 14 5 No
Number Lines Line types Rectangles Colours Mondrian?
8 7 2 9 4
Test instance
های نرمالیزه داده کردنآموزشی
t
ttt
xxx
'
attributestofmeanx thr
attributestofdeviationndardsta tht
آموزشی یک داده کردن نرمالیزه عبارت a´r(x) به ar(x)راهاز است
Normalised training dataNumber Lines Line
types Rectangles Colours Mondrian?
1 0.632 -0.632 0.327 -1.021 No
2 -1.581 1.581 -0.588 0.408 No
3 -0.474 1.581 -1.046 -1.021 Yes
4 -0.474 -0.632 -0.588 -1.021 Yes
5 -0.474 -0.632 0.327 0.408 No
6 0.632 -0.632 -0.588 1.837 Yes
7 1.739 -0.632 2.157 0.408 No
Number Lines Line types
Rectangles Colours Mondrian?
8 1.739 1.581 -0.131 -1.021
Test instance
Distances of test instance from training data
Example Distanceof testfromexample
Mondrian?
1 2.517 No
2 3.644 No
3 2.395 Yes
4 3.164 Yes
5 3.472 No
6 3.808 Yes
7 3.490 No
Classification
1-NN Yes
3-NN Yes
5-NN No
7-NN No
Distance-weighted k-NN
از میتوان یک هر برای وزنی گرفتن نظر در با را الگوریتم این kعملکرد . نمونه تا ها نمونه فاصله اساس بر وزن این نمود بهتر همسایگی مثال
معکوس رابطه ها نمونه فاصله با معموال و میشود اعمال بررسی مورددارد.
: گسسته حالت در
پیوسته حالت در
جای به که داشت خواهد وجود امکان این وزن اعمال صورت نمونه kدر . این اما کنیم استفاده بندی دسته برای ها نمونه تمامی از همسایه
. شد خواهد بندی دسته عمل شدن کند باعث انتخاب
21Vv
1 where ))(,(argmax)(ˆ
), xd(x wxfvwxf
iqii
k
i
iq
2
1
1
),(
1 e wher
)()(ˆ
iqik
i
i
k
i
ii
qxxd
ww
xfwxf
الگوریتم نکاتی مورد k-NNدر
الگوریتم Distance-weighted k-NN موثری بطوراستقرائی استنتاج برای مختلفی عملی مسائل در
. است رفته بکار مواردی در و بوده مقاوم نویز به نسبت روش این
بسیار باشد موجود زیادی آموزشی داده کهکاراست.
The curse of dimensionality
ها از ویژگی تمامی از فاصله محاسبه برای انجائیکههای ویژگی حتی که دارد وجود امکان این میشود استفاده . این گیرند قرار استفاده مورد بندی دسته امر در نامرتبطآن در که است تصمیم درخت مثل روشهائی خالف بر امر
. شود استفاده مرتبط های ویژگی از فقط تا میشد سعی با نمونه هر که کنید فرض مثال مشخص 20برای ویژگی
فقط آنان میان از که بندی 2شوند دسته برای ویژگیذخیره های نمونه است ممکن اینصورت در باشند کافیهم از بسیار هستند مشابه ویژگی ایندو در که ای شده
. مورد معیارفاصله دراینصورت باشند داشته فاصلهدر .k-NNاستفاده باشد کننده گمراه بسیار میتواند
مسئله .curse of dimensionalityاین میشود نامیده
Cross-validation
ویژگی یک بیشتربرای وزن از استفاده مشکل این حل راه . محور مقیاس تغییر مشابه امر این است مرتبط های
ویژگی: محور و کوتاهتر مرتبط های ویژگی محور هاست. میشوند تر طوالنی نامرتبط های
روش از میتوان ها ویژگی وزن تعیین -crossبرایvalidation: نمود استفاده
انتخاب آموزشی های داده عنوان به ها داده از ای مجموعهمیشوند.
مقادیرz1,…,zn شوند ضرب محور هر در باید که ضرایبی بعنوان . بندی دسته خطای که است بنحوی انتخاب این میگردند انتخاب
. یابد کاهش مثالها درباقیمانده دادن قرار با .zj=0میتوان نمود حذف بکلی را ویژگی یک اثر
Indexing
روش از در زمان K-NNآنجائیکه تا مثالها بندی دستهاز استفاده میافتد تعویق به مثال آن با برخورد
Indexing آموزشی مثالهای کردن مرتب برایرا الگوریتم کارائی چشمگیری بطور میتواند
. دهد افزایشبرای kd-tree(k-dimensional tree)روش روش یک
سطح در ها نمونه آن در که است کردن ایندکسهم به نزدیک های نمونه و شده ذخیره درخت یک
ذخیره هم به نزدیک های گره یا و گره همان درمیشوند.
نمونه یادگیری ویژگیهای
مزایا: کند مدل را پیچیده توابع میتواند نمیرود بین از آموزشی مثالهای در موجود اطالعات ) در کند استفاده ها نمونه سمبلیک نمایش از میتواند
)case-based reasoningروش :معایب
است کم بندی دسته انجام هنگام الگوریتم بازده است مشکل مناسب فاصله تابع یک تعیین دارند فاصله معیار در منفی تاثیر نامرتبط ویژگیهای باشد داشته نیاز زیادی بسیار حافظه به است ممکن
در شده استفاده نامه لغتدیگر منابع
:regression با تابع یک تقریب از است عبارتحقیقی مقدار
:Residual از حاصل خطای مقدار از است عبارتتابع تقریب
:Kernel Function با که تابعی از است عبارتآموزشی مثالهای وزنهای مقدار فاصله از استفاده
. میکند معین را
Kernel توابع
نقاط معموال تا دارند معکوس رابطه فاصله با. بگیرند بیشتری وزن نزدیکتر
K(d(xi,xq)) 1/d2
e-d
1/(1+d)
Kernel توابع
K(d(xq,xi)) = 1/ d(xq,xi)2
K(d(xq,xi)) = 1/(d0+d(xq,xi))2
K(d(xq,xi)) = exp(-(d(xq,xi)/0)2)
Locally Weighted Regression
الگوریتم LWR الگوریتم بر تقریب K-NNتعمیمی که استتابع از نمونه fصریحی برگیرنده در محلی ناحیه حول
بررسی .xqمورد میدهد بدست یا و هم نزدیک مثالهای از استفاده با محلی تقریب این
.distance-weightedمثالهای میشود انجام شبکه یک یا و دو درجه خطی، تابع یک است ممکن تابع این
. باشد عصبی: نامگذاری دلیل
:local میکند استفاده بررسی مورد نمونه نزدیک مثالهای از:Weighted آن فاصله گرفتن درنظر با آموزشی مثال هر اثر
میشود منظور:Regression میرود بکار حقیقی مقدار با تابع یک تقریب برای
f1 (simple regression)
Training data
Predicted value using locally weighted (piece-wise) regression
Predicted value using simple regression
Locally-weighted regression
f2
Locally-weighted regression
f3Locally-weighted regression
f4
Locally Weighted Linear Regression
در این هدف تابع تقریب برای خطی تابع یک از روش: میکند استفاده بررسی مورد مثال نزدیکی
فصل در استفاده مورد تابع مشابه تابع محاسبه 4این برایطوری وزنها آن در که است عصبی شبکه یک وزنهای
: گردد حداقل زیر خطای مقدار که میشدند انتخاب
آموزش قانون از اینکار برای gradient descentکه. میشد استفاده
)()()(ˆ110 xawxawwxf nn
Dx
xfxfwE2
))(ˆ)((21
)(
)())(ˆ)(( xaxfxfw iDx
i
محلی؟ رابطه
در قانون است کلی تقریب پروسیجر یک دلتاروش در یک nearest neighborحالیکه دنبال به
. هستیم محلی تقریب برای رابطه :کلی رابطه از استفاده با میتوان چگونه سوال
بدست را نظر مورد محلی رابطه دلتا قانونآوریم؟
محلی استفاده خطای از
مجدد به تعریف راه، ترین ساده که میرسد نظرآموزشی محلی مثالهای با بنحویکه خطاست رابطه
. نماید تطبیق: داد انجام میتوان روش سه به را اینکار
NNkxqq
Dxqq
NNkxq
xxdKxfxfxE
xxdKxfxfxE
xfxfxE
)),(())(ˆ)((21
)(
)),(())(ˆ)((21
)(
))(ˆ)((21
)(
23
22
21
از 1- همسایگی kاستفاده مثال
تمامی 2- از استفادهیک تخصیص با مثالها
آنها به وزنی مقدار
روشهای 3- از 2و 1ترکیبی
وزنها قانون تغییر
فوق در انتخابهای E1 نمیگیرد نظر در را فاصله E2 پرهزینه آن محاسبه اما بوده همه از جالبتر
است E3 است بینابین انتخاب یک انتخاب یادگیری E3با برای را دلتا قانون میتوان
: نوشت زیر بصورت وزنها)())(ˆ)(()),(( xaxfxfxxdKw i
NNkxqi
kمقدار انتخاب
اگر k بود خواهد حساس نویز به نسبت باشد، کوچک خیلی اگرK از نقاطی همسایگی یک است ممکن باشد بزرگ خیلی
. بگیرد بر در نیز را کالسها سایر Large k:
less sensitive to noise (particularly class noise) better probability estimates for discrete classes larger training sets allow larger values of k
Small k: captures fine structure of space better may be necessary with small training sets
Balance must be struck between large and small k
Radial Basis Functions
روشی. است توابع تقریب برای با عصبی RBFیادگیری های شبکه با نزدیکی ارتباط
و .Distance-weighted regressionمصنوعی دارد : میباشد زیر بصورت شده یادگرفته فرضیه روش این در
تعداد از روش این استفاده kدر تابع تقریب برای کرنل تابعانتخاب . گاوسی تابع یک بصورت معموال کرنل تابع میشود
میشود:
k
uuuu xxdKwwxf
10 )),(()(ˆ
22
),(2
1
)),((xxd
uu
uuexxdK
Radial Basis Functionsگاوسی نشان کرنل تابع کافی تعداد صورتیکه در که است شده داده
از استفاده با شوند، نسبتا RBFانتخاب خطای با را تابعی هر میتوان. زد تقریب کمی
که نمود تشبیه الیه دو عصبی شبکه یک به میتوان را فوق رابطه و ها کرنل مقادیر اول الیه. مینماید محاسبه را آنها مجموع دوم الیه
x1 x2 x3 xn
K1 K2 Kk
w1
w2wk
…
…
k
uuuu xxdKwwxf
10 )),(()(ˆ
W0
1
f(x)
RBF آموزش
، در آموزشی مثالهای از ای مجموعه داشتن صورت:RBFآموزش میگیرد صورت مرحله دو در
.1 . با دیگر بعبارت میشود انتخاب کرنل توابع تعدادبرای , مقداری xu , s2مقادیر Kانتخاب
u تابع هر برای. میگردد تعیین کرنل
داده 2. با شبکه که میشوند انتخاب طوری شبکه وزنهای . رابطه از استفاده با اینکار گردد منطبق آموزشی های
میشود انجام زیر کلی خطای
Dx
xfxfwE2
))(ˆ)((21
)(
واحدهای نحوه تعداد انتخابمخفی
>بازا1. آموزشی مثال گاوسی< xi,f(xi)هر کرنل یک. میشود داده تخصیص
مرکزیت به تابع مقدار xiاین آنها تمامی برای و بوده.s2یکسان میشود گرفته نظر در
شبکهRBF بتواند که میشود داده آموزش طوری . هر که شود توجه کند پیدا هدف تابع برای کلی تقریبی
همسایگی در میتواند فقط آموزشی تابع xiمثال. دهد قرار تاثیر تحت را شده زده تقریب
مثال هر بازا که میشوند محاسبه طوری وزنهارابطه< xi,f(xi)آموزشی> شبکه f’(x)=f(x)درخروجی
. شبکه ترتیب بدین باشد با RBFبرقرار کامل بطور. داشت خواهد انطباق آموزشی مثالهای
واحدهای نحوه تعداد انتخابمخفی
تعداد در2. از کمتر شده انتخاب کرنل تابع تعداد روش اینمثالهاست.
. دارد قبلی روش از بیشتری بازدهی روش این. نمود انتخاب یکنواخت بصورت میتوان را ها کرنل مرکز کرنل توزیع میتوان باشند یکنواخت غیر ها نمونه توزیع حالتیکه در
. نمود انتخاب مشابهی بصورت هم را ها هر به کرنل یک تخصیص و ها نمونه کالسترینگ دیگر راه یک
. است کالستر
K1 K2
شبکه ویژگی RBFهای
عصبی آموزش های شبکه از آسانتر ها شبکه اینروش از که است Back Propagationمعمولی
. میکنند استفاده از استفاده با را تابع از کلی تقریب یک شبکه این
. میکند محاسبه محلی تقریبات مجموع
Case Based Reasoning
Case Based Reasoning
پایه سه بر یادگیری های سیستم اصلی خاصیتنمونه:
تا 1. تعمیم عمل که هستند تنبلی یادگیری روشهایمیافتد تعویق به جدید نمونه مشاهده
مشابه 2. ازمثالهای جدید نمونه بندی دسته برایمیشود استفاده
در 3. حقیقی مقادیر با نقاطی توسط ها نمونهمیشوند nفضای داده نشان بعدی برای CBRیادگیری روش که حالی در میکند تبعیت اول ویژگی ازدو
. بدست دلیل همین به مینماید استفاده سمبلیک روش از ها نمونه نمایشاست تر مشکل مشابه های نمونه آوردن
شیوه مسائلی به که CBRرامیکنیم حل
CBR از برخی حل برای آدمی که است روشی مشابه: نظیر . میبرد بکار مسائل
:پزشکی مواجهه در و سپرده بخاطر را بیماران قبلی های نمونه پزشکان اغلب
. میبرند سود گذشته تجربه از جدید بیماران با:حقوق
اختالفات اساس بر انگلستان و امریکا مثل درکشورهائی قضاوت. میشود انجام است شده صادر آنها برای که هائی رای و گذشته
: مسکن بنگاهفروش اخیرا که مشابهی های خانه اساس بر ها خانه قیمت معموال
. میگردند تعیین اند رفته
CBRسیستم اجزا
Case-baseقبلی یک مثالهای از بیس دیتا
Retrieval of relevant casesبیس استفاده دیتا در موجود مثالهای برای ایندکس از مثالها ترین شبیه با تطبیق قابلیت مشابه مثالهای از استفاده با حل راه آوردن بدست
Adaptation of solutionمورد تغییر مثال بین اختالف بنحویکه حل راه دادن
نظر در را بیس دیتا در شده پیدا های نمونه و بررسیبگیرد.
Retain Review
Adapt
Retrieve
Database
NewProblem
Similar
Solution
CBR Solving Problems
نرخ CBRاز :مثالی تعیینمسکن
Case Location code
Bedrooms Recep rooms
Type floors Cond-ition
Price £
1 8 2 1 terraced 1 poor 20,500
2 8 2 2 terraced 1 fair 25,000
3 5 1 2 semi 2 good 48,000
4 5 1 2 terraced 2 good 41,000
Case Locationcode
Bedrooms Receprooms
Type floors Cond-ition
Price£
5 7 2 2 semi 1 poor ???
Test instance
قوانین چگونگی ایجاد
هم مثالهائی شبیه زیادی حد تا که میکنیم پیدا راباشند
case 1 and case 2 قانون :R1 تعداد کند 1به 2از recep-roomsاگر تغییر
را .5,000£قیمت دهید کاهشcase 3 and case 4 قانون :R2 اگرType ازsemi بهterraced کند تغییر
را .7,000£قیمت دهید کاهش
انطباق
شده مثال ذخیره مثالهای با را بررسی موردمشخص را انطباق موارد و کرده مقایسه
میکنیم: matches(5,1) = 3 matches(5,2) = 3 matches(5,3) = 2 matches(5,4) = 1
Estimate price of case 5 is £25,000
Adaptation
2 قانون: میشود معکوس قانون :R2 اگرType ازsemi بهterraced کند تغییر
را .7,000£قیمت دهید افزایشمعکوس اعمال قانون
£ نظر مورد مسکن قیمت از جدید بینی 32,000پیشاست
یادگیری
یک بدین جدید caseترتیب قیمت یک و جدید. است شده زده تخمین
در. نمیشود اضافه بیس دیتا به چیزی مرحله این£ قیمت به خانه این آینده در فروش 35,000اگر
یک عنوان به مورد این اضاقه caseبرود جدیدمیشود اضافه هم جدید قانون یک و شده
میزان £7به 8از اگر به را قیمت کند 3,000تغییر. میشود اضافه