نمونه یادگیری پایه بر

Instance Based LearningInstance Based Learning

Author : Saeed Shiry

With little change by: Keyvanrad

& Mitchell Ch. 8

Fall 1392

مقدمه بود این بر سعی کردیم، بررسی تاکنون که روشهائی در

بتواند که کنیم پیدا تابعی آموزشی مثالهای از استفاده با که. باشد ها داده کننده توصیف

یادگیری روش ذخیره IBLدر را مثالها فقط بسادگیتعویق به جدید مثال مشاهده تا تعمیم هرگونه و میکنیم

یا. تنبل روش گاهی روش این دلیل همین به lazyمیافتد. میشود نامیده هم

ذخیره های نمونه با آن رابطه جدید مثالهای مشاهده بانسبت آن هدف تابع برای مقدار یک و شده بررسی شده

. میشود بدست IBLروش درداده ها داده برای مشخص عمومی فرضیه یکبر و آن مشاهده هنگام جدید نمونه هر بندی دسته بلکه آمد نخواهد

. شد خواهد انجام شده، ذخیره مثالهای نزدیکترین اساس

Instance-based Learning

Its very similar to aDesktop!!

اساسی یک تفاوت

روش IBL جداگانه تقریب جدید، نمونه هر برای . به فقط تقریب این میکند ایجاد را هدف تابع از ای

هرگز و بوده اعمال قابل جدید نمونه همسایگی. کند عمل ها نمونه تمام فضای روی بر نمیتواند

هدف تابع که است موثر هنگامی روش این کاربردنمایش قابل حال عین در ولی بوده پیچیده خیلی

. باشد محلی تر ساده توابع توسط

Instance-based Learning

When To Consider IBL Instances map to points Less than 20 attributes per instance Lots of training data

Advantages: Training is very fast Learn complex target functions Don't lose information

Disadvantages: Slow at query time Easily fooled by irrelevant attributes

ها مشخصه

دارای این :3روش است اصلی مشخصه : شباهت تابع

. انتخاب هستند هم به نزدیک چقدر نمونه دو که میکند مشخص . میتوان چگونه مثال باشد مشکل بسیار میتواند تابع این

موی رنگ نمود؟ 2شباهت بیان را نفر : ذخیره برای ها نمونه انتخاب

که شوند ذخیره هائی نمونه میشود سعی الگوریتم این در . دارد عمومیت نمونه یک آیا اینکه تشخیص باشند تر عمومی

. باشد مشکلی کار میتواند خیر، یا: کننده بندی دسته تابع

. میکند تعیین آنرا بندی دسته مثال یک بامشاهده که است تابعی

مشکالت

دسته . باشد پرهزینه بسیار میتواند جدید داده بندیو پذیرد نمی صورت عملی آموزش مرحله در زیرا

انجام بندی دسته هنگام در محاسبات تمامیمیگردند.

از بندی دسته زمان کاهش برای اینرو تکنیک ازایندکس .های میشود استفاده

باینری درخت روش مثل روشهای اغلب مثالهای IBLدر بازخوانی برای

موجود های ویژگی تمامی از حافظه از مشابه . به فقط هدف تابع اگر بنابراین میشود استفاده

مثالهائی باشد، داشته بستگی ها ویژگی از برخیاز بسیار است ممکن هستند مشابه واقعا که

. شوند دور یکدیگر

کاربردها مثالی از

Image Scene Classification

از برای استفاده با تصویر هریک آن پیکسلهای مقادیر

signature از و شده محاسبهورودی تصویر مقایسه برای آن

بیس دیتا در موجود تصاویر با. میشود استفاده

کاربردها مثالی از

image size: 82x100 pixels 5NN is used for prediction error rate is about 9.5% 5NN performs best among LVQ, CART, NN,

… .

مختلف روشهای

K-Nearest Neighbor (KNN) Discrete Target Functions Continuous Target Functions Distance Weighted

Locally Weighted Regression Radial Basis Function Networks Case-Based Reasoning General Regression Neural Networks

K-Nearest Neighbor Learning (k-NN)

k-NN برپایه روش متداولترین و ترین ساده. است نمونه یادگیری

ها نمونه تمام که میشود فرض روش این درفضای در همسایه nنقاطی و هستند حقیقی بعدی

تعیین استاندارد اقلیدسی فواصل برمبنای هامیشوند.

از شده kمراد گرفته نظر در های همسایه تعداداست.

اقلیدسی فاصله

ویژگی اگر بردار یک بصورت را دلخواه مثال یک: دهیم نمایش

مثال دو بین تعریف xjو xiفاصله زیر بصورتمیشود:

)(),...(),( 21 xaxaxa n

n

r

jrirji xaxaxxd1

))()(( 2),(

هدف k-NN الگوریتم تابع برایگسسته

بصورت برای گسسته هدف تابع یک:k-NNالگوریتم است زیر بصورت

یادگیری الگوریتم آموزشی مثال لیست <x , f(x)>هر به اضافه training_examplesرا

.کنید: بندی دسته الگوریتم

: بررسی مورد نمونه xqبرای

از هائی نمونه ترین با training_examplesنزدیک آنرا x1 … xkبه. دهید نمایش

. برگردانید و نموده محاسبه را زیر مقدار

},...{set finite theis where,: 1 sn vvVVf

k

i

iq xfvxf1Vv

))(,(argmax)(ˆ otherwise 0

if 1 b)(a, where

b a

مثالاگر k=1 الگوریتم شود نزدیکترین NN-1انتخاب مقدار

به . xqنمونه بزرگتر مقادیر برای نمود خواهد انتخاب kرابین مقدار خواهد kمتداولترین انتخاب نزدیک همسایه

شد.

+

+

+

+

-

-

-

-

-

·Xq

مثال در حالت xqاین برای NN-1در و .NN-5مثبت بود خواهد منفی

فرضیه فضای

توسط ماهیت شده گرفته درنظر ضمنی فرضیه فضایچیست؟ k-NNالگوریتم

ایجاد مشخصی عمومی فرضیه هرگز الگوریتم این اگرچهشده القا تصمیم سطح است ممکن وجود این با نمیکند،

بصورت را بعدی دو فضای یک برای الگوریتم توسطوجهی چند هر که داد نشان ها چندوجهی از ترکیبی

خواهند بندی دسته آن توسط که را نقاطی از ای مجموعه . مینماید مشخص شد

سایر توسط که بود خواهند نقاطی چندوجهی خارج نقاط . شد خواهند بندی دسته ها چندوجهی

نمودار نوع .Voronoi diagramاین میشوند خوانده

Voronoi diagram

query point qf

nearest neighbor qi

1مثال 2مثال

استقرا بایاس

الگوریتم بایاس بصورت k-NNاستقرا میتوان را: گرفت نظر در زیر

های دسته نمونه دسته مشابه نمونه یک بندیدارند قرار آن نزدیکی در که بود خواهد دیگری

هدف k-NN الگوریتم تابع برایپیوسته

الگوریتم k-NN هدف توابع برای بسادگی میتواند را . بجای حالت این در نمود استفاده نیز پیوسته

همسایگی در موجود مقدار متداولترین انتخابمیانگین .kمقدار میشود محاسبه همسایه مثال

زیر رابطه از الگوریتم آخر خط در نتیجه در: میشود استفاده

k

xfxf

k

i

i

q

1

)()(ˆ

k-NN پیوسته هدف تابع برای

1-nearest neighbor 3-nearest neighbor

twoone

four

three

five six

seven Eight ?

مثال

ها نقاشی این از برخیمتعلق بعد جدول طبق

نام به نقاشی بهMondrian . هستند

آیا که کنید مشخصبه نیز هشتم نقاشی

دارد؟ تعلق وی

Training dataNumber Lines Line types Rectangles Colours Mondrian?

1 6 1 10 4 No

2 4 2 8 5 No

3 5 2 7 4 Yes

4 5 1 8 4 Yes

5 5 1 10 5 No

6 6 1 8 6 Yes

7 7 1 14 5 No

Number Lines Line types Rectangles Colours Mondrian?

8 7 2 9 4

Test instance

های نرمالیزه داده کردنآموزشی

t

ttt

xxx

'

attributestofmeanx thr

attributestofdeviationndardsta tht

آموزشی یک داده کردن نرمالیزه عبارت a´r(x) به ar(x)راهاز است

Normalised training dataNumber Lines Line

types Rectangles Colours Mondrian?

1 0.632 -0.632 0.327 -1.021 No

2 -1.581 1.581 -0.588 0.408 No

3 -0.474 1.581 -1.046 -1.021 Yes

4 -0.474 -0.632 -0.588 -1.021 Yes

5 -0.474 -0.632 0.327 0.408 No

6 0.632 -0.632 -0.588 1.837 Yes

7 1.739 -0.632 2.157 0.408 No

Number Lines Line types

Rectangles Colours Mondrian?

8 1.739 1.581 -0.131 -1.021

Test instance

Distances of test instance from training data

Example Distanceof testfromexample

Mondrian?

1 2.517 No

2 3.644 No

3 2.395 Yes

4 3.164 Yes

5 3.472 No

6 3.808 Yes

7 3.490 No

Classification

1-NN Yes

3-NN Yes

5-NN No

7-NN No

Distance-weighted k-NN

از میتوان یک هر برای وزنی گرفتن نظر در با را الگوریتم این kعملکرد . نمونه تا ها نمونه فاصله اساس بر وزن این نمود بهتر همسایگی مثال

معکوس رابطه ها نمونه فاصله با معموال و میشود اعمال بررسی مورددارد.

: گسسته حالت در

پیوسته حالت در

جای به که داشت خواهد وجود امکان این وزن اعمال صورت نمونه kدر . این اما کنیم استفاده بندی دسته برای ها نمونه تمامی از همسایه

. شد خواهد بندی دسته عمل شدن کند باعث انتخاب

21Vv

1 where ))(,(argmax)(ˆ

), xd(x wxfvwxf

iqii

k

i

iq

2

1

1

),(

1 e wher

)()(ˆ

iqik

i

i

k

i

ii

qxxd

ww

xfwxf

الگوریتم نکاتی مورد k-NNدر

الگوریتم Distance-weighted k-NN موثری بطوراستقرائی استنتاج برای مختلفی عملی مسائل در

. است رفته بکار مواردی در و بوده مقاوم نویز به نسبت روش این

بسیار باشد موجود زیادی آموزشی داده کهکاراست.

The curse of dimensionality

ها از ویژگی تمامی از فاصله محاسبه برای انجائیکههای ویژگی حتی که دارد وجود امکان این میشود استفاده . این گیرند قرار استفاده مورد بندی دسته امر در نامرتبطآن در که است تصمیم درخت مثل روشهائی خالف بر امر

. شود استفاده مرتبط های ویژگی از فقط تا میشد سعی با نمونه هر که کنید فرض مثال مشخص 20برای ویژگی

فقط آنان میان از که بندی 2شوند دسته برای ویژگیذخیره های نمونه است ممکن اینصورت در باشند کافیهم از بسیار هستند مشابه ویژگی ایندو در که ای شده

. مورد معیارفاصله دراینصورت باشند داشته فاصلهدر .k-NNاستفاده باشد کننده گمراه بسیار میتواند

مسئله .curse of dimensionalityاین میشود نامیده

Cross-validation

ویژگی یک بیشتربرای وزن از استفاده مشکل این حل راه . محور مقیاس تغییر مشابه امر این است مرتبط های

ویژگی: محور و کوتاهتر مرتبط های ویژگی محور هاست. میشوند تر طوالنی نامرتبط های

روش از میتوان ها ویژگی وزن تعیین -crossبرایvalidation: نمود استفاده

انتخاب آموزشی های داده عنوان به ها داده از ای مجموعهمیشوند.

مقادیرz1,…,zn شوند ضرب محور هر در باید که ضرایبی بعنوان . بندی دسته خطای که است بنحوی انتخاب این میگردند انتخاب

. یابد کاهش مثالها درباقیمانده دادن قرار با .zj=0میتوان نمود حذف بکلی را ویژگی یک اثر

Indexing

روش از در زمان K-NNآنجائیکه تا مثالها بندی دستهاز استفاده میافتد تعویق به مثال آن با برخورد

Indexing آموزشی مثالهای کردن مرتب برایرا الگوریتم کارائی چشمگیری بطور میتواند

. دهد افزایشبرای kd-tree(k-dimensional tree)روش روش یک

سطح در ها نمونه آن در که است کردن ایندکسهم به نزدیک های نمونه و شده ذخیره درخت یک

ذخیره هم به نزدیک های گره یا و گره همان درمیشوند.

نمونه یادگیری ویژگیهای

مزایا: کند مدل را پیچیده توابع میتواند نمیرود بین از آموزشی مثالهای در موجود اطالعات ) در کند استفاده ها نمونه سمبلیک نمایش از میتواند

)case-based reasoningروش :معایب

است کم بندی دسته انجام هنگام الگوریتم بازده است مشکل مناسب فاصله تابع یک تعیین دارند فاصله معیار در منفی تاثیر نامرتبط ویژگیهای باشد داشته نیاز زیادی بسیار حافظه به است ممکن

در شده استفاده نامه لغتدیگر منابع

:regression با تابع یک تقریب از است عبارتحقیقی مقدار

:Residual از حاصل خطای مقدار از است عبارتتابع تقریب

:Kernel Function با که تابعی از است عبارتآموزشی مثالهای وزنهای مقدار فاصله از استفاده

. میکند معین را

Kernel توابع

نقاط معموال تا دارند معکوس رابطه فاصله با. بگیرند بیشتری وزن نزدیکتر

K(d(xi,xq)) 1/d2

e-d

1/(1+d)

Kernel توابع

K(d(xq,xi)) = 1/ d(xq,xi)2

K(d(xq,xi)) = 1/(d0+d(xq,xi))2

K(d(xq,xi)) = exp(-(d(xq,xi)/0)2)

Locally Weighted Regression

الگوریتم LWR الگوریتم بر تقریب K-NNتعمیمی که استتابع از نمونه fصریحی برگیرنده در محلی ناحیه حول

بررسی .xqمورد میدهد بدست یا و هم نزدیک مثالهای از استفاده با محلی تقریب این

.distance-weightedمثالهای میشود انجام شبکه یک یا و دو درجه خطی، تابع یک است ممکن تابع این

. باشد عصبی: نامگذاری دلیل

:local میکند استفاده بررسی مورد نمونه نزدیک مثالهای از:Weighted آن فاصله گرفتن درنظر با آموزشی مثال هر اثر

میشود منظور:Regression میرود بکار حقیقی مقدار با تابع یک تقریب برای

f1 (simple regression)

Training data

Predicted value using locally weighted (piece-wise) regression

Predicted value using simple regression

Locally-weighted regression

f2

Locally-weighted regression

f3Locally-weighted regression

f4

Locally Weighted Linear Regression

در این هدف تابع تقریب برای خطی تابع یک از روش: میکند استفاده بررسی مورد مثال نزدیکی

فصل در استفاده مورد تابع مشابه تابع محاسبه 4این برایطوری وزنها آن در که است عصبی شبکه یک وزنهای

: گردد حداقل زیر خطای مقدار که میشدند انتخاب

آموزش قانون از اینکار برای gradient descentکه. میشد استفاده

)()()(ˆ110 xawxawwxf nn

Dx

xfxfwE2

))(ˆ)((21

)(

)())(ˆ)(( xaxfxfw iDx

i

محلی؟ رابطه

در قانون است کلی تقریب پروسیجر یک دلتاروش در یک nearest neighborحالیکه دنبال به

. هستیم محلی تقریب برای رابطه :کلی رابطه از استفاده با میتوان چگونه سوال

بدست را نظر مورد محلی رابطه دلتا قانونآوریم؟

محلی استفاده خطای از

مجدد به تعریف راه، ترین ساده که میرسد نظرآموزشی محلی مثالهای با بنحویکه خطاست رابطه

. نماید تطبیق: داد انجام میتوان روش سه به را اینکار

NNkxqq

Dxqq

NNkxq

xxdKxfxfxE

xxdKxfxfxE

xfxfxE

)),(())(ˆ)((21

)(

)),(())(ˆ)((21

)(

))(ˆ)((21

)(

23

22

21

از 1- همسایگی kاستفاده مثال

تمامی 2- از استفادهیک تخصیص با مثالها

آنها به وزنی مقدار

روشهای 3- از 2و 1ترکیبی

وزنها قانون تغییر

فوق در انتخابهای E1 نمیگیرد نظر در را فاصله E2 پرهزینه آن محاسبه اما بوده همه از جالبتر

است E3 است بینابین انتخاب یک انتخاب یادگیری E3با برای را دلتا قانون میتوان

: نوشت زیر بصورت وزنها)())(ˆ)(()),(( xaxfxfxxdKw i

NNkxqi

kمقدار انتخاب

اگر k بود خواهد حساس نویز به نسبت باشد، کوچک خیلی اگرK از نقاطی همسایگی یک است ممکن باشد بزرگ خیلی

. بگیرد بر در نیز را کالسها سایر Large k:

less sensitive to noise (particularly class noise) better probability estimates for discrete classes larger training sets allow larger values of k

Small k: captures fine structure of space better may be necessary with small training sets

Balance must be struck between large and small k

Radial Basis Functions

روشی. است توابع تقریب برای با عصبی RBFیادگیری های شبکه با نزدیکی ارتباط

و .Distance-weighted regressionمصنوعی دارد : میباشد زیر بصورت شده یادگرفته فرضیه روش این در

تعداد از روش این استفاده kدر تابع تقریب برای کرنل تابعانتخاب . گاوسی تابع یک بصورت معموال کرنل تابع میشود

میشود:

k

uuuu xxdKwwxf

10 )),(()(ˆ

22

),(2

1

)),((xxd

uu

uuexxdK

Radial Basis Functionsگاوسی نشان کرنل تابع کافی تعداد صورتیکه در که است شده داده

از استفاده با شوند، نسبتا RBFانتخاب خطای با را تابعی هر میتوان. زد تقریب کمی

که نمود تشبیه الیه دو عصبی شبکه یک به میتوان را فوق رابطه و ها کرنل مقادیر اول الیه. مینماید محاسبه را آنها مجموع دوم الیه

x1 x2 x3 xn

K1 K2 Kk

w1

w2wk

…

…

k

uuuu xxdKwwxf

10 )),(()(ˆ

W0

1

f(x)

RBF آموزش

، در آموزشی مثالهای از ای مجموعه داشتن صورت:RBFآموزش میگیرد صورت مرحله دو در

.1 . با دیگر بعبارت میشود انتخاب کرنل توابع تعدادبرای , مقداری xu , s2مقادیر Kانتخاب

u تابع هر برای. میگردد تعیین کرنل

داده 2. با شبکه که میشوند انتخاب طوری شبکه وزنهای . رابطه از استفاده با اینکار گردد منطبق آموزشی های

میشود انجام زیر کلی خطای

Dx

xfxfwE2

))(ˆ)((21

)(

واحدهای نحوه تعداد انتخابمخفی

>بازا1. آموزشی مثال گاوسی< xi,f(xi)هر کرنل یک. میشود داده تخصیص

مرکزیت به تابع مقدار xiاین آنها تمامی برای و بوده.s2یکسان میشود گرفته نظر در

شبکهRBF بتواند که میشود داده آموزش طوری . هر که شود توجه کند پیدا هدف تابع برای کلی تقریبی

همسایگی در میتواند فقط آموزشی تابع xiمثال. دهد قرار تاثیر تحت را شده زده تقریب

مثال هر بازا که میشوند محاسبه طوری وزنهارابطه< xi,f(xi)آموزشی> شبکه f’(x)=f(x)درخروجی

. شبکه ترتیب بدین باشد با RBFبرقرار کامل بطور. داشت خواهد انطباق آموزشی مثالهای

واحدهای نحوه تعداد انتخابمخفی

تعداد در2. از کمتر شده انتخاب کرنل تابع تعداد روش اینمثالهاست.

. دارد قبلی روش از بیشتری بازدهی روش این. نمود انتخاب یکنواخت بصورت میتوان را ها کرنل مرکز کرنل توزیع میتوان باشند یکنواخت غیر ها نمونه توزیع حالتیکه در

. نمود انتخاب مشابهی بصورت هم را ها هر به کرنل یک تخصیص و ها نمونه کالسترینگ دیگر راه یک

. است کالستر

K1 K2

شبکه ویژگی RBFهای

عصبی آموزش های شبکه از آسانتر ها شبکه اینروش از که است Back Propagationمعمولی

. میکنند استفاده از استفاده با را تابع از کلی تقریب یک شبکه این

. میکند محاسبه محلی تقریبات مجموع

Case Based Reasoning

Case Based Reasoning

پایه سه بر یادگیری های سیستم اصلی خاصیتنمونه:

تا 1. تعمیم عمل که هستند تنبلی یادگیری روشهایمیافتد تعویق به جدید نمونه مشاهده

مشابه 2. ازمثالهای جدید نمونه بندی دسته برایمیشود استفاده

در 3. حقیقی مقادیر با نقاطی توسط ها نمونهمیشوند nفضای داده نشان بعدی برای CBRیادگیری روش که حالی در میکند تبعیت اول ویژگی ازدو

. بدست دلیل همین به مینماید استفاده سمبلیک روش از ها نمونه نمایشاست تر مشکل مشابه های نمونه آوردن

شیوه مسائلی به که CBRرامیکنیم حل

CBR از برخی حل برای آدمی که است روشی مشابه: نظیر . میبرد بکار مسائل

:پزشکی مواجهه در و سپرده بخاطر را بیماران قبلی های نمونه پزشکان اغلب

. میبرند سود گذشته تجربه از جدید بیماران با:حقوق

اختالفات اساس بر انگلستان و امریکا مثل درکشورهائی قضاوت. میشود انجام است شده صادر آنها برای که هائی رای و گذشته

: مسکن بنگاهفروش اخیرا که مشابهی های خانه اساس بر ها خانه قیمت معموال

. میگردند تعیین اند رفته

CBRسیستم اجزا

Case-baseقبلی یک مثالهای از بیس دیتا

Retrieval of relevant casesبیس استفاده دیتا در موجود مثالهای برای ایندکس از مثالها ترین شبیه با تطبیق قابلیت مشابه مثالهای از استفاده با حل راه آوردن بدست

Adaptation of solutionمورد تغییر مثال بین اختالف بنحویکه حل راه دادن

نظر در را بیس دیتا در شده پیدا های نمونه و بررسیبگیرد.

Retain Review

Adapt

Retrieve

Database

NewProblem

Similar

Solution

CBR Solving Problems

نرخ CBRاز :مثالی تعیینمسکن

Case Location code

Bedrooms Recep rooms

Type floors Cond-ition

Price £

1 8 2 1 terraced 1 poor 20,500

2 8 2 2 terraced 1 fair 25,000

3 5 1 2 semi 2 good 48,000

4 5 1 2 terraced 2 good 41,000

Case Locationcode

Bedrooms Receprooms

Type floors Cond-ition

Price£

5 7 2 2 semi 1 poor ???

Test instance

قوانین چگونگی ایجاد

هم مثالهائی شبیه زیادی حد تا که میکنیم پیدا راباشند

case 1 and case 2 قانون :R1 تعداد کند 1به 2از recep-roomsاگر تغییر

را .5,000£قیمت دهید کاهشcase 3 and case 4 قانون :R2 اگرType ازsemi بهterraced کند تغییر

را .7,000£قیمت دهید کاهش

انطباق

شده مثال ذخیره مثالهای با را بررسی موردمشخص را انطباق موارد و کرده مقایسه

میکنیم: matches(5,1) = 3 matches(5,2) = 3 matches(5,3) = 2 matches(5,4) = 1

Estimate price of case 5 is £25,000

Adaptation

2 قانون: میشود معکوس قانون :R2 اگرType ازsemi بهterraced کند تغییر

را .7,000£قیمت دهید افزایشمعکوس اعمال قانون

£ نظر مورد مسکن قیمت از جدید بینی 32,000پیشاست

یادگیری

یک بدین جدید caseترتیب قیمت یک و جدید. است شده زده تخمین

در. نمیشود اضافه بیس دیتا به چیزی مرحله این£ قیمت به خانه این آینده در فروش 35,000اگر

یک عنوان به مورد این اضاقه caseبرود جدیدمیشود اضافه هم جدید قانون یک و شده

میزان £7به 8از اگر به را قیمت کند 3,000تغییر. میشود اضافه