زهرا صادقی

Bayesian Decision Theory

-aا اجام هی ضد. تزای هحاسث a-posterior probabilityاجام هقایس تیي هقادیز تا Bayeseتػوین گیزی

posterior probability ت داضتي یاسa-prior probability conditional density .هی تاضذ

j

jj

jj

j

Pxp

PxpxP

)()(

)()()(

)( ک فزهل تیش ام دارد، در فزهل تاال jP واىa-prior probability )( jxp واىconditional density هی

ت کالسی xتا ن هقایس هی ضذ داد تست a-posterior probabilityتزای یافتي احی تػوین گیزی تیش، هقادیز تاضذ.

قزار گزفتي در آى کالس اس و ی کالس ای دیگز تیطتز تاضذ. a-posteriori probabilityتؼلق هی گیزد ک هقذار

ijcjPxpPxpxR jjiii ,,...2,1),()()()(

ا تزای و ی کالس ا یکاخت پزاکذ ضذ است؛ اس ایي prior probabilityدر غرت هسال فزؼ ضذ است ک هقادیز

)( ر در د عزف اهسای هقادیز jP تزذ ت غرت ساد ضذ ی سیز در هی آیذ: احیا حذف هی ضد تػوین گیزی

ijcjxpxpxR jii ,,...2,1),()(

تز هثای ایي ع تػوین گیزی هی تاى کالسیفایزایی عزاحی ود ک کالس تذی داد ا را تا تج ت تاالتزیي احتوال

ػضیت داد ا در یک کالس خاظ اجام هی دذ.

)( تزای تخویي jxp تخویي گسیي وایی د دست اس هذل استفاد ود. هی تاى اس رش ای پاراهتزی یا اپاراهتزی

-parzen window kای هؼزف تزای رش ای پاراهتزی هی تاضذ. اس رش ای اپاراهتزی هؼزف هی تاى رش ای

nearest-neighbour .را ام تزد

ارسیاتی دست تذی

هی تاضذ. confusion confidenceاستفاد اس هاتزیس ای یک هؼیار، ،ت دست آهذتزای سجص اػتثار کالسیفایزای

Confusion_mat : اعالػاتی درتار ی کالس ای تخویي سد ضذ ایي هاتزیس غحت دست تذی را هطخع هی ساسد

کالس ای اقؼی داد ا هی دذ. اس ری ایي هاتزیس هی تاى فویذ در چذ هرد تػوین گیزی اجام ضذ تسیل یک

کالسیفایز هغثق تا تػوین درست تد است.

زهرا صادقی

Confusion_mat_normاظز تا آى سغز، احتوال دست تذی درست تا تقسین هقادیز ز سغز تز تؼذاد داد ای کالس هت

اضتثا ت دست هی آیذ.

CCR : ک ت ام هجوع ػاغز قغز اغلی ایي هاتزیسCorrect Classification Rate(CCR) ،در اقغ ام گذاری ضذ است

تا تقسین (avg_CCR)هقذار هؼوال هیاگیي ایي هاردی را طاى هی دذ ک تػوین گیزی اجام ضذ غحیح تد است.تؼذاد

اس ایي هقذار، ت ػاى رضی تزای هحاسث خغا استفاد هی ضد. ت عر کلی دارین:آى تز کل تؼذاد داد ت دست هی آیذ.

CCRError }Pr{1

Confidence_mat اعالػاتی درتار ی درج : ایي هاتزیس هیشاى اعویاى ت تػوین گیزی اجام ضذ را طاى هی دذ دارای

در اقغ ایي هاتزیس تا هحاسث ی فاغل تیي تؼلق یک داد ت هحتول تزیي د کالس اػتواد ت درستی ت دست تذی هی تاضذ.

:رش هحاسث ػاغز ایي هاتزیس ت ایي غرت استاذاس گیزی هی ضد.

1

12),(M

MMjiconfidence

. کالس تخویي سد ضذ ی آى است jاد، کالس اقؼی یک د iدر ایي فزهل،

2M هقذار تیطتزیي تؼلقی است ک دادi 1 ت یک کالس داضت استM دهیي تیطتزیي تؼلق دادi ت کالسی دیگز هی

تاضذ.

aتخویي گسیي )

تزای هذل ساسی گسیي، استفاد هی ضد. a-posterior probabilityدر ایي سال اس رش پاراهتزی گسیي تزای تخویي

هقادیز هیاگیي trainیاس است ک پاراهتزای آى یؼی هیاگیي اریاس تخویي سد ضذ. تذیي هظر اس ری داد ای

اهی کالس ا تا استفاد اس هقذار تزای ز کالس هحاسث هی ضذ. سپس احتوال تؼلق ز یک اس داد ای تست ت تواریاس

ام ت غرت سیز هحاسث هی ضد: iت کالس xاحتوال تؼلق داد .تاتغ گسیي ت دست هی آیذ

))()(2

1exp(

)2(

1)|(

1

5.02

xxxp i

T

i

i

ni

مشخص می xبعد از محاسبه این مقدار برای تمامی کالس ها، با توجه به ناحیه تصمیم گیری بیزین که قبال شرح داده شد، کالس داده

شود.

زهرا صادقی

b )Minimum risk classifier

داضت تاضذ. تا تج ت تؼزیف تاتغ شی هجد در ایي هسال ذف ایي است ک کالسیفایزی عزاحی ضد ک کوتزیي خغا را

ijی دست تذی ای اضتثا را هطخع هی کذ. ت ػثارتی تذیي هظر یک سزی ضزایة ریسک داد ضذ اذ ک شی

در ایي ضزایظ، احی تػوین تیش ت غرت هی تاضذ، هطخع هی کذ. iرا گاهی ک تػوین درست jشی ی تػوین گیزی

سیز هطخع هی ضد:

ijckPxpPxpxR ii

c

i

ikii

c

i

ijj ,,...2,1),()()()(11

xت آى احی، غزف ظز اس ایک xهظر اس فزهل تاال ایي است ک احی تػوین جایی است ک ریسک ػضیت داد ردی

اقؼا ت چ کالسی تؼلق دارد، کوی تاضذ.

ی دست تاتزایي، در ایي هسال دست تذی داد ا کاهال ت هقذار شی ای تؼزیف ضذ تستگی پیذا هی کذ. زچ شی

کالس ای هرد ظز کوتز ضد، لی اعویاى دست تذی اضتثا را تیطتز کین، اتظار دارین ک هیشاى تؼلق اضتثا داد ا ت

تذی تاالتز هی رد، سیزا توایش تیطتزی تیي هیشاى تؼلق داد ا ت کالس ای هختلف ایجاد هی ضد.

ت غرت سیز هی تاضذ. ایي هاتزیس شی دست تذی ای اضتثا را طاى هی دذ. هاتزیس

c )Rejection

اجام هی aت کالس ای قثلی اضاف ضذ است. تػوین گیزی تیشیي وچاى هغاتق قسوت rejectایي هسال یک کالس در

سثت هی دین. rejectرا ت کالس xتزس ضزایظ سیز داد ضد، تا ایي تفات ک در ایجا تا

sri

ji

xP

cjxPxP

/1)|(

,...,2,1)|()|(

استفاد هی کین.تزای اػوال ضزایظ داد ضذ اس قاى تیش

i ii

ii

iPxp

Pxpxp

)()|(

)()|()|(

d )Parzen estimator

زهرا صادقی

تزای ت تزای تخویي تاتغ چگالی، اس یک پجز ت تؼذاد اتؼاد فضای یژگی داد ای هسال استفاد هی ضد. Parzenدر رش

تاتغ پجز ت غرت سیز تؼزیف هی ضد:دست آردى تخویی اس چگالی، داد ایی ک داخل پجز افتاد اذ ضوزد هی ضذ.

otherwise

djuu j

0

,...,12/11)(

تخویي سد هی سثت تؼذاد داد ایی ک درى ایي پجز ظاز هی ضذ ت کل حجن آى پجزایتا تاتغ چگالی تا هحاسث

ضد.

N

q

q

nn

h

h

xx

NhNh

kxf

1

1)(

ای هطاذ ضذ هجد در کالس واى داد Nا تؼذاد یژگی h ،nا در پجز ای ت عل تزاتز تؼذاد داد kدر فزهل تاال

هرد ظز است.

هی تاضذ ک تزای یافتي هقذار تی آى یاس ت تکزار هذام الگریتن ت اسای هقادیز هختلف هی hتا پاراهتز هجد در ایي رش،

دست ،زچ ایي هقذار کچک تز تاضذتایذ ت اذاس کافی تا تج ت ح پزاکذگی داد ای هسال اتخاب ضد. hهقذار تاضذ.

.ت سوت غفز هیل هی کذ چگالی کوتز هی ضد ذای در آى قزار هی گیزداد تز هی ضد، اها تؼذاد unbiasedتذ حاغل

افت هی کذ. CCRاس ایي هقذار کوتز یا تیطتز ضد، هقذار hاگز یافت ضذ. h=50تؼذ اس آسهایص ای تسیار، هقذار تی

e) KNN Estimator

در ایي رش یک پجز تا عل هتغیز شدیک تزیي وسای هی تاضذ. kتخویي pdfای اپارهتزی تخویي یکی دیگز اس رش

و kیافت طذ اذ، رضذ هی کذ. ایي xو ی تسیار ضثی ت داد ی ردی kجد دارد ک اذاس ی آى تا سهای ک

وسای ت کل داد ا ک در حجوی اس یک پجز kوسای ستذ. تاتغ چگالی هغاتق راتغ سیز تزهثای سثت ایي kواى

یافت ضذ اذ، تخویي سد هی ضد.

V

nkxp

/)(

ی در آى جای گزفت وسا kحجن پجز ی است ک Vتؼذاد کل و ا، x ،nتؼذاد وسای ای شدیک ت kدر راتغ تاال،

تزای ایک ایي راتغ تخویي هاسثی اس چگالی را ارائ دذ، یاس است ک د ضزط سیز تزقزار تاضذ: اذ.

0/lim

lim

nk

k

nn

nn

زهرا صادقی

ای هختلف، تیطتزیي هقذار kتیاتین. تؼذ اس اجزای تزاه ت اسای kدر ایي سال ت دثال ایي ستین ک تتزیي هقذار را تزای

CCR ت اسایk=3 .یافت ضذ

f) KNN classifier

شدیک kوچیي هی تاى تزای عزاحی کالسیفایز استفاد ود. تذیي هظر، کالس ز داد را تا تج ت کالس knnاس رش

majority ofشدیک تزیي وسای هطخع هی ضد تز اساس kتزیي وسای آى در ظز هی گیزین. ت ػثارتی، اتتذا کالس

votingاى کالس تزذ اػالم هی ضد.، کالسی ک تیطتزیي رای را کسة کذ ت ػ

g) Linear classifier

یکی دیگز اس رش ای دست تذی، کالسیفایزای خغی هی تاضذ. ایي کالسیفایزا اس ایي جت هرد تج ستذ ک دارای

خغی ت غرت discriminant functionیستذ. یک optimalسادگی هحاسثات پیاد ساسی ستذ اها

0)( wxwxg t اتتذا د تزدار دیگز ت غرت سیز تؼزیف هی ضد.قاتل تیاى است. تزای تظین سى ا

ت ایي تزتیة، فزم هؼادل سیز را تزای احی جذاساس خغی خاین داضت:

زهرا صادقی

Ho-koshyapرش ای هتؼذدی جد دارد. رضی ک درایجا استفاد ضذ است، الگریتن تزای یادگیزی تزدارای سی،

الگریتن ایي رش ت غرت سیز هی تاضذ: استفاد ضذ است.

اس آجا ک ز خظ، تا قادر ت تفکیک د احی اس یکذیگز هی تاضذ، در حالت ای چذ کالس، یاس ت استفاد اس چذیي خظ

اى در ظز هی تاضذ. تزای تػوین گیزی در هرد احی تػوین هطخع ودى کالس ز داد ردی س رش هتفات را هی ت

گزفت.

کالسیفایز خغی Lرش ال( استفاد اس

در ایي رش، ت عر هستقل ت تؼذاد کالس ای هجد، کالسیفایزای خغی عزاحی هی کین تزدار هتاظز سی آا را الف(

هوکي است تزخی اس داد ا ت عر -1هی یاتین. تزای تػوین گیزی درتار ی کالس ز و ی ردی، د هطکل جد دارد.

ت عر تػادفی یکی اس کالس ا را ت ػاى کالس فات قزار تگیزذ، در ایي حالت، وشهاى در احی تػوین چذیي کالس هت

ت جد هی آیذ ک ت یچ کالسی تؼلق ذارد ت ػثارتی یچ کالسی undecidedیک احی -2تزذ در ظز هی گیزین.

ا خاین داضت ک هزتط ت داد ای تا کالس در تیج وار یک کالس تیطتز اس تؼذاد کل کالس هذػی آى خاذ تد

..اهطخع هی تاضذ

در ایي رش، یک الیت ری تزتیة دست تذی قائل هی ضین. ت ػثارتی ز داد ردی اگز هتؼلق ت کالس ال ثد، ب(

آگا تؼلق آى ت کالس دم چک هی ضد ایي کار تا آخزیي کالس اداه هی یاتذ. در ایي رش یش هوکي است یک احی

undecided م هی تاى استفاد وددل اس رش تزای رفغ ایي هطک .ت جد آیذ

کالسیفایز خغی L-1م( استفاد اس د رش

پیاد دمدر ایي رش، تؼذاد کالسیفایز یکی کوتز اس تؼذاد کل کالس ا در ظز گزفت هی ضد. تقی هارد ػیا هاذ رش

ت کالس آخز تؼلق داد هی ضد. undecidedساسی هی ضد، تا ایي تفات ک در آخز احی

زهرا صادقی

کالسیفایز خغی L*(L-1)/2رش سم( استفاد اس

در ایي رش، تواهی حاالت د کالسی تزرسی هی ضذ ز کالس در هقاتل تواهی کالس ای دیگز در ظز گزفت هی ضد.

تع تػوین گزفت هی ضد.کالس هز majority of votingایتا در احی ک چذ هذػی جد دارد، تز اساس

در هی آیذ، ک ت ػلت اضاف 11*10ت اذاس 10*10ت جای 1در رش ای confusion confidenceهاتزیس ای

هی تاضذ. undecidedضذى احی