Klasifikasi dan Pengenalan Pola

1

Pada pertemuan yang lalu, kekuatan ciri untuk membedakan kelas

diukur secara individual, yaitu menggunakan FDR. Kekuatan

kombinasi beberapa ciri dalam membedakan kelas dapat diukur

menggunakan:

Divergensi

Jarak Bhattacharyya (Bhattacharyya distance)

Scatter Matrices

Features Vector Separability Measures

2

Divergensi Misalkan terdapat 2 kelas yang terdistribusi normal dalam ruang

dimensi ℓ, maka divergensi antara keduanya didefinisikan sbb:

dengan Si adalah matriks kovarians; mi adalah rerata masing-masing

kelas, I adalah matriks identitas ℓ x ℓ, dan i = 1,2.

Dan transformasi divergensi didefinisikan sebagai:

3

Semakin besar nilai transformasi divergensi maka semakin baik hasil

akhir klasifikasi.

Aturan jangkauan nilai transformasi divergensi berikut dapat

digunakan untuk menilai kekuatan kombinasi ciri dalam membedakan

kelas:

0.0 to 1.0 (very poor separability) sangat buruk

kemungkinan data sebenarnya termasuk pada kelas yang sama

1.0 to 1.9 (poor separability) buruk

buat kombinasi ciri yang baru

teliti kembali data apa benar-benar dari 2 kelas yang berbeda

1.9 to 2.0 (good separability) baik

4

Example Misalkan 2 kelas dan asumsikan bahwa ciri-cirinya saling independen

dan terdistribusi normal. Kelas 1 dimodelkan sebagai distribusi

Gaussian dengan rerata m1 = [3, 3]T dan matriks kovarians-nya S1 =

0,2I. Sedangkan kelas 2 dimodelkan sebagai distribusi Gaussian

dengan rerata m2 = [2.3, 2.3]T dan matriks kovarians-nya S2 = 1,9I.

Hitunglah divergensi antara kedua kelas tersebut, hitung pula

transformasi divergensi-nya, dan ambillah kesimpulan dari hasil

tersebut.

5

Penyelesaian:

Buat dataset dengan script berikut.

Carilah divergensinya menggunakan fungsi divergensi.m dengan

mengimplementasikan rumus divergensi pada halaman 3 untuk

menghitung divergensi.

6

Buat fungsi divergensi sbb:

7

Panggil fungsi untuk menghitung nilai divergensi dari data kelas1.txt

dan kelas2.txt.

8

Hasil eksekusi:

Dan transformasi divergensinya adalah:

Kesimpulan:

Nilai transformasi divergensi-nya berada pada range 1 s.d 1,9 yang

berarti keterpisahan antara kedua kelas buruk.

9

D = 5.7233

2*(1-exp(-D/8)) = 1.0220

Bhattacharyya distance Misalkan kedua kelas terdistribusi Gaussian, maka jarak Bhattacharyya

bersesuaian dengan error classifier Bayesian.

Jika:

dengan,

dimana |.| merupakan notasi determinan, maka jarak Bhattacharyya

10

didefinisikan sbb:

Aturan jangkauan nilai jarak Bhattacharyya berikut dapat digunakan

untuk menilai kekuatan kombinasi ciri dalam membedakan kelas:

0.0 to 1.0 (very poor separability) sangat buruk

kemungkinan data sebenarnya termasuk pada kelas yang sama

1.0 to 1.9 (poor separability) buruk

buat kombinasi ciri yang baru

teliti kembali data apa benar-benar dari 2 kelas yang berbeda

1.9 to 2.0 (good separability) baik

11

)exp(12 2,1BBD

Example Misalkan 2 kelas dan asumsikan bahwa ciri-cirinya saling independen

dan terdistribusi normal. Kelas 1 dimodelkan sebagai distribusi

Gaussian dengan rerata m1 = [3, 3]T dan matriks kovarians-nya S1 =

0,2I. Sedangkan kelas 2 dimodelkan sebagai distribusi Gaussian

dengan rerata m2 = [2.3, 2.3]T dan matriks kovarians-nya S2 = 1,9I.

Hitunglah jarak Bhattacharyya antara kedua kelas tersebut, dan

ambillah kesimpulan dari hasil tersebut.

12

Buat fungsi untuk menhitung jarak Bhatacharyya sbb:

13

Panggil fungsi untuk menghitung jarak Bhatacharyya:

Hasil eksekusi:

Hitunglah DB-nya dengan :

2(1-exp(-0.3516)) = 0.5929

14

B1,2 = D = 0.3516

Scatter Matrices Scatter matrices memberi gambaran bagamana vektor ciri tersebar

dalam ruang ciri (feature space).

Tiga ukuran keterpisahan kelas berdasar scatter matrices adalah sbb:

15

dengan Sm adalah mixture scatter matrix, Sw adalah within-class scatter

matrix, dan Sb adalah between-class scatter matrix.

dengan Pi adalah priori probabiliti untuk kelas i = 1,2,…,c dan Si adalah

matriks kovarians untuk kelas i.

dengan m0 adalah rerata global (dari semua data dalam semua kelas

yang ada)

16

Semakin besar nilai J1, J2, dan J3, maka hal tersebut berarti bahwa data-

data mempunyai varians dalam-kelas yang kecil dan jarak antar-kelas

yang besar. Dengan kata lain bahwa Semakin besar nilai J1, J2, dan J3,

maka kelas yang satu dengan kelas yang lain mempunyai keterpisahan

yang semakin baik.

17