TEORI DASAR NEURAL NETWORK (2)

Pengantar Deep Learning

Pelatihan jaringan syaraf tiruan dibagimenjadi dua yaitu, pelatihan dengansupervisi (pembimbing) dan pelatihan

tanpa supervisi.

Tujuan dari pelatihan ini adalah memodifikasi bobot hingga diperoleh bobot yang bisa membuat keluaran jaringan sama dengan target yang

diinginkan.

Paradigma Pembelajaran

Backpropagation adalah metode penurunangradien untuk meminimalkan kuadrat errorkeluaran.

Ada tiga tahap yang harus dilakukan dalampelatihan jaringan, yaitu :

• Tahap perambatan maju (forward propagation) ,• Tahap perambatan-balik,• Tahap perubahan bobot dan bias.

Backpropagation

Backpropagation

Arsitektur jaringan ini terdiri dari input layer, hidden layer danoutput layer seperti

Algoritma Backpropagation5

LAPISANOUTPUT

LAPISANTERSEMBUNYI

LAPISANINPUT

Output aktual

Outputtarget

+

-

Tahap Umpan Maju

Tahap pemropagasi-balikan error

Error

Input

å=

+=n

1iijij0j vxvin_z

Algoritma Backpropagation

¨ Inisialisasi bobot (ambil nilai random yang cukupkecil).

¨ Selama kondisi berhenti bernilai salah, kerjakan :¤ Tahap Perambatan Maju (forward propagation)

a) Setiap unit input (Xi, i=1,2,3,...,n) menerima sinyal xi danmeneruskan sinyal tersebut ke semua unit pada lapisantersembunyi.

b) Setiap unit tersembunyi (Zi, j=1,2,3,...,p) menjumlahkanbobot sinyal input dengan persamaan berikut:

å=

+=p

1ijkik0k wzwin_y

Algoritma Backpropagation

n Dan menerapkan fungsi aktivasi untuk menghitung sinyaloutputnya :

n zj = f(z_inj)n Biasanya fungsi aktivasi yang digunakan adalah fungsi sigmoid.n Kemudian mengirimkan sinyal tersebut ke semua unit output.

c) Setiap unit output (Yk, k=1,2,3,...,m) menjumlahkan bobotsinyal input

Algoritma Backpropagation

n Dan menerapkan fungsi aktivasi untuk menghitungn sinyal outputnya : yk = f(y_ink)

d) Setiap unit output (Yk, k=1,2,3,...,m) menerima pola target yang sesuai dengan pola input pelatihan, kemudian hitungerror dengan persamaan berikut:n d k = (tk – yk) f’(y_ink)n f ‘ adalah turunan dari fungsi aktivasin kemudian hitung koreksi bobot dengan persaamaan berikut:

nDwjk = a dk zjn Dan menghitung koreksi bias dengan persamaan berikut :

nDw0k = a dk

n Sekaligus mengirimkan dk ke unit-unit yang ada di lapisan paling kanan.

å=

=m

1kjkkj win_ dd

• Untuk menghitung informasi error, kalikan nilai ini denganturunan dari fungsi aktivasinya:

• dj = d_inj f’(z_inj)• Kemudian hitung koreksi bobot dengan persamaan berikut:

• Dvjk = a dj xi• Setelah itu hitung juga koreksi bias dengan persamaan

berikut:• Dv0j = a dj

Algoritma Backpropagation

e) Setiap unit tersembunyi (Zj, j=1,2,3,...,p) menjumlahkan deltainputnya (dari unit-unit yang berada pada lapisan dikanannya)

Tahap Perubahan Bobot dan Bias

f) Setiap unit output (Yk, k=1,2,3,...,m) dilakukan perubahanbobot dan bias (j=0,1,2,...,p) dengan persamaan berikut

n wjk(baru) = wjk(lama) + Δwjk

n Setiap unit tersembunyi (Zj, j=1,2,3,...,p) dilakukan perubahanbobot dan bias (i=0,1,2,...,n) dengan persamaan berikut:

n vij(baru) = vij(lama) + Δvij

g) Tes kondisi berhenti

Heteroassociative Memory

¨ Jaringan syaraf heteroassociative memory adalah jaringan yangdapat menyimpan kumpulan pengelompokan pola, dengan caramenentukan bobot-bobotnya sedemikian rupa.

¨ Setiap kelompok merupakan pasangan vektor (s(n), t(n)) dengann=1,2,...,N. Algoritma pelatihan yang biasa digunakan adalahHebb rule

¨ Algoritma:1. Inisialisasi semua bobot = 0.2. Perbaiki bobot dengan persamaan berikut :

n Wij(baru) = wij(lama) + xi*tj3. Untuk setiap vektor input, kerjakan:

n Set input dengan nilai sama dengan vektor input:n Hitung input jaringan ke unit output:

å=i

ijij w*xin_y

Bidirectional Associative Memory (BAM)

Bidirectional Associative Memory (BAM) adalah model jaringan syaraf yang memiliki 2 lapisan, yaitu :

• Lapisan input dan Lapisan output yang mempunyai hubungan timbal balik antara keduanya.

Hubungan ini bersifat bidirectional artinya jika bobot matrik dari sinyal yang dikirim dari lapisan input X ke lapisan output Y adalah W, maka bobot matrik dari sinyal yang dikirim dari lapisan output Y ke lapisan input X adalah WT.

Bidirectional Associative Memory (BAM)

¨ Arsitektur jaringan untuk 3 neuron pada lapisan input dan 2 neuron pada lapisan output seperti terlihat pada Gambar berikut.

Learning Vector Quantization (LVQ)

Learning Vector Quantization (LVQ) adalah suatu metodepelatihan pada lapisan kompetitif terawasi yang akan belajarsecara otomatis untuk mengklasifikasikan vektor-vektor input kedalam kelas-kelas tertentu.

Kelas-kelas yang dihasilkan tergantung pada jarak antaravektor-vektor input.

Jika ada 2 vektor input yang hampir sama, maka lapisankompetitif akan mengklasifikasikan kedua vektor input tersebutke dalam kelas yang sama.

Pembelajaran Tanpa Supervisi(Jaringan Kohonen)

Pertama kali yang memperkenalkan jaringan kohonenadalah Prof. Teuvo Kohonen pada tahun 1982.

Pada jaringan ini, neuron-neuron pada suatu lapisan akanmenyusun dirinya sendiri berdasarkan input nilai tertentudalam suatu cluster.

Dalam proses penyusunan diri, cluster yang dipilih sebagaipemenang adalah cluster yang mempunyai vektor bobotpaling cocok dengan pola input (memiliki jarak yang palingdekat).

Regularisasi

¨ Pada aplikasi praktis, kita sering menemukankondisi dimana untuk persoalan yang kompleksketersediaan datapembelajaran terbatas.

¨ Salah satu teknik yang digunakan untukmengkontrol fenomena over-fitting adalahregularisasi (regularization), yaitu dengan caramenambah finalti ke fungsi error.

Regularisasi

Regularisasi – Penghalusan Kurva

Regularisasi – Pengecilan Nilai Bobot

Regularisasi – Mengatasi Over-fitting

Regresi Linear Umum

Regresi Linear Umum

Dropout

Secara sederhana, dropout mengacu padamengabaikan unit (yaitu neuron) selama fase pelatihanseperangkat neuron tertentu yang dipilih secara acak.

Dengan "mengabaikan", unit-unit ini tidakdipertimbangkan selama umpan maju atau mundurtertentu.

Dropout adalah pendekatan regularisasi padajaringan syaraf tiruan yang membantu mengurangipembelajaran interdependen di antara neuron

Dropout

• Untuk setiap lapisan tersembunyi, untuk setiap sampel pelatihan, untuk setiap iterasi, abaikan (nilai 0 dikeluarkan) pecahan acak, p, simpul (dan aktivasi yang sesuai).

TahapPelatihan

• Gunakan semua aktivasi, namun kurangi mereka dengan faktor p (untuk memperhitungkan aktivasi yang hilang selama latihan).

TahapPengujian

Dropout

TERIMA KASIH