FACIAL MOTION CAPTURE MENGGUNAKAN ALGORITMA …

TESIS

FACIAL MOTION CAPTURE MENGGUNAKAN ALGORITMA INVERSE COMPOSITIONAL PADA AAM

I WAYAN SUARDINATA, SKom NRP. 2209205027 DOSEN PEMBIMBING Moch. Hariadi, S.T., M.Sc., Ph.D. PROGRAM MAGISTER BIDANG KEAHLIAN JARINGAN CERDAS MULTIMEDIA JURUSAN TEKNIK ELEKTRO FAKULTAS TEKNOLOGI INDUSTRI INSTITUT TEKNOLOGI SEPULUH NOPEMBER SURABAYA 2010

FACIAL MOTION CAPTURE MENGGUNAKAN ALGORITMA INVERSE COMPOSITIONAL PADA AAM

Materi presentasi

PENDAHULUAN

DASAR

TEORI

METODOLOGI

EKSPERIMEN & ANALISA

KESIMPULAN

PENDAHULUAN Pendahuluan

Design, organize, and collaborate

» Teknologi motion capture dibutuhkan dalam berbagai aplikasi khususnya animasi yang terus berkembang dengan pesat

» Sekarang ini penelitian banyak diarahkan untuk mengembangkan teknik markerless motion capture.

» area capture difokuskan pada analisa data wajah mengingat analisa data wajah mempunyai manfaat banyak dalam kehidupan nyata

» Dalam hal animasi wajah merupakan bagian yang penting karena banyak hal yang harus dianimasikan dari wajah meliputi pergerakan, bentuk, dan ekspresi.

Latar Belakang

» penelitian ini akan lebih difokuskan pada metode penyesuaian titik-titik (fitting method) pada pergerakan wajah selanjutnya dapat dibuat mesh dua dimensi.

» Mengingat akurasi dan kecepatan metode masih perlu ditingkatkan

Latar Belakang

Perumusan Masalah

• Bagaimana cara mendapatkan titik-titik landmark dua dimensi yang bersesuaian pada wajah dalam setiap perubahan pose dan pergerakan wajah.

• Bagaimana membuat mesh 2 dimensi berdasarkan data titik-titik tersebut dan diusahakan secepat mungkin.

Tujuan & Manfaat

• Mendapatkan metode fitting dengan akurasi dan kecepatan yang maksimal

• Menjadi landasan bagi pengembangan dan penggunaan AAM berikutnya

DASAR TEORI

Design, organize, and collaborate

FACE PROCESSING

Area Aplikasi

Hiburan Video game, virtual reality, training programs, human-robot interaction, human-

computer interaction, family photo albums

Smart Cards Ijin mengemudi, paspor, registrasi pemilih pada pemilu, kesejahteraan social

Informasi keamanan TV parental control, akses telepon seluler, logon desktop, database keamanan,

enkripsi file, rekam medis, akses internet, terminal perdagangan yang aman

Penegakan hukum dan pengawasan Advanced video surveillance, CCTV control, portal control, post-event analysis,

shoplifting, pencarian dan investigasi tersangka

Emerging Alat untuk pembelajaran psikologi

Tabel 2. 1 Aplikasi khusus dari pengolahan wajah, meliputi deteksi dan tracking, pengenalan identitas dan ekspresi,

dan personalized realistic rendering

SHAPE MODEL

• Gambar 2. 1 Linear shape model dari sebuah independent AAM. Model terdiri atas mesh berbasiskan triangulation s0 ditambah kombinasi linear dari n shape vector si. Base mesh ditunjukkan di sebelah kiri dan ke kiri adalah tiga shape vector s1, s2 dan s3 melapisi base mesh.

s

APPEARANCE MODEL

Gambar 2. 2 Variasi linear appearance dari sebuah independent AAM. Model terdiri atas base appearance image A0 yang mendefinisikan pixel-pixel didalam base mesh s0 ditambah kombinasi linear dari m appearance images A1 yang juga mendefiniskan himpunan pixel yang sama.

Model Instance

• Contoh AAM instantiation. Parameter bidang digunakan untuk menghitung model bidang s dan parameter appearance digunakan untuk menghitung model appearance A. Model appearance didefinisikan dalam base mesh s0. Pasangan mesh s0 dan s mendefinisikan a (piecewise affine) digabung dari s0 kepada s yang kita denotasikan W(x;p). Hasil akhir AAM model instance, didenotasikan M(W(x;p)), yang dikomputasi dengan forward warping appearance A dari s0 pada s menggunakan W(x;p).

Framework pembuatan model statistik 2 dimensi

Forward additive image allignment

• A schematic overview of the Lucas-Kanade (forwards-additive) image alignment algorithm.

• Given current estimates of the parameters p, Lucas-Kanade linearizes the problem and solves for incremental updates to the parameters p that are then added to the current estimates p ← p + p.

Inverse Compositional & Inverse Additive

• (a) A schematic overview of the forwards-compositional image alignment algorithm. Given current estimates of the parameters, the forwards compositional algorithm solves for an incremental warp W(x;p) rather than a simple update to the parameters p.

• The incremental warp is then composed with the current estimate of the warp. (b) A schematic overview of the inverse-compositional image alignment algorithm.

• The roles of I(W(x; p)) and A0(x) are reversed and the incremental warpW(x;p) is estimated in the other (inverse) direction. The incremental warp therefore has to be inverted before it is composed with the current estimate of the warp

METODOLOGI Metode pembuatan data training, Metode pencocokan gambar Metode evaluasi Tools & Hardware yang digunakan

Data training, fitting method, and evaluation

DATA yang diperlukan

Facial motion capture

gambar

annotation

Model AAM

Sumber data

training

testing

training

testing

www.fgnet.rsunit.com

Face and gesture recognition

research network

www.bioid.com

Menyediakan layanan otentifikasi

biometrik

SUMBER data yang digunakan

http://www.fgnet.rsunit.com/

http://www.bioid.com/

www.visionopen.com

Website yang didedikasikan untuk sharing para mahasiswa cina di bidang computer science

http://personalpages.manchester.ac

.uk/staff/timothy.f.cootes/data/talki

ng_face/talking_face.html

Situs dari penggagas AAM timothy f.

cootes dari manchester university


http://www.visionopen.com/

http://personalpages.manchester.ac.uk/staff/timothy.f.cootes/data/talking_face/talking_face.html





database FRANCK AGING BIOID JIAPEI

jumlah gambar 5000 1002 1521 67

training 5000 263 397 33

testing 300 739 354 34

jumlah subjek 1 82 23 1

jumlah titik 68 68 20 109

resolusi 720*576 variasi 384*286 640*480

RGB RGB keduanya GRAY RGB

AAM tools untuk membuat landmark secara manual

Process pembuatan Model AAM

Data points training landmark suatu gambar

Data facepart: mata, mulut dll

smbuilding

Matrik-matrik yang diperlukan sesuai dengan

metode yang dipilih

Data siap digunakan untuk proses fitting

Metode Pencocokan yang digunakan


AAM Basic_AAM

Inverse Compotitional Image Alignment

ALGORITMA BASIC AAM

FLOW CHART ALGORITMA INVERSE COMPOSITIONAL PADA AAM

Evaluasi Performance

• Kecepatan convergence untuk setiap gambar

• Jumlah iterasi

• Overlap area

Overlap dan jarak

waktu iterasi overlap jarak

1 447.526 0 0.656383 33.0946 2 1713.2 0 0.445998 67.537

3 1273.19 0 0.883638 8.73212

Tools & Hardware yang digunakan


Platform independent • Ubuntu 10.10 Required packages

• OpenCV 2.2.0 • Boost 1.46 • boostfilesystem • boostregex

Hardware • Pentium Dual Core

2GHz • 1024Mb RAM • Harddisk 250Gb

Eksperimen & Analisa

Broadcast and compress for seamless delivery

Jumlah gambar : 5000

Training : 5000

Testing : 300

Jumlah subjek :1

Jumlah titik : 68

Resolusi :720*576

RGB/Gray :RGB

Uji Pencocokan pada database FRANCK

Contoh diambil dari salah satu gambar = franck_0000 dari 300 gambar Aam_basic E:\THESIS\experiment\9jul\fitting_result\Franck\franckbasic

Icia : E:\THESIS\experiment\9jul\fitting_result\Franck\frankicia

Hasil Pencocokan pada database FRANCK

… 8 iterasi

metode AAM_BASIC

metode AAM_ICIA

… 7 iterasi

Org

aniz

e w

ith

Se

ctio

ns

Analisa data eksperimen

0

500

1000

1500

2000

2500

3000

3500

4000

4500

5000

1

21

41

61

81

101

121

141

161

181

201

221

241

261

281

BASIC

CMUICIA

Kecepatan fitting/gambar

0

0.2

0.4

0.6

0.8

1

1.2

1

20 39 58 77 96

115

134

153

172

191

210

229

248

267

286

BASIC

CMUICIA

Overlap area

0

5

10

15

20

25

1

23 45 67 89

111

133

155

177

199

221

243

265

287

BASIC

CMUICIA

Jarak titik


1 2991.67 0 0.965372 4

2 3637.1 0 0.978714 2.23607

3 2463.22 0 0.95061 2.23607

4 3725.7 0 0.988635 0.5

5 3625.02 0 0.989796 1.5

6 3287.7 0 0.985318 1

7 3955.88 0 0.963112 3.60555

8 3301.1 0 0.973599 2.69258

9 3709.27 0 0.978638 2.23607

10 2871.37 0 0.978612 1.41421


Training : 263

Testing : 739

Jumlah subjek :82

Jumlah titik : 68

Resolusi :variasi

RGB/Gray :keduanya

Uji Pencocokan pada database AGING

Contoh diambil dari salah satu gambar = 022a20 dari 739 uji E:\THESIS\experiment\9jul\fitting_result\aging\agingicia\022a20

Hasil Pencocokan pada database AGING

… 3 iterasi

metode AAM_BASIC

metode AAM_ICIA

… 3 iterasi

Org

aniz

e w

ith

Se

ctio

ns


0

500

1000

1500

2000

2500

3000

35001

54

107

160

213

266

319

372

425

478

531

584

637

690

AAM_BASIC

AAM_CMUICIA


Overlap area

Jarak titik

0

0.2

0.4

0.6

0.8

1

1.2

1

43

85

127

169

211

253

295

337

379

421

463

505

547

589

631

673

715

BASIC

CMUICIA

0

50

100

150

200

250

148 95

142

189

236

283

330

377

424

471

518

565

612

659

706

Series1

Series2


1 447.526 0 0.656383 33.0946

2 1713.2 0 0.445998 67.537

3 1273.19 0 0.883638 8.73212

4

5

6 558.008 0 0.797631 4.52769

7 276.949 0 0.809034 16.9779

8 1228.68 0 0.858872 7.90569

9 642.522 0 0.772647 19.4551

10 1733.71 0 0.665671 6.10328

11 545.436 0 0.748772 6.94622


Training : 397

Testing : 354

Jumlah subjek : 23

Jumlah titik : 20

Resolusi : 384*286

RGB/Gray : Gray

Uji Pencocokan pada database BIOID

Org

aniz

e w

ith

Se

ctio

ns



Overlap area

Jarak titik

0

100

200

300

400

500

600

121 41 61 81

101

121

141

161

181

201

221

241

261

281

301

321

341

AAM_BASIC

CMUICIA

0

0.2

0.4

0.6

0.8

1

1.2

1

24

47

70

93

116

139

162

185

208

231

254

277

300

323

346

AAM_BASIC

CMUICIA

0

10

20

30

40

50

60

70

1

27 53 79

105

131

157

183

209

235

261

287

313

339

AAM_BASIC

AAM_CMUICIA


1 355.021 0 0.919714 4.03113

2 136.216 0 0.850575 6.5192

3 127.84 0 0.818446 8.06226

4 143.755 0 0.820134 6.80074

5 140.661 0 0.786497 8.32166

6 139.826 0 0.824034 6.0208

7 224.406 0 0.874609 3.53553

8 145.826 0 0.796935 7.61577

9 147.992 0 0.82923 5.40833

10 138.812 0 0.80332 2

Jumlah gambar : 67

Training : 33

Testing : 34

Jumlah subjek :1

Jumlah titik : 109

Resolusi :640*480

RGB/Gray :RGB

Uji Pencocokan pada database JIAPEI

Contoh diambil dari salah satu gambar = 00 dari 34 gambar E:\THESIS\experiment\9jul\fitting_result\jiapei\jiapei_cmuicia\00

Hasil Pencocokan pada database FRANCK

… 9 iterasi

metode AAM_BASIC

metode AAM_ICIA

… 11 iterasi

Org

aniz

e w

ith

Se

ctio

ns



Overlap area

Jarak titik

0

500

1000

1500

2000

2500

1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33

BASIC

ICIA

0.8

0.82

0.84

0.86

0.88

0.9

0.92

0.94

0.96

0.98

1

1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33

BASIC

CMUICIA

0

1

2

3

4

5

6

7

8

1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33

Series1

Series2


1 1517.16 0 0.965087 2.5

2 997.635 0 0.960006 1.58114

3 999.513 0 0.950295 2

4 1886.75 0 0.960006 1.58114

5 1888.5 0 0.950047 2.23607

6 1490.83 0 0.955182 0.5

7 1493.96 0 0.955182 0.5

8 1535.98 0 0.969963 1.58114

9 1301.28 0 0.974994 0.5

10 725.347 0 0.959954 2

Kesimpulan

Broadcast and compress for seamless delivery

! KESIMPULAN… 1. Terdapat perbedaan yang signikan antara ICIA dengan AAM BASIC 2. Jumlah iterasi tidak terlalu mempengaruhi performance, tetapi proses/metode dalam setiap iterasi.

Kami ucapkan TERIMA KASIH SEMOGA BERMANFAAT ….. selesai

PENUTUP

Wayan S.

FACIAL MOTION CAPTURE MENGGUNAKAN ALGORITMA …

Documents

Transcript of FACIAL MOTION CAPTURE MENGGUNAKAN ALGORITMA …