Development Of Hand Gesture Controller For Multimedia Player

5/19/2018 Development Of Hand Gesture Controller For Multimedia Player

1/71

i

PENGEMBANGAN PENDETEKSI GERAKAN TANGAN

UNTUK MULTIMEDIA PLAYER

DEVELOPMENT OF HAND GESTURE CONTROLLER

FOR MULTIMEDIA PLAYER

Oleh:Luthfia Witanti

NRP. 7711030009

Dosen Pembimbing :

Sritrusta Sukaridhoto, ST., Ph.D.

NIP. 197903062002121002

Artiarini Kusuma N., S.ST., MT.

NIP. 2000000071

PROGRAM STUDI TEKNOLOGI MULTIMEDIA

BROADCASTING

DEPARTEMEN MULTIMEDIA KREATIF

POLITEKNIK ELEKTRONIKA NEGERI SURABAYA

2014

PROYEK AKHIR


2/71

ii


3/71

iii

LEMBAR JUDUL

PROYEK AKHIR

PENGEMBANGAN PENDETEKSI GERAKAN TANGAN

UNTUK MULTIMEDIA PLAYER

DEVELOPMENT OF HAND GESTURE CONTROLLER FOR

MULTIMEDIA PLAYER

Oleh:

Luthfia Witanti

NRP. 7711 030 009

Dosen Pembimbing :

Sritrusta Sukaridhoto, ST., Ph.D.NIP. 197903062002121002

Artiarini Kusuma N., S.ST., MT.

NIP. 2000000071

PROGRAM STUDI TEKNOLOGIMULTIMEDIA

BROADCASTING

DEPARTEMEN MULTIMEDIA KREATIF

POLITEKNIK ELEKTRONIKA NEGERI SURABAYA

2014

LEMBAR PENGESAHAN


4/71

iv


5/71

v


6/71

vi

ABSTRAK

Perkembangan Smart TVkini sangat pesat, dengan berbagai macam fitur

seperti memainkan berkas multimedia, terhubung ke internet dan sampai

pengontrolan dengan menggunakan kontrol tangan dan suara. Namun

daya beli masyarakat belum mampu untuk dapat membeli Smart TV

tersebut. Untuk dapat meningkatkan fitur Smart TV tersebut diperlukan

alat bernama SetTopBox yang dapat digunakan sebagai perangkattambahan untuk TV yang tidak termasuk dalam kategori Smart TV.

SetTopBox tersebut dibangun dengan menggunakan perangkat

embedded system (sistem terbenam) yang dilengkapi aplikasi mediaplayer open source XBMC. XBMC ini memiliki fitur untuk dapat

memainkan berkas multimedia dan dapat juga terhubung dengan

internet. SetTopBox ini dilengkapi dengan perangkat aplikasi Kinect,dimana dengan perangkat ini pengguna dapat mengontrol SetTopBox

tersebut dengan menggerakan tangan dan juga melalui perintah suara.

SetTopBoxyang dibangun ini tidak memakan biaya yang tinggi, sehingga

apabila masyarakat membeli TV dan SetTopBox ini masih jauh lebih

murah daripada membeli Smart TV. SetTopBox ini tidak hanya

mendeteksi tangan saja melainkan juga seluruh badan sehinggapengguna yang cacat pun dapat menggunakannya.

Kata kunci : SetTopBox, embedded system, motion gesture


7/71

vii

ABSTRACT

The development of Smart TV has been improved, with all of the features

like playing multimedia content, connect to internet, and controlling

from hand controll and voices. But, many people are uncapable to buy

Smart TV because of it high price. For enjoying the features of Smart

TV, we need a set of utilities called SetTopBox that used as additional

device for TV that doesn`t include in the Smart TV category. ThisSetTopBox is build using embedded system device that equipped with

XBMC open source media player application. XBMC has some features

to play a multimedis content and it can connect to the internet.SetTopBox also equipped with Kinect application device that can make

the user to control the media player with gestures and voice command.

This build SetTopBox doesn`t cost with high price, so if people buyingthis SetTopBox and TV, it is cheaper than buying Smart TV. This

SetTopBox not only detect hand but also all part of body so for user that

have disability can use it too.

Key words: Set Top Box, embedded system, motion gesture


8/71

viii

KATA PENGANTAR

Alhamdulillah, segala puji syukur bagi Allah SWT karena berkat

rahmat dan hidayah-Nya, penulis dapat menyelesaikan proyek akhir

yang berjudul :

DEVELOPMENTOF HAND GESTURE CONTROLLER FOR

MULTIMEDIA PLAYER

Pembuatan dan penyusunan proyek akhir ini diajukan sebagaisalah satu syarat untuk menyelesaikan studi Diploma-3 (D3) dan

memperoleh gelar Ahli Madya (A.Md) di program studiTeknologi

Multimedia Broadcasting Politeknik Elektronika Negeri Surabaya,

Institut Teknologi Sepuluh Nopember Surabaya.

Penulis berusaha secara optimal dengan segala pengetahuan dan

informasi yang didapatkan dalam menyusun laporan proyek akhir ini.

Namun, penulis menyadari berbagai keterbatasannya, karena itu penulis

memohon maaf atas keterbatasan materi laporan proyek akhir ini.

Penulis sangat mengharapkan masukan berupa saran dan kritik yangmembangun demi kesempurnaan laporan proyek akhir ini.

Demikian besar harapan penulis agar laporan proyek akhir ini

dapat bermanfaat bagi pembaca, khususnya dalam mempelajari sistem

kontrol tangan pada multimediaplayer

Surabaya, 11 Juli 2014

Penulis


9/71

ix


10/71

x

UCAPAN TERIMAKASIH

Dengan penuh rasa syukur kehadirat Allah S.W.T dan tanpamenghilangkan rasa hormat yang mendalam, saya selaku penyusun dan

penulis mengucapkan terima kasih yang sebesar-besarnya kepada pihak-

pihak yang telah membantu penulis untuk menyelesaikan proyek akhir

ini, penulis mengucapkan terima kasih kepada :

1.

Bapak Dr. Zainal Arief, ST., MT. selaku Direktur Politeknik

Elektronika Surabaya.

2. Bapak Drs. Achmad Basuki, Ssi, Ph.D selaku Ketua Departemen

Multimedia Kreatif Politeknik Elektronika Negeri Surabaya.

3.

Bapak Akhmad Subhan KH, ST., MT.selaku Ketua Program StudiTeknologi Multimedia dan Broadcasting Politeknik Elektronika

Negeri Surabaya.

4. Bapak Sritrusta Sukaridhoto, ST., Ph.D. dan Ibu Artiarini Kusuma

Nurindiyani., S.ST. selaku Dosen Pembimbing Proyek Akhir yang

selalu sabar dalam memberikan penjelasan dan memberikan

pengarahan sampai terselesaikannya proyek akhir ini.

5.

Keluargaku, yaitu kedua orang tuaku,dan adikku yang selalu

memberikan dukungan, semangat dan mendoakan yang terbaik.

6.

Semua teman-teman kelas 3 D3 MMB A 2011 atas kebersaaman 3tahun ini.

7.

Seluruh anggota tim PKM-KC Smart TV yang telah membantu

dengan penuh kesabaran, keuletan dan kekompakkan dalam

menyelesaikan PKM.

8. Semua Dosen PENS dari semua Jurusan.

9. Seluruh staff dan karyawan PENS yang sabar melayani segala

permintaan dan keluhan kami.

10.Rekan-rekan mahasiswa serta semua pihak yang tidak dapat penulis

sebutkan satu-persatu.

Semoga Allah SWT selalu memberikan perlindungan, rahmat

dan nikmat-Nya bagi kita semua. Amin!


11/71

xi


12/71

xii

DAFTAR ISI

LEMBAR JUDUL .................................................................................... i

LEMBAR PENGESAHAN ................................................................... iii

ABSTRAK.............................................................................................. vi

ABSTRACT ......................................................................................... vii

KATA PENGANTAR ......................................................................... viii

UCAPAN TERIMAKASIH .................................................................... x

DAFTAR ISI ........................................................................................ xii

DAFTAR GAMBAR ............................................................................ xvi

DAFTAR TABEL ................................................................................. xx

BAB I PENDAHULUAN ........................................................................ 11.1

LATAR BELAKANG............................................................ 1

1.2

TUJUAN PROYEK AKHIR .................................................. 2

1.3 PERUMUSAN MASALAH .................................................. 2

1.4 BATASAN MASALAH ........................................................ 21.5

METODOLOGI ..................................................................... 2

1.5.1 Studi Literatur ................................................................ 2

1.5.2

Perancangan ................................................................... 2

1.5.3

Pengintegrasian.............................................................. 3

1.6

SISTEMATIKA PEMBAHASAN ......................................... 3BAB II TEORI PENDUKUNG ............................................................... 5

2.1

Ubuntu di PandaBoard ES ...................................................... 5

2.2

Gesture RecognitionvsHand Detection................................ 7

2.3 XBMC .................................................................................... 9

2.4 Kinect ................................................................................... 10

2.5 CMake.................................................................................. 12

BAB III PERANCANGAN DAN PEMBUATAN SISTEM ................. 13

3.1 BAHAN DAN ALAT .......................................................... 13

3.1.1

Perencanaan Perangkat Keras ...................................... 133.1.2

Perencanaan Perangkat Lunak ..................................... 14

3.2 PERENCANAAN KERJA ................................................... 15

3.2.1 Perancangan Hardware ................................................ 163.2.2

Perancangan Software ................................................. 25

3.2.3

Pengintegrasian............................................................ 40

3.3

TEMPAT DAN WAKTU .................................................... 42

BAB IV PENGUJIAN DAN ANALISA ............................................... 43

4.1 PENGUJIAN JARAKKINECT........................................... 43

4.2

PENGUJIAN WAKTU BERHENTI ................................... 47


13/71

xiii


14/71

xiv

4.3

Pengujian kekuatanPandaBoard ES.................................... 47

BAB V PENUTUP ................................................................................ 49

5.1

KESIMPULAN .................................................................... 49

5.2 SARAN ................................................................................ 49

DAFTAR PUSTAKA ............................................................................ 50

DAFTAR RIWAYAT HIDUP .............................................................. 51


15/71

xv


16/71

xvi

DAFTAR GAMBAR

Gambar 2. 1. Ubuntu12.04 desktop........................................................ 5Gambar 2. 2.PandaBoard ES.................................................................. 6

Gambar 2. 3. PenampangPandaBoard ES............................................... 6

Gambar 2. 4.Hand gesture recognition................................................... 8

Gambar 2. 5.Hand detection................................................................... 9

Gambar 2. 6.XBMC desktop................................................................. 10

Gambar 2. 7. TampilanKinect............................................................... 11

Gambar 2.8. PenampangKinect............................................................ 11

Gambar 2.9. TampilanKinectdanXbox................................................ 12

Gambar 3.1. Alur kerja...15Gambar 3.2. Diagram bar mekanisme kerja sistem SetTopBox............. 16

Gambar 3.3. Diagram bar sistem kerja .................................................. 17

Gambar 3.4. SetTopBoxsetelah digabungkan ........................................ 18Gambar 3.5. SetTopBoxterdiri dari dua bagian yang dapat dipasang

secara portable ....................................................................................... 19

Gambar 3. 6.Designpenutup SetTopBox.............................................. 20

Gambar 3.7. Salah satu bagian SetTopBoxyang berisiPandaBoard ES20

Gambar 3.8. Salah satu bagian SetTopBoxyang berisiKinect, tempat

kabel dan multihubUSB......................................................................... 21

Gambar 3.9. Sisi belakang dari salah satu bagian SetTopBoxyang berisi

PandaBoard ES..................................................................................... 21

Gambar 3.10. Sisi kanan dari salah satu bagian SetTopBoxyang berisi

PandaBoard ES..................................................................................... 22

Gambar 3.11. Sisi kiri dari salah satu bagian SetTopBoxyang berisi

PandaBoard ES..................................................................................... 22

Gambar 3.12. PenyanggaKinect............................................................ 23

Gambar 3.13. Diagram penggunaan SetTopBox.................................... 24

Gambar 3.14. Contoh penggunaan SetTopBoxpada rung tamu ............. 25

Gambar 3.15. Perintah untuk melakukan installasiXBMC.................... 25

Gambar 3.16.XBMC.............................................................................. 26Gambar 3. 17. SaatXBMCdijalankan melalui terminal........................ 26

Gambar 3.18. Cara installasi driverKinect............................................. 27

Gambar 3.19. Tampilan saat sukses menjalankan driverKinectpada

komputer ................................................................................................ 28

Gambar 3.21.PandaBoard ES............................................................... 29

Gambar 3.22. Kabelpower5V .............................................................. 29Gambar 3.23. KabelEthernet................................................................ 29


17/71

xvii


18/71

xviii

Gambar 3.24.MicroSD.......................................................................... 30

Gambar 3.25. KabelHDMI.................................................................... 30

Gambar 3.26.Multihub USB.................................................................. 30

Gambar 3.27. Ubuntu binaryuntukPandaBoard ES............................ 31

Gambar 3.28. Perintah untuk melakukan mount.................................... 31

Gambar 3.29. Cara melihat letak devicepada terminal Ubuntu............. 32

Gambar 3.30. Melakukan perintah umount............................................ 32

Gambar 3.31. Perintah untuk melakukan extrakfile.............................. 32

Gambar 3.32. Perintah melakukan install imagepadaMicroSD........... 32

Gambar 3.34. Proses bootingUbuntumenggunakanPandaBoard ES... 33

Gambar 3.35. Proses installasi Ubuntu DesktoppadaPandaBoard ES. 34

Gambar 3.36. Perintah yang dijalankan setelah installasi ...................... 34

Gambar 3.37. Perintah untuk membuat folder ....................................... 35

Gambar 3.38. Perintah untuk masuk ke direktori build......................... 35

Gambar 3.39. Perintah melakukan proses compile................................ 35

Gambar 3.40. Perintah untuk menjalankan programKMouse............... 36

Gambar 3.42. Menjalankan programKinect Mouse.............................. 37

Gambar 3.43.Libfreenect...................................................................... 37

Gambar 3.44. Source codedeteksi objek ............................................... 38

Gambar 3.45. Source codeklik .............................................................. 39

Gambar 3.48. Contoh pengaplikasian SetTopBox.................................. 41

Gambar 4.1. Jarak 75 cm dariKinect......................................................43

Gambar 4.2. Jarak 1 meter ..................................................................... 44
http://f/BUAT%20DIKUMPULKAN%20TA/Draft%20Buku%20TA.docx%23_Toc393794916http://f/BUAT%20DIKUMPULKAN%20TA/Draft%20Buku%20TA.docx%23_Toc393794916http://f/BUAT%20DIKUMPULKAN%20TA/Draft%20Buku%20TA.docx%23_Toc393794916http://f/BUAT%20DIKUMPULKAN%20TA/Draft%20Buku%20TA.docx%23_Toc393794917http://f/BUAT%20DIKUMPULKAN%20TA/Draft%20Buku%20TA.docx%23_Toc393794917http://f/BUAT%20DIKUMPULKAN%20TA/Draft%20Buku%20TA.docx%23_Toc393794917http://f/BUAT%20DIKUMPULKAN%20TA/Draft%20Buku%20TA.docx%23_Toc393794916


19/71

xix


20/71

xx

DAFTAR TABEL

Tabel 3. 1. SpesifikasiPandaBoard ES................................................. 13Tabel 3. 2. SpesifikasiKinect................................................................ 14

Tabel 4. 1. Data hasil pengujian jarak.....................................................44

Tabel 4. 2. Hasil pengujian jarak ........................................................... 46

Tabel 4. 3. Data hasil pengujian waktu .................................................. 47

Tabel 4. 4. Hasil pengujian kekuatanPandaBoard ES.......................... 48


21/71

1

BAB I

PENDAHLUAN

1.1

LATAR BELAKANG

Dalam bidang multimedia, banyak ditemukan teknologi baru

yang memudahkan masyarakat untuk berkomunikasi secara luas.

Dengan mudahnya kita dapat mengakses berbagai macam informasi dari

berbagai sumber, seperti contohnya televisi yang telah memudahkan

masyarakat dalam mendapatkan informasi atau hiburan apapun. Dengan

kemajuan teknologi yang sangat pesat, teknologi informasi tengah

merubah segalanya dan menjadi suatu kebutuhan bagi masyarakat. Saatini Smart TV[1] adalah teknologi terbaru yang dapat mengakomodir

kehidupan manusia di era modern saat ini.

Sebagai sebuah teknologi terbaru, Smart TV ini tentu memiliki

beberapa kelebihan diantaranya pengguna dapat mengakses tanpa

menggunakan remote televisi biasa namun dapat berupa gerakan tangan.

Jika pengguna ingin mendapatkan fitur layaknya Smart TV pasti

membutuhkan budget yang tidak sedikit, harga yang cukup mahal inilah

yang seringkali menjadi kendala masyarakat untuk membeli Smart TV,

sehingga hanya kalangan tertentu saja yang dapat menikmati fiturcanggih ini.

Pada proyek akhir ini saya mengajukan sebuah serangkaian alat

bernama SetTopBoxyang memiliki kelebihan mampu melakukan hand

detection dan speech recognition dimana pengguna dapat merasakan

fitur hand detection yang terdapat pada Smart TV di LED/LCD TV

dimana untuk fiturspeech recognition dikerjakan oleh teman saya.

SetTopBox ini adalah serangkaian alat yang terdiri dari

PandaBoard ES[2], Kinect[3], dan XBMC[4]. Sebelumnya terlebih

dahulu melakukan installasi UbuntupadaMicroSDdan beberapa library

yang diperlukan untuk menjalankan program hand recognitonkemudian

melakukan pengintegrasian dengan XBMC multimedia player. Jika

komponen tersebut telah terpenuhi maka dapat dilakukan sinkronisasi

denganKinect.


22/71

2

1.2 TUJUAN PROYEK AKHIR

Membuat sebuah teknologi alternatif agar televisi yang belum

memiliki fitur Smart TV seperti sensor suara dan gerakan tanganmemiliki fasilitas sensor suara dan gerakan tangan dengan menggunakan

SetTopBox yang terhubung dengan serangkaian alat tertentu.

1.3

PERUMUSAN MASALAH

Permasalahan dalam proyek akhir ini adalah:

1. Bagaimana mendapatkan fitur hand recognitionpadaLED/LCDTV?

2. Mahalnya harga Smart TV mengakibatkan masyarakat tidak dapat

menikmati fitur hand recognition

3. Masyarakat sering kehilangan remote TV saat menonton TV.

1.4

BATASAN MASALAH

Batasan masalah dalam pengerjaan proyek akhir ini adalah

sebagai berikut :

1.

Aplikasi multimedia yang digunakan adalahXBMC

2.

Gerakan tangan diam beberapa detik saat memilih konten

1.5

METODOLOGI

Metodologi dalam pembuatan proyek akhir ini meliputi :

1.5.1 Studi Literatur

Pada tahap studi literatur ini akan dilakukan pencarian data,

bahan atau literatur mengenai hal yang berhubungan dengan hand

detect, komponen yang terdapat dalamPandaBoard ES, danXBMC.

1.5.2 Perancangan

1.5.2.1 Perancangan Hardware

Perancangan perangkat keras yang dilakukan pada Proyek

Akhir ini adalah pembuatan penutup SetTopBox yang berisiPandaBoard ES danKinect dimana kedua alat ini nantinya akan ditutup

dengan kaca akrilik dengan ketebalan 3 mm untuk melindungi setiap

komponen yang ada didalamnya.

1.5.2.2 Perancangan Software

Perangkat lunak yang digunakan dalam Proyek Akhir ini adalah

XBMC sebagai open source multimediaplayer, driver Kinectagar saya

dapat menjalankan Kinect tanpa harus menggunakan Xbox Live, dan


23/71

3

program Kmouse yang akan digunakan untuk mendeteksi pergerakan

tangan pada multimediaplayer. Seluruhsoftware teraebut akan berjalan

pada sistem operasiLinuxtipe Ubuntu.1.5.3 Pengintegrasian

Setelah perancangan hardware dan software telah berhasil

dilakukan maka selanjutnya dilakukan proses integrasi antara hardware

dengan software yang dapat menghasilkan suatu rekayasa teknologi

salah satu fitur Smart TV yaitu pengguna dapat berinteraksi dengan

XBMC dengan menggunakan tangan dan dengan satu kali klik.

1.6

SISTEMATIKA PEMBAHASAN

Sistematika pembahasan dalam penyusunan buku Proyek Akhirini adalah sebagai berikut :

BAB I

PENDAHULUAN

Menguraikan secara singkat latar belakang, tujuan Proyek Akhir,

perumusan masalah, batasan masalah, metodologi dan sistematika

pembahasan.

BAB II

TEORI PENUNJANG

Menjelaskan landasan teori tentang hand recognition controller,

komponen yang terdapat dalamPandaBoard ES,XBMC, dan CMake.

BAB III PERANCANGAN & IMPLEMENTASINYA

Bab ini menjelaskan tentang tahapan-tahapan dalam merancang

dan membuat SetTopBox, dalam hal ini berupa rangkaian sistem yang

terdiri dari integrasiKinect,PandaBoard ES, programHand recognitioncontroller danLED/LCDTV.

BAB IVANALISA HASIL PENGUJIAN

Bab ini menjelaskan tentang hasil pengujian program yang telah

di buat serta analisa-analisa mengenai hasil yang telah di peroleh.


24/71

4

BAB V KESIMPULAN DAN SARAN

Bab ini merupakan bab penutup dimana pengambilan kesimpulandari analisa dan hasil pengujian yang telah di peroleh.

DAFTAR PUSTAKA

Pada bagian ini berisi tentang referensi-referensi yang telah

dipakai oleh penulis sebagai acuan dan penunjang serta parameter yang

mendukung penyelesaian proyek akhir ini baik secara praktis maupun

teoritis.


25/71

5

BAB II

TEORI PENDUKUNG

2.1

Ubuntudi PandaBoard ES

Ubuntumerupakan salah satu distribusi Linuxyang berbasiskan

Debiandan didistribusikan sebagai perangkat lunak bebas. Ubuntupada

PandaBoard ES[5] memiliki perbedaan dengan Ubuntu yang diinstal

pada PC. PandaBoard ES memiliki spesifikasi OMAP4460 dengan

prosesorDual-coreARM Cortex-A9 dengan begitu repositoryyang

digunakan pun berbeda dengan repositoryyang biasa digunakan untuk

PC.

Gambar 2.1. Ubuntu12.04 desktop

Gambar diatas merupakan contoh desktop Ubuntu 12.04.

Tampilan Ubuntuyang telah diinstal padaPandaBoard ESsama dengan

Ubuntuyang diinstal pada desktopwalaupun menggunakan binaryyangberbeda.


26/71

6

Gambar 2.2.PandaBoard ES

Gambar diatas merupakan tampilan penampang PandaBoard

ES dimana PandaBoard ES tersebut merupakan mini komputer yang

menjadi hardware utama Proyek Akhir ini.

Gambar 2.3. PenampangPandaBoard ES


27/71

7

Gambar tersebut merupakan tampilan PandaBoard ES dengan

menyebutkan masing-masing bagian yang terdapat di PandaBoard ES

sehingga pengguna dapat memahami bagian-bagian yang ada diPandaBoard ES

2.2

Gesture Recogni tionvs Hand Detection

Pengenalan gerakan tangan[6] adalah sebuah topik di bidang

sains komputer dan teknologi bahasa pemrograman dengan tujuan untuk

menginterpretasikan gerakan melalui algoritma matematika. Gerakandapat berasal dari setiap pergerakan badan namun umumnya berasal dari

wajah dan tangan. Fokus terkini di lapangan yaitu pengenalan ekspresi

dari wajah dan pengenalan gerakan tangan. Banyak pendekatan telahdibuat menggunakan kamera dan algoritma computer vision untuk

menginterpretasi bahasa yang menjadi penanda. Bagaimanapun juga

identifikasi dan pengenalan dari postur, gaya berjalan, proxemics, dankebiasaan manusia adalah juga subyek dari teknik pengenalan gerakan.

Pengenalan gerakan dapat dilihat sebagai sebuah cara bagi

komputer untuk memahami bahasa tubuh manusia, sehingga

membangun sebuah penghubung antara mesin dengan manusia daripada

primitive text user interface atau bahkan GUIs (graphical userinterfaces) yang masih memiliki keterbatasan dalam pengambilan input

yaitu dari keyboarddan mouse.

Pengenalan gerakan memungkinkan manusia untuk

berkomunikasi dengan mesin dan berinteraksi secara alami tanpa

perangkat mekanik. Menggunakan konsep pengenalan gerakan, hal ini

memungkinkan untuk menunjuk jari pada layar komputer dengan begitu

kursor akan berpindah mengikuti gerakan jari. Hal ini berpotensi

membuat device input konvensional seperti mouse, keyboards danbahkan touch-screen.

Jika menggunakan Hand Detect maka semua anggota badan

dapat terdeteksi dan diaplikasikan menjadi kursor pada XBMCsehingga

program ini dapat diterapkan pada orang normal dan orang yang

berkebutuhan khusus.


28/71

8

Gambar 2.4.Hand gesture recognition

Gambar 2.4. menjelaskan tentang beberapa contoh motion

gesture yaitu pada gambar (a) melakukan gerakan swap dari bawah

hingga atas dan berlaku sebaliknya. Hal itu berlaku untuk sebaliknya

antara tangan kiri dan tangan kanan. Metode hand gesture recognition

dapat membedakan setiap bagian-bagian tubuh manusia contohnya

wajah dan tangan. Untuk wajah dapat dideteksi dengan warna hijau,

untuk tangan kiri ditandai dengan warna biru muda dan tangan kanan

ditandai dengan warna merah muda.

Selanjutnya pada gambar (b) pengguna menunjukkan contohhand gesture dengan gerakan memutar. Pada gambar (c) hand gesture

recognition yang dilakukan adalah gerakan straightdari bawah keatas.Pada gambar (d) hand gesture recognition yang dilakukan yaitu swap

dari kiri ke kanan. Pada gambar (a), (b), (c), (d) dapat diamati bahwa

program hand gesture recognition dapat mendeteksi dan membedakan

antara wajah dan tangan.


29/71

9

Gambar 2.5.Hand detection

Pada gambar 2.5. menjelaskan tentang langkah-langkah

bagaimana sebuan objek dapat terdeteksi oleh komputer. Pada gambar

(1) kamera menangkap objek lalu komputer akan membedakan antara

objek dengan latar belakang yang tampak pada gambar (2). Selanjutnya

komputer akan mendeteksi garis tepi dari objek tersebut yang tampak

pada gambar (3). Pada gambar 2.5. terlihat bahwa latar belakang

berwarna hitam sehingga dapat membantu pengguna untuk dapat

membedakan antara objek yang dideteksi dengan latar belakang.

2.3 XBMC

XBMC merupakan sebuah multimedia player terbuka yang

dikembangkan oleh XBMC Foundation, sebuah konsorsium teknologi

non profit. XBMC tersedia untuk beberapa sistem operasi dan platform

hardware.XBMCdapat digunakan untuk memutar video, memutar film,

memutar lagu. Selain itu, XBMC dapat digunakan juga untuk melihat

tayangan film atau video secara streaming. XBMC dapat digunakan

Program Hand Detect dapat dijalankan secara default bersamaan saat

XBMCdijalankan.


30/71

10

Gambar 2.6.XBMC desktop

Gambar 2.6. merupakan tampilan desktop milik XBMC tipe

Eden dimana tipe ini dapat berjalan dengan baik pada sistem operasi

Linuxtipe Ubuntu12.04 .

2.4 Kinect

Kinect didasarkan dari teknologi perangkat lunak yang

dikembangkan secara internal olehRare, anak perusahaan dariMicrosoft

Game Studiosmilik Microsoft, dan teknologi kamera oleh pengembang

Israel, PrimeSense. PrimeSense mengembangkan sistem yang dapat

mengintepretasikan gesture secara spesifik, sehingga kontrol secara

hands-free dapat dilakukan pada perangkat elektronik menggunakan

proyektor infrared dan kamera, serta microchip khusus untuk melacakpergerakan objek dan individu pada bidang tiga dimensi. Sistem 3D

scanner tersebut dinamakan Light Coding yang menggunakan variasi

dari rekonstruksi gambar 3DSensorKinectadalah batang horizontal yang terhubung dengan

alas kecil yang memiliki poros yang dapat berputar.Sensor Kinect

dirancang untuk diletakkan diatas maupun di bawah TV.Perangkat ini

memiliki kameraRGB, sensor kedalaman dan mikrofon yang berjalan di

perangkat software khusus, yang menyediakan kemampuan untuk

menangkap gerak secara 3D, mengenali wajah dan mengenali suara.


31/71

11

Sistem multi-mikrofon pada sensor Kinect memungkinkan Xbox 360

untuk mengurangi suara bising, sehingga kegiatan seperti ngobrol secara

hands-freedapat dilakukan melaluiXbox Live.

Gambar 2.7. TampilanKinect

Gambar 2.7. merupakan gambar Kinect dimana Kinect ini

mempunyai sensor unuk menangkap objek. Kinect tidak hanyamendeteksi objek namun juga dapat menangkap gesture objek dengankedalaman tertentu.

Gambar 2.8.PenampangKinect


32/71

12

Gambar ini merupakan wujud dari penampang Kinect. Kinect

memiliki tiga buah sensor yaitu, sensor proyektor inframerah, sensor

kamera VGA, dan sensor kamera inframerah.

Gambar 2.9. TampilanKinectdanXbox

Secara umum, Microsoft Studios memproduksi dan menjual

Kinect bersamaan dengan Xbox Live. Dan tidak mungkin kita dapat

hanya dapat menggunakan salah satunya saja. Untuk itu dalam Proek

Akhir ini saya meretas driver Kinect agar dapat dioperasikan secara

terpisah denganXboxLive

2.5

CMakeCMake[7] adalah sebuah sistem yang dirancang untuk

mengurangi berbagai masalah dalam membangun logika secara abstraksatu level diatas makefiles. Berupa portable source code, logika dalam

build diekspresikan pada sebuah data CMakeLists.txt yang telah

diterjemahkan oleh CMake menjadi native logic platform dengan

menggunakan generator. Para pengembang kemudian menggunakan

system standar untuk menyempurnakan build dan logika pada umumnya

untuk semuaplatform diekspresikan pada satu kumpulan data build


33/71

13

BAB III

PERANCANGAN DAN PEMBUATAN SISTEM

Bab III membahas mengenai perencanaan sistem untuk hand

gesture controller. Bab ini membahas mengenai dimulainya

perencanaan yang akan diimplementasikan pada bab IV.

3.1 BAHAN DAN ALAT

Pada bagian perencanaan sistem, beberapa alat dan bahan yang

digunakan untuk pembuatan SetTopBox, mencakup perencanaanperangkat keras dan perencanaan perangkat lunak.

3.1.1

Perencanaan Perangkat Keras

Tahap paling awal yang harus dilakukan pada penelitian ini

adalah persiapan peralatan-peralatan yang dibutuhkan dalam sistem,

yaitu sebuah PandaBoard ES dan Kinect. Pada Proyek Akhir ini

digunakanPnadaBoarddanKinectdengan spesifikasi sebagai berikut :

Tabel 3.1. SpesifikasiPandaBoard ES

Deskripsi Spesifikasi

ProcessorDual-core ARM Cortex-A9 MPCore with

Symmetric Multiprocessing (SMP) at 1.2 GHz each

Memory 1 GB low power DDR2 RAM

Graphics

Card

OpenGL ES v2.0, OpenGL ES v1.1, OpenVG v1.1and EGL v1.3 and delivering 2x sustained

performance compared to the previous SGX530 core

Display

HDMI v1.3 Connector (Type A) to drive HD

displays

DVI-D Connector (can drive a 2nd display,

simultaneous display; requires HDMI to DVI-D

adapter)

LCD expansion header DSI Support


34/71

14

Tabel 3.2.SpesifikasiKinect

Deskripsi Spesifikasi

Field of View 57.5H, 43.5V

Resolvable Depth 0.8 m4.0 m

Color Stream

640 x 480 x 24 bpp 4:3 RGB @

30fps

640 x 480 x 16 bpp 4:3 YUV @

15fps

Audio Capture4-mic array returning 48 Hz

audio

Data Path USB 2.0

Latency ~90 ms with processing

3.1.2

Perencanaan Perangkat Lunak

Perangkat lunak yang dibutuhkan dalam sistem ini, adalah :

a. Ubuntu

Sebagai sistem operasi yang dijalankan pada SetTopBox

b. Freenect

Sebagai librarydriverKinectuntuk Ubuntu.c. XBMC

Sebagai multimediaplayer


35/71

15

3.2 PERENCANAAN KERJA

Mekanisme Kerja Sistem

Gambar 3.1. Alur kerja

Gambar 3.1 merupakan mekanisme alur kerja dari Proyek

Akhir saya. Dimulai dengan pembuatan aplikasi KinectMouse lalu

meletakkannya pada Ubuntu yang terdapat d PandaBoard ES.

Kemudian dilanjutkan pada tahap installasi multimedia playerXBMC

pada PandaBoard ES. Kemudian melakukan proses integrasi aplikasi

KinectMouse dengan XBMC dan dilanjutkan dengan tahap pengujiandengan melakukan beberapa eksperimen.

Installasi Ubuntu

padaPandaBoard ES

Aplikasi

KinectMouse

InstallasiXBMCpada

PandaBoard ES

Melakukan integrasi

aplikasiKinectMouse

denganXBMC

Melakukan

Eksperimen


36/71

16

3.2.1 Perancangan Hardware

Dalam pengerjaan Proyek Akhir ini saya menggunakan

beberapa hardwareyaituPandaBoard ES danKinectyang digabungkanmenjadi sebuah alat baru bernama SetTopBox.

Gambar 3.2. Diagram bar mekanisme kerja sistem SetTopBox

Berisi program

HandGestureController

Bisa mengakses

internet

Kinect

Multihub

Power Supply

PandaBoard

MicroSD + ada ter

Kabel HDMI


37/71

17

Pada diagram bar 3.2. tersebut menjelaskan bahwa mekanisme

sistem kerja SetTopBoxini berawal dari PandaBoard ESyang memiliki

beberapa macamportyan telah dijelaskan pada bagian sebelumnya, dansaya hanya menggunakanportHDMI, duaportUSB,portpowersupply,

dan port SDCardsaja dimana nantinyaMicroSDini akan berisi program

HandgestureController.

Gambar 3.3. Diagram bar sistem kerja

Pada diagram bar sistem kerja 3.3 menunjukkan apa saja

platform hardware, sistem operasi, library, aplikasi yang digunakan,

jenis multimediaplayer dan perangkat pendukung yang saya gunakandalam Proyek Akhir ini sehingga memudahkan pembaca dalam

memahami inti dari sistem kerja Proyek Akhir ini.

3.2.1.1

Desain Hardware

Untuk desain hardware dibuat agak berbeda dengan desain

SetTopBoxpada umumnya karena SetTopBox ini memiliki berbagai dua

bagian yang dapat dibongkar pasang layaknya puzzle hal ini bertujuan

untuk memudahkan pemilik SetTopBoxuntuk mengganti bagian tertentu

saja jika ada bagian yang rusak. Semisal jika PandaBoard ES yang

SET-TOP BOX

PandaBoard ES

Linux

Freenect

Hand Gesture

RecognitionVoice Recognition

Kinect

Hardware Platform

O eratin S stem

Library

Application

Television Third Part Tools

XBMC Multimedia Pla er


38/71

18

mengalami kerusakan maka pengguna cukup mengganti PandaBoard

ESnya saja agar tidak terlalu memakan biaya lebih besar.

Jika ditinjau dari sisi peletakkan hardware, PandaBoard ESdiletakkan pada bagian kiri dan Kinect diletakkan pada bagian kanan

dengan asumsi bahwa sensor Kinect menghadap kearah pengguna.

Dimana pada kotak PandaBoard ES terdapat beberapa port yang

tersedia yaitu port SDCard yang berada di bagian depan sehingga

memudahkan pengguna, Hdmi, USB, ethernet, power, audio video yang

berada di bagian belakang agar lebih mudah dihubungkan dengan

televisi dan kotakKinect. Kotak lainnya berisi kabelKinect yang sangat

panjang sehingga untuk membuat tampilan SetTopBox ini lebih rapi,

saya memutuskan untuk membuatkan sebuah wadah tersendiri untuk

membungkus kabel panjang tersebut. Selain berisi kabel, kotak tersebut

juga berisi multihubUSByang berfungsi sebagai port USB tambahan

dikarenakan padaPandaBoard EShanya terdapat duaport USB saja.

Kinect diletakkan pada bagian atas kotak kabel dengan diberi

penyangga dikiri dan kanan agar Kinect dapat terjaga dengan baik.

Posisi Kinect berada pada bagian pojok kiri kotak kabel sehingga

apabila kedua bagian kotak ini disatukan maka Kinect ini akan seolah-

olah berada di tengah. Terdapat tiga kabel keluaran dari kotak kabel

yaitu, kabel power Kinect, kabel USB Kinect, dan kabel multihubUSB.

Untuk kabel USBKinect dan kabel multihub USBdimasukkan ke port

USBPandaBoard ES. Pada desain hardware SetTopBox ini masing-

masing komponen menggunakan kabel power yang berbeda-beda

dikarenakan perbedaan voltase antaraPandaBoard ES denganKinect.

Gambar 3.4. SetTopBoxsetelah digabungkan


39/71

19

Gambar 3.4 tersebut merupakan tampilan SetTopBox tampak

utuh sebelum dilakukan proses pemisahan. SetTopBox ini berisi

PandaBoard ESdanKinect.

Gambar 3.5. SetTopBoxterdiri dari dua bagian yang dapat dipasang

secara portable

Gambar 3.5. merupakan tampilan SetTopBox yang telah

terpisah antara PandaBoard ES dan Kinect. Dimana pemilihan warna

hitam ini menyesuaikan dengan warna Kinectagar tampak lebih serasi

jika dijadikan secara keseluruhan.

3.2.1.2

Desain Cover

Penutup SetTopBox ini dibuat menggunakan kaca akrilik

dengan ketebalan 3 mm dan bewarna hitam, pemilihan warna hitam inididasarkan pada warna Kinect sehingga akan tampak lebih selaras.

Desain penutup SetTopBoxini terbagi menjadi dua bagian dimana pada

masing-masing bagian dibuat rangkanya agar pada proses pemasangan

SetTopBoxini akan lebih mudah.


40/71

20

Gambar 3. 6.Designpenutup SetTopBox

Gambar 3.6. merupakan desain cover dua bagian pada

SetTopBox. Pada bagian pertama merupakan desain SetTopBox untuk

menutupiPandaBoard ESdimana kotak tersebut memiliki tinggi 5,5 cm

dan panjang 11 cm untuk sisi kanan kiri, untuk penutup bagian atas dan

bawah memiliki panjang 13 cm dan lebar 11 cm, dan untuk penutup

depan belakang memiliki panjang 13 cm dan lebar 5,5 cmuntuk kotak

per bagian sehingga memudahkan dalam proses perakitan. Ukuran untuk

tinggi PandaBoard ESsebesar 5,5 cm, maka akan menjadi seperti

gambar 3.7.

Gambar 3.7. Salah satu bagian SetTopBoxyang berisiPandaBoard ES

5,5 cm

5,5 cm

11cm 11

cm

13 cm

5,5 cm

13

cm

5,5 cm

11

cm

13 cm

11cm

11cm

5,5 cm

11

cm

5,5 cm

11

cm

17,5 cm

11cm

17,5 cm

11

cm

5,

5cm

17,5 cm

5,5

cm

17,5 cm

I II

ATAS

DEPAN

BELAKANG

13 cm

11cm


41/71

21

Pada bagian kedua terdapat kotak yang berisi kabelKinect yang

digulung dengan rapi agar dapat menampung semua kabel Kinect yang

panjang selain sebagai tempat kabel, kotak ini juga berisimultihubUSBsebagai port USB tambahan. Seperti yang terlihat pada

gambar dibawah ini bahwa terdapat tiga kabel yang keluar dari kotak

yaitu kabel powerKinect, kabel USB Kinect dan kabel multihub USB.

Gambar 3.8. Salah satu bagian SetTopBoxyang berisiKinect, tempat

kabel dan multihubUSB

Gambar 3.8. merupakan salah satu bagian-bagian dariSetTopBox yaitu kotak yang berisi kabel Kinect. Dimana keluaran dari

kotak tersebut yaitu kabel, power Kinect, kabel USB Kinect, dan kabel

multihubUSB.

Gambar 3.9. Sisi belakang dari salah satu bagian SetTopBoxyang berisi

PandaBoard ES

kabelpower Kinect

kabel USB Kinect

kabel

multihub

USB

port HDMI

portUSB

port powersupply5v


42/71

22

Gambar 3.9. merupakan sisi belakang dari kotak yang melapisi

PandaBoard ESdimana terdapat dua buahport USB, satuportkabel

ethernet, duaportHDMI, dan satuport power supply.

Gambar 3.10. Sisi kanan dari salah satu bagian SetTopBoxyang berisi

PandaBoard ES

Gambar 3.10. merupakan sisi kanan dari kotak PandaBoard ESdimana terdapat satu lubang yang sengaja didesain seperti puzzle agar

dapat dipasang dan dilepaskan kembali ke bagian lain dari SetTopBox.

Gambar 3.11. Sisi kiri dari salah satu bagian SetTopBoxyang berisi

PandaBoard ES

lubang penghubung agar dapatdicopot dan dipasang lagi

PortSDCard


43/71

23

Gambar 3.11 merupakan sisi kiri dari kotak PandaBoardES

dimana pada sisi ini terdapat port SDCard

Gambar 3.12. PenyanggaKinect

Gambar 3.12 merupakan bentuk penyangga Kinect yang

terdapat dipenutup kotak kabel Kinect. Penyangga tersebut berfungsiuntuk menstabilkan Kinect agar Kinect tidak goyah saat pengguna

memindahkan SetTopBox.

3.2.1.3

Penggunaan SetTopBox

SetTopBox ini digunakan pada ruang tamu dan diletakkan

disamping televisi agar dapat langsung dihubungkan oleh kabel HDMI

antara TV dengan port HDMI pada SetTopBox. Dan pengguna dapat

memindahkan kursor pada XBMC dengan menggunakan tangan dan

memilih dengan satu kali klik. Pengguna juga dapat memanfaatkanfasilitas streaming film, video atau lagu yang disediakan oleh XBMC.

SetTopBox ini juga dapat diletakkan diatas televisi karena desainnya

berbentuk kotak dapat diletakkan diatas, disamping atau didepan televisi

pengguna.

Dibuat penyanggaKinect agarKinect

dapat lebih stabil danaman


44/71

24

Gambar 3.13. Diagram penggunaan SetTopBox

Gambar 3.13 merupakan diagram penggunaan SetTopBox

dimana mekanisme sistem kerja SetTopBox ini terdiri dari empat tahap

yaitu, pertama SetTopBox harus disambungkan dengan kabel power.

SetTopBox memiliki dua kabel power yaitu kabel powerKinect dan

kabel power PandaBoard selanjutnya SetTopBox dipasangakan ke

televisi menggunakan kabel HDMI. Setelah Kinectdan lampu indikator

PandaBoard menyala maka pengguna dapat melambaikan tangannya

didepan SetTopBoxdan TV. Tahap ketiga, SetTopBoxakan memproses

pergerakan tangan pengguna dan menjalankan program KMouse. Tahap

selanjutnya, XBMC akan merespon program KMouse dan pengguna

dapat menjalankanXBMCdengan menggunakan tangan mereka.


45/71

25

Gambar 3.14. Contoh penggunaan SetTopBoxpada rung tamu

Gambar 3.14 merupakan penggambaran dari penggunaan

SetTopBox pada rung tamu dimana SetTopBox akan diletakkan

disamping televisi.

3.2.2 Perancangan Software

3.2.2.1

XBMC

Pertama kita download terlebih dahulu aplikasiXBMC. Ketikkan

commandberikut pada terminal :

Setelah selesai, ketikkan command:

Langkah terakhir, installXBMCdengan command:

Untuk menjalankan aplikasiXBMC dengan command :

Gambar 3.15. Perintah untuk melakukan installasiXBMC

sudo add-apt-repository ppa:team-XBMC/ppa

sudo apt-get update

sudo apt-get install XBMC

XBMC


46/71

26

Gambar 3.16.XBMC

Gambar 3.16 merupakan tampilan dari desktop XBMCdimanaXBMCmerupakan opensourcemultimediaplayeryang dapat dijalankan

pada multi platformtermasuk Ubuntu12.04

Gambar 3. 17.SaatXBMCdijalankan melalui terminal


47/71

27

Gambar 3.17 merupakan contoh saat XBMC dijalankan pada

Ubuntu 12.04 yang telah saya lakukan pada komputer. Selain

menjalankan XBMC dilakukan pula percobaan terhadap deteksi Kinectpada objek yang diintegrasikan padaXBMC.

3.2.2.2

DriverKinect

1 Untuk melakukan proses installasi driver kinect pada Ubuntudibutuhkan beberapa alat yaitu :-

Kinect

- Laptop/PC yang telah terinstalLinuxUbuntu12.04

-

Modem/Koneksi internet.

2 KoneksikanKinectpada usb yang telah tersedia di laptop/PCkemudian tambahkan repository di Ubuntu12.04 melalui

terminal. Perintahnya sebagai berikut :

3

Kemudian update repository :

4 Setelah itu install beberapa paket libFreenectagarKinectdapat

terbaca oleh sistemLinux. Perintahnya sebagai berikut :

5 Setelah terinstall kemudian tambahkan username pada program

OpenKinect:

Command $USERganti dengan nama user Anda.

6 Setelah itu jalankan aplikasi pendeteksi camera OpenKinect:

Gambar 3.18. Cara installasi driverKinect

$ sudo add-apt-repository ppa:floe/libtisch

$ sudo apt-get update

$ sudo apt-get install libFreenect

libFreenect-dev libFreenect-demos

$ sudo adduser $USER video

$ sudoFreenect-glview


48/71

28

Gambar 3.19. Tampilan saat sukses menjalankan driverKinectpada

komputer

Gambar 3.19 merupakan tampilan saat saya berhasil meretas

driverKinect pada komputer. Dikarenakan secara defaultKinect tidakdapat berjalan pada deviceapapun jika tidak dipasangkan bersamaXbox.

Gambar 3.20. Tampilan saat sukses menjalankan driver Kinectpada

LCD TV


49/71

29

Pada gambar 3.20 menunjukkan bahwa driverKinect dapat

dijalankan di televisi tanpa menggunakanXboxLive

3.2.2.3

Ubuntupada PandaBoard ES

Hal-hal yang harus dipersiapkan sebelum melakukan proses installasi

UbuntupadaPandaBoard ES yaitu :1.

PandaBoard ES

Gambar 3.21.PandaBoard ES

2. 5Vpowersupply

Gambar 3.22. Kabelpower5V

3. Kabel ethernetRJ45

Gambar 3.23. KabelEthernet


50/71

30

4.

8 GBMicroSD/SDCard

Gambar 3.24.MicroSD

5. KabelHDMI

Gambar 3.25. KabelHDMI

6. Multi Hub USB

Gambar 3.26.Multihub USB


51/71

31

7. Ubuntubinary untukPandaBoard ES

Gambar 3.27. Ubuntu binaryuntukPandaBoard ES

Gambar 3.27 merupakan contoh kumpulan dari binary

PandaBoard ES yang digunakan sebagai repository untuk melakukan

segala installasi yang terkait.

8. PC/laptop dengan sistem operasiLinux

Langkah-langkah melakukan installasi Ubuntu pada PandaBoard

ES:

1 Download Ubuntu untuk OMAP4 melalui link :

http://cdimage.Ubuntu.com/releases/12.04/release/Ubuntu-12.04-

preinstalLED-desktop-armhf+omap4.img.gz

2 Masukkan MicroSD pada komputer yang telah menggunakan sisitemoperasi Ubuntu. Lalu buka terminal dan jalankan perintah

Gambar 3.28. Perintah untuk melakukan mount

Pada gambar 3.28 merupakan perintah melakukan mountuntuk

melihat isi direktori.

sudo mount

deb http://ports.Ubuntu.com/Ubuntu-ports/

precise universe multiverse


precise-updates universe multiverse


precise-security universe multiverse

deb http://ppa.launchpad.net/tiomap-

dev/release/Ubuntuprecise main

deb-src http://ppa.launchpad.net/tiomap-

dev/release/Ubuntuprecise main
http://cdimage.ubuntu.com/releases/12.04/release/Ubuntu-12.04-preinstalLED-desktop-armhf+omap4.img.gzhttp://cdimage.ubuntu.com/releases/12.04/release/Ubuntu-12.04-preinstalLED-desktop-armhf+omap4.img.gzhttp://cdimage.ubuntu.com/releases/12.04/release/Ubuntu-12.04-preinstalLED-desktop-armhf+omap4.img.gzhttp://cdimage.ubuntu.com/releases/12.04/release/Ubuntu-12.04-preinstalLED-desktop-armhf+omap4.img.gzhttp://cdimage.ubuntu.com/releases/12.04/release/Ubuntu-12.04-preinstalLED-desktop-armhf+omap4.img.gzhttp://cdimage.ubuntu.com/releases/12.04/release/Ubuntu-12.04-preinstalLED-desktop-armhf+omap4.img.gzhttp://cdimage.ubuntu.com/releases/12.04/release/Ubuntu-12.04-preinstalLED-desktop-armhf+omap4.img.gzhttp://cdimage.ubuntu.com/releases/12.04/release/Ubuntu-12.04-preinstalLED-desktop-armhf+omap4.img.gzhttp://cdimage.ubuntu.com/releases/12.04/release/Ubuntu-12.04-preinstalLED-desktop-armhf+omap4.img.gzhttp://cdimage.ubuntu.com/releases/12.04/release/Ubuntu-12.04-preinstalLED-desktop-armhf+omap4.img.gzhttp://cdimage.ubuntu.com/releases/12.04/release/Ubuntu-12.04-preinstalLED-desktop-armhf+omap4.img.gz


52/71

32

Gambar 3.29. Cara melihat letak devicepada terminal Ubuntu

Pada gambar 3.29 merupakan perintah untuk melihat tata letak

devicedi terminal pada sistem operasi Ubuntu.

Untuk melihat letak deviceMicroSDAnda berada dimana.

Contoh : /dev/sdb1

3

Lakukan perintah sudo umount

Gambar 3. 30. Melakukan perintah umount

Pada gambar 3.30 merupakan perintah untuk melakukan

umountyaitu untuk melepaskan deviceyang kita pilih

4

Gunzip cdimage Ubuntuyang sebelumnya telah didownload dengan

perintah

Gambar 3.31. Perintah untuk melakukan extrakfile

5

Lalu install image pada MicroSD dengan perintah

Gambar 3. 32. Perintah melakukan install imagepadaMicroSD

sudo dd bs=4M if=Ubuntu-12.04-

preinstalLED-desktop-armhf+omap4.img

of=/dev/sdb

gunzip Ubuntu-12.04-preinstalLED-desktop-armhf+omap4.img.gz


53/71

33

6 Hubungkan kabel HDMI pada port PandaBoard ES dengan port

HDMI di monitor, hubungkan kabel usb keyboard dan Mousepada

port USB PandaBoard ES, hubungkan kabel ethernet dengan portLAN Ethernet pada PandaBoard ES dan masukkan MicroSD yang

telah terinstall Ubuntu pada port SDCard PandaBoard ES setelah

semua terpasang maka hubungkan kabel power 5V pada

PandaBoard ES.

Pada gambar 3.33 menunjukkan gambar rangkaian

PandaBoard ES beserta port yang tersambung dan berkaitan dengan

proses installasi Ubuntu12.04.

7. Pilih mode inputHDMIpada monitor

8. Lalu ikuti proses installasi Ubuntuyang tertera

Gambar 3.34. Proses bootingUbuntumenggunakanPandaBoard ES

Gambar 3.33.PandaBoard ESdan perangkat pendukung

installasi


54/71

34

Pada gambar 3.34 merupakan tampilanDesktop saat proses

booting Ubuntu menggunakanPandaBoard ES.

Gambar 3.35. Proses installasi Ubuntu DesktoppadaPandaBoard ES

Pada gambar 3.35 menunjukkan proses installasi Ubuntu12.04

yang telah saya lakukan padaPandaBoard ES

9.

Setelah selesai, update Ubuntuyang telah terinstal dengan perintah :

Gambar 3.36. Perintah yang dijalankan setelah installasi

Pada gambar 3.36 merupakan perintah yang harus dijalankan

saat proses installasi Ubuntutelah selesai dilakukan.

sudo add-apt-repository ppa:tiomap-dev/release

sudo-apt-get update

sudo apt-get dist-upgrade


55/71

35

3.2.2.4 KMouse

ProgramKinectMouse membutuhkan beberapa library yaitu :

1.

libFreenect2.

libx11-dev

3. libxtst-dev

4. freeglut3-dev

5. libxm-dev

Untuk melakukan compile program lakukan langkah-langkah

sebagai berikut :

1.

Download program hand recognitionpadahttps://github.com/Ooblik/Kinect-Mouse

2. Buka terminal dan arahkan ke direktoriKinect-Mouse3.

Lalu buat direktori dengan perintah :

Gambar 3.37. Perintah untuk membuat folder

Pada gambar 3.37 merupakan perintah untuk membuat suatufolder pada Ubuntu

.

4. Selanjutnya masuk ke direktori build

Gambar 3.38. Perintah untuk masuk ke direktori build

Pada gambar 3.38 merupakan perintah untuk masuk kedirektoriyang dipilih.

5. Lalu compile program dengan cara :

Gambar 3.39. Perintah melakukan proses compile

mkdir build

cd build

cmake ..make


56/71

36

Pada gambar 3.39 adalah perintah untuk melakukan compile

yaitu dengan cmakedan make

6.

Setelah itu akan akan muncul program file KMousedan

jalankan program tersebut dengan cara :

Gambar 3.40. Perintah untuk menjalankan programKMouse

Pada gambar 3.40 merupakan perintah untuk menjalankan

program hand gesture controller dengan menambahkan perintah ./diikuti dengan nama aplikasi yang telah dibuat sebelumnya.

Pada gambar 3.41 merupakan screenshoot perintah untuk

menjalankan program KMousedi terminal. Pada Proyek Akhir ini saya

meletakkan program KMouse pada Desktopagar mempermudah dalam

pencarian. Untuk itu digunakan perintah lsuntuk melakukan

perintah list atau untuk memunculkan direktoriapa saja yang tersedia.

Lalu dilanjutkan dengan menggunakan perintah cd Desktop untuk

masuk kedalam direktori Desktop. Selanjutnya masuk ke folder kinect

./kMouse

Gambar 3.41. Perintah untuk menjalankan programKMouse di terminal


57/71

37

dengan menggunakan perintahcd kinect.Masuk ke direktori

build dengan perintah cd build dan jalankan program kmouse

yang berwarna hijau, hal ini menandakan bahwa kmouse merupakansebuah aplikasi yang berhasil mengalami proses compile. Jalankan

program tersebut dengan cara ./kmouse sehingga kinect akan

mendeteksi tangan pengguna dan kursor dapat digerakkan oleh tangan

pengguna.

Gambar 3.42. Menjalankan programKinect Mouse

Pada gambar 3.42 merupakan contoh penggunaan program

KMouse yang telah dilakukan pada komputer. Untuk dapat melakukan

deteksi objek maka dibutuhkan library khusus yang berkaitan dengan

Kinect yaitu libfreenectdan sebelumnya dimasukkan kedalam programkinect_mouse.c agar Kinect mampu menangkap gambar objek tanpa

menggunakanXbox

Gambar 3.43.Libfreenect

Source codedeteksi objek seperti pada gambar 3. 44 digunakanuntuk mengetahui kedalaman dimana seberapa dekat objek dengan

sensor Kinect sehingga pada jarak tertentu sensor tersebut dapat

mendeteksi adanya pergerakan objek.


58/71

38

Gambar 3.44. Source codedeteksi objek


59/71

39

Pada gambar 3. 44 merupakan screenshoot source code untuk

mendeteksi kedalaman dan jarak antara objek denganKinectdan dengan

parameter tersebut ditandai dengan perubahan warna.

Untuk melakukan perintah klik atau pilih maka kita harus diam

sejenak selama 15 detik sesuai dengansource codepada gambar 3.45 :

Gambar 3.45. Source codeklik

Berikut adalah tampilan programKMousesaat dijalankan pada terminal:

Berdasarkan gambar 3.46 dapat diketahui bahwa parameter

tangan pengguna dapat terdeteksi oleh Kinect yaitu ditandai dengan

warna merah. Jika tangan sudah terdeteksi maka kursor dapat dijalankan

oleh tangan pengguna.

Gambar 3.46. Hasil programKMouse


60/71

40

3.2.2.5 Startup Application

Pada gambar 3.47 menunjukkan aplikasi StartupApplicationdimana aplikasi tersebut mampu memunculkan XBMC secara otomatis

saat Ubuntudinyalakan.

3.2.3

Pengintegrasian

Proses selanjutnya yaitu integrasi antarasoftware dan hardware

yang telah dibuat terlebih dahulu pada bab sebelumnya sehinggamenghasilkan XBMC yang dapat dijalankan menggunakan tangan

pengguna dengan program KMouse, selain itu untuk memilih menu

cukup diam beberapa detik saja.

Gambar 3.47. Startup Application


61/71

41

Gambar 3.48. Contoh pengaplikasian SetTopBox

Pada gambar 3.48 merupakan contoh pengaplikasian

SetTopBox yang telah diitegrasikan dengan multimediaplayer.

Pada gambar 3.49 merupakan screenshoot dari program

KMouse yang telah diintegrasikan dengan XBMC dan diterapkan pada

televisi.

Gambar 3.49. Integrasi programKMousepadaXBMC


62/71

42

3.3

TEMPAT DAN WAKTUPenelitian dan pengujian rekayasa teknologi fitur hand gesture

pada Smart TVdilakukan pada :

1.

Tempat : Penelitian dan pengerjaan proyek akhir di

laboratorium broadcasting studio, lantai 3 Gedung

D3, laboratorium ER2C, lantai 1 gedung D3

Politeknik Elektronika Negeri Surabaya

2. Waktu : Januari 2014-Juli 2014


63/71

43

BAB IV

PENGUJIAN DAN ANALISA

Pada bab ini akan dilakukan pengujian dan analisa terhadap

SetTopBoxyang telah dirancang dan dibuat pada bab sebelumnya. Untuk

tahap-tahap pengujian yang akan dilakukan adalah sebagai berikut :

1) Pengujian jarakKinectdengan pengguna

2) Pengujian waktu diam berhenti beberapa saat untuk

melakukan perintah klik.

3) Pengujian kekuatanPandaBoard ES

4.1

PENGUJIAN JARAK KINECT

Pengujian jarak ini bertujuan untuk mencari tahu berapa jarak

minimal dan berapa jarak maksimal yang dapat ditangkap oleh

Kinect.Pada pengujian ini saya mengambil data pengujian dengan jarak

terdekat antara Kinectdengan tangan pengguna yaitu 10 cm sampai

dengan jarak terjauh yaitu 2 meter. Berikut adalah salah satu contoh

pengujian dengan jarak antaraKinect dengan tangan pengguna yaitu 75

cm :

Gambar 4.1. Jarak 75 cm dariKinect


64/71

44

Berdasarkan gambar 4.1 hasil pengujian pada jarak 75 cm

antara Kinect dengan tangan pengguna menunjukkan bahwa tingkat

kesensitifitasanKinectdalam merespon objek sangat baik.

Berdasarkan gambar 4.2 hasil pengujian pada jarak 1 meter

antara Kinect dengan tangan pengguna menunjukkan bahwa tingkat

kesensitifitasan Kinect dalam merespon objek tidak begitu baik atau

dapat dikatakanKinecttidak mendeteksi objek.

Pada pengujian ini saya melakukan 19 kali pengujian jarak

dengan intensitas cahaya yang berbeda antara Kinect dengan objek.

Berikut data yang saya dapatkan untuk menentukan kinerja yang optimal

dari peletakan SetTopBox. Data hasil pengujian jarak terdapat pada tabel

4.1 :

Tabel 4.1. Data hasil pengujian jarak

JARAK KETERANGAN

10 cm Tidak terdeteksi

15 cm Tidak Terdeteksi

Gambar 4.2. Jarak 1 meter


65/71

45

JARAK KETERANGAN



30 cm Terdeteksi namun tidak stabil

35 cm Terdeteksi

40 cm Terdeteksi

45 cm Terdeteksi

50 cm Terdeteksi

55 cm Terdeteksi

60 cm Terdeteksi

65 cm Terdeteksi

70 cm Terdeteksi

75 cm Terdeteksi




66/71

46

JARAK KETERANGAN

1 m Tidak terdeteksi

1.5 m Tidak terdeteksi

2 m Tidak terdeteksi

Berdasarkan hasil pengujian jarak yang telah saya lakukanmenunjukkan bahwa intensitas cahaya tidak mempengaruhi Kinect

dalam membaca program Kinect Mousedan jarak yang dapat dideteksi

olehKinect.

Tabel 4.2. Hasil pengujian jarak

Deskripsi Nilai

Jarak minimal 50 cm

Jarak Maksimal 75 cm

Jarak Optimal 55-75

cm

Dari hasil pengujian pada tabel 4.2 tersebut menandakan bahwa

sensor Kinecttidak dapat mendeteksi pergerakan manusia diatas 75 cm

dan dibawah 30 cm dimana jarak optimal bagi Kinect mendeteksi

pergerakan tangan yaitu pada jarak 55 hingga 75 cm. Hal itu disebabkan

karena keterbatasanPandaBoard ESdan library libfreenect.


67/71

47

4.2 PENGUJIAN WAKTU BERHENTI

Pada sub bab ini akan dilakukan pengujian dan analisa terhadap

programKMouse yang telah dirancang dan dibuat pada bab sebelumnya.Pengujian waktu berhenti ini bertujuan untuk mengetahui kekuatan

PandaBoard ES ketika menjalankan program KinectMouse. Data hasil

pengujian waktu terdapat pada tabel 4.3 :

Tabel 4.3. Data hasil pengujian waktu

WAKTU KETERANGAN

5 detik Tidak merespon

10 detik Merespon namun sangat jarang terjadi

15 detik Tidak merespon

20 detik Merespon

25 detik Merespon

30 detik Merespon

Berdasarkan hasil pengujian program KMouse terhadap waktu

untuk mengetahui kecepatan Kinectdalam merespon perintah program

Kinect Mouse menunjukkan bahwa Kinect yang dipasangkan pada

PandaBoard ES mengalami delay waktu 10 detik daripada saat Kinectdipasangkan dengan komputer/PC. Hal tersebut dikarenakan kapasitasmemoriPandaBoard ESyang tidak terlalu besar yaitu 1 GHz.

4.3

Pengujian kekuatan PandaBoard ES

Pada sub bab ini akan dilakukan pengujian dan analisa

terhadapPandaBoard ES yang telah dirancang dan dibuat pada bab

sebelumnya. Pengujian PandaBoard ESini merupakan pengujian untukmengetahui berapa lama PandaBoard ES yang telah teinstall Ubuntu


68/71

48

dan XBMC mampu berjalan dengan baik dan tidak mati mendadak.

Dalam pengujian ini saya menggunakan dua metode yaitu, memutar

lagu dan menjalankan program KMouse. Data hasil pengujian kekuatanPandaBoard ES terdapat pada tabel 4.4. :

Tabel 4.4. Hasil pengujian kekuatanPandaBoard ES

Durasi Keterangan

Memutar lagu 1 jam Baik

Menjalankan programKMouse

15 menit Mati

Berdasarkan hasil pengujian diatas menandakan bahwa

PandaBoard ESakan berjalan normal ketika digunakan untuk memutar

lagu di XBMC namun PandaBoard ES akan mati mendadak apabila

manjalankan program KMouse terlalu lama dalam pengujian ini yaitu

selama 15 menit. Hal tersebut menandakan program KMouse kurang

dapat berjalan stabil padaPandaBoard ES.


69/71

49

BAB V

PENUTUP

5.1 KESIMPULAN

Pada bagian ini akan diulas kesimpulan dari seluruh proses

rekayasa teknologi salah satu fitur Smart TV yaitu hand gesture

controlling yang akan diterapkan pada salah satu open source

multimedia player yaitu XBMC. Berikut beberapa kesimpulan yang

dapat diambil dari proses rekayasa teknologi salah satu fitur Smart TV

yaitu :

1. SetTopBox mampu mendeteksi tangan pengguna dengan jarak

terdekat sejauh 30 cm dan jarak terjauhnya yaitu 75 cm.

2.

PandaBoard EStidak cukup cepat dalam merespon pergerakan

tangan pengguna dikarenakan memori yang tersemat hanya 1

GHz.

3. Kinect dapat dipergunakan tanpa harus menggunakan

XboxLive.

4.

Dengan menggunakan SetTopBox seharga Rp 3.500.00,00

pengguna dapat meningkatkan fitur hand gesture controller

padaLED/LCDdi rumah mereka tanpa harus membeli SmartTv

yang memiliki fitur serupa dengan harga Rp 27.499.000,00

milik SAMSUNG - LED TV F8000 SERIES[8].

5.2

SARAN

Berikut beberapa saran yang diperoleh dari proses rekayasa

teknologi salah satu fitur Smart TV yaitu hand gesture controller yang

akan diterapkan pada salah satu open source multimedia player

XBMC.yaitu:

1.

Menggunakan boardjenis lain karena kestabilanPandaBoard

ES masih lemah.

2. Menambahkan beberapa jenis gerakan tangan

3. Mampu menstabilkan programKMousepadaPandaBoard ES


70/71

50

DAFTAR PUSTAKA

[1] http://www.samsung.com/id/consumer/tv-audio-

video/television/led-tv/UA55F8000AMPXD. Diakses pada tanggal

11 Juli 2014

[1] Wikipedia. SMART TV; ensiklopedia bebas,

(http://en.wikipedia.org/wiki/Smart_TV); diakses pada 20 Januari

2014

[2] http://PandaBoard ES.org/. Diakses pada tanggal 11 Juli 2014

[3] http://www.xbox.com/en-US/kinect. Diakses pada tanggal 11 Juli

2014[4] http://xbmc.org/. Diakses pada tanggal 11 Juli 2014

[5] http://PandaBoard ES.org/content/ubuntu-PandaBoard ES.

Diakses pada tanggal 11 Juli 2014

[6] Freeman, W. T., & Roth, M. (1994). Orientation Histograms for

Hand Gesture Recognition.MITSUBISHI ELECTRIC

RESEARCH LABORATORIES.

[7] Yapp, C. (2011). A CMake-Based Cross Platform Build System for

Tcl/Tk. Quantum Research International Inc., 1.

[8] https://www.hartonoelektronika.com. Diakses pada tanggal 19 Juli2014


71/71

51

DAFTAR RIWAYAT HIDUP

Nama : Luthfia Witanti

TTL : Surabaya, 22 April 1993

Alamat : Perum Tawangsari Permai Blok A-70 Taman Sidoarjo

Telp : 085730811315Hobi : Desain, berenang, main game

E-mail : [email protected]

Motto : Tidak ada yang tidak mungkin jika Allah telah berkehendak

jadi jangan cepat putus asa

Riwayat pendidikan formal yang pernah ditempuh:

19992005 : SDN Tawangsari III

20052008 : SMP Negeri 1 Taman

20082011 : SMA Negeri 15 Surabaya2011Sekarang : Politeknik Elektronika Negeri Surabaya (PENS)

Jurusan Teknik Multimedia Broadcasting

Penulis telah mengikuti Seminar Proyek Akhir pada tanggal 15-16 Juli

2014, sebagai salah satu persyaratan untuk memperoleh gelar Ahli

Madya (AMd).

Development Of Hand Gesture Controller For Multimedia Player

Documents

Transcript of Development Of Hand Gesture Controller For Multimedia Player