48316906 Materi Pertemuan 2 Pendahuluan Gudang Data
description
Transcript of 48316906 Materi Pertemuan 2 Pendahuluan Gudang Data
GUDANG DATAGUDANG DATA( DATA WAREHOUSE)( DATA WAREHOUSE)
Disusun oleh : Disusun oleh : Ridowati GRidowati G
T.Informatika T.Informatika –– USD YogyakartaUSD Yogyakarta
PENGERTIAN DWPENGERTIAN DW
MenurutMenurut InmonInmon ::SekumpulanSekumpulan data yang data yang terintegrasiterintegrasi, basis , basis data yang data yang berorientasiberorientasi subyeksubyek yang yang didisaindidisain untukuntuk mendukungmendukung fungsifungsi sistemsistempengambilanpengambilan keputusankeputusan, , dimanadimana setiapsetiapunit unit daridari data data adalahadalah nonnon--volatile volatile dandanrelevanrelevan untukuntuk waktuwaktu tertentutertentu
PengertianPengertian ((lanjutanlanjutan))
TempatTempat penampunganpenampungan (repository (repository atauatauarchievearchieve) ) informasiinformasi yang yang dikumpulkandikumpulkan daridaribeberapabeberapa sumbersumber data, data, kemudiankemudiandisimpandisimpan dalamdalam strukturstruktur yang yang terintegrasiterintegrasi, , padapada satusatu tempattempat. Data . Data ygyg disimpandisimpannantinyanantinya digunakandigunakan untukuntuk pengambilanpengambilankeputusankeputusan
PengertianPengertian
Pengertian secara singkat dari gudang Pengertian secara singkat dari gudang data berdasarkan proses kerjanya adalah:data berdasarkan proses kerjanya adalah:““Proses pengambilan,pembersihan dan Proses pengambilan,pembersihan dan penyesuaian data dari berbagai sumber penyesuaian data dari berbagai sumber data OLTP ke sistem data OLAPdata OLTP ke sistem data OLAP””
AsumsiAsumsi
DW DW secarasecara fisikfisik terpisahterpisah daridari seluruhseluruhkegiatankegiatan operasionaloperasional sistemsistem..DW DW mempertahankanmempertahankan data data agregatagregat dandandata data transaksitransaksi (data atomic) yang (data atomic) yang manajemennyamanajemennya terpisahterpisah daridari database database yang yang digunakandigunakan untukuntuk OLTP.OLTP.
KeuntunganKeuntungan daridari gudanggudang datadata
MeningkatkanMeningkatkan produktifitasproduktifitas pengetahuanpengetahuan parapara pekerjapekerja..MendukungMendukung seluruhseluruh data yang data yang diperlukandiperlukan oleholehpengambilpengambil keputusankeputusanMenyediakanMenyediakan data data penting yangpenting yang siapsiap diaksesdiaksesMelindungiMelindungi operasioperasi basis data basis data daridari prosesproses ad hock.ad hock.MenyediakanMenyediakan ringkasanringkasan informasiinformasi untukuntuk level level tingkattingkattinggitinggiMenyediakanMenyediakan kemampuankemampuan untukuntuk penelusuranpenelusuran informasiinformasilebihlebih dalamdalam..
KeuntunganKeuntungan ((lanjlanj..)..)
MenyediakanMenyediakan tempattempat untukuntukmengkombinasikanmengkombinasikan data data ygyg bersangkutanbersangkutandgndgn sumbersumber sumbersumber terpisahterpisah..EksplorasiEksplorasi data data menjadimenjadi lebihlebih mudahmudahuntukuntuk dilakukandilakukan..
HasilHasil diperolehdiperoleh daridari gudanggudangdata :data :
MeningkatkanMeningkatkan pengetahuanpengetahuan bisnisbisnis..MampuMampu melakukanmelakukan persainganpersaingan bisnisbisnisbahkanbahkan menjadimenjadi pemimpinpemimpin bisnisbisnis..MempertinggiMempertinggi servisservis dandan kepuasankepuasanpelangganpelangganMemberikanMemberikan fasilitasfasilitas pembuatanpembuatankeputusankeputusanMembantuMembantu mempersingkatmempersingkat prosesproses bisnisbisnis..
GudangGudang data data digunakandigunakan untukuntukorganisasiorganisasi yangyang ::
DatanyaDatanya disimpandisimpan dalamdalam sistemsistem yang yang berbedaberbedaPendekatanPendekatan yang yang digunakandigunakan oleholeh manajemenmanajemenadalahadalah berdasarkanberdasarkan informasiinformasi..MemilikiMemiliki data data besarbesar dengandengan bermacambermacam--macammacamjenisjenis penggunapenggunaMemilikiMemiliki data yang data yang samasama dengandengan representasirepresentasiberbedaberbeda dalamdalam sistemsistem yang yang berbedaberbeda..Format data yang Format data yang tidaktidak beraturanberaturan..
KomponenKomponen daridari GudangGudang DataData
PenyimpananPenyimpanan DataDataData Mart (Data Data Mart (Data PasarPasar))MetadataMetadataSistemSistem pendukungpendukung keputusankeputusan dandan sistemsisteminformasiinformasi eksekutifeksekutif..
Penyimpanandata
operasional
Gudang Data
Data Pasar
Metadata
Sistem Legal Gudang Data Personal
LegendTranformasi DataData ExpectedData Optional
Gambar: Aliran Data dan Komponen Gudang Data
KarakteristikKarakteristik UtamaUtama
Karakteristik DeskripsiSubject Oriented Datta diorganisasikan sesuai dengan kebutuhan user
Integrated Menghilangkan kerancuan dalam hal penamaan dan nilaiinformasinya
Nonvolatile Data yang disimpan dalam format read only dan tidak dapat diubaholeh user
Time Variant Data dalam rangkaian waktu, bukan data hanya pada saat tertentu
Summarized Data Operasioal dikumpulkan (diringkas) kemudian dimapping kedalam format untuk pengambilan keputusan
Large Volume Ukuran datanya besar karena pemeliharaan data yang dari waktu kewaktu
Not normalized Data dapat redundant
Metadata Data mengenai data yang disimpan untuk user dan personil gudangdata
Data sources Data berasal dari sumber internal maupun eksternal
MetadataMetadata
Chain of abstraction Chain of abstraction ContohContoh : Sofa. Sofa : Sofa. Sofa terdiriterdiri daridari …………..
AbstraksiAbstraksi sederhanasederhana daridari sebuahsebuah data.data.DW DW tanpatanpa metadata ? metadata ? MungkinkahMungkinkah ????Data Data tanpatanpa metadata metadata menjadimenjadi tidaktidak berartiberartiContohContoh::
62465652 78723 82390 2399213 92392362465652 78723 82390 2399213 923923SebuahSebuah perusahaanperusahaan X X melaporkanmelaporkan padapada 9/12/1999 9/12/1999 bahwabahwa pasarpasarperalatanperalatan mesinmesin didi Asia Asia meningkatmeningkat 33 33 persenpersen..PerusahaanPerusahaan marketing sport yang marketing sport yang terdepanterdepan : IMG 45 : IMG 45 persenpersen, , SportStarSportStar 33 33 persenpersen, Legends 16 , Legends 16 persenpersen..
Format DataFormat Data
KonsepKonsep normalisasinormalisasi data data dlmdlm sistemsistemtransaksionaltransaksional yang tersimpan databaseyang tersimpan databaserelasional merupakan hal yang harus dilakukan,relasional merupakan hal yang harus dilakukan,tetapitetapi tidaktidak untuk gudanguntuk gudang data.data.DalamDalam sistemsistem transaksionaltransaksional perhatianperhatian utamautamaadalahadalah mengeliminasimengeliminasi redundansiredundansiFilosofiFilosofi dwdw adalahadalah mengaturmengatur data data shgshg mudahmudahdigunakandigunakan dandan dapatdapat diperolehdiperoleh kembalikembali dgndgncepatcepat. . RedudansiRedudansi sangatsangat dibenarkandibenarkan..
3 3 JenisJenis GudangGudang DataData
1.1. GudangGudang data virtual. data virtual. Membiarkan pemakai untuk melakukan akses Membiarkan pemakai untuk melakukan akses secara langsung ke dalam data operasional. secara langsung ke dalam data operasional. Disini gudang data bersifat virtual, tidak real. Disini gudang data bersifat virtual, tidak real. Gudang data virtual biasanya digunakan untuk Gudang data virtual biasanya digunakan untuk memperkecil biaya operasional dan biasnaya memperkecil biaya operasional dan biasnaya untuk mengetahui data apa yang sebenarnya untuk mengetahui data apa yang sebenarnya dicari oleh pemakai.dicari oleh pemakai.
3 Jenis Gudang Data3 Jenis Gudang Data
2.2. Gudang data terpusatGudang data terpusatSebuah penyimpanan fisik basis data tunggal Sebuah penyimpanan fisik basis data tunggal yang berisi seluruh data untuk suatu area yang berisi seluruh data untuk suatu area fungsi tertentu, departement atau divisi. fungsi tertentu, departement atau divisi. Gudang data terpusat ini biasanya dipilih jika Gudang data terpusat ini biasanya dipilih jika ada data yang dibutuhkan secara umum dan ada data yang dibutuhkan secara umum dan ada sejumlah pemakai yang telah siap ada sejumlah pemakai yang telah siap terhubung melalui jaringan computer. terhubung melalui jaringan computer. Data yang disimpan dalam gudang data ada Data yang disimpan dalam gudang data ada secara fisik dan diakses dari suatu tempat dan secara fisik dan diakses dari suatu tempat dan harus selalu dipelihara.harus selalu dipelihara.
3 Jenis Gudang Data3 Jenis Gudang Data
3.3. Gudang data terdistribusiGudang data terdistribusiSesuai dengan namanya, komponenSesuai dengan namanya, komponen--komponen dari gudang data terdistribusi komponen dari gudang data terdistribusi melalui sejumlah penyimpanan fisik basis melalui sejumlah penyimpanan fisik basis data.data.
LangkahLangkah PembuatanPembuatan DWDW
DisainDisain gudanggudang data data terlebihterlebih dahuludahulu..LakukanLakukan prosesproses ‘‘cleaningcleaning’’ dandanditransformasikanditransformasikan..HasilHasil pembersihanpembersihan dandan transformasitransformasidisimpandisimpan dalamdalam gudanggudang datadataData yang Data yang disimpandisimpan dalamdalam gudanggudang data data diperbaharuidiperbaharui secarasecara periodikperiodik
ETL (Extract,Transform,Load)ETL (Extract,Transform,Load)
Kemampuan yang perlu dimiliki oleh DW:Kemampuan yang perlu dimiliki oleh DW:Membaca dari dan mengirim data ke berbagai sumber (file Membaca dari dan mengirim data ke berbagai sumber (file teks,Excel,database relasional dsb)teks,Excel,database relasional dsb)Mampu menyesuaikan / transformasi dataMampu menyesuaikan / transformasi dataMemiliki informasi metadata dalam setiap perjalanan Memiliki informasi metadata dalam setiap perjalanan transformasinyatransformasinyaMemiliki audit log yang baikMemiliki audit log yang baikDapat meningkatkan performanya dengan scale up dan scale outDapat meningkatkan performanya dengan scale up dan scale outMudah diimplementasikanMudah diimplementasikan
PROSES diatas dibagi dalam 3 proses besar yaitu ETLPROSES diatas dibagi dalam 3 proses besar yaitu ETL
Sistem Kerja Data WarehouseSistem Kerja Data Warehouse
Database
Data Warehouse
Dokumen Text / Excel
Mapping Data
VendorUser
SKEMABintang
DatabaseOLAP
Mapping Data
IT
The Seven Deadly Sins of Data The Seven Deadly Sins of Data Warehouse Implementation Warehouse Implementation
(Denis (Denis KozarKozar, 1997), 1997)PadaPada saatsaat membangunmembangun gudanggudang data, data data, data akanakan datangdatangKesalahanKesalahan dalamdalam membuatmembuat kerangkakerangka arsitekturarsitektur gudanggudang datadataKetidakmampuanKetidakmampuan dalamdalam menyusunmenyusun asumsiasumsiKesalahanKesalahan dalamdalam penentuanpenentuan metodologimetodologi dandan peralatanperalatan yang yang digunakandigunakanKesalahanKesalahan dalamdalam siklussiklus hiduphidup gudanggudang datadataKecenderunganKecenderungan dalamdalam membatalkanmembatalkan data yang data yang mengandungmengandungperbedaanperbedaan..MenggagalkanMenggagalkan dokumendokumen yang yang mengandungmengandung kesalahankesalahan padapadasaatsaat membuatmembuat project DW project DW pertamapertama kali.kali.
TIM TIM GudangGudang DataDataDatabase designer Orang yang membangun dan merancang gudang
data
Data Modeller Orang yang mengintegrasikan gudang data yang baru dengan yang sudah data
Developer Orang yang menempatkan integrasi yang baru danmentransformasikan ke program
System Manager Orang yang menyeleksi hardware dan software yang dibutuhkan untuk membangun gudang data
Systems Programmer Orang yang menangani rencana kapasitas danpenyelarasan gudang data
End User Orang yang harus memahami permasalahan-permasalahan yang akan ditangani seperti sales manager, ahli keuangan dll.