ARSITEKTUR DATA WAREHOUSE

Presentasi berjudul: "ARSITEKTUR DATA WAREHOUSE"— Transcript presentasi:

1 ARSITEKTUR DATA WAREHOUSE
Oleh : Rahmat Robi Waliyansyah, M.Kom.

2 PERBEDAAN AKTIFITAS DATA WAREHOUSE DAN OLTP

3 PENGERTIAN ARSITEKTUR DATA
Arsitektur data warehouse adalah sekumpulan produk yang saling berintegrasi yang mampu untuk melakukan proses ekstraksi dan transformasi data operasional untuk dimasukkan ke dalam basisdata agar end-user dapat melakukan analisis dan mengambil laporan. Arsitektur data untuk data warehouse mempunyai komponen utama yaitu read- only database. Tujuannnya : Meningkatkan kualitas dan akurasi informasi bisnis dan mengirimkan informasi ke pemakai dalam bentuk yang dimengerti dan dapat diakses dengan mudah.

4 Karakterisitik arsitektur data warehouse
Data diambil dari sistem asal (sistem informasi yang ada), database dan file. Data dari sistem asal diintegrasikan dan ditransformasi sebelum disimpan ke dalam Database Management System (DBMS) seperti Oracle, Ms. SQL Server, Sybase dan masih banyak yang lainnya. Data warehouse merupakan sebuah database terpisah bersifat hanya dapat dibaca yang dibuat khusus untuk mendukung pengambilan keputusan. Pemakai mengakses data warehouse melalui aplikasi front end tool.

5 Infrastruktur data warehouse
Merupakan software, hardware, pelatihan dan komponen-komponen lainnya yang memberikan dukungan yang dibutuhkan untuk mengimplementasikan data warehouse Salah satu instrumen yang mempengaruhi keberhasilan pengembangan data warehouse adalah pengidentifikasian arsitektur mana yang terbaik dan infrasruktur apa yang dibutuhkan. Arsitektur yang sama, mungkin memerlukan infrastruktur yang berbeda.

6 Berikut ini adalah tiga jenis TIPOLOGI Data Warehouse :
1. Functional Data Warehouse (Data Warehouse Fungsional) Keuntungan dari bentuk DW seperti ini adalah sistem mudah dibangun dengan biaya relative murah Kerugiannya adalah resiko kehilangan konsistensi data dan terbatasnya kemampuan dalam pengumpulan data bagi pengguna.

7 2. Datawarehouse (Data Warehouse Terpusat)
Keuntungan dari bentuk ini adalah data benar-benar terpadu karena konsistensinya yang tinggi Kerugiannya adalah biaya yang mahal serta memerlukan waktu yang cukup lama untuk membangunnya.

8 3. Distributed Data Warehouse (Data Warehouse terdistribusi)
Keuntungannya adalah data tetap konsisten karena sebelum data digunakan data terlebih dahulu mengalami proses sinkronisasi. Kerugiananya adalah lebih kompleks untuk diterapkan karena sistem operasi dikelola secara terpisah & juga biayanya yang paling mahal dibandingkan dengan dua bentuk data warehouse lainnya

9 ARSITEKTUR DAN KOMPONEN DATA WAREHOUSE

10 Operasional Data Berfokus pada fungsi-fungsi transaksional
Merupakan bagian dari infrastruktur perusahaan Detail, tidak ada redudansi, dapat diupdate Merefleksikan nilai sekarang

11 Operasional Data Store
Tempat penyimpanan sementara dari data operasional saat ini Menyuplai data yang sudah diekstrak dari sistem sumber dan dibersihkan Menyederhanakan proses integrasi dan restrukturisasi data di data warehouse

12 Load Manager Menampilkan semua operasi yang terkait dengan ekstrak dan load data ke dalam data warehouse Data bisa diekstrak langsung dari sumber data atau ODS

13 Warehouse Manager Menampikan semua operasi yang terkait dengan manajemen data dari data warehouse : Analisis data untuk menjamin konsistensi Transformasi dan penggabungan sumber data dari ODS ke table data warehouse Pembuatan indeks dan view pada table base Membuat Denormalisasi dan Agregasi, jika diperlukan Backing up dan Archiving Data

14 Query Manager Menampilkan semua operasi yang terkait dengan manajemen query pengguna Mengarahkan query pada table yang cocok Menjadwalkan pelaksanaan query

15 Detailed Data Komponen yang menyimpan detail data dalam skema database : Current Detail Data adalah Langsung dari operasional database dan mengacu pada data perusahaan sekarang contoh : profil pelanggan, data aktivitas pelanggan, data sales, data demografis Old Detail Data à Current Detail Data yang berumur atau histori dari subyek area

16 Lightly dan Highly Summarized Data
Menyimpan semua data Lightly dan Highly Summarized yang sudah terdefinisi sebelumnya yang dibuat oleh Warehouse Manager Tujuan : meningkatkan performance query

17 Back Up Data/Archive Data
Menyimpan Detailed Data dan Summarized Data dengan tujuan mengarsip dan melakukan backup Back Up Data/Archive Data

18 Metadata Digunakan untuk membangun, memelihara, mengatur, dan menggunakan data warehouse. Mengandung lokasi dan deskripsi : Komponen data warehouse (nama, definisi, struktur, dan isi dari data warehouse dan end user view) Identifikasi dari pembuat sumber data (record system) Aturan-aturan integrasi dan transformasi yang digunakan untuk mempopulasikan data warehouse Histori dari update dan refresh data warehouse Pola-pola matriks yang digunakan untuk performa menganalisa data warehouse

19 End User Access Tools Komponen yang menyediakan informasi dari data warehouse yang ada bagi user dalam membantu mengambil keputusan Tools mencakup : Reporting dan Query Tool Reporting : Menghasilkan laporan operasional yang teratur Query : Relasi data warehouse untuk dapat menerima SQL atau untuk menghasilkan pernyataan SQL agar dapat melakukan query pada data yang disimpan dalam data warehouse Application Development Tools Dirancang untuk kebutuhan Client Server Executive Information System (EIS) Tool Mendukung pengambilan tingkat tinggi

20 End User Access Tools (Lanjutan)
OLAP Tool Konsep multidimensi Mengizinkan pengguna untuk menganalisis data menggunakan view yang kompleks Data Mining Tool Proses menemukan korelasi, pola, dan gaya baru yang bermanfaat dengan ‘menggali’ data dalam jumlah yang banyak dengan menggunakan teknik statistika dan matematika

21 Arsitektur Data warehouse Kimball dengan Linked Dimensional Data mart

22 Arsitektur Data warehouse Bill Inmon

23 Arsitektur Data warehouse Dan Lindstedt Data Vault

24 Arsitektur Dasar Data Warehouse
User dapat secara langsung mengakses data yang diambil dari beberapa source melalui data warehouse. Metadata dan raw data dari OLTP terdapat didalamnya, dan sebagai tambahan di dalam Warehouse terdapat summary data. Summary data ini sangat berguna dalam data Warehouse karena mereka melakukan perhitungan yang kompleks sebelumnya. Sebagai contoh, data warehouse melakukan query untuk mendapatkan data sales di bulan Agustus.

25 Arsitektur Data Warehouse dengan menggunakan Staging Area
Pada arsitektur ini dapat dilakukan dengan menggunakan program, meskipun hampir semua data warehouse menggunakan staging area didalamnya. Staging area menyederhanakan proses pembuatan summary dan management warehouse secara umum.

26 Arsitektur Data Warehouse dengan menggunakan Staging Area dan Data Mart
Dapat mengkustomisasi arsitekturnya yang disesuaikan dengan kebutuhan organisasi. Hal ini dimungkinkan dengan menambahkan data mart. Data mart merupakan subset dari data resource, biasanya berorientasi untuk suatu tujuan yang spesifik atau subjek data yang didistribusikan untuk mendukung kebutuhan bisnis. Sebagai contoh data purchasing, sales, dan inventory dapat di pisahkan dalam masing-masing cube. Dalam contoh ini seorang analis keuangan dapat menganalisa histori data untuk purchases dan sales

27 Aliran informasi data warehouse ada 5 macam yaitu :
Inflow Proses yang terkait dengan extraction, cleansing, dan loading data dari sistem sumber kedalam data warehouse. Outflow Proses yang terkait dengan ketersediaan data untuk end-users. Upflow Proses yang terkait dengan penambahan nilai pada data dalam warehouse melalui peringkasan (summarizing), pemaketan (packaging), dan penyebaran (distributing) data.

28 Aliran informasi data warehouse ada 5 macam (Lanjutan) :
Downflow Proses yang terkait dengan pengarsipan dan backing- up/recovery data dalam warehouse. Metaflow Proses yang terkait dengan pengaturan meta-data, yaitu bagaimana data dipindahkan kedalam atau keluar dari warehouse.

29 Perbedaan data warehouse dan data mining
Teknologi data warehouse digunakan untuk melakukan OLAP (On-line Analytical Processing), sedangkan data mining digunakan untuk melakukan information discovery