Data Mart dan Metadata Data Warehouse Pertemuan II

Cleansing Data Adalah proses menghilangkan kesalahan-kesalahan data yang berasal dari proses transaksi Merupakan bagian dari proses integrasi Jika proses cleansing ini salah, maka informasi yang dihasilkan oleh data warehouse juga akan salah

Ekstraksi Data

Metode yang digunakan untuk melakukan proses ekstrasi secara logic (logical exctraction) ada 2, yaitu : Full Extraction, Proses ekstraksi dilakukan dengan mengambil seluruh data dari source system yang diperlukan Increment Extraction Proses ekstraksi hanya pada data yang berubah atau belum ada pada target sistem pada periode tertentu

Mekanisme ekstraksi secara fisik (physical extraction) dibagi menjadi dua jenis, yaitu : Online extraction Data di ekstrak dari source system ke target system secara langsung. Proses ekstraksi dilakukan dengan cara langsung connect ke source system untuk mengakses source table. Offline Extraction Data tidak di ekstrak secara langsung dari source system, namun berada diluar source system. Data yang akan di ekstrak sudah mempunyai struktur table dan struktur data yang diharapkan sudah sesuai dengan data warehouse. Misalnya flat file.

Granularity Adalah tingkat kedetailan data dalam suatu data warehouse. Semakin detail data, maka tingkat granularity-nya akan semakin rendah juga. Level yang paling terendah dari granularity adalah data transaksi Granularity merupakan isu penting dalam data warehouse, karena : Semakin rendah lavel granularity, maka jumlah data yang disimpan dalam data warehouse juga akan semakin besar. Semakin rendah lavel granularity, maka tingkat kedetailan data juga akan semakin besar dan berpengaruh pada pertanyaan yang akan dijawab.

Data Mart

Data Mart adalah fasiltas penyimpan data yang berorentasi pada Subject tertentu atau berorentasi pada Departemen tertentu dari suatu organisasi, fokus pada kebutuhan Departemen tertentu seperti Sales, Marketing, Operation atau Collection. Sehingga suatu Organisasi bisa mempunyai lebih dari satu Data Mart. Data Mart pada umumnya di organisasikan sebagai suatu Dimensional Model, sperti Star-Schema (OLAP Cube) yang tersusun dari sebuah tabel Fact dan beberapa tabel Dimension.

Perbedaan Data Mart dan Data Warehouse

Pembahasan mengenai Data Mart tidak bisa lepas dengan pembahasan mengenai Data Warehouse karena keduanya bisa saling mendefinisikan filosofi tentang Data Warehouse dan datamart bisa berbeda. yaitu misalnya filosofi antara Inmon dan Kimball,yang memberikan pernyataan sebagai berikut: “… The data warehouse is nothing more than the union of all the data marts …” Data Warehouse itu tidak lebih dari sekumpulan Data Mart .. Ralph Kimball “You can catch all the minnows in the ocean and stack them together and they still do not make a whale.” Anda dapat menangkap minnows (sejenis ikan kecil-kecil) di laut dan menumpuknya bersama dan mereka tetap tidak bisa menjadi ikan Paus. Bill Inmon

Perbedaan dari kedua arsitektur data mart terletak pada ketergantungan sumber datanya terhadap data warehouse.

Dependent Data Mart (Inmon advocated) berlaku sebagai komponen atau suatu bagian dari enterprise Data Warehouse, Data Mart dibangun dengan cara extract data dari Data Warehouse.

Independent Data Mart (Kimball advocated) dibangun dengan cara extract langsung data dari berbagai Source System. Independent Data Mart tidak tergantung pada pusat penyimpan data seperti Data Warehouse arsitektur ini biasa juga disebut sebagai “Data Warehouse Bus structure”.

Top-Down approach Bottom-Up approach Kedua arsitektur data mart menentukan bagaimana data mart dibangun, dibedakan menjadi dua pendekatan, yakni. 1. Top-Down approach Awalnya dibangun Enterprise Data Warehouse lebih dahulu, belakangan baru diturunkan per LOB atau departemen untuk menjadi Data Mart. 2. Bottom-Up approach Awalnya dibangun beberapa Data Mart, belakangan beberapa Data Mart yang mempunyai Conform Dimension bisa dirangkai menggunakan jalur bersama yang disebut Arsitektur Data Warehouse

Keuntungan dalam membangun Data Mart lebih dulu dibanding langsung membangun Data Warehouse: - Waktu yang diperlukan untuk membangun Data Mart lebih sedikit. - Volume Data pada Data Mart lebih sedikit - Waktu Query lebih cepat - Biaya membangun Data Mart lebih murah.

Metadata

Metadata adalah informasi terstruktur yang mendeskripsikan, menjelaskan, menemukan, atau setidaknya membuat menjadikan suatu informasi mudah untuk ditemukan kembali, digunakan, atau dikelola. Metadata sering disebut sebagai data tentang data atau informasi tentang informasi. Metadata ini mengandung informasi mengenai isi dari suatu data yang dipakai untuk keperluan manajemen file/data itu nantinya dalam suatu basis data. Jika data tersebut dalam bentuk teks, metadatanya biasanya berupa keterangan mengenai nama ruas (field), panjang field, dan tipe fieldnya: integer, character, date, dll. Untuk jenis data gambar (image), metadata mengandung informasi mengenai siapa pemotretnya, kapan pemotretannya, dan setting kamera pada saat dilakukan pemotretan.

Metadata memberikan fungsi yang sama seperti katalog yaitu: membedakan sumberdaya yang tak miliki kesamaan membuat sumberdaya bisa ditemukan dengan menggunakan kriteria yang relevan; mengelompokkan sumberdaya yang serupa mengidentifikasi sumberdaya memberikan informasi lokasi

Tiga Jenis Utama Metadata 1. Metadata struktural menunjukkan bagaimana kumpulan obyek disusun secara bersama-sama menjadi satu, semisal bagaimana halaman-halaman ditata untuk membentuk suatu bab. 2. Metadata administratif menyediakan informasi untuk membantu mengelola sumberdaya, semisal terkait kapan dan bagaimana suatu informasi diciptakan, tipe dokumen dan informasi teknis lainnya, serta siapa yang bisa mengaksesnya. 3. Metadata deskriptif menggambarkan suatu sumberdaya dalam maksud seperti penemuan dan identifikasi. Dia bisa meliputi elemen semisal judul, abstrak, pengarang, dan kata kunci.

Secara konsep, metadata dikelompokkan dalam tiga komponen. 1. Komponen Direktori Teknikal, berisi informasi tentang data 2. Komponen Direktori Bisnis, berisi perspektif pengguna pada data 3. Komponen Navigasi Informasi, berisi cara akses pada direktori bisnis dan data warehouse.

Komponen Direktori Teknikal menjelaskan kepada data warehouse administrator tentang sumber data dan bagaimana data dikelola dalam data warehouse. Direktori Teknikal juga menjelaskan aturan-aturan (rules) yang digunakan untuk membersihkan data dan mentrasformasikannya untuk kepentingan bisnis.

Isi dari Direktori Teknikal Data souce Nama file dan tipe file Bagaimana nilai didefinisikan data source Kapan data dibuat Data dating dari system mana Siapa pemlik data Siapa yang memberikan data User yang mana yang berhak mengakses data Skema database operasional

Isi dari Direktori Teknikal… Data Target Nama dan tipe field Bagaimana nili didefinisikan dalam data warehouse Dimana dta ditempatkan dalam data warehouse Versi Tanggal update terakhir Frekwensi update terakhir Siapa pemilik data Siapa yang dapat mengakses data Skema data dalam data warehouse Cara end-user melakukan akses data

Isi dari Direktori Teknikal… Clean Up Rules Record dan field yang akan dibersihkan Mapping antara elemen data pada original data source dengan data warehouse Rules yang digunakan untuk mengisi nilai pada fields yang kosong Rules untuk data integrity Rules untuk cek konsistensi data

Isi dari Direktori Teknikal… Transformation Rules Bagaimana menentukan waktu dalam melakukan transformasi Algoritma (business rules) untuk menentukan nilai yang diambil (nilai asal) Bagaimana ringkasan data dibuat

Isi dari Direktori Teknikal… Mapping Rules untuk melakukan filter data dan untuk melakukan penggabungan data dari field atau sumber data yang berbeda.

Komponen Direktori Bisnis Komponen Direktori Bisnis. Berorientasi pada mekanisme data warehouse, yang meliputi : Istilah bisnis (business term) yang digunakan untuk mendeskripsikan data Nama teknis (alias) yang berhubungan dengan business term yang dapat digunakan untuk mengakses data Data Souse dan rules yang digunakan untuk mendapatkan data dan tanggal dimana data tersebut dibuat Catatan tetang report dan query yang ada Informasi tentang keamanan data (siapa yang mempunya hak akses)

Komponen Navigasi Informasi Menjelaskan interface yang memungkinkan user untuk mengakses direktori bisnis dan data warehouse. Dengan menggunakan kompunen ini, user dapat melakukan : Melakukan akses dan drill down pada data warehouse Melakukan query ke data warehouse Meminta data baru dari warehouse administrator Melakukan transfer data dari warehouse ke datamart atau user lain