Data Mart dan Metadata Data Warehouse Pertemuan II

Cleansing Data Adalah proses menghilangkan kesalahan-kesalahan data yang berasal dari proses transaksi Merupakan bagian dari proses integrasi Jika proses cleansing ini salah, maka informasi yang dihasilkan oleh data warehouse juga akan salah

Menurut kelompok data warehousing, data cleansing merupakan proses yang dilakukan pada saat integrasi data sebagai usaha untuk mengeliminasi duplikasi data Data cleansing merupakan proses eliminasi error, penanganan inkonsistensi data dan penanganan masalah identitas objek

Ekstraksi Data Merupakan suatu proses yang meliputi proses meng-import , meringkas, menyaring dan mempersingkat data.

Metode yang digunakan untuk melakukan proses ekstrasi secara logic (logical exctraction) ada 2, yaitu : Full Extraction, Proses ekstraksi dilakukan dengan mengambil seluruh data dari source system yang diperlukan Increment Extraction Proses ekstraksi hanya pada data yang berubah atau belum ada pada target sistem pada periode tertentu

Mekanisme ekstraksi secara fisik (physical extraction) dibagi menjadi dua jenis, yaitu : Online extraction Data di ekstrak dari source system ke target system secara langsung. Proses ekstraksi dilakukan dengan cara langsung connect ke source system untuk mengakses source table. Offline Extraction Data tidak di ekstrak secara langsung dari source system, namun berada diluar source system. Data yang akan di ekstrak sudah mempunyai struktur table dan struktur data yang diharapkan sudah sesuai dengan data warehouse. Misalnya flat file.

Granularity Adalah tingkat kedetailan data dalam suatu data warehouse. Semakin detail data, maka tingkat granularity-nya akan semakin rendah juga. Level yang paling terendah dari granularity adalah data transaksi Granularity merupakan isu penting dalam data warehouse, karena : Semakin rendah lavel granularity, maka jumlah data yang disimpan dalam data warehouse juga akan semakin besar. Semakin rendah lavel granularity, maka tingkat kedetailan data juga akan semakin besar dan berpengaruh pada pertanyaan yang akan dijawab.

Data Mart

Data Mart adalah fasiltas penyimpan data yang berorentasi pada Subject tertentu atau berorentasi pada Departemen tertentu dari suatu organisasi, fokus pada kebutuhan Departemen tertentu seperti Sales, Marketing, Operation atau Collection. Sehingga suatu Organisasi bisa mempunyai lebih dari satu Data Mart. Data Mart pada umumnya di organisasikan sebagai suatu Dimensional Model, sperti Star-Schema (OLAP Cube) yang tersusun dari sebuah tabel Fact dan beberapa tabel Dimension.

Karakteristik Data Mart Data mart memfokuskan hanya pada kebutuhan-kebutuhan pemakai yang terkait dalam sebuah departemen atau fungsi bisnis.

Perbedaan Data Mart dan Data Warehouse

Pembahasan mengenai Data Mart tidak bisa lepas dengan pembahasan mengenai Data Warehouse karena keduanya bisa saling mendefinisikan filosofi tentang Data Warehouse dan datamart bisa berbeda. yaitu misalnya filosofi antara Inmon dan Kimball,yang memberikan pernyataan sebagai berikut: “… The data warehouse is nothing more than the union of all the data marts …” Data Warehouse itu tidak lebih dari sekumpulan Data Mart .. Ralph Kimball “You can catch all the minnows in the ocean and stack them together and they still do not make a whale.” Anda dapat menangkap minnows (sejenis ikan kecil-kecil) di laut dan menumpuknya bersama dan mereka tetap tidak bisa menjadi ikan Paus. Bill Inmon

Perbedaan dari kedua arsitektur data mart terletak pada ketergantungan sumber datanya terhadap data warehouse.

Independent Data Mart (Kimball advocated) dibangun dengan cara extract langsung data dari berbagai Source System. Independent Data Mart tidak tergantung pada pusat penyimpan data seperti Data Warehouse arsitektur ini biasa juga disebut sebagai “Data Warehouse Bus structure”.

Dependent Data Mart (Inmon advocated) berlaku sebagai komponen atau suatu bagian dari enterprise Data Warehouse, Data Mart dibangun dengan cara extract data dari Data Warehouse.

Kedua arsitektur data mart menentukan bagaimana data mart dibangun, dibedakan menjadi dua pendekatan, yakni. 1. Bottom-Up approach Awalnya dibangun beberapa Data Mart, belakangan beberapa Data Mart yang mempunyai Conform Dimension bisa dirangkai menggunakan jalur bersama yang disebut Arsitektur Data Warehouse 2. Top-Down approach Awalnya dibangun Enterprise Data Warehouse lebih dahulu, belakangan baru diturunkan per LOB (Large Object) atau departemen untuk menjadi Data Mart.

Latihan soal Tuliskan dan jelaskan, keuntungan dalam membangun Data Mart lebih dulu dibanding langsung membangun Data Warehouse, dan keuntungan membangun Data Warehouse lebih dulu dibanding Data Mart.

Metadata

Metadata adalah informasi terstruktur yang mendeskripsikan, menjelaskan, menemukan, atau setidaknya membuat menjadikan suatu informasi mudah untuk ditemukan kembali, digunakan, atau dikelola. Metadata sering disebut sebagai data tentang data atau informasi tentang informasi. Metadata ini mengandung informasi mengenai isi dari suatu data yang dipakai untuk keperluan manajemen file/data itu nantinya dalam suatu basis data. Jika data tersebut dalam bentuk teks, metadatanya biasanya berupa keterangan mengenai nama ruas (field), panjang field, dan tipe fieldnya: integer, character, date, dll. Untuk jenis data gambar (image), metadata mengandung informasi mengenai siapa pemotretnya, kapan pemotretannya, dan setting kamera pada saat dilakukan pemotretan.

Metadata memberikan fungsi yang sama seperti katalog yaitu: membedakan sumberdaya yang tak miliki kesamaan membuat sumberdaya bisa ditemukan dengan menggunakan kriteria yang relevan; mengelompokkan sumberdaya yang serupa mengidentifikasi sumberdaya memberikan informasi lokasi

Tiga Jenis Utama Metadata 1. Metadata struktural menunjukkan bagaimana kumpulan obyek disusun secara bersama-sama menjadi satu, semisal bagaimana halaman-halaman ditata untuk membentuk suatu bab. 2. Metadata administratif menyediakan informasi untuk membantu mengelola sumberdaya, semisal terkait kapan dan bagaimana suatu informasi diciptakan, tipe dokumen dan informasi teknis lainnya, serta siapa yang bisa mengaksesnya. 3. Metadata deskriptif menggambarkan suatu sumberdaya dalam maksud seperti penemuan dan identifikasi. Dia bisa meliputi elemen semisal judul, abstrak, pengarang, dan kata kunci.

Secara konsep, metadata dikelompokkan dalam tiga komponen. 1. Komponen Direktori Teknikal, berisi informasi tentang data 2. Komponen Direktori Bisnis, berisi perspektif pengguna pada data 3. Komponen Navigasi Informasi, berisi cara akses pada direktori bisnis dan data warehouse.

Komponen Direktori Teknikal menjelaskan kepada data warehouse administrator tentang sumber data dan bagaimana data dikelola dalam data warehouse. Direktori Teknikal juga menjelaskan aturan-aturan (rules) yang digunakan untuk membersihkan data dan mentrasformasikannya untuk kepentingan bisnis.

Komponen Direktori Bisnis Komponen Direktori Bisnis. Berorientasi pada mekanisme data warehouse, yang meliputi : Istilah bisnis (business term) yang digunakan untuk mendeskripsikan data Nama teknis (alias) yang berhubungan dengan business term yang dapat digunakan untuk mengakses data Data Source dan rules yang digunakan untuk mendapatkan data dan tanggal dimana data tersebut dibuat Catatan tentang report dan query yang ada Informasi tentang keamanan data (siapa yang mempunya hak akses)

Komponen Navigasi Informasi Menjelaskan interface yang memungkinkan user untuk mengakses direktori bisnis dan data warehouse. Dengan menggunakan komponen ini, user dapat melakukan : Akses dan drill down pada data warehouse Query ke data warehouse Meminta data baru dari warehouse administrator Melakukan transfer data dari warehouse ke datamart atau user lain

Operasi Kubus Data OLAP