Sistem Pustaka Data (Data Warehouse)

Strategic Information System Sistem informasi sebagai modal persaingan: organisasi yang efektif. Mendukung proses-proses Pemantauan lingkungan (situation awareness), baik internal maupun eksternal Pengambilan keputusan. Perumusan dan pelaksanaan rencana strategis maupun operasional. Pengelolaan kinerja organisasi/perusahaan.

Analisa Strategis Karakeristik pengambilan keputusan strategis Sistemik Dilihat dari berbagai tingkatan abstraksi dan rincian. Dilihat dari berbagai perspektif (multi-disiplin). Terpadu: mencakup bagian-bagian yang saling berhubungan. Dinamis Kronologis: melihat ke masa lalu (sejarah), saat ini dan prediksi masa depan.

Penyediaan Informasi Strategis Sistem informasi operasional (akunting, pemesanan, pergudangan, dsb.) tidak mampu menyediakan informasi pendukung keputusan secara efisien. Berorientasi transaksi (record-based). Bersifat divisional (khusus bagian tertentu saja). Tidak menyimpan data kronologis.

Penyediaan Informasi Strategis Kebutuhan informasi untuk analisa bersifat incremental: melalui iterasi penyiapan data yang berulang-ulang Siklus iterasi permintaan-pengolahan-pelaporan dapat memakan waktu mingguan. Sistem transaksional tidak dirancang untuk query rumit yang melibatkan data dalam jumlah banyak. Proses penyediaan informasi dapat menghambat kinerja sistem operasional.

Solusi: Data Warehouse Pusat koleksi yang lengkap dan konsisten data perusahaan yang dikumpulkan dari berbagai sumber untuk memberikan informasi yang dapat dipahami dan dipergunakan dalam konteks bisnis. --Barry Devlin, IBM. ORDERS SHIPPING INVENTORY DATA WAREHOUSE Extract Clean Transform Transfer Load

Data Warehouse Pustaka Data (Data Warehouse) menyimpan, mengelola dan memberikan data untuk mendukung pengambilan keputusan, termasuk keputusan strategis. Data Warehouse bersifat informasional: bertujuan untuk menyampaikan informasi untuk keperluan analisa (bukan transaksional).

Transaksional (vs Informasional) Data proses-bisnis harian (order, inventory, payroll, account) dari aplikasi OLTP: OnLine Transaction Processing Karakteristik: Sebagian besar operasi adalah update - berupa transaksi per satuan data (record). Bersifat rekaman sesaat (snapshot). Orientasi ke aplikasi operasional. Hanya data rinci (transaction level).

Informasional (vs Transaksional) Data tentang bisnis - data untuk perencanaan dan analisa (aplikasi OLAP: OnLine Analysis Processing). Karakteristik: Sebagian besar operasi adalah simpan dan baca. Query relatif panjang dan kompleks, melibatkan banyak satuan data. Bersifat historis. Berorientasi topik bisnis (subject oriented). Mencakup berbagai sumber data yang berhubungan dengan manajemen dan perencanaan. Juga berisi data rangkuman/gabungan.

Transaksional vs Informasional Mendukung pengambilan keputusan Sasaran: keefektifan Mengukur kinerja proses bisnis Optimasi query (pengambilan data) Transaksional Untuk otomasi proses bisnis Sasaran: efisiensi Menjalankan proses bisnis Optimasi proses transaksi

Karakteristik DW Menyeluruh dan terpadu (integrated) Historis (time varying) Statis (non-volatile) Terorganisasi menurut topik analisa (subject oriented) Ditujukan untuk pemakai bisnis sebagai pendukung pengambilan keputusan.

Karakteristik DW Update secara append only Volume data amat besar (terakumulasi) Periode update yang terjadwal sesuai dengan siklus bisnis Harus dipisahkan dari data operasional: Alasan skema: Struktur dan definisi data berbeda dengan OLTP. Alasan kinerja: Pemrosesan query OLAP yang intensif dapat membebani OLTP.

Arsitektur Data Warehouse Virtual (query driven) Terpusat (centralized) Tersebar (federated) Komponen arsitektur data warehouse

(filtering, staging, merging) DW Virtual Akses langsung ke basis data OLTP analytical tools virtual DW information access (filtering, staging, merging) queries result sets data access data access data access OLTP systems DBMS DBMS DBMS

Kelebihan DW Virtual Keuntungan: Murah (TCO rendah, tidak ada duplikasi data). Data selalu paling mutakhir. Data yang sangat lengkap dari berbagai sumber. Cocok untuk kebutuhan informasi yang tak terduga/terencana.

Kelemahan DW Virtual Kelemahan: Tidak memiliki data historis. Tidak efisien dan lambat (proses pembersihan, transformasi dan penggabungan untuk setiap query). Dapat menggangu kinerja OLTP: produktifitas perusahaan.

Extraction, Transformation, Loading DW Terpusat Akses ke basis data warehouse pusat information access data access data warehouse Extraction, Transformation, Loading data access data access data access OLTP systems DBMS DBMS DBMS

DW Terpusat Keuntungan: Kelemahan: Rata-rata kinerja pemrosesan query yang tinggi Tidak mengganggu kinerja OLTP Memenuhi persyaratan DW Kelemahan: Informasi yang dihasilkan belum tentu mutakhir Duplikasi data dengan OLTP

Federasi DW Akses ke basis data Federated Data Marts. data access information access Data Mart Data Mart Data Mart marketing finance customer care Akses ke basis data Federated Data Marts. Sebagai konsekuensi dari desentralisasi dari pengambilan keputusan organisasi. Skope Data Mart (DW departmental) pendukung: personal, proyek, departemental/divisional, atau fungsional/perusahaan.

Federasi DW Keuntungan: Kelemahan: Sama dengan DW terpusat Kinerja lebih tinggi berkat dimungkinkannya pemrosesan paralel dan optimasi lokasi data Kelemahan: Struktur data marts pendukung belum tentu sesuai dengan kebutuhan di tingkat pusat: Sudut pandang rancangan data mart bersifat divisional - tidak utuh.

Terpusat vs Federasi Terpusat (pendekatan Top-Down): Ideal tetapi membutuhkan waktu pengembangan yang lama dan skala proyek yang besar. Resiko kegagalan proyek pengambangan tinggi. Tersebar (pendekatan Bottom-Up): Memungkinkan prioritasi, pengembangan bertahap sambil mendaki learning curve. Dibutuhkan koordinasi melalui team yang mengatur standarisasi kode, penamaan, dan definisi data.

Definisi DW Data Warehouse Sistem terstruktur berskala besar untuk meng-analisa data statis yang telah ditransformasikan dari berbagai aplikasi asalnya agar sesuai dengan struktur bisnis, terkumpul dalam waktu yang lama, direpresentasikan dalam terminologi bisnis, dan terpadu untuk memudahkan analisa. --Vivek Gupta, System Services Corp. ORDERS SHIPPING INVENTORY DATA WAREHOUSE Extract Clean Transform Transfer Load

Faktor Keberhasilan Utama Faktor Keberhasilan Arsitektur DW Kinerja sistem Pemuatan data Pemrosesan query Kapasitas penyimpanan data

Performance: Pemuatan Data Kecepatan memuat data baru dalam skala giga bytes atau ratusan ribu records per jam, secara periodik. Waktu untuk data staging: transformasi, penyaringan, konversi format, test kelengkapan data, dsb. termasuk dalam perhitungan kecepatan memuat data.

Performance: Pemrosesan Query Query throughput adalah ukuran kesuksesan DW Banyaknya query yang terjawab dengan cepat sangat membantu seorang analis untuk mendapatkan query yang paling tepat. Optimasi: skala response time dalam detik Response time harus merupakan fungsi dari kompleksitas query bukan ukuran basis data.

Scalability: Kapasitas Penyimpanan Media fisik penyimpanan data harus mampu menyimpan data dalam skala tera bytes. DBMS harus juga mampu menangani data dalam skala tera bytes.