Konsep dan Teknik Data Mining 2 Data Warehouse & Teknologi OLAP

Sumber Informasi Yang Heterogen Problem: Sumber Informasi Yang Heterogen “keheterogenan ada dimana-mana” Database Personal World Wide Web Database saintifik Pustaka Digital Antarmuka berbeda Representasi data berbeda Duplikasi dan ketidak-konsistenan informasi

Goal: Akses Data Terpadu Sistem Integrasi World Wide Web Dabase Personal Pustaka Digital Database Saintifik Mengumpulkan dan mengkombinasikan informasi Menyediakan view terintegrasi dan antarmuka user seragam Menyokong pemakaian bersama-sama (sharing)

Pendekatan Warehouse . . . data diintegrasikan terlebih dahulu Klien data diintegrasikan terlebih dahulu Disimpan dalam warehouse untuk query langsung dan analisa Data Warehouse Sistem Integrasi Metadata . . . Extractor/ Monitor Extractor/ Monitor Extractor/ Monitor . . . Sumber Sumber Sumber

Integrasi Pembersihan Data Pemasukan Data Data yang diperoleh Client Warehouse Source Query & Analisis Integrasi Metadata

Apa Itu Data Warehouse? Suatu database penunjang keputusan yang dikelola secara terpisah dari database operasional perusahaan. Penunjang pemrosesan informasi dengan menyediakan suatu platform yang kokoh untuk analisa data yang mengandung histori dan yang terkonsolidasi

Apa Itu Data Warehouse? “Suatu DW adalah suatu koleksi data yang bisa digunakan untuk menunjang pengambilan keputusan manajemen, yang berorientasi subjek (topik), terpadu, time variant, dan tidak mudah berubah(non volatile)” —W. H. Inmon (Bp. Data Warehousing) Data warehousing adalah proses dimana organisasi menyari makna dari aset informasi yang dimilikinya melalui penggunaan data warehouse

Apa Itu Data Warehouse? “Suatu data warehouse sederhananya adalah suatu penyimpanan data tunggal, lengkap dan konsisten, yang diperoleh dari berbagai sumber dan dibuat tersedia bagi end user dalam suatu cara yang bisa mereka pahami dan bisa mereka gunakan dalam suatu konteks bisnis.” - - Barry Devlin, IBM Consultant

Properti Data Warehouse? Subject Oriented Integrated Data Warehouse Non Volatile Time Variant

DW: Berorientasi Subjek (Topik) Diorganisasikan berdasarkan kegunaan disekitar subjek bukan aplikasi, misal: customer, product, sales. Perhatian dipusatkan pada pemodelan dan analisa data untuk pembuat keputusan, bukan untuk operasi harian atau pemrosesan transaksi. View sederhana dan ringkas disekitar subjek pembicaraan disediakan dengan cara memisahkan data-data yang tidak berkaitan dengan proses penunjang keputusan

DW: Terpadu Dibangun dengan memadukan banyak sumber data yang heterogen Database relasional, flat file, catatan transaksi on-line. Teknik pembersihan dan integrasi data diterapkan Menjamin konsistensi penamaan, penyandian struktur, ukuran atribut, dsb., dari antara sumber-sumber data yang berbeda. Misal, tarif hotel: mata uang, pajak, breakfast covered, dsb. Ketika data dipindahkan ke warehouse, data ini telah terkonversi

DW: Time Variant Jangka waktu untuk DW secara significant lebih lama ketimbang data pada sistem operasional Database operasional: data dengan nilai terbaru Data dari data warehouse: menyediakan informasi dari suatu tinjauan historis (misal, 5-10 tahun terakhir) Setiap struktur key didalam data dari data warehouse memuat suatu elemen waktu baik itu yang secara eksplisit dinyatakan maupun yang secara implisit Tetapi setiap struktur key dari data operasional bisa atau bisa tidak memuat elemen waktu

DW: Time Variant Data disimpan dalam sederetan snapshot, yang masing-masing menggambarkan suatu periode waktu

DW: Non-Volatile Penyimpanan data yang secara fisik terpisah ditransformasikan dari lingkungan operasional Pengubahan data operasional tidak terjadi dalam lingkungan data warehouse

DW: Non-Volatile Sistem Data Operasional Warehouse Secara tetap diubah insert update replace delete Load/ Update change update Titik Konsisten Dalam waktu Perubahan konstan Secara tetap diubah Data berubah sesuai kebutuhan, tidak pada suatu jadwal tetap Ditambahkan secara reguler, tetapi pemuatan data jarang sekali diubah secara langsung Namun data warehouse tetap diperbaharui

Pengubahan Data Load pertama kali Database Warehouse Database Refresh Operasional Refresh Refresh Refresh

DW vs. DBMS Operasional OLTP (on-line transaction processing) Tugas utama dari relasi DBMS tradisional Operasi harian: purchasing, inventory, banking, manufacturing, payroll, registration, accounting, dsb. OLAP (on-line analytical processing) Tugas utama dari sistem data warehouse Analisa data dan pengambilan keputusan

OLTP vs. OLAP OLTP (DB Standard OLAP (Data Warehouse) Tipe users profesional IT Pekerja pengetahuan Fungsi/kegunaan Operasi hari-ke-hari Pendukung keputusan Rancangan DB Berorientasi aplikasi - Berorientasi subjek - data current, up - to - date historikal, detail, flat relational lokal ringkas, multidimensional Terpadu akses read/write Banyak mengamati unit kerja Transaksi pendek, sederhana Query kompleks #record yg diakses puluhan jutaan #user ribuan ratusan Ukuran DB 100MB - GB 100GB TB met rik throughput transaksi Throughput query, respons penggunaan berulang Khusus untuk sesuatu maksud

Arsitektur Warehouse ... Klien Klien Warehouse Sumber Sumber Sumber Query & Analysis Warehouse Integrator Metadata Extractor/ Monitor Extractor/ Monitor Extractor/ Monitor Sumber Sumber Sumber ...

(Multidimensional OLAP) Arsitektur Warehouse Klien Server Data Warehouse Sumber Informasi Server OLAP MOLAP (Multidimensional OLAP) OLTP DBMS Analysis Query/Reporting Saring, bersihkan, transforma-sikan, kumpulkan, muat, ubah Sumber Data lainnya Data Mining Data Marts ROLAP (Relational OLAP)

Model Data Multidimensi Model data multidimensional dirancang untuk memfasilitasi analisis dan bukan transaksi Umum didalam data warehouse Konsep intuitif dari banyak dimensi atau perspektif pengukuran bisnis atau fakta-fakta Melihat sales dari perspektif customer, product dan time Model konseptual Hypercube – suatu “kubus n-sisi” Database adalah suatu kumpulan fakta (titik) dalam suatu ruang multidimensi

Model Kubus Data Kubus 2-d ke 3-d Memutar kubus

Model Data Multidimensi Suatu fakta memiliki suatu ukuran dimensi Besaran yang akan dianalisa, misal, sale, budget Sekumpulan dimensi dimana data dianalisa Misal, store, product, date yang dikaitkan dengan suatu jumlah sale Dimensi membentuk suatu sistem koordinat populasi Atribute-atribut dari suatu dimensi bisa berhubungan dengan urutan parsial Hierarki: misal, street > county >city Kisi: misal, date> month>year, date>week>year

Model Data Multidimensi Ukuran– data numerik yang akan diamati Dimensi– parameter bisnis yang mendefinisikan suatu transaksi Contoh: analis ingin melihat data sales (ukuran) berdasarkan dimensi geography, time, dan product Pemodelan dimensional adalah suatu teknik untuk menstrukturkan data disekitar konsep bisnis Model ER menguraikan “entitas” dan “relasi” Model dimensional menguraikan “ukuran” dan “dimensi”

Pemodelan Data Warehouse Data Warehouse == Pemodelan Dimensional OLAP == Query suatu model dimensional Jika manajer/user berkata: “Kita menjual PRODUCT dalam berbagai MARKET dan kita mengukur kinerja kita berdasarkan TIME” Maka secara konseptual kita menggambarkan suatu kubus data dalam 3 dimensi, dimana masing-masing sel memuat pengukuran. TIME MARKET PRODUCT

Pemodelan Data Warehouse Dimensi yang mungkin: Time: day, week, month, quarter, year Geography / Market (Space) :city, county, state, region, nation Product:brand, model, color, size, weight, ... Vendor Customer Organizational unit / Line of Business Salesperson View - actual, budget, forecast... … Masing-masing adalah dasar untuk agregasi dan pemecahan

Dari Tabel dan Spreadsheet menjadi Kubus Data Suatu data warehouse didasarkan kepada suatu model data multidimensi yang melihat data dalam bentuk suatu kubus data Suatu kubus data seperti Sales memungkinkan data untuk dimodelkan dan dilihat dari banyak dimensi Dimensi tabel, seperti item (item_name, brand, type), atau time(day, week, month, quarter, year) Tabel fakta memuat ukuran (seperti dollars_sold) dan kunci untuk setiap dimensi tabel terkait

Contoh Kubus Data

Contoh Kubus Data