Konsep dan Teknik Data Mining

Presentasi berjudul: "Konsep dan Teknik Data Mining"— Transcript presentasi:

1 Konsep dan Teknik Data Mining
2 Data Warehouse & Teknologi OLAP

2 Sumber Informasi Yang Heterogen
Problem: Sumber Informasi Yang Heterogen “keheterogenan ada dimana-mana” Database Personal World Wide Web Database saintifik Pustaka Digital Antarmuka berbeda Representasi data berbeda Duplikasi dan ketidak-konsistenan informasi

3 Goal: Akses Data Terpadu
Sistem Integrasi World Wide Web Dabase Personal Pustaka Digital Database Saintifik Mengumpulkan dan mengkombinasikan informasi Menyediakan view terintegrasi dan antarmuka user seragam Menyokong pemakaian bersama-sama (sharing)

4 Pendekatan Warehouse . . . data diintegrasikan terlebih dahulu
Klien data diintegrasikan terlebih dahulu Disimpan dalam warehouse untuk query langsung dan analisa Data Warehouse Sistem Integrasi Metadata . . . Extractor/ Monitor Extractor/ Monitor Extractor/ Monitor . . . Sumber Sumber Sumber

5 Integrasi Pembersihan Data Pemasukan Data Data yang diperoleh Client
Warehouse Source Query & Analisis Integrasi Metadata

6 Apa Itu Data Warehouse? Suatu database penunjang keputusan yang dikelola secara terpisah dari database operasional perusahaan. Penunjang pemrosesan informasi dengan menyediakan suatu platform yang kokoh untuk analisa data yang mengandung histori dan yang terkonsolidasi

7 Apa Itu Data Warehouse? “Suatu DW adalah suatu koleksi data yang bisa digunakan untuk menunjang pengambilan keputusan manajemen, yang berorientasi subjek (topik), terpadu, time variant, dan tidak mudah berubah(non volatile)” —W. H. Inmon (Bp. Data Warehousing) Data warehousing adalah proses dimana organisasi menyari makna dari aset informasi yang dimilikinya melalui penggunaan data warehouse

8 Apa Itu Data Warehouse? “Suatu data warehouse sederhananya adalah suatu penyimpanan data tunggal, lengkap dan konsisten, yang diperoleh dari berbagai sumber dan dibuat tersedia bagi end user dalam suatu cara yang bisa mereka pahami dan bisa mereka gunakan dalam suatu konteks bisnis.” - - Barry Devlin, IBM Consultant

9 Properti Data Warehouse?
Subject Oriented Integrated Data Warehouse Non Volatile Time Variant

10 DW: Berorientasi Subjek (Topik)
Diorganisasikan berdasarkan kegunaan disekitar subjek bukan aplikasi, misal: customer, product, sales. Perhatian dipusatkan pada pemodelan dan analisa data untuk pembuat keputusan, bukan untuk operasi harian atau pemrosesan transaksi. View sederhana dan ringkas disekitar subjek pembicaraan disediakan dengan cara memisahkan data-data yang tidak berkaitan dengan proses penunjang keputusan

11 DW: Terpadu Dibangun dengan memadukan banyak sumber data yang heterogen Database relasional, flat file, catatan transaksi on-line. Teknik pembersihan dan integrasi data diterapkan Menjamin konsistensi penamaan, penyandian struktur, ukuran atribut, dsb., dari antara sumber-sumber data yang berbeda. Misal, tarif hotel: mata uang, pajak, breakfast covered, dsb. Ketika data dipindahkan ke warehouse, data ini telah terkonversi

12 DW: Time Variant Jangka waktu untuk DW secara significant lebih lama ketimbang data pada sistem operasional Database operasional: data dengan nilai terbaru Data dari data warehouse: menyediakan informasi dari suatu tinjauan historis (misal, 5-10 tahun terakhir) Setiap struktur key didalam data dari data warehouse memuat suatu elemen waktu baik itu yang secara eksplisit dinyatakan maupun yang secara implisit Tetapi setiap struktur key dari data operasional bisa atau bisa tidak memuat elemen waktu

13 DW: Time Variant Data disimpan dalam sederetan snapshot, yang masing-masing menggambarkan suatu periode waktu

14 DW: Non-Volatile Penyimpanan data yang secara fisik terpisah ditransformasikan dari lingkungan operasional Pengubahan data operasional tidak terjadi dalam lingkungan data warehouse

15 DW: Non-Volatile Sistem Data Operasional Warehouse Secara tetap diubah
insert update replace delete Load/ Update change update Titik Konsisten Dalam waktu Perubahan konstan Secara tetap diubah Data berubah sesuai kebutuhan, tidak pada suatu jadwal tetap Ditambahkan secara reguler, tetapi pemuatan data jarang sekali diubah secara langsung Namun data warehouse tetap diperbaharui

16 Pengubahan Data Load pertama kali Database Warehouse Database Refresh
Operasional Refresh Refresh Refresh

17 DW vs. DBMS Operasional OLTP (on-line transaction processing)
Tugas utama dari relasi DBMS tradisional Operasi harian: purchasing, inventory, banking, manufacturing, payroll, registration, accounting, dsb. OLAP (on-line analytical processing) Tugas utama dari sistem data warehouse Analisa data dan pengambilan keputusan

18 OLTP vs. OLAP OLTP (DB Standard OLAP (Data Warehouse) Tipe users
profesional IT Pekerja pengetahuan Fungsi/kegunaan Operasi hari-ke-hari Pendukung keputusan Rancangan DB Berorientasi aplikasi - Berorientasi subjek - data current, up - to - date historikal, detail, flat relational lokal ringkas, multidimensional Terpadu akses read/write Banyak mengamati unit kerja Transaksi pendek, sederhana Query kompleks #record yg diakses puluhan jutaan #user ribuan ratusan Ukuran DB 100MB - GB 100GB TB met rik throughput transaksi Throughput query, respons penggunaan berulang Khusus untuk sesuatu maksud

19 Arsitektur Warehouse ... Klien Klien Warehouse Sumber Sumber Sumber
Query & Analysis Warehouse Integrator Metadata Extractor/ Monitor Extractor/ Monitor Extractor/ Monitor Sumber Sumber Sumber ...

20 (Multidimensional OLAP)
Arsitektur Warehouse Klien Server Data Warehouse Sumber Informasi Server OLAP MOLAP (Multidimensional OLAP) OLTP DBMS Analysis Query/Reporting Saring, bersihkan, transforma-sikan, kumpulkan, muat, ubah Sumber Data lainnya Data Mining Data Marts ROLAP (Relational OLAP)

21 Model Data Multidimensi
Model data multidimensional dirancang untuk memfasilitasi analisis dan bukan transaksi Umum didalam data warehouse Konsep intuitif dari banyak dimensi atau perspektif pengukuran bisnis atau fakta-fakta Melihat sales dari perspektif customer, product dan time Model konseptual Hypercube – suatu “kubus n-sisi” Database adalah suatu kumpulan fakta (titik) dalam suatu ruang multidimensi

22 Model Kubus Data Kubus 2-d ke 3-d Memutar kubus

23 Model Data Multidimensi
Suatu fakta memiliki suatu ukuran dimensi Besaran yang akan dianalisa, misal, sale, budget Sekumpulan dimensi dimana data dianalisa Misal, store, product, date yang dikaitkan dengan suatu jumlah sale Dimensi membentuk suatu sistem koordinat populasi Atribute-atribut dari suatu dimensi bisa berhubungan dengan urutan parsial Hierarki: misal, street > county >city Kisi: misal, date> month>year, date>week>year

24 Model Data Multidimensi
Ukuran– data numerik yang akan diamati Dimensi– parameter bisnis yang mendefinisikan suatu transaksi Contoh: analis ingin melihat data sales (ukuran) berdasarkan dimensi geography, time, dan product Pemodelan dimensional adalah suatu teknik untuk menstrukturkan data disekitar konsep bisnis Model ER menguraikan “entitas” dan “relasi” Model dimensional menguraikan “ukuran” dan “dimensi”

25 Pemodelan Data Warehouse
Data Warehouse == Pemodelan Dimensional OLAP == Query suatu model dimensional Jika manajer/user berkata: “Kita menjual PRODUCT dalam berbagai MARKET dan kita mengukur kinerja kita berdasarkan TIME” Maka secara konseptual kita menggambarkan suatu kubus data dalam 3 dimensi, dimana masing-masing sel memuat pengukuran. TIME MARKET PRODUCT

26 Pemodelan Data Warehouse
Dimensi yang mungkin: Time: day, week, month, quarter, year Geography / Market (Space) :city, county, state, region, nation Product:brand, model, color, size, weight, ... Vendor Customer Organizational unit / Line of Business Salesperson View - actual, budget, forecast... … Masing-masing adalah dasar untuk agregasi dan pemecahan

27 Dari Tabel dan Spreadsheet menjadi
Kubus Data Suatu data warehouse didasarkan kepada suatu model data multidimensi yang melihat data dalam bentuk suatu kubus data Suatu kubus data seperti Sales memungkinkan data untuk dimodelkan dan dilihat dari banyak dimensi Dimensi tabel, seperti item (item_name, brand, type), atau time(day, week, month, quarter, year) Tabel fakta memuat ukuran (seperti dollars_sold) dan kunci untuk setiap dimensi tabel terkait

28 Contoh Kubus Data

29 Contoh Kubus Data