Pertemuan ke-1 (GUDANG DATA) DATA WAREHOUSE Pertemuan ke-1 (GUDANG DATA)

Materi Kuliah: Data warehouse Pemodelan Data Warehouse OLAP (online analytical processing) ETL (Extraction Transformation Loading) Cakupan /Fokus: – Rekayasa (engineering) untuk memecahkan masalah – Analisis dan Perancangan

1. Mengapa belajar DW. 2. Untuk apa belajar DW. 3 1. Mengapa belajar DW? 2. Untuk apa belajar DW? 3. Apa manfaat belajar DW bagi saya ?

Mengapa DW? Data yang sangat besar! • Digitalisasi, kemajuan sistem informasi > data, data, data (Tera > Peta) • Web 2.0 > berita, blog, twitter, forum, flickr, fb, youtube, flickr • Streaming data  sensor, internet of thing (IoT) Data yang sangat besar!

Mengapa DWM: Banjir Data • Indomaret: 4500an gerai, asumsi 3 transaksi per menit = 12 juta transaksi per hari se Indonesia. • Kartu kredit visa: berlaku di 200 negara. 10 ribu transaksi per detik > 850 juta transaksi per hari. • Twitter: 8000an tweet per detik  600 juta tweet per hari. • Facebook: 30 milyar item (link, status, note, foto dst) per bulan. 900 juta user menghabiskan 700 milyar menit per bulan di situs FB.

Bagaimana mengelolanya? Apa yang bisa dilakukan perusahaan dengan data sebanyak itu? Informasi apa yang bisa didapat?

Banjir Data Large Hadron Collider: 15 petabytes data per tahun 1 Peta = 1 Juta Giga 1 Tera = 1000 Giga 1 Peta = 1000 Tera http://nextnature.net/wp-content/uploads/2009/09/lhc-530.jpg?iact=hc&vpx=1076&vpy=276&dur=1031&hovh=260&hovw=194&tx =158&ty=231&sig=112386718339487151050&ei=io1GUO-NCMjorQeJ2oCgBw&page=2&tbnh=149&tbnw=113&start=18&ndsp=24&ved=1t:42 9,r:35,s:18,i:40

Penyimpanan Petabytes • 1562 kali hardisk 640GB • Harga: Rp.5 Milyar

Evolusi DB 60-an: koleksi data (file system primitif) 70-80: MIS (Sistem Informasi Management) 80-sekarang: OO, Deductive, Spatial, Multimedia 90-sekarang: Web based (XML, web mining), Datawarehouse, OLAP, Text Database, Text + Data mining 05-sekarang: Stream data management and mining, Cloud, Web

Tenggelam dalam data, tapi lapar dalam pengetahuan ! Jiawei Han

Masalah Utama • Bagaimana mengelola data? • Data berjumlah besar • Aliran besar (volume per satuan waktu) • Dimensi besar > jumlah field – Bayangkan indomaret: • Data: Produk per toko, jenis produk, transaksi • Laporan: transaksi per waktu (hari/bulan/tahun), transaksi per wilayah (kabu-kota/propinsi), transaksi per produk per wilayah dst. • Bagaimana mengelola data? • Bagaimana mendapatkan pengetahuan & pemahaman?

Solusi Datawarehouse Datamining

Apa Data warehouse? • Database pendukung keputusan yang terpisah dengan database operasional – Apa database operasional? • Platform untuk penggabungan data historis untuk analisis • Subject oriented (multi dimensi), terintegrasi, historis, non volatile

Pengertian Data Warehouse Sebuah tempat penyimpanan data yang lengkap dan konsisten yang berasal dari sumber-sumber yang berbeda dibuat untuk penggunanya agar mereka dapat mengerti dan menggunakannya dalam konteks bisnis. [Barry Davlin]

Intelligence Enterprise

Pengertian Data Warehouse Sebuah proses transformasi data ke dalam sebuah informasi dan membuat informasi ini dapat diakses oleh penggunanya tepat waktu untuk membuat perubahan-perubahan (strategi bisnis). [Forrester Research, 1996]

Pengertian Data Warehouse (cont’d) 1. Berorientasi subjek, 2. Diintegrasikan, 3. Time-variant, 4. Nonvolatile, Koleksi data untuk medukung proses pembuatan manajemen pengambilan keputusan. [Bill Inmon]

Pengertian Data Warehouse (cont’d) Data warehouse adalah basis data yang menyimpan data sekarang dan data masa lalu yang berasal dari berbagai sistem operasional dan sumber yang lain (sumber eksternal) yang menjadi perhatian penting bagi manajemen dalam organisasi dan ditujukan untuk keperluan analisis dan pelaporan manajemen dalam rangka pengambilan keputusan Data warehouse digunakan untuk mendukung pengambilan keputusan, bukan untuk melaksanakan pemrosesan transaksi Data warehouse hanya berisi informasi-informasi yang relevan bagi kebutuhan pemakai yang dipakai untuk pengambilan keputusan