DATA DIRI DOSEN Nama : AFIJAL, S.Kom, M.Kom NIDN : 0125088401 TTL : Pulau Kayu, 25 Agustus 1984 Alamat : Jl. Medan – B. Aceh Lr. Sawah Gampong Uteun Geulinggang Kec. Dewantara Kab. Aceh Utara No. HP : +62813 6058 8524 – PIN BB : 73EA1C50 Webblog : http://www.ijalnewbie.wordpress.com PENDIDIKAN SD Negeri 1 Blang Dalam Kab. Aceh Selatan SMP Negeri 1 Kuala Batee Kab. Aceh Selatan SMA Negeri 2 Lhokseumawe Kab. Aceh Utara AMIK Logika Yos Sudarso Medan Diploma I STMIK Bina Bangsa Lhokseumawe Sarjana Komputer Teknik Informatika Universitas Putra Indonesia “YPTK” Padang Magister Komputer Sistem Informasi PEKERJAAN SEKARANG Dosen Tetap Universitas Almuslim Peusangan Direktur LSM JADUP Bireuen Tuha Peut Kualisi untuk Advokasi Laut Aceh (KuALA) Ketua Pembina Yayasan RIPMA (Riset dan Pengembangan Masyarakat)

KNOWLEDGE DISCOVERY IN DATABASES (kdd) DAN Data Warehouse

Beda KDD dan Data Mining?

Definisi sederhana dari KDD adalah proses dalam mengidentifikasi pola-pola di dalam data secara yang valid, berguna dan tentunya dapat dimengerti. Sedangkan definisi dari data mining adalah ekstraksi pola atau model dari data yang diamati. Meskipun data mining ada pada inti dari proses discovery knowledge, tetapi data mining ini biasanya mengambil hanya sebagian kecil (diperkirakan 15% sampai 25%) dari proses secara menyeluruh. KDD vs Data Mining

Tahapan dalam KDD

Lanjutan Tahapan dalam KDD Pemilihan Data (Data Preprocessing/Cleaning) Pemprosesan pendahuluan dan pembersihan data merupakan operasi dasar seperti penghapusan noise dilakukan. Sebelum proses data mining dapat dilaksanakan, perlu dilakukan proses cleaning pada data yang menjadi fokus KDD. Proses cleaning mencakup antara lain membuang duplikasi data, memeriksa data yang inkonsisten, dan memperbaiki kesalahan pada data, seperti kesalahan cetak (tipografi). Dilakukan proses enrichment, yaitu proses “memperkaya” data yang sudah ada dengan data atau informasi lain yang relevan dan diperlukan untuk KDD, seperti data atau informasi eksternal. Lanjutan Tahapan dalam KDD

Lanjutan Tahapan dalam KDD Transformasi Data Pencarian fitur-fitur yang berguna untuk mempresentasikan data bergantung kepada goal yang ingin dicapai. Merupakan proses transformasi pada data yang telah dipilih, sehingga data tersebut sesuai untuk proses data mining. Proses ini merupakan proses kreatif dan sangat tergantung pada jenis atau pola informasi yang akan dicari dalam basis data Lanjutan Tahapan dalam KDD

Lanjutan Tahapan dalam KDD Data Mining Pemilihan tugas data mining; pemilihan goal dari proses KDD misalnya klasifikasi, regresi, clustering, dll. Pemilihan algoritma data mining untuk pencarian (searching) Proses Data mining yaitu proses mencari pola atau informasi menarik dalam data terpilih dengan menggunakan teknik atau metode tertentu. Teknik, metode, atau algoritma dalam data mining sangat bervariasi. Pemilihan metode atau algoritma yang tepat sangat bergantung pada tujuan dan proses KDD secara keseluruhan. Lanjutan Tahapan dalam KDD

Lanjutan Tahapan dalam KDD Interpretasi/Evaluasi Penerjemahan pola-pola yang dihasilkan dari data mining. Pola informasi yang dihasilkan dari proses data mining perlu ditampilkan dalam bentuk yang mudah dimengerti oleh pihak yang berkepentingan. Tahap ini merupakan bagian dari proses KDD yang mencakup pemeriksaan apakah pola atau informasi yang ditemukan bertentangan dengan fakta atau hipotesa yang ada sebelumnya. Lanjutan Tahapan dalam KDD

Pertanyaan dan Diskusi

Pengantar DATA WAREHOUSE

Mengapa kita perlu DATA WAREHOUSE?

Permasalahan DBMS Saat Ini Ketika organisasi memiliki kantor lebih dari satu, setiap kantor akan membuat DBMS sendiri. Jikalau development tidak dikontrol secara terpusat, coding untuk DBMS antar cabang akan berbeda. Sangat sulit mengintegrasi database untuk informasi tertentu Permasalahan DBMS Saat Ini

Lanjutan Permasalahan DBMS Saat Ini Walaupun semua nama variable mengarah ke attribute yang sama, integrasi dari database tetap menyulitkan Permasalahan lain: unit dari ukuran Misal: unit untuk mata uang di database indonesia adalah rupiah sedangkan di database di singapore menggunakan mata uang dollar singapore Jadi akses data dan konsolidasi data dari dua database tidak dapat lgsg dilakukan E-R model untuk data operasional menjadi lebih kompleks dan sangat sulit untuk dipelajari Lanjutan Permasalahan DBMS Saat Ini

Karakteristik Data Warehouse 1. Subject Oriented Data warehouse berorientasi subjek, artinya data warehouse berorientasi terhadap subjek-subjek utama dalam suatu perusahaan, seperti data warehouse untuk customer, produk, dan sebagainya. Dapat juga dikatakan bahwa data warehouse didesain untuk membantu dalam menganalisis data berdasarkan subjek-subjek tertentu sehingga hanya data yang benar-benar diperlukan yang dimasukkan ke dalam data warehouse. Karakteristik Data Warehouse

Lanjutan Karakteristik Data Warehouse 2. Integrated Data warehouse dapat menyimpan data-data yang berasal dari sumber-sumber yang terpisah ke dalam suatu format yang konsisten dan saling terintegrasi satu sama lain. Data tidak dapat dipecah-pecah karena data yang ada merupakan suatu kesatuan yang menunjang keseluruhan konsep data warehouse itu sendiri. Lanjutan Karakteristik Data Warehouse

Lanjutan Karakteristik Data Warehouse 3. Non Volatile Data-data dalam sebuah Data Warehouse tidak dapat diubah (tidak dapat di-update). Data-data tersebut merupakan data historis yang digunakan untuk memenuhi kebutuhan analisis, bukan untuk menangani transaksi seperti pada basis data transaksional pada umumnya. Hanya ada dua operasi initial loading of data dan access of data. Lanjutan Karakteristik Data Warehouse

Lanjutan Karakteristik Data Warehouse 4. Time Variant Data yang berada di dalam data warehouse akurat dan valid pada titik waktu tertentu atau dalam interval waktu tertentu (hanya pada saat proses ETL/update). Setiap data yang dimasukkan ke data warehouse pasti memiliki dimensi waktu. Dimensi waktu ini akan dipergunakan sebagai pembanding dalam perhitungan untuk menghasilkan laporan yang diinginkan. Selain itu, dengan menggunakan dimensi waktu, pembuat keputusan dapat mengenal kecenderungan dan pola dari suatu data. Lanjutan Karakteristik Data Warehouse

Arsitektur Data Warehouse Terdapat beberapa bentuk arsitektur Data warehouse berdasarkan spesifikasi dari organisasi yang menggunakannya. Tiga bentuk arsitektur yang biasa digunakan adalah sebagai berikut : 1. Arsitektur Dasar Data Warehouse Gambar berikut menampilkan arsitektur sederhana dari suatu Data Warehouse. User dapat secara langsung mengakses data yang diambil dari beberapa source melalui data warehouse. Arsitektur Data Warehouse

Lanjutan Arsitektur Data Warehouse

Lanjutan Arsitektur Data Warehouse Pada gambar diatas metadata dan raw data dari OLTP (Online transaction processing) terdapat didalamnya, dan sebagai tambahan di dalam Warehouse terdapat summary data. Summary data ini sangat berguna dalam data Warehouse karena mereka melakukan perhitungan yang kompleks sebelumnya. Sebagai contoh, data warehouse melakukan query untuk mendapatkan data sales di bulan Agustus. Lanjutan Arsitektur Data Warehouse

Lanjutan Arsitektur Data Warehouse 2. Arsitektur Data Warehouse dengan menggunakan Staging Area Pada arsitektur dasar, anda harus membersihkan dan memproses data operasional sebelum memasukkannya ke dalam warehouse. Anda dapat melakukannya dengan menggunakan program, meskipun hampir semua data warehouse menggunakan staging area didalamnya. Staging area menyederhanakan proses pembuatan summary dan management warehouse secara umum Lanjutan Arsitektur Data Warehouse

Lanjutan Arsitektur Data Warehouse

Lanjutan Arsitektur Data Warehouse 3. Arsitektur Data Warehouse dengan menggunakan Staging Area dan Data Mart Dalam menggunakan data warehouse anda dapat mengkustomisasi arsitekturnya yang disesuaikan dengan kebutuhan organisasi. Hal ini dimungkinkan dengan menambahkan data mart. Data mart merupakan subset dari data resource, biasanya berorientasi untuk suatu tujuan yang spesifik atau subjek data yang didistribusikan untuk mendukung kebutuhan bisnis. Sebagai contoh data purchasing, sales, dan inventory dapat di pisahkan dalam masing-masing cube. Dalam contoh ini seorang analis keuangan dapat menganalisa histori data untuk purchases dan sales. Lanjutan Arsitektur Data Warehouse

Lanjutan Arsitektur Data Warehouse

Keuntungan Data Warehouse Data diorganisir dengan baik untuk query analisis dan sebagai bahan untuk pemrosesan transaksi. Perbedaan diantara struktur data yang heterogen pada beberapa sumber yang terpisah dapat diatasi. Aturan untuk transformasi data diterapkan untuk memvalidasi dan mengkonsolidasi data apabila data dipindahkan dari database OLTP ke data warehouse. Masalah keamanan dan kinerja bisa dipecahkan tanpa perlu mengubah sistem produksi. Keuntungan Data Warehouse

Sumber Data untuk Data Warehouse Data operasional dalam organisasi, misalnya basis data pelanggan dan produk, dan Sumber eksternal yang diperoleh misalnya melalui Internet, basis data komersial, basis data pemasok atau pelanggan Sumber Data untuk Data Warehouse

Multidimensional yang berarti bahwa terdapat banyak lapisan kolom dan baris (Ini berbeda dengan tabel pada model relasional yang hanya berdimensi dua) Berdasarkan susunan data seperti itu, amatlah mudah untuk memperoleh jawaban atas pertanyaan seperti: “Berapakah jumlah produk 1 terjual di Jawa Tengah pada tahun n-3?” Sifat Data Warehouse

Lanjutan Sifat Data Warehouse Data warehouse dapat dibangun sendiri dengan menggunakan perangkat pengembangan aplikasi ataupun dengan menggunakan perangkat lunak khusus yang ditujukan untuk menangani hal ini Beberapa contoh perangkat lunak yang digunakan untuk administrasi dan manajemen data warehouse: HP Intelligent Warehouse (Hewlett Packard) FlowMark (IBM) SourcePoint (Software AG) Lanjutan Sifat Data Warehouse

Petunjuk Membangun Data Warehouse Menentukan misi dan sasaran bisnis bagi pembentukan data warehouse Mengidentifikasi data dari basis data operasional dan sumber lain yang diperlukan bagi data warehouse Menentukan item-item data dalam perusahaan dengan melakukan standarisasi penamaan data dan maknanya Merancang basis data untuk data warehouse Membangun kebijakan dalam mengarsipkan data lama sehingga ruang penyimpanan tak menjadi terlalu besar dan agar pengambilan keputusan tidak menjadi terlalu lamban. Menarik data produksi (operasional) dan meletakkan ke basis data milik data warehouse Petunjuk Membangun Data Warehouse

Skema tabel yang sering digunakan adalah skema bintang (star schema), yang digunakan pada OLAP Skema tabel ini membentuk struktur informasi multidimensi yang kompatibel dengan kebutuhan bisnis Pemodelan Data

Lanjutan Pemodelan Data

Pertanyaan dan Diskusi

Kata-kata Bijak perangsang Otak “Seseorang yang berhenti belajar adalah orang lanjut usia, meskipun umurnya masih remaja. Seseorang yang tidak pernah berhenti belajar akan selamanya menjadi pemuda” Kata-kata Bijak perangsang Otak

Sampai Jumpa Pada Pertemuan Berikutnya....... !