Proses ETL (Extract-Transform-Load) Data Warehousing and Data Mining

Scrub atau data cleansing Transform Load dan Index Proses ETL Ekstrak (Extract) Capture Scrub atau data cleansing Transform Load dan Index ETL = Extract, transform, and load © Prentice Hall, 2002 2

Gambar 1. Langkah rekonsiliasi data STAGING AREA Capture = extract…obtaining a snapshot of a chosen subset of the source data for loading into the data warehouse Incremental extract = mengambil hanya data-data yang mengalami perubahan akibat static extract Static extract = mengambil data-data dari sumber pada waktu tertentu, dan biasanya hanya dilakukan sekali di awal proses. © Prentice Hall, 2002 3

Figure 11-10: Steps in data reconciliation (continued) STAGING AREA Scrub = cleanse…uses pattern recognition and AI techniques to upgrade data quality Fixing errors: salah ejaan, tanggal yang salah, penggunaan kolom yang salah, alamat yang tidak cocok, data yang hilang, data ganda, inkonsistensi juga: decoding, reformatting, time stamping, konversi, key generation, penggabungan, deteksi error, pencarian data hilang © Prentice Hall, 2002 4

Figure 11-10: Steps in data reconciliation (continued) STAGING AREA Transform = convert data from format of operational system to format of data warehouse Record-level: Selection – pemisahan data Joining – penggabungan data Aggregation – peringkasan data Field-level: single-field – dari one field ke one field multi-field – dari many fields ke one, atau one field ke many © Prentice Hall, 2002 5

Figure 11-10: Steps in data reconciliation (continued) STAGING AREA Load/Index= place transformed data into the warehouse and create indexes Refresh mode: penulisan berulang data tujuan secara massal dan berkala Update mode: hanya perubahan-perubahan pada data sumber yang dimasukkan ke data warehouse © Prentice Hall, 2002 6

Figure 11-11: Single-field transformation Secara umum – beberapa fungsi transformasi memindahkan data dari old form ke new form Algorithmic transformation menggunakan sebuah formula atau ekspresi logika Table lookup – pendekatan lain © Prentice Hall, 2002 7

Figure 11-12: Multifield transformation M:1 – dari banyak fields ke one target field 1:M – dari one field ke many target fields © Prentice Hall, 2002 8

Karakteristik Data setelah Proses ETL Terperinci Data terperinci, tidak sekedar peringkasan Historical Data secara periodik Ternormalisasi 3rd NF atau lebih Komprehensif Perspektif pada Enterprise Timely Up-to-date (tidak harus real-time) Quality Controlled Kualitas yang baik

Derived Data Tujuan  Sifat Mempermudah penggunaan aplikasi pendukung keputusan Respon yang cepat terhadap permintaan pengguna yang telah ditetapkan Data yang telah disesuaikan untuk pihak-pihak tertentu Dukungan untuk permintaan pelaporan Kemampuan untuk di Data mining  Sifat Terperinci (data periodic) Ringkas (untuk penyimpulan) Terdistribusi (untuk layanan bagian-bagian tertentu) Most common data model = star schema (also called “dimensional model”) © Prentice Hall, 2002 10

Figure 11-13: Components of a star schema Fact tables contain factual or quantitative data Dimension tables are denormalized to maximize performance 1:N relationship between dimension tables and fact tables Dimension tables contain descriptions about the subjects of the business Excellent for ad-hoc queries, but bad for online transaction processing © Prentice Hall, 2002 11

Figure 11-14: Contoh Star schema Fact table provides statistics for sales broken down by product, period and store dimensions © Prentice Hall, 2002 12

Figure 11-15: Star schema with sample data © Prentice Hall, 2002 13