ETL (Extract-Transform-Load)

Presentasi berjudul: "ETL (Extract-Transform-Load)"— Transcript presentasi:

1 ETL (Extract-Transform-Load)
Oleh : Rahmat Robi Waliyansyah, M.Kom.

2 Pengenalan ETL Extract, Transform dan Load (ETL) adalah proses mengambil dan mengubah data dari sumber sistem kemudian meletakkannya kedalam data warehouse.

3 Prinsip Fundamental Pada Ekstraksi Data Diantaranya :
Volume data yang diambil berukuran besar. Sistem OLTP didesain sehingga data yang diambil dalam ukuran kecil. Proses ekstraksi dilakukan secepat mungkin. Proses ekstraksi dilakukan sebisa mungkin menjadi kecil. Diharapkan, perubahan di sumber sistem seminimal mungkin.

4 Jenis – Jenis Data Transformation :
Formatting dan standardisasi. Mengubah ke angka tertentu atau format tanggal. Terjemahkan ke bentuk lain. Agregasi atau merangkum data pada level lebih tinggi.

5 Prinsip penting lainnya pada ETL :
Leakage (Kebocoran) terjadi ketika proses ETL mendownload semua data secara lengkap dari sumber sistem, namun pada kenyataannya terdapat beberapa record yang hilang. Recoverability (Pemulihan) berarti bahwa proses ETL harus robust sehingga jika terjadi kegagalan, ini bisa segera dipulihkan tanpa kehilangan atau kerusakan data.

6 Metode Logical Extraction
Terdapat 2 metode logical extraction yaitu: Full Extraction Incremental Extraction Metode Logical Extraction

7 Full Extraction Data diambil sepenuhnya dari sumber sistem.
Karena ekstraksi ini mencerminkan semua data saat ini tersedia pada sumber sistem, tidak perlu untuk melacak perubahan pada sumber data sejak ekstraksi sukses terakhir.

8 Incremental Extraction
Pada titik tertentu dalam waktu, hanya data yang telah berubah sejak terdefinisi dengan baik kembali data akan diekstraksi. Dalam kebanyakan kasus, menggunakan metode tertentu untuk menambahkan logika ekstraksi ke sistem sumber.

9 Pendekatan dan Arsitektur ETL
Mengambil data dari sumber sistem, letakkan di area staging, kemudian ubah dan muat data tersebut kedalam data warehouse. Stage dalam disk

10 Pendekatan dan Arsitektur ETL
Mengambil data dari sumber sistem, mengubahnya dalam memory dan kemudian mengubah data warehouse secara langsung. Melakukan transformation dalam query

11 Pendekatan dan Arsitektur ETL
Mengambil data dari sumber sistem, memuatnya kedalam data warehouse, kemudian menerapkan transformation dengan mengubah data di data warehouse. Pilihan dimana untuk melakukan transformation

12 Berikut merupakan kategori dari beberapa metode ETL dengan kondisi siapa yang memindahkan data keluar dari sumber sistem : Proses ETL menarik data keluar dengan melakukan query ke sumber sistem secara regular.

13 Berikut merupakan kategori dari beberapa metode ETL dengan kondisi siapa yang memindahkan data keluar dari sumber sistem : Trigger yang ada pada database sumber sistem mendorong perubahan data keluar.

14 Berikut merupakan kategori dari beberapa metode ETL dengan kondisi siapa yang memindahkan data keluar dari sumber sistem : Proses yang terjadwal dalam sumber sistem mengekspor data secara regular.

15 Berikut merupakan kategori dari beberapa metode ETL dengan kondisi siapa yang memindahkan data keluar dari sumber sistem : Pembaca log membaca file log database untuk mengidentifikasi perubahan data

16 Berikut merupakan kategori dari beberapa metode ETL berdasarkan lokasi dari proses :
Eksekusi proses ETL dalam sebuah server ETL yang terpisah yang berada diantara sumber sistem dan server data warehouse. Eksekusi proses ETL dalam server data warehouse. Eksekusi proses ETL dalam server yang menghost sumber sistem.

17

18 Ekstraksi Database Relasional
Incremental extract, merupakan teknik untuk mendownload baris – baris yang berubah dari sumber sistem, tidak keseluruhan tabel. Fixed range digunakan apabila tidak terdapat kolom timestamp atau kolom tersebut tidak reliable.

19 Ekstraksi Sistem File Jenis file yang sering digunakan sebagai sumber dalam proses ETL adalah Flat File. Dua contoh flat file yaitu fixed – position file dan pipe – delimited file. Flat file biasa digunakan karena mereka memberikan performa terbaik. Importing atau exporting dari flat file merupakan yang tercepat, dibandingkan dengan jenis file lain (seperti XML).