Ekstraksi, Transformasi dan Loading (ETL)

Presentasi berjudul: "Ekstraksi, Transformasi dan Loading (ETL)"— Transcript presentasi:

1 Ekstraksi, Transformasi dan Loading (ETL)
Wiratmoko Yuwono

2 Pengantar Tiga fungsi utama yang perlu dilakukan untuk membuat data siap digunakan pada datawarehouse adalah extraction, transformation dan loading. Ketiga fungsi ini terdapat pada staging area. Pada data staging ini, disediakan tempat dan area dengan beberapa fungsi seperti data cleansing, change, convert, dan menyiapkan data untuk disimpan serta digunakan oleh datawarehouse.

3 Extraction Data Extraction adalah proses pengambilan data yang diperlukan dari sumber datawarehouse dan selanjutnya dimasukkan pada staging area untuk diproses pada tahap berikutnya . Pada fungsi ini, kita akan banyak berhubungan dengan berbagai tipe sumberdata. Format data, mesin yang berbeda, software dan arsitektur yang tidak sama. Sehingga sebelum proses ini kita lakukan, sebaiknya perlu kita definisikan requirement terhadap sumber data yang akan kita butuhkan untuk lebih memudahkan pada extraction data ini.

4 Extraction Tipe Ekstraksi Data secara logika 1. Full Extraction
Extraksi data dilakukan secara menyeluruh dari sumber data, biasanya dilakukan pada saat create pertama kali datawarehouse, dimana data dalam datawarehouse belum ada sama sekali. 2. Incremental Extraction Ekstraksi data dilakukan secara sebagian, data yang diekstraksi adalah data yang mengalami perubahan saja, dilakukan pada saat datawarehouse sudah berjalan.

5 Extraction Tipe Ekstraksi Data secara physical 1. Online Extraction
Data yang diekstrak langsung berasal dari sumber data (dapat memakai snapshot log ataupun dapat memakai trigger database) 2. Offline Extraction Data yang diekstrak tidak langsung berasal dari sumber data. (contoh dapat memakai Flat File, Dump File, Redo Log, Archive Log atau Transportable Tabelspace)

6 Extraction (Change Data Capture)
Digunakan pada metode Incremental Extraction. Dapat menggunakan timestamp, Partitioning dan Database Trigger Contoh TimeStamp : SELECT * FROM orders WHERE TRUNC(CAST(order_date AS date),'dd') =TO_DATE(SYSDATE,'dd-mon-yyyy');

7 Transformation Pada kenyataannya, pada proses transaksional data disimpan dalam berbagai format sehingga jarang kita temui data yang konsisten antara aplikasi-aplikasi yang ada. Transformasi data ditujukan untuk mengatasi masalah ini. Dengan proses transformasi data ini, kita melakukan standarisasi terhadap data pada satu format yang konsisten. Beberapa contoh ketidakkonsistenan data tersenut dapat diakibatkan oleh tipe data yang berbeda, data length dan lain sebagainya.

8 Transformation Untuk lebih jelasnya dapat dilihat pada tabel 2.1 yang menunjukkan permasalahan dasar pada proses pengintegrasian data.

9 Transformation Keterangan :
Format, Pada transaksional data dapat disimpan dalam berbagai format. Elemen data tersebut dapat tersimpan dalam format text, integer dan sebagainya. Untuk itu standarisasi perlu dilakukan dengan melihat kegunaan pokok dari elemen data pada proses transaksinal dan datawarehouse. Description, Pada tabel terlihat representasi ketiga nama pelanggan adalah sama. Namun dengan penulisan yang beda terlihat adanya perbedaan format pada data. Oleh karena itu perlu diambil salah satu dari deskripsi tersebut untuk konsistensi data.

10 Transformation Unit, Adanya perbedaan satuan ukuran dapat menimbulkan permasalahan yang komplek. Jika user tidak mengetahui adanya perbedaan ini dan menganggap sama, maka akan terjadi kesalahan ketika kita melakukan penghitungan matematis. Encoding, huruf atau nomor dapat dijadikan label sebagi identifikasi suatu objek. Seperti pada tabel diatas, kesalahan dapat terjadi karenanya.

11 Transformation Cara Mentransformasi Data :
MultiStage DataTransformation Data ditransformasi dengan beberapa tahapan, dengan bantuan staging table

12 Transformation 2. PipeLined DataTransformation Data ditransformasi dan langsung dimasukkan ke datawarehouse tanpa bantuan table staging

13 Loading Data loading adalah memindahkan data ke datawarehouse.
Banyak cara yang dapat anda lakukan untuk melakukan loading data, spt : Loading data dengan SQL Loader Loading data dengan External Table Loading data dengan OCI Loading data dengan Export/Import