ETL (Extract-Transform-Load)

Slides:



Advertisements
Presentasi serupa
Data Warehousing :: Overview
Advertisements

BAB 6 SISTEM MANAJEMEN DATABASE
Chapter 16 Testing Your Data Warehouse
Bab 10 BASIS DATA.
DESAIN & KONFIGURASI DATABASE
Seminar Tugas Akhir Yohanes Setiawan ( )
5.
PEMROSESAN FILE DAN KONSEP MANAJEMEN DATA
Backup dan Recovery.
CHAPTER 7 DATA EXTRACTION
MANAJEMEN DATABASE Modul-14.
BASIS DATA LANJUTAN.
Backup dan Recovery Hendra Fajar H
Ekstraksi, Transformasi dan Loading (ETL)
DATABASE ADMINISTRATION Pertemuan ke-10. Data Movement and Distribution source : Database Administration the complete guide to practices and procedures.
Sistem Basis Data - Universitas Semarang
Administrasi Database
Konsep Dasar Database Database (basis data) adalah: sistem penyimpanan beragam jenis data dalam sebuah entitas yang besar untuk diolah sedemikian rupa.
Data Mart dan Metadata Data Warehouse
Data Warehousing Sistem Basis Data Lanjut Prepared by: MT. Wilson
“ SISTEM BERKAS DAN KEAMANAN DATA ”
Data Mart dan Metadata Data Warehouse
Sistem Terdistribusi.
Basis Data Dasar Rudi Hartono, S.E, S.Kom.
Arsitektur Data Warehouse
Komponen Data warehouse
Arsitektur DWH Pertemuan ke-2.
Pertemuan 5-1 Database dan Sistem Manajemen Database
ONLINE ANALYTICAL PROCESSING (OLAP)
Desain Database Disusun Oleh : Dr. Lily Wulandari
BAB 1 Pengenalan Database dan DBMS
SISTEM MANAJEMEN DATA Cherrya Dhia Wenny.
PROGRAM STUDI AKUNTANSI - STIE MDP
DATA WAREHOUSE Pertemuan ke-1.
Recovery Adapted from: Connolly, Thomas., et.al., Database System. Wokingham England: Addison-Wesley Publishing Company.
“ SISTEM BERKAS DAN KEAMANAN DATA ”
Pengantar TI 2015/2016 DATABASE (BASIS DATA).
Presented by Team Basis Data
File Service Sistem Terdistribusi.
Backup & Recovery.
Data Movement & Distribution Database
Pertemuan III Betha Nurina Sari, M.Kom
04 Datawarehouse Transformasi Data Febrianti Supardinah, ST.MM.
Pengenalan Microsoft Access
DATA MART Pertemuan ke-3.
“ SISTEM BERKAS ” Oleh : Didik Haryanto ( ) A.
Proses ETL (Extract-Transform-Load)
Chapter 10 Manajemen Database
Membuat Dokumen dengan Software Pengolah Angka
ARSITEKTUR DATA WAREHOUSE
Proses ETL (Extract, Transform and Loading)
LINGKUNGAN DATABASE Arsitektur Database
Administrasi Database
Prinsip Data Warehouse
Basis Data Dasar Rudi Hartono, S.E, M.Kom.
Perancangan Fisik Basis Data
ETL (Extract Transform Load)
Perancangan Data Logis dan Fisik
Domain Name System (DNS)
Metodologi dan Pengembangan Data Warehouse
Oleh : Rahmat Robi Waliyansyah, M.Kom.
Sistem Manajemen Basis Data
“ SISTEM BERKAS DAN KEAMANAN DATA ”
TEKNIK PENGUJIAN PERANGKAT LUNAK
Building Data Warehouse
Introduction to Data Warehouse By: Marcello Singadji
CARA PENGISIAN FORMAT EXCEL RDKK:
OLTP & ETL Data integration.
Akses Database Menggunakan Framework
PERKEMBANGAN DATA WAREHOUSE
Transcript presentasi:

ETL (Extract-Transform-Load) Oleh : Rahmat Robi Waliyansyah, M.Kom.

Pengenalan ETL Extract, Transform dan Load (ETL) adalah proses mengambil dan mengubah data dari sumber sistem kemudian meletakkannya kedalam data warehouse.

Prinsip Fundamental Pada Ekstraksi Data Diantaranya : Volume data yang diambil berukuran besar. Sistem OLTP didesain sehingga data yang diambil dalam ukuran kecil. Proses ekstraksi dilakukan secepat mungkin. Proses ekstraksi dilakukan sebisa mungkin menjadi kecil. Diharapkan, perubahan di sumber sistem seminimal mungkin.

Jenis – Jenis Data Transformation : Formatting dan standardisasi. Mengubah ke angka tertentu atau format tanggal. Terjemahkan ke bentuk lain. Agregasi atau merangkum data pada level lebih tinggi.

Prinsip penting lainnya pada ETL : Leakage (Kebocoran) terjadi ketika proses ETL mendownload semua data secara lengkap dari sumber sistem, namun pada kenyataannya terdapat beberapa record yang hilang. Recoverability (Pemulihan) berarti bahwa proses ETL harus robust sehingga jika terjadi kegagalan, ini bisa segera dipulihkan tanpa kehilangan atau kerusakan data.

Metode Logical Extraction Terdapat 2 metode logical extraction yaitu: Full Extraction Incremental Extraction Metode Logical Extraction

Full Extraction Data diambil sepenuhnya dari sumber sistem. Karena ekstraksi ini mencerminkan semua data saat ini tersedia pada sumber sistem, tidak perlu untuk melacak perubahan pada sumber data sejak ekstraksi sukses terakhir.

Incremental Extraction Pada titik tertentu dalam waktu, hanya data yang telah berubah sejak terdefinisi dengan baik kembali data akan diekstraksi. Dalam kebanyakan kasus, menggunakan metode tertentu untuk menambahkan logika ekstraksi ke sistem sumber.

Pendekatan dan Arsitektur ETL Mengambil data dari sumber sistem, letakkan di area staging, kemudian ubah dan muat data tersebut kedalam data warehouse. Stage dalam disk

Pendekatan dan Arsitektur ETL Mengambil data dari sumber sistem, mengubahnya dalam memory dan kemudian mengubah data warehouse secara langsung. Melakukan transformation dalam query

Pendekatan dan Arsitektur ETL Mengambil data dari sumber sistem, memuatnya kedalam data warehouse, kemudian menerapkan transformation dengan mengubah data di data warehouse. Pilihan dimana untuk melakukan transformation

Berikut merupakan kategori dari beberapa metode ETL dengan kondisi siapa yang memindahkan data keluar dari sumber sistem : Proses ETL menarik data keluar dengan melakukan query ke sumber sistem secara regular.

Berikut merupakan kategori dari beberapa metode ETL dengan kondisi siapa yang memindahkan data keluar dari sumber sistem : Trigger yang ada pada database sumber sistem mendorong perubahan data keluar.

Berikut merupakan kategori dari beberapa metode ETL dengan kondisi siapa yang memindahkan data keluar dari sumber sistem : Proses yang terjadwal dalam sumber sistem mengekspor data secara regular.

Berikut merupakan kategori dari beberapa metode ETL dengan kondisi siapa yang memindahkan data keluar dari sumber sistem : Pembaca log membaca file log database untuk mengidentifikasi perubahan data

Berikut merupakan kategori dari beberapa metode ETL berdasarkan lokasi dari proses : Eksekusi proses ETL dalam sebuah server ETL yang terpisah yang berada diantara sumber sistem dan server data warehouse. Eksekusi proses ETL dalam server data warehouse. Eksekusi proses ETL dalam server yang menghost sumber sistem.

Ekstraksi Database Relasional Incremental extract, merupakan teknik untuk mendownload baris – baris yang berubah dari sumber sistem, tidak keseluruhan tabel. Fixed range digunakan apabila tidak terdapat kolom timestamp atau kolom tersebut tidak reliable.

Ekstraksi Sistem File Jenis file yang sering digunakan sebagai sumber dalam proses ETL adalah Flat File. Dua contoh flat file yaitu fixed – position file dan pipe – delimited file. Flat file biasa digunakan karena mereka memberikan performa terbaik. Importing atau exporting dari flat file merupakan yang tercepat, dibandingkan dengan jenis file lain (seperti XML).