The Data Warehouse and The ODS

Presentasi berjudul: "The Data Warehouse and The ODS"— Transcript presentasi:

1 The Data Warehouse and The ODS

2 Kelompok 4

3 Operational Data Store
Pengertian ODS : Menurut Bill Inmon, Caludia Imhoff, dan Greg Battas dalam buku “Building Operational Data Store” ODS didefinisikan sebagai “subject oriented, integrated, volatile, tempat yang berisi data terkini dari perusahaan yang merupakan data detail.”

4 Operational Data Store
Definisi ODS menurut Kimball: ODS harus mendukung orientasi subjek, terintegrasi, media penyimpanan yang sering diupdate dan berisi data detail yang digunakan untuk mendukung sistem transaksi dengan data yang telah terintegrasi.

5 Operationa Data Store Jadi ODS dapat didefinisikan sebagai :
tempat penyimpanan data terintegrasi , berorientasi objek yang dapat digunakan untuk analisis guna mendukung proses operasional secara cepat dan real time yang berisi data yang bersifat sementara dan nantinya akan menjadi inputan data warehouse. Dengan membangun ODS, akan membantu dalam membangun data warehouse karena data yang terdapat pada ODS merupakan data yang bersih dan sudah diekstrasi dari sistem sumber.

6 Operational Data Store
ODS mendukung sistem operasional dengan adanya operasi Access dan Update, oleh karena itu ODS ini seharusnya ditempatkan di luar terpisah dari Data Warehouse. Selain itu karena struktur sistem ODS yang disesuaikan dengan kebutuhan operasional dan performa-nya akan sulit untuk memenuhi kebutuhan sebagai bagian dari sistem Desicion Support menyebabkan ODS dipisahkan dari data warehouse.

7 Menurut Inmon, posisi ODS terhadap Data Warehouse adalah sebagai

8 Operational Data Store
ODS mendapat data dari Legacy System. Dalam ODS data tersebut ditransformasikan dan diintegrasikan. Setelah batas waktu yang ditentukan tercapai (misalkan sehari atau Sebulan), data diteruskan dari ODS ke Data Warehouse. ODS sangat berguna untuk aplikasi perusahaan yang bersifat mission-critical. Fokus keputusan yang didasarkan pada ODS adalah keputusan yang bersifat sangat segera, sedangkan fokus keputusan yang didasarkan pada Data Warehouse bersifat agak lama atau lama sekali.

9 Operational Data Store
Contoh kegunaan ODS sebagai pendukung kegiatan Operasional: -Misalnya untuk para staf di HelpDesk atau Customer Support/Services, yang memerlukan data terkini sewaktu menjawab pertanyaan dan membantu pelanggan. -Data di ODS juga dapat digunakan untuk membuat laporan harian.

10 Development of ODS Saat ini teknologi Hardware dan Software yang mendukung Data Warehousing telah berkembang pesat dan tidak lagi ada masalah untuk menyimpan data sejarah level atomic, bahkan kita telah mampu melakukan proses Extract dan Cleansing data dengan cara yang amat cepat. Oleh karena itu muncullah pengembangan yang menempatkan ODS menjadi bagian dari Data Warehouse.

11 Development of ODS

12 Development of ODS Membawa ODS yang berorientasi sebagai Decision Support ke dalam framework Data Warehouse akan menyelesaikan beberapa masalah : 1. Dengan demikian kita hanya perlu fokus pada satu alur proses ectract data Pemikiran kita tidak perlu terbelah jika kita tetap menerima konsep ODS yang volatile, atau ODS yang tanpa data sejarah, atau ODS yang tidak mendukung peningkatan kinerja Aggregation. Dengan membawa ODS kedalam lingkungan Data Warehouse, kita akan membuatnya lebih bermanfaat baik untuk Clerk, Executive dan Analyst dan kita hanya perlu membuat satu saja Extract System. ODS yang baru secara sederhana ditunjukkan pada gambar berikut:

13 ODS vs Data Warehouse Sekilas ODS memang mirip dengan Data warehouse jika dilihat struktur dan isinya. Baik ODS maupun Data Warehouse adalah Subject-Oriented dan Integrated. Namun ODS mengandung Volatile Data yaitu data ODS bisa di-update, sementara Data Warehouse mengandung Nonvolatile Data yang artinya data pada Data Warehouse tidak boleh diupdate. Perbedaan penting yang lain adalah ODS hanya berisi data aktual ( terkini ) kalaupun ada data sejarah hanya dalam rentang waktu yang kecil, sementara pada Data Warehouse mengandung baik data aktual maupun data sejarah dengan rentang waktu yang besar misalkan 5th atau lebih. Perbedaan yang lain adalah ODS hanya megandung Detail Data sedang Data Warehouse mengandung baik Detail data maupun Summary Data.

14 Different of ODS vs Data Warehouse

15 Different Classes of ODS
ODS dapat dikelompokkan menjadi tiga berdasarkan waktu Update-nya menjadi 4 kelas sbb: ODS Class-1 ODS tipe ini diupdate secara sinkron dengan Legacy system. Ketika pada Legacy system terjadi Update maka dalam beberapa detik kemudian Update diteruskan pada ODS. Untuk kepentingan praktis kedua sistem menggunakan mekanisme Lock Step satu dengan yang lain. Perbedaan waktu antara dua atau tiga detik dan tentunya tidak menjadi perbedaan pada keputusan bisnis yang akan diambil.

16 Different Classes of ODS
2. ODS Class-2 Biasa menggunakan teknik yang disebut ‘store and forward approach’. Update yang terjadi di Legacy sytem dan hasilnya dikirimkan pada file terpisah, secara periodik misalnya setiap jam file tersebut diteruskan ke ODS. Kedua sistem yakni ODS dan Data warehouse dalam kondisi tidak singkron untuk satu atau dua jam.

17 Different Classes of ODS
ODS Class-3 Pada tipe ini juga digunakan teknik ‘Store and Foward’ seperti pada ODS Class-2 namun baru bisa selesai sampai ke ODS dalam basis 24 jam atau lebih. ODS Class-4 Pada tipe ini waktunya cukup panjang ( bisa memakan bulan atau mungkin tahunan ) untuk mengkoordinasikan data pada ODS dan data legacy. Biasanya dalam ODS Class 4, sumber data adalah data warehouse, meskipun bisa dari sumber lain.

18 ODS classes

19 ODS Classes ODS Class-2 dan ODS Class-3 adalah yang umum dipakai.
ODS Class-1 sangat jarang dipakai karena dua alasan : Kasus bisnis yang menggunakan ODS Class-1 sangat tidak lazim dan biaya teknologi dan operasional untuk ODS Class-1 sangat mahal. Sebaliknya kasus bisnis untuk ODS Class-2 dan ODS Class-3 sangat umum dan dapat didukung denganteknologi yang standard.

20 Database Design — A Hybrid Approach
ODS dirancang secara Hybrid

21 Drawn to Proportion Ketika ODS dan Data Warehouse ditampilkan bersama, biasanya data yang ditampilkan ODS akan lebih kecil daripada data warehouse. Hal ini dikarenakan ODS hanya berisi data terkini sedangkan data warehouse berisi seluruh detail data dan summary data.

22 Transaction Integrity in the ODS
Data Warehouse DBMS DBMS Tidak perlu integritas transaksi karena data warehouse tidak di-update dan karena data warehouse tidak melayani  proses transaksi dengan performa yang cepat. Cocok untuk ODS yang tidak memerlukan integritas transaksi. Overhead dari menjalankan data warehouse DBMS jauh lebih rendah dari DBMS yang berjalan dengan integritas transaksi. Real time back out dan recovery dari database yang terupdate diperlukan jika terjadi kegagalan dalam transaksi. ODS memerlukan integritas transaksi dikarenakan ODS men-support proses performa yang tinggi dan terupdate ke dalam ODS.

23 Time Slicing the ODS Day
Waktu dari hasil pengolahan ODS dibagi menjadi bagian – bagian waktu yang diperuntukkan membedakan jenis – jenis pemrosesan. Pembagian waktu ini adalah rahasia bagaimana ODS bisa menghasilkan performa pemrosesan yang cepat.

24 Time Slicing the ODS Day
Gambar 16-7 : 12.00 pm menunjukkan bahwa pada dini hari, ODS  beban kerjanya pengolahannya didedikasikan untuk satu jenis pengolahan - besar pekerjaan batch berurutan yang beban data, data sunting, data monitor, dan sebagainya. 08.00 am Kemudian pada  jam kerja reguler setiap hari mulai, ODS mulai berfungsi menjadi mesin yang didedikasikan untuk kinerja tinggi. Selama periode ini, beban kerja terdiri dari banyak kegiatan yang harus dijalankan secara cepat dan kegiatan sekuensial besar tidak diperbolehkan untuk berjalan selama jam puncak siang hari. 05.00 pm Kemudian, pada sore hari, ODS berubah menjadi sebuah mesin yang dapat running dengan beban kerja campuran.

25 ODS and the Web Environment
Penggunaan dari ODS berjalan bersamaan dengan interface dari lingkungan Web ke data warehouse.

26 An Example of an ODS Gambar 16-9 menunjukkan sebuah Data Warehouse yang dibuat untuk panggilan telepon. Ada jutaan catatan panggilan telepon ditemukan di gudang data.Panggilan telepon yang dilakukan oleh pelanggan dan sebuah catatan profil diciptakan untuk setiap pelanggan. Kebiasaan panggilan setiap pelanggan dapat dimasukkan ke dalam catatan profil mereka hal-hal seperti berapa banyak panggilan telepon yang dibuat pelanggan, ke mana mereka melakukan panggilan ,berapa banyak panggilan telepon jarak jauh yang dilakukan  dan sebagainya.

27 Summary ODS adalah suatu media penyimpanan yang terintegrasi, subject oriented yang digunakan untuk menyimpan data operasional yang mendukung dalam arsitektur dengan data warehouse. ODS digunakan untuk menghasilkan waktu respond yang cepat dalam mengambil keputusan operasional dan untuk update. Tidak seperti data warehouse, ODS hanya berisi data detail terkini dengan jangka waktu yang singkat dan sedikit data historis. Bentuk dari design database untuk ODS yaitu catatan profile. Di mana catatan profile berisi sinopsis ( inti sari ) dari sejumlah catatan - catatan sejarah yang ditemukan dalam data warehouse.