DDBMS (Distributed Database Management System) Pertemuan Minggu Ke-13

Kompetensi Khusus Mahasiswa mampu menjelaskan tentang DDBMS, transparansi database terdistribusi, dan desain database terdistribusi (C2)

Evolusi dari DDBMS DDBMS mengatur penyimpanan & pemrosesan dari data yang terkait secara logis melalui sistem komputer yang saling berhubungan dimana baik data maupun pemrosesan didistribusikan ke beberapa situs. Dua dekade terakhir melahirkan serangkaian perubahan sosial & teknologi penting yang mempengaruhi sifat sistem & penggunaan data: Operasi bisnis menjadi global sehingga kompetisi berkembang dari toko menjadi web. Permintaan pelanggan & kebutuhan pasar lebih menyukai jenis transaksi sesuai permintaan, kebanyakan melalui layanan web. Perubahan sosial & teknologi yang pesat dipicu oleh perangkat mobile pintar & murah sehingga meningkatkan permintaan untuk jaringan rumit & cepat yang menghubungkannya. Aplikasi harus menangani berbagai jenis data seperti suara, video, musik, & gambar. Data tersebut tersebar secara geografis & diakses secara remote dari berbagai lokasi via perangkat mobile.

Melihat faktor di atas maka 2 kebutuhan database ini diperlukan: Rapid ad hoc data access : penting dalam lingkungan pembuatan keputusan yang membutuhkan respon cepat. Distributed data access : dibutuhkan untuk mendukung unit bisnis yang tersebar secara geografis. Berikut faktor pendorong dari faktor di atas: Pertumbuhan internet sebagai platform untuk akses & distribusi data. Revolusi mobile wireless. Pertumbuhan perusahaan yang menggunakan “applications as a service”. Peningkatan fokus pada mobile business intelligence.

Database terdistribusi diminati karena manajemen database terpusat mengalami masalah berikut: Penurunan kinerja Biaya tinggi Masalah reliabilitas Masalah skalabilitas Organisasi yang kaku

Kekurangan & Kelebihan DDBMS Lokasi data dekat dengan tempat yang memiliki permintaan tinggi Manajemen & pengendalian yang rumit Akses data lebih cepat Kesulitan teknologi Pemrosesan data lebih cepat Keamanan Memfasilitasi pertumbuhan Kurangnya standar Komunikasi yang lebih baik Kebutuhan penyimpanan & infrastruktur yang meningkat Biaya operasi menurun Biaya pelatihan meningkat Antarmuka yang user friendly Biaya Menurunkan bahaya kegagalan di satu titik Tidak bergantung pada prosesor

Pemrosesan Terdistribusi Pemrosesan database terbagi di antara 2 atau lebih situs fisik yang terhubung melalui jaringan. Menggunakan 1 situs database tetapi membagi pemrosesan ke beberapa situs.

Lingkungan Pemrosesan Terdistribusi

Database Terdistribusi Database disimpan dalam 2 atau lebih situs fisik yang terhubung melalui jaringan. Database dipecah menjadi beberapa bagian yang disebut dengan database fragment. Database fragment diletakkan di situs yang berbeda & dapat direplikasi antar beberapa situs. Tiap database fragment dikelola oleh proses database lokal.

Lingkungan Database Terdistribusi

Dari 2 gambar di atas terdapat beberapa hal yang perlu diingat: Pemrosesan terdistribusi tidak membutuhkan database terdistribusi, tetapi database terdistribusi membutuhkan pemrosesan terdistribusi (tiap database fragment dikelola oleh proses database lokal). Pemrosesan terdistribusi mungkin berdasarkan pada database tunggal yang berada pada komputer tunggal. Baik pemrosesan terdistribusi maupun database terdistribusi membutuhkan jaringan komponen yang terhubung.

Karakteristik DDBMS Antarmuka aplikasi untuk berinteraksi dengan end user, program aplikasi, & DBMS lain dalam database terdistribusi. Validasi untuk menganalisa permintaan data untuk perbaikan sintaks. Transformasi untuk memecah permintaan rumit menjadi komponen permintaan data tunggal. Optimasi query untuk menemukan strategi akses terbaik. Mapping untuk menentukan lokasi data dari fragmen lokal & remote. Antarmuka I/O untuk membaca atau menulis data dari atau ke penyimpanan lokal permanen. Formatting untuk menyiapkan data yang ditampilkan ke end user atau program aplikasi. Keamanan untuk menyediakan privasi data pada database lokal & remote. Backup & pemulihan untuk memastikan ketersediaan & pemulihan database jika terjadi kegagalan. Fitur administrasi DB untuk administrator database. Kontrol konkurensi untuk menangani akses data secara simultan & memastikan konsistensi data pada fragment database dalam DDBMS. Manajemen transaksi untuk memastikan data tetap konsisten; aktivitas ini mencakup sinkronisasi dari transaksi lokal & remote, juga transaksi pada beberapa segmen terdistribusi.

DBMS yang terdistribusi penuh harus melakukan semua fungsi dari DBMS terpusat sbb: Menerima permintaan dari aplikasi atau end user. Memvalidasi, menganalisis, & memecah permintaan. Memetakan komponen data permintaan logis ke fisik. Membagi permintaan ke beberapa operasi disk I/O. Mencari, menemukan, membaca, & memvalidasi data. Memastikan konsistensi, keamanan, & integritas database. Memvalidasi data untuk kondisi, jika ada yang diminta. Menampilkan data terpilih dalam format yang dibutuhkan.

Sistem Manajemen Database yang Terdistribusi Penuh

Komponen DDBMS Computer workstations atau remote devices (sites atau nodes) yang membentuk sistem jaringan. Komponen hardware & software jaringan yang ada dalam tiap workstation atau perangkat. Media komunikasi yang membawa data dari 1 titik ke lainnya. Transaction processor (TP) atau application processor (AP) atau transaction manager (TM), yaitu komponen software yang ditemukan dalam tiap komputer atau perangkat yang meminta data. Data processor (DP) atau data manager (DM), yaitu komponen software yang berada di tiap komputer atau perangkat yang menyimpan & mengambil data yang ada di situs.

Komponen Manajemen Sistem Database Terdistribusi

Protokol menentukan bagaimana sistem database terdistribusi akan: Gambar di atas menunjukkan posisi komponen & interaksi antar komponen tersebut. Komunikasi antar TP & DP diatur melalui serangkaian aturan, atau protokol, yang digunakan oleh DDBMS. Protokol menentukan bagaimana sistem database terdistribusi akan: Interface dengan jaringan untuk mengangkut data & perintah antara DP & TP. Sinkronisasi semua data yang diterima dari DP (TP) & mengarahkan data ke TP (DP). Memastikan fungsi database umum dalam sistem terdistribusi, mencakup keamanan data, manajemen transaksi & kontrol konkurensi, partisi & sinkronisasi data, backup & pemulihan data.

Tingkat Distribusi Data & Proses Single-site Data Multiple-site Data Single-site process Host DBMS Not applicable (Requires multiple processes) Multiple-site process File server Client/ server DBMS (LAN DBMS) Fully distributed Client/ server DDBMS

Single-site Processing, Single-site data (SPSD) Semua pemrosesan dilakukan pada komputer host tunggal & semua data disimpan dalam sistem disk lokal komputer host. Pemrosesan tidak dapat dilakukan pada sisi sistem end user. DBMS terdapat pada komputer host, yang diakses oleh terminal yang terhubung ke komputer host tersebut.

SPSD (Terpusat)

Multiple-Site Processing, Single-Site Data (MPSD) Beberapa proses berjalan pada komputer berbeda yang berbagi penyimpanan data tunggal. Membutuhkan server file jaringan yang menjalankan aplikasi konvensional yang diakses melalui jaringan. Dari gambar di bawah, terlihat bahwa: TP pada tiap workstation bertindak hanya sebagai pengarah yang mengarahkan semua permintaan data jaringan ke server file. End user melihat server file sebagai hard disk lain. Karena hanya input/ output penyimpanan data yang ditangani oleh komputer server file, MPSD menawarkan kemampuan terbatas untuk pemrosesan terdistribusi. End user harus membuat referensi langsung ke server file untuk mengakses data remote. Semua aktivitas penguncian record & file dilakukan di lokasi end user. Semua fungsi pemilihan data, pencarian, & update terjadi pada workstation, sehingga membutuhkan semua file melewati jaringan untuk pemrosesan di workstation. Hal tsb meningkatkan lalu lintas jaringan, memperlambat waktu respon, & meningkatkan biaya komunikasi.

MPSD

Multiple-Site Processing, Multiple-Site Data (MPMD) Mendeskripsikan DBMS yang terdistribusi penuh dengan dukungan untuk beberapa prosesor data & prosesor transaksi pada beberapa situs. Bergantung pada tingkat dukungan untuk berbagai jenis database, DDBMS diklasifikasikan sebagai homogeneous atau heterogeneous. Homogeneous DDBMS menggabungkan beberapa instance dari DBMS yang sama melalui jaringan. Heterogeneous DDBMS menggabungkan jenis DBMS yang berbeda melalui jaringan, tetapi semuanya mendukung model data yang sama. Fully heterogeneous DDBMS akan mendukung DBMS yang berbeda, masing-masing mendukung model data yang berbeda, berjalan di sistem komputer yang berbeda.

Fitur Transparansi Database Terdistribusi Transparansi distribusi: database terdistribusi diperlakukan sebagai database tunggal. User tidak perlu mengetahui bahwa: Data dipartisi – artinya baris & kolom tabel dipisahkan secara vertikal atau horizontal & disimpan di beberapa situs. Data tersebar secara geografis di beberapa situs. Data direplikasi ke beberapa situs. Transparansi transaksi: transaksi dapat mengupdate data di lebih dari satu situs jaringan. Transparansi kegagalan: memastikan sistem akan terus beroperasi jika terjadi kegagalan jaringan atau node. Transparansi kinerja: sistem dapat bekerja seolah-olah adalah DBMS terpusat. Transparansi heterogenitas: integrasi dari beberapa DBMS lokal yang berbeda (relasional, jaringan, & hierarki) di bawah satu skema umum atau global.

Transparansi Distribusi Database yang tersebar secara fisik dapat ditangani seolah-olah adalah database terpusat. Terdiri dari 3 tingkat: Transparansi fragmentasi  tingkat tertinggi dari transparansi. End user atau programer tidak perlu tahu bahwa database dipartisi sehingga nama atau lokasi fragmen tidak disebutkan. Transparansi lokasi  muncul ketika end user atau programer harus menyebutkan nama fragmen database tetapi tidak perlu menyebutkan lokasi fragmen tersebut. Transparansi pemetaan lokal  muncul ketika end user atau programer harus menyebutkan baik nama maupun lokasi fragmen.

Transparansi distribusi didukung oleh distributed data dictionary (DDD) atau distributed data catalog (DDC). DDC berisi deskripsi dari keseluruhan database yang dilihat oleh administrator database. Deskripsi database, dikenal dengan distributed global schema, adalah skema database umum yang digunakan oleh TP lokal untuk menerjemahkan permintaan user menjadi subquery (permintaan remote) yang akan diproses oleh DP yang berbeda. DDC itu sendiri tersebar, & direplikasi di node jaringan. Oleh karena itu, DDC harus memelihara konsistensi dengan mengupdate semua situs.

Transparansi Transaksi Properti DDBMS yang memastikan transaksi database akan memelihara integritas & konsistensi database terdistribusi. Permintaan Terdistribusi & Transaksi Terdistribusi Permintaan remote memperbolehkan pernyataan SQL sederhana mengakses data yang akan diproses oleh prosesor database remote tunggal. Transaksi remote terdiri dari beberapa permintaan, mengakses data pada situs remote tunggal. Transaksi terdistribusi dapat menggunakan beberapa situs DP lokal atau remote yang berbeda. Walaupun tiap permintaan tunggal hanya dapat menggunakan 1 situs DP lokal atau remote, secara keseluruhan transaksi dapat menggunakan beberapa situs DP karena tiap permintaan dapat menggunakan situs yang berbeda. Permintaan terdistribusi memperbolehkan pernyataan SQL tunggal menggunakan data di beberapa situs DP lokal atau remote yang berbeda.

Permintaan Remote Transaksi Remote

Transaksi Terdistribusi

Permintaan Terdistribusi

Kontrol Konkurensi Terdistribusi Kontrol konkurensi sangat penting dalam database terdistribusi karena beberapa operasi proses di lebih dari 1 situs dapat menciptakan inkonsistensi data & transaksi deadlock. Two-Phase Commit Protocol (2PC) 2PC menjamin bahwa jika sebagian dari operasi transaksi tidak dapat dicommit, semua perubahan di situs lain dalam transaksi akan dibatalkan untuk memelihara kondisi database yang konsisten. 2PC memerlukan protokol DO-UNDO-REDO & write-ahead. Protokol DO-UNDO-REDO digunakan oleh DP untuk memajukan & memundurkan transaksi dengan bantuan dari entri log transaksi sistem. Berikut operasinya: DO melakukan operasi & merekam nilai sebelum & sesudah dalam log transaksi. UNDO membalikkan operasi, menggunakan entri log yang ditulis oleh porsi DO dari urutan. REDO memajukan operasi, menggunakan entri log yang ditulis oleh porsi DO dari urutan.

Untuk memastikan operasi DO, UNDO, & REDO dapat bertahan saat tabrakan sistem ketika dieksekusi, maka protokol write-ahead digunakan. Protokol write-ahead memaksa entri log ditulis ke penyimpanan permanen sebelum operasi sebenarnya berjalan. 2PC mendefinisikan operasi antara 2 jenis node, yaitu coordinator, & 1 atau lebih subordinates, atau cohorts. Umumnya, peran coordinator diberikan ke node yang memulai transaksi. Node yang berpartisipasi mengikuti coordinator.

2PC diimplementasikan dalam 2 tahap yaitu: Tahap 1: Persiapan  coordinator mengirimkan pesan PREPARE TO COMMIT ke semua subordinates. Subordinates menerima pesan, menulis log transaksi menggunakan protokol write-ahead, & mengirimkan pesan (YES/ PREPARED TO COMMIT atau NO/ NOT PREPARED) ke coordinator. Coordinator memastikan semua node siap dicommit atau dibatalkan. Jika semua node PREPARED TO COMMIT, maka transaksi berlanjut ke Tahap 2. Jika ada 1 atau lebih node merespon NO/ NOT PREPARED, coordinator mengumumkan pesan ABORT ke semua subordinates. Tahap 2: Final COMMIT  coordinator mengumumkan pesan COMMIT ke semua subordinates & menunggu balasannya. Tiap subordinate menerima pesan COMMIT kemudian mengupdate database menggunakan protokol DO. Subordinates membalas dengan pesan COMMITTED atau NOT COMMITTED ke coordinator. Jika ada 1 atau lebih subordinates tidak commit, maka coordinator mengirimkan pesan ABORT, yang memaksa mereka untuk UNDO semua perubahan.

Transparansi Kinerja & Kegagalan Transparansi kinerja membuat DDBMS bekerja seolah-olah adalah database terpusat sehingga tidak terjadi penurunan kinerja terkait dengan distribusi data. Transparansi kegagalan memastikan sistem akan terus beroperasi jika terjadi kegagalan node atau jaringan. Tujuan dari optimasi query adalah untuk meminimalkan total biaya yang berhubungan dengan eksekusi permintaan. Biaya tsb berupa: Biaya waktu akses (I/O) berupa akses data dari beberapa situs remote. Biaya komunikasi yang berhubungan dengan transmisi data di antara node dalam sistem database terdistribusi. Biaya waktu CPU yang berhubungan dengan overhead pemrosesan dari pengaturan transaksi terdistribusi.

Memecah permintaan data dalam lingkungan data terdistribusi harus mempertimbangkan beberapa poin berikut: Distribusi data. Replikasi data. Karakteristik penting dari optimasi query dalam sistem database terdistribusi adalah transparansi replika. Transparasi replika mengacu pada kemampuan DDBMS untuk menyembunyikan beberapa salinan data dari user. Ketersediaan jaringan & node. Untuk mencapai transparansi kinerja, DDBMS seharusnya mempertimbangkan masalah seperti network latency, penundaan yang disebabkan oleh waktu yang dibutuhkan oleh paket data untuk melakukan perjalanan dari titik A ke B; atau network partitioning, penundaan yang terjadi ketika node tiba-tiba menjadi tidak tersedia karena kegagalan jaringan.

Desain Database Terdistribusi Desain database terdistribusi memperkenalkan 3 masalah baru: Bagaimana mempartisi database menjadi fragmen. Fragmen mana yang direplikasi. Dimana harus menempatkan fragmen & replikanya.

Fragmentasi Data Suatu objek dapat dipecah menjadi 2 atau lebih segmen atau fragmen. Objek dapat berupa database user, database sistem, atau tabel. Tiap fragmen dapat disimpan di situs manapun melalui jaringan komputer. Informasi mengenai fragmentasi data disimpan dalam DDC, yang diakses oleh TP untuk memproses permintaan user. Strategi fragmentasi data yang dibahas adalah berdasarkan tingkat tabel & membagi tabel menjadi fragmen logis.

Terdapat 3 jenis strategi fragmentasi data: Fragmentasi horizontal mengacu pada pembagian relasi menjadi subset (fragmen) dari tuple (baris). Tiap fragmen disimpan dalam node berbeda, & tiap fragmen memiliki baris unik. Baris unik semuanya memiliki atribut (kolom) yang sama. Terbagi menjadi: Round-robin partitioning Range partitioning based on a partition key Fragmentasi vertikal mengacu pada pembagian relasi menjadi subset atribut (kolom). Tiap fragmen disimpan dalam node berbeda, & memiliki kolom unik – dengan pengecualian kolom kunci yang ada di semua fragmen. Fragmentasi campuran mengacu pada kombinasi dari strategi horizontal & vertikal. Tabel mungkin dibagi menjadi beberapa subset baris, tiap baris memiliki subset dari atribut (kolom).

Replikasi Data Mengacu pada penyimpanan salinan data pada beberapa situs yang dilayani oleh jaringan komputer. Data yang direplikasi mengikuti mutual consistency rule, yaitu semua salinan fragmen data harus identik. Oleh karena itu, untuk memelihara konsistensi data di antara replika, DDBMS harus memastikan update database dilakukan di semua situs dimana replika ada. Terdapat 2 jenis replikasi: Push replication. Setelah update data, node DP asli mengirimkan perubahan ke node replika untuk memastikan data segera diupdate. Akan tetapi, ia menurunkan ketersediaan data karena adanya latensi untuk memastikan konsistensi data di semua node. Pull replication. Setelah update data, node DP asli mengirimkan pesan ke node replika untuk menotifikasi adanya update. Node replika memutuskan kapan untuk mengaplikasikan update ke fragmen lokal. Update data tidak segera dilakukan ke replika sehingga data tidak konsisten sementara. Fokusnya adalah pada ketersediaan data.

Replikasi Data

Terdapat 3 skenario replikasi: Fully replicated database menyimpan beberapa salinan dari tiap fragmen database di beberapa situs. Partially replicated database menyimpan beberapa salinan dari beberapa fragmen database di beberapa situs. Unreplicated database menyimpan tiap fragmen database di situs tunggal. Beberapa faktor yang mendorong penggunaan replikasi data: Ukuran database Frekuensi pemakaian Biaya

Alokasi Data Mendeskripsikan proses dalam memutuskan lokasi data. Berikut strategi alokasi data: Centralized data allocation  seluruh database disimpan di 1 situs. Partitioned data allocation  database dibagi menjadi 2 atau lebih bagian (fragmen) & disimpan di 2 atau lebih situs. Replicated data allocation  salinan dari 1 atau lebih fragmen database disimpan di beberapa situs.

Algoritma alokasi data mempertimbangkan beragam faktor seperti: Kinerja & ketersediaan data. Ukuran, jumlah baris, & jumlah relasi yang dipelihara suatu entitas dengan entitas lain. Jenis transaksi yang diaplikasikan ke database & atribut yang diakses oleh tiap transaksi. Terputusnya operasi untuk user mobile. Kebanyakan algoritma mencakup data seperti topologi jaringan, bandwidth & throughput jaringan, ukuran data, & lokasi.

Teorem CAP Consistency. Dalam database terdistribusi, konsistensi mengambil peran yang lebih besar. Semua node harus melihat data yang sama pada waktu yang sama, artinya replika harus segera diupdate. Ini berhubungan dengan latensi & penundaan partisi jaringan. Availability. Semua permintaan selalu dipenuhi oleh sistem. Partition tolerance. Sistem tetap beroperasi walaupun terjadi kegagalan node. Ini sama dengan transparansi kegagalan dalam database terdistribusi. Sistem akan gagal hanya jika semua node gagal.

Spektrum Database Terdistribusi

C. J. Date’s 12 Commandments for Distributed Databases

Review Materi Mahasiswa mengerjakan tugas yang ada di portal.