Pertemuan-2

Pengantar Data Warehouse dan OLAP

Agenda • Pengertian data warehouse Model data multidimensi • • Operasi­operasi dalam OLAP Arsitektur data warehouse Kegunaan data warehouse • •

Apa itu Data Warehousing? • Data warehouse adalah koleksi dari data yang  subject­oriented, terintegrasi, time­variant, dan  nonvolatile, dalam mendukung proses pembuatan  keputusan. • Sering diintegrasikan dengan berbagai sistem  aplikasi untuk mendukung pemrosesan informasi  dan analisis data dengan menyediakan platform  untuk historical data. • Data warehousing: proses konstruksi dan  penggunaan data warehouse.

Data warehouse ­­ subject oriented • Data warehouse diorganisasikan di seputar subjek­ subjek utama seperti customer, produk, sales. • Fokus pada pemodelan dan analisis data untuk  pembuatan keputusan, bukan pada operasi harian  atau pemrosesan transaksi.  • Menyediakan sebuah tinjauan sederhana dan ringkas   seputar subjek tertentu dengan tidak  mengikutsertakan data yang tidak berguna dalam  proses pembuatan keputusan. 

Data warehouse ­­ subject oriented Subjek Aplikasi

Data warehouse ­­ terintegrasi • Dikonstruksi dengan mengintegrasikan banyak  sumber data yang heterogen.  – relational database, flat file, on­line transaction  record • Teknik data cleaning dan data integration  digunakan – Untuk menjamin konsistensi dalam konvensi­ konvensi penamaan, struktur pengkodean, ukuran­ ukuran atribut dll diantara sumber data yang  berbeda.   • Contoh: Hotel price: currency, tax, breakfast  covered, dll. – Data dikonversi ketika dipindahkan ke warehouse.

Data warehouse ­­ terintegrasi

Data warehouse ­­ terintegrasi Data perlu distandarkan : Sales Inventori Transaksi Penjualan Format Key: Text Integer Yes/No Description Nama pelanggan: U.P.N. UPN Universitas Pembangunan Nasional Unit Tinggi: centimeter Meter Inch Encoding Sex: Yes = Laki-laki No = Perempuan L = laki-laki P = Perempuan 1 = Laki-laki 0 = Perempuan

Data Warehouse—Time Variant • Data disimpan untuk menyediakan  informasi dari perspektif historical, contoh  5­10 tahun yang lalu. • Struktur kunci dalam data warehouse – Mengandung sebuah elemen waktu, baik secara  ekspisit atau secara implisit.  – Tetapi kunci dari data operasional bisa  mengandung elemen waktu atau tidak.

Data Warehouse — Non­Volatile • Data warehouse adalah penyimpanan data yang  terpisah secara fisik yang ditransformasikan dari  lingkungan operasional. • Data warehouse tidak memerlukan pemrosesan  transaksi, recovery dan mekanisme kontrol  konkurensi.  • Biasanya hanya memerlukan dua operasi dalam  pengaksesan data, yaitu initial loading of data dan  access of data.

Data Warehouse — Non­Volatile

• OLAP adalah operasi basis data untuk OLAP (on­line analitical processing) • OLAP adalah operasi basis data untuk  mendapatkan data dalam bentuk kesimpulan  dengan menggunakan agregasi sebagai  mekanisme utama.  • Ada 3 tipe: – Relational OLAP (ROLAP): – Multidimensional OLAP (MOLAP)  – Hybrid OLAP (HOLAP)  membagi data antara tabel  relasional dan tempat penyimpanan khusus. 

Data Warehouse vs. Operational DBMS • OLTP (on­line transaction processing) – Major task of traditional relational DBMS – Day­to­day operations: purchasing, inventory, banking,  manufacturing, payroll, registration, accounting, etc. • OLAP (on­line analytical processing) – Major task of data warehouse system – Data analysis and decision making • Distinct features (OLTP vs. OLAP): – User and system orientation: customer vs. market – Data contents: current, detailed vs. historical, consolidated – Database design: ER + application vs. star + subject – View: current, local vs. evolutionary, integrated – Access patterns: update vs. read­only but complex queries

OLTP vs. OLAP OLTP OLAP users function DB design data usage access   OLTP  OLAP  users  function  DB design  data  usage  access  unit of work  # records accessed  #users  DB size  clerk, IT professional  day to day operations  application­oriented  current, up­to­date  detailed, flat relational  isolated  repetitive  read/write  index/hash on prim. key  short, simple transaction  tens  thousands  100MB­GB  knowledge worker  decision support  subject­oriented  historical,   summarized, multidimensional  integrated, consolidated  ad­hoc  lots of scans  complex query  millions  hundreds  100GB­TB     

Dari tabel dan spreadsheet ke Kubus Data • Data warehouse didasarkan pada model data multidimensional,  dimana data dipandang dalam bentuk kubus data • Kubus data, seperti sales, memungkinkan data dipandang dan  dimodelkan dalam banyak dimensi – Tabel dimensi, seperti item (item_name, brand, type), or time(day, week,  month, quarter, year)  – Tabel fakta mengandung measures (seperti dollars_sold) dan merupakan  kunci untuk setiap tabel­tabel dimensi terkait. • n­D base cube dinamakan base cuboid. 0­D cuboid merupakan  cuboid pada level paling tinggi, yang menampung ringkasan data dalan  level paling tinggi, dinamakan apex cuboid. Lattice dari cuboid­cuboid  membentuk sebuah data cube.

Cube: A Lattice of Cuboids all 0­D(apex) cuboid time item location supplier 1­D cuboids time,item time,location item,location location,supplier 2­D cuboids time,supplier item,supplier time,location,supplier time,item,location 3­D cuboids time,item,supplier item,location,supplier 4­D(base) cuboid time, item, location, supplier

Pemodelan Konseptual Data Warehouse • Star schema: Sebuah tabel fakta di tengah­tengah  dihubungkan dengan sekumpulan tabel­tabel dimensi.  • Snowflake schema:  perbaikan dari skema star ketika  hirarki dimensional dinormalisasi ke dalam sekumpulan  tabel­tabel dimensi yang lebih kecil • Fact constellations:  Beberapa tabel fakta dihubungkan ke  tabel­tabel dimensi yang sama, dipandang sebagai  kumpulan dari skema star, sehingga dinamakan skema  galaksi atau fact constellation. 

Contoh Skema Star item_key branch_key time item Sales Fact Table time_key day day_of_the_week month quarter year branch branch_key branch_name branch_type Measures     item item_key item_name brand type supplier_type location location_key street city province_or_street country Sales Fact Table            time_key               item_key            branch_key          location_key             units_sold          dollars_sold              avg_sales

Contoh skema Snowflake time time_key day day_of_the_week month quarter year item item_key item_name brand type supplier_key supplier supplier_key supplier_type Sales Fact Table            time_key               item_key            branch_key          location_key             units_sold          dollars_sold              avg_sales location location_key street city_key branch branch_key branch_name branch_type Measures city city_key province_or_street country

Contoh Fact Constellation time time_key day day_of_the_week month quarter year branch branch_key branch_name branch_type Measures item item_key item_name brand type supplier_type location location_key street city province_or_street country Shipping Fact Table time_key          item_key      shipper_key   from_location       to_location      dollars_cost    units_shipped shipper shipper_key shipper_name location_key shipper_type Sales Fact Table time_key          item_key       branch_key     location_key         units_sold      dollars_sold          avg_sales

Hirarki Konsep: Dimensi (Lokasi) all all Europe ... North_America region Germany ... Spain Canada ... Mexico country Vancouver ... city Frankfurt ... Toronto L. Chan ... M. Wind office

Tampilan datawarehouse dan hirarki Specification of hierarchies • Schema hierarchy day < {month < quarter;  week} < year • Set_grouping hierarchy {1..10} < inexpensive

Data Multidimensional • Sales volume sebagai fungsi dari product,  month, dan region Dimension: Product, Location, Time Hierarchical summarization paths on gi Industry   Region         Year Category   Country  Quarter Re Product Product      City     Month    Week                    Office         Day Month

Contoh Kubus Data Date t uc od Pr Country of TV in U.S.A. U.S.A Canada Total annual sales of  TV in U.S.A. U.S.A Canada Date 1Qtr 2Qtr   3Qtr 4Qtr sum TV PC VCR sum t uc od Pr Country Mexico sum

Cuboid yang terkait dengan kubus all 0­D(apex) cuboid country product product,date date product,country 1­D cuboids date, country 2­D cuboids 3­D(base) cuboid product, date, country

Browsing kubus data • Visualization • OLAP capabilities • Interactive manipulation

Operasi­operasi OLAP • Roll up (drill­up): summarize data – by climbing up hierarchy or by dimension reduction • Drill down (roll down): reverse of roll­up – from higher level summary to lower level summary or detailed  data, or introducing new dimensions • Slice and dice:  – project and select  • Pivot (rotate):  – reorient the cube, visualization, 3D to series of 2D planes.

Operasi­operasi OLAP Contoh Tabel Pivoting

Hierarki Dimensi untuk Roll-up/Drill-down

Rancangan Data Warehouse: Business Analysis Framework • Four views regarding the design of a data warehouse  – Top­down view • memungkinkan pemilihan informasi yang relevan yang diperlukan untuk data warehouse – Data source view • memperlihatkan informasi yang diambil, disimpan, dan   dikelola oleh sistem operasional – Data warehouse view • terdiri dari tabel fakta dan tabel dimensi – Business query view  • melihat perspektif data di gudang dari sudut pandang pengguna akhir

Proses Perancangan Data Warehouse • Top­down, bottom­up approaches or a combination of both – Top­down: Starts with overall design and planning (mature) – Bottom­up: Starts with experiments and prototypes (rapid) • From software engineering point of view – Waterfall: structured and systematic analysis at each step before  proceeding to the next – Spiral:  rapid generation of increasingly functional systems, short  turn around time, quick turn around • Typical data warehouse design process – Choose a business process to model, e.g., orders, invoices, etc. – Choose the grain (atomic level of data) of the business process – Choose the dimensions that will apply to each fact table record – Choose the measure that will populate each fact table record

Multi­Tiered Architecture Monitor & Integrator Data Warehouse OLAP Server Serve other source s Operational  DBs Metadata Extract Transform Load Refresh Analysis Query Reports Data mining Data Marts Data Sources Data Storage OLAP Engine Front­End Tools

Data Warehouse Back­End Tools and Utilities • Data extraction: – get data from multiple, heterogeneous, and external sources • Data cleaning: – detect errors in the data and rectify them when possible • Data transformation: – convert data from legacy or host format to warehouse format • Load: – sort, summarize, consolidate, compute views, check integrity,  and build indicies and partitions • Refresh – propagate the updates from the data sources to the warehouse

Three Data Warehouse Models • Enterprise warehouse • Data Mart – collects all of the information about subjects spanning the entire  organization • Data Mart – a subset of corporate­wide data that is of value to a specific  groups of users.  Its scope is confined to specific, selected  groups, such as marketing data mart • Independent vs. dependent (directly from warehouse) data mart • Virtual warehouse – A set of views over operational databases – Only some of the possible summary views may be materialized

Data Warehouse Development: A Recommended Approach Multi­Tier Data  Warehouse Distributed  Data Marts Enterprise  Data  Warehouse Data  Mart Data  Mart Model refinement Model refinement Define a high­level corporate data model

OLAP Server Architectures • Relational OLAP (ROLAP)  – Use relational or extended­relational DBMS to store and manage  warehouse data and OLAP middle ware to support missing pieces – Include optimization of DBMS backend, implementation of  aggregation navigation logic, and additional tools and services – greater scalability • Multidimensional OLAP (MOLAP)  – Array­based multidimensional storage engine (sparse matrix  techniques) – fast indexing to pre­computed summarized data • Hybrid OLAP (HOLAP) – User flexibility, e.g.,  low level: relational, high­level: array • Specialized SQL servers – specialized support for SQL queries over star/snowflake schemas

Data Warehouse Usage • Three kinds of data warehouse applications – Information processing • supports querying, basic statistical analysis, and reporting  using crosstabs, tables, charts and graphs – Analytical processing • multidimensional analysis of data warehouse data • supports basic OLAP operations, slice­dice, drilling,  pivoting – Data mining • knowledge discovery from hidden patterns  • supports associations, constructing analytical models,  performing classification and prediction, and presenting the  mining results using visualization tools. • Differences among the three tasks

From On­Line Analytical Processing to On Line Analytical Mining (OLAM) • Why online analytical mining? – High quality of data in data warehouses • DW contains integrated, consistent, cleaned data – Available information processing structure surrounding data  warehouses • ODBC, OLEDB, Web accessing, service facilities, reporting  and OLAP tools – OLAP­based exploratory data analysis • mining with drilling, dicing, pivoting, etc. – On­line selection of data mining functions • integration and swapping of multiple mining functions,  algorithms, and tasks. • Architecture of OLAM

An OLAM Architecture Mining query User GUI API Engine Data Cube API Mining result OLAP Engine Layer4 User Interface Layer3 OLAP/OLAM Layer2 MDDB Layer1 Data  Repository MDDB Meta  Data Database API Filtering Data cleaning Data  Data integration Warehouse Filtering&Integration Databases

Referensi • Data Mining: Concepts and Techniques by Jiawei Han and Micheline Kamber, 2001 • Introduction to Data Mining by Tan, Steinbach,  Kumar, 2004