Estimasi Prob. Density Function dengan EM Sumber: -Forsyth & Ponce Chap. 7 -Standford Vision & Modeling Sumber: -Forsyth & Ponce Chap. 7 -Standford Vision & Modeling

Probability Density Estimation Parametric Representations Non-Parametric Representations Mixture Models

Metode estimasi Non-parametric Tanpa asumsi apapun tentang distribusi Estimasi sepenuhnya bergantung ada DATA cara mudah menggunakan: Histogram

Histograms Diskritisasi, lantas ubah dalam bentuk batang:

Histograms Butuh komputasi banyak, namun sangat umum digunakan Dapat diterapkan pada sembarang bentuk densitas (arbitrary density)

Histograms Permasalahan: Higher dimensional Spaces: - jumlah batang (bins) yg. Exponential - jumlah training data yg exponential - Curse of Dimensionality size batang ? Terlalu sedikit: >> kasar Terlalu banyak: >> terlalu halus

Pendekatan secara prinsip: x diambil dari ‘unknown’ p(x) probabiliti bahwa x ada dalam region R adalah:

Pendekatan secara prinsip: x diambil dari ‘unknown’ p(x) probabiliti bahwa x ada dalam region R adalah:

Pendekatan secara prinsip: x diambil dari ‘unknown’ p(x) probabiliti bahwa x ada dalam region R adalah:

Pendekatan secara prinsip: Dengan Fix V Tentukan K Dengan Fix K Tentukan V Metoda Kernel-Based K-nearest neighbor

Metoda Kernel-Based: Parzen Window:

Metoda Kernel-Based: Parzen Window:

Metoda Kernel-Based: Parzen Window:

Metoda Kernel-Based: Gaussian Window:

Metoda Kernel-Based:

K-nearest-neighbor: Kembankan V sampai dia mencapai K points.

K-nearest-neighbor:

K-nearest-neighbor: Klasifikasi secara Bayesian :

K-nearest-neighbor: “aturan klasifikasi k-nearest-neighbour ”

Probability Density Estimation Parametric Representations Non-Parametric Representations Mixture Models (Model Gabungan)

Mixture-Models (Model Gabungan): Gaussians: - Mudah - Low Memory - Cepat - Good Properties Non-Parametric: - Umum - Memory Intensive - Slow Mixture Models

Campuran fungsi Gaussian (mixture of Gaussians): x p(x) Jumlah dari Gaussians tunggal

Campuran fungsi Gaussian: x p(x) Jumlah dari Gaussians tunggal Keunggulan: Dapat mendekati bentuk densitas sembarang (Arbitrary Shape)

Campuran fungsi Gaussian: x p(x) Generative Model:z P(j) p(x|j)

Campuran fungsi Gaussian: x p(x)

Campuran fungsi Gaussian: Maximum Likelihood:

Campuran fungsi Gaussian: Maximum Likelihood: E

Campuran fungsi Gaussian: Maximum Likelihood:

Campuran fungsi Gaussian:

Maximum Likelihood: E Tidak ada solusi pendek !

Campuran fungsi Gaussian: Maximum Likelihood: E Gradient Descent

Campuran fungsi Gaussian: Maximum Likelihood:

Campuran fungsi Gaussian: Optimasi secara Gradient Descent: Complex Gradient Function (highly nonlinear coupled equations) Optimasi sebuah Gaussian tergantung dari seluruh campuran lainnya.

Campuran fungsi Gaussian: x p(x) -> Dengan strategi berbeda: Observed Data:

Campuran fungsi Gaussian: x p(x) Observed Data: Densitas yg dihasilkan

Campuran fungsi Gaussian: x p(x) yVariabel Hidden 12 Observed Data:

Campuran fungsi Gaussian: x p(x) yVariabel Hidden y Unobserved: Observed Data:

Contoh populer ttg. Chicken and Egg Problem: x p(x) y Anggap kita tahu Max.Likelihood Utk. Gaussian #1 Max.Likelihood Utk. Gaussian #2

Chicken+Egg Problem: x p(x) y Anggap kita tahu P(y=1|x)P(y=2|x)

Chicken+Egg Problem: x p(x) y Tapi yg ini kita tidak tau sama sekali ? ?

Chicken+Egg Problem: x p(x) y Coba pura2 tahu

Clustering: x y Tebakan benar ? K-mean clustering / Basic Isodata

Pengelompokan (Clustering): Procedure: Basic Isodata 1. Choose some initial values for the means Loop:2. Classify the n samples by assigning them to the class of the closest mean. 3. Recompute the means as the average of the samples in their class. 4. If any mean changed value, go to Loop; otherwise, stop.

Isodata: Inisialisasi

Isodata: Menyatu (Convergence)

Isodata: Beberapa permasalahan

Ditebak Eggs / Terhitung Chicken x p(x) y Disini kita berada Max.Likelihood Utk. Gaussian #1 Max.Likelihood Utk. Gaussian #2

GaussianAproximasi yg. baik x p(x) Namun tidak optimal! Permasalahan: Highly overlapping Gaussians

Expectation Maximization (EM) EM adalah formula umum dari problem seperti “Chicken+Egg” (Mix.Gaussians, Mix.Experts, Neural Nets, HMMs, Bayes-Nets,…) Isodata: adalah contoh spesifik dari EM General EM for mix.Gaussian: disebut Soft-Clustering Dapat konvergen menjadi Maximum Likelihood

Ingat rumusan ini ?:

Soft Chicken and Egg Problem: x p(x) P(1|x)

Soft Chicken and Egg Problem: x p(x) P(1|x) Anggap kita tahu: Weighted Mean of Data

Soft Chicken and Egg Problem: x p(x) P(1|x) Step-2: Hitung ulang posteriors

Langkah prosedur EM: Procedure: EM 1. Choose some initial values for the means E-Step: 2. Compute the posteriors for each class and each sample: M-Step: 3. Re-compute the means as the weighted average of their class: 4. If any mean changed value, go to Loop; otherwise, stop.

EM dan Gaussian mixture

Contoh-contoh EM: Training Samples

Contoh-contoh EM: Training Samples Initialization

Contoh-contoh EM: Training Samples End Result of EM

Contoh-contoh EM: Training Samples Density Isocontours

Contoh-contoh EM: Color Segmentation

Contoh-contoh EM: Layered Motion Yair Weiss