Estimasi Prob. Density Function dengan EM Sumber: -Forsyth & Ponce Chap. 7 -Standford Vision & Modeling Sumber: -Forsyth & Ponce Chap. 7 -Standford Vision.

Presentasi berjudul: "Estimasi Prob. Density Function dengan EM Sumber: -Forsyth & Ponce Chap. 7 -Standford Vision & Modeling Sumber: -Forsyth & Ponce Chap. 7 -Standford Vision."— Transcript presentasi:

1 Estimasi Prob. Density Function dengan EM Sumber: -Forsyth & Ponce Chap. 7 -Standford Vision & Modeling Sumber: -Forsyth & Ponce Chap. 7 -Standford Vision & Modeling

2 Probability Density Estimation Parametric Representations Non-Parametric Representations Mixture Models

3 Metode estimasi Non-parametric Tanpa asumsi apapun tentang distribusi Estimasi sepenuhnya bergantung ada DATA cara mudah menggunakan: Histogram

4 Histograms Diskritisasi, lantas ubah dalam bentuk batang:

5 Histograms Butuh komputasi banyak, namun sangat umum digunakan Dapat diterapkan pada sembarang bentuk densitas (arbitrary density)

6 Histograms Permasalahan: Higher dimensional Spaces: - jumlah batang (bins) yg. Exponential - jumlah training data yg exponential - Curse of Dimensionality size batang ? Terlalu sedikit: >> kasar Terlalu banyak: >> terlalu halus

7 Pendekatan secara prinsip: x diambil dari ‘unknown’ p(x) probabiliti bahwa x ada dalam region R adalah:

8 Pendekatan secara prinsip: x diambil dari ‘unknown’ p(x) probabiliti bahwa x ada dalam region R adalah:

9 Pendekatan secara prinsip: x diambil dari ‘unknown’ p(x) probabiliti bahwa x ada dalam region R adalah:

10 Pendekatan secara prinsip: Dengan Fix V Tentukan K Dengan Fix K Tentukan V Metoda Kernel-Based K-nearest neighbor

11 Metoda Kernel-Based: Parzen Window:

12 Metoda Kernel-Based: Parzen Window:

13 Metoda Kernel-Based: Parzen Window:

14 Metoda Kernel-Based: Gaussian Window:

15 Metoda Kernel-Based:

16 K-nearest-neighbor: Kembankan V sampai dia mencapai K points.

17 K-nearest-neighbor:

18 K-nearest-neighbor: Klasifikasi secara Bayesian :

19 K-nearest-neighbor: “aturan klasifikasi k-nearest-neighbour ”

20 Probability Density Estimation Parametric Representations Non-Parametric Representations Mixture Models (Model Gabungan)

21 Mixture-Models (Model Gabungan): Gaussians: - Mudah - Low Memory - Cepat - Good Properties Non-Parametric: - Umum - Memory Intensive - Slow Mixture Models

22 Campuran fungsi Gaussian (mixture of Gaussians): x p(x) Jumlah dari Gaussians tunggal

23 Campuran fungsi Gaussian: x p(x) Jumlah dari Gaussians tunggal Keunggulan: Dapat mendekati bentuk densitas sembarang (Arbitrary Shape)

24 Campuran fungsi Gaussian: x p(x) Generative Model:z 1 2 3 P(j) p(x|j)

25 Campuran fungsi Gaussian: x p(x)

26 Campuran fungsi Gaussian: Maximum Likelihood:

27 Campuran fungsi Gaussian: Maximum Likelihood: E

28 Campuran fungsi Gaussian: Maximum Likelihood:

29 Campuran fungsi Gaussian:

30

31

32

33 Maximum Likelihood: E Tidak ada solusi pendek !

34 Campuran fungsi Gaussian: Maximum Likelihood: E Gradient Descent

35 Campuran fungsi Gaussian: Maximum Likelihood:

36 Campuran fungsi Gaussian: Optimasi secara Gradient Descent: Complex Gradient Function (highly nonlinear coupled equations) Optimasi sebuah Gaussian tergantung dari seluruh campuran lainnya.

37 Campuran fungsi Gaussian: x p(x) -> Dengan strategi berbeda: Observed Data:

38 Campuran fungsi Gaussian: x p(x) Observed Data: Densitas yg dihasilkan

39 Campuran fungsi Gaussian: x p(x) yVariabel Hidden 12 Observed Data:

40 Campuran fungsi Gaussian: x p(x) yVariabel Hidden 12 1 1 1111 1 2 2 2222 2 y Unobserved: Observed Data:

41 Contoh populer ttg. Chicken and Egg Problem: x p(x) 1 1 1111 1 2 2 2222 2 y Anggap kita tahu Max.Likelihood Utk. Gaussian #1 Max.Likelihood Utk. Gaussian #2

42 Chicken+Egg Problem: x p(x) 1 1 1111 1 2 2 2222 2 y Anggap kita tahu P(y=1|x)P(y=2|x)

43 Chicken+Egg Problem: x p(x) 1 1 1111 1 2 2 2222 2 y Tapi yg ini kita tidak tau sama sekali ? ?

44 Chicken+Egg Problem: x p(x) 1 1 1111 1 2 2 2222 2 y Coba pura2 tahu

45 Clustering: x 1 1 1111 1 2 2 2222 2 y Tebakan benar ? K-mean clustering / Basic Isodata

46 Pengelompokan (Clustering): Procedure: Basic Isodata 1. Choose some initial values for the means Loop:2. Classify the n samples by assigning them to the class of the closest mean. 3. Recompute the means as the average of the samples in their class. 4. If any mean changed value, go to Loop; otherwise, stop.

47 Isodata: Inisialisasi

48 Isodata: Menyatu (Convergence)

49 Isodata: Beberapa permasalahan

50 Ditebak Eggs / Terhitung Chicken x p(x) 1 1 1111 1 2 2 2222 2 y Disini kita berada Max.Likelihood Utk. Gaussian #1 Max.Likelihood Utk. Gaussian #2

51 GaussianAproximasi yg. baik x p(x) Namun tidak optimal! Permasalahan: Highly overlapping Gaussians

52 Expectation Maximization (EM) EM adalah formula umum dari problem seperti “Chicken+Egg” (Mix.Gaussians, Mix.Experts, Neural Nets, HMMs, Bayes-Nets,…) Isodata: adalah contoh spesifik dari EM General EM for mix.Gaussian: disebut Soft-Clustering Dapat konvergen menjadi Maximum Likelihood

53 Ingat rumusan ini ?:

54 Soft Chicken and Egg Problem: x p(x) P(1|x) 0.1 0.3 0.7 0.1 0.01 0.0001 0.99 0.99 0.99 0.5 0.001 0.00001

55 Soft Chicken and Egg Problem: x p(x) P(1|x) 0.1 0.3 0.7 0.1 0.01 0.0001 0.99 0.99 0.99 0.5 0.001 0.00001 Anggap kita tahu: Weighted Mean of Data

56 Soft Chicken and Egg Problem: x p(x) P(1|x) 0.1 0.3 0.7 0.1 0.01 0.0001 0.99 0.99 0.99 0.5 0.001 0.00001 Step-2: Hitung ulang posteriors

57 Langkah prosedur EM: Procedure: EM 1. Choose some initial values for the means E-Step: 2. Compute the posteriors for each class and each sample: M-Step: 3. Re-compute the means as the weighted average of their class: 4. If any mean changed value, go to Loop; otherwise, stop.

58 EM dan Gaussian mixture

59

60

61 Contoh-contoh EM: Training Samples

62 Contoh-contoh EM: Training Samples Initialization

63 Contoh-contoh EM: Training Samples End Result of EM

64 Contoh-contoh EM: Training Samples Density Isocontours

65 Contoh-contoh EM: Color Segmentation

66 Contoh-contoh EM: Layered Motion Yair Weiss