Modeling Statistik untuk Computer Vision

Presentasi berjudul: "Modeling Statistik untuk Computer Vision"— Transcript presentasi:

1 Modeling Statistik untuk Computer Vision
sumber: - Forsyth+Ponce Chap. 7. - Standford Vision & Modeling

2 Modeling Statistik untuk Computer Vision
Agenda Statistical Models (baca Forsyth+Ponce Chap. 7.) - Bayesian Decision Theory - Density Estimation PCA (Principal Component Analysis EM (Expectation Maximazation) - title - report on work done together with JM at UCB and together with MC MS at Interval 2 2

3 Contoh aplikasi model statistik: segmentasi dengan EM
Segmentasi Warna

4

5 Contoh recognition dengan PCA:
Face Recognition dengan PCA (Turk+Pentland, ):

6 Contoh contour tracking dengan theorema Bayes
Snake Tracking E + bW ln p(x|c) + ln p(c)

7 Statistical Models / Probability Theory
Model Statistical : model yg merepresentasikan Uncertainty and Variability Probability Theory: menjelaskan tentang mekanisme dari Uncertainty Lihat contoh2 pada file pdf buku elektronik, pada CD. (Forsyth+Ponce Chap 6) - title - report on work done together with JM at UCB and together with MC MS at Interval 2 2

8 Statistical Models / Probability Theory
Fakta mengakan bahwa Segala sesuatu adalah merupakan Variabel Random - title - report on work done together with JM at UCB and together with MC MS at Interval 2 2

9 Pengantar Desisi Optimal Bayes
Dengan berbagai aplikasi untuk proses klasifikasi

10 Teori Desisi Bayes (Bayes Decision Theory)
Contoh: Character Recognition: Tujuan: Mengklasifikasikan karakter sedemikian rupa sehingga dapat meminimalisasi probabiliti kesalahan klasifikasi (minimize probability of misclassification)

11 ? Teori Desisi Bayes konsep #1: Priors (prob. anggapan awal) P(a)=0.75
P(b)=0.25 a a b a b a a b a b a a a a b a a b a a b a a a a b b a b a b a a b a a

12 Teori Desisi Bayes # black pixel # black pixel
Konsep #2: Conditional Probability / Likelihood # black pixel # black pixel

13 Teori Desisi Bayes Contoh: X=7

14 Teori Desisi Bayes Contoh: X=8

15 Teori Desisi Bayes Contoh: Karena… P(a)=0.75 P(b)=0.25 X=8

16 Teori Desisi Bayes Contoh: P(a)=0.75 P(b)=0.25 X=9

17 Teori Desisi Bayes Teorema Bayes :

18 Teori Desisi Bayes Teorema Bayes :

19 Teori Desisi Bayes Teorema Bayes : Likelihood x prior Posterior =
Normalization factor

20 Teori Desisi Bayes Contoh:

21 Teori Desisi Bayes Contoh:

22 Teori Desisi Bayes Contoh: X>8 sehingga termasuk kelas b

23 Teori Desisi Bayes Tujuan: Mengklasifikasikan karakter sedemikian rupa sehingga dapat meminimalisasi probabiliti kesalahan klasifikasi (minimize probability of misclassification) Batas2 desisi (Decision boundaries):

24 Teori Desisi Bayes Batas-batas desisi:

25 Teori Desisi Bayes Daerah desisi : R3 R1 R2

26 Teori Desisi Bayes Tujuan: minimize probability of misclassification

27 Teori Desisi Bayes Tujuan: minimize probability of misclassification

28 Teori Desisi Bayes Tujuan: minimize probability of misclassification

29 Teori Desisi Bayes Tujuan: minimize probability of misclassification

30 Teori Desisi Bayes Mengapa (Posteriori Probability)
menjadi sangat-sangat penting ?

31 Teori Desisi Bayes Mengapa jadi penting sekali ?
Contoh #1: Speech Recognition 7 1 8 9 FFT melscale bank = x y e [/ah/, /eh/, .. /uh/] apple, ...,zebra

32 Teori Desisi Bayes Contoh #1: Speech Recognition /t/ /t/ /t/ /t/ FFT
melscale bank /aal/ /aol/ /owl/

33 Teori Desisi Bayes Contoh #1: Speech Recognition
Bagaimana manusia dapat mengenali dengan mudah? Apakah mesin bisa ???

34 Teori Desisi Bayes Contoh #1: Speech Recognition = x y FFT 7 1 8 9
melscale bank = x y

35 Teori Desisi Bayes Contoh #1: Speech Recognition = x y Language Model
7 1 8 9 FFT melscale bank = x y P(“wreck a nice beach”) = 0.001 P(“recognize speech”) = 0.02

36 Teori Desisi Bayes Mengapa penting ? Contoh #2: Computer Vision
Low-Level Image Measurements High-Level Model Knowledge

37 Bayes Mengapa penting? Contoh #3: Curve Fitting
E + bW ln p(x|c) + ln p(c)

38 Bayes Mengapa penting? Contoh #4: Snake Tracking
E + bW ln p(x|c) + ln p(c)

39 Estimasi Densitas (Density Estimation)
Statistical Models (Forsyth+Ponce Chap. 6) - Bayesian Decision Theory - Density Estimation - title - report on work done together with JM at UCB and together with MC MS at Interval 2 2

40 Probability Density Estimation
? Data koleksi: x1,x2,x3,x4,x5,... x Estimasi: x

41 Probability Density Estimation
Beberapa metode estimasi dengan: Parametric Representations Non-Parametric Representations Mixture Models

42 Probability Density Estimation
Parametric Representations - Normal Distribution (Gaussian) - Maximum Likelihood - Bayesian Learning

43 Normal Distribution

44 Multivariate Normal Distribution

45 Multivariate Normal Distribution
Mengapa Gaussian, apa istimewanya ? Punya properti sederhana: - linear transformasi Gaussians adalah Gaussian juga - marginal dan conditional densities dari Gaussians adalah Gaussian - Moment dari densitas Gaussian secara explisit merupakan fungsi dari m,s “Good” Model of Nature: - Central Limit Theorem: Mean of M random variables is distributed normally in the limit.

46 Multivariate Normal Distribution
Discriminant functions:

47 Multivariate Normal Distribution
Discriminant functions: equal priors + cov: Jarak Mahalanobis

48 Multivariate Normal Distribution
Bagaimana "Belajar" dari contoh ? Bisa dilakukan dengan : Maximum Likelihood Bayesian Learning

49 Maximum Likelihood Bagaimana "Belajar" dari contoh ?: ? x ? x

50 Maximum Likelihood Likelihood dari model densitas q untuk menghasilkan data X:

51 Maximum Likelihood Likelihood dari model densitas q untuk menghasilkan data X:

52 Maximum Likelihood “Belajar” = Proses optimasi (maximizing likelihood / minimizing E):

53 Maximum Likelihood Maximum Likelihood untuk Gaussian density:
Solusi singkatnya:

54 Probability Density Estimation
Parametric Representations Non-Parametric Representations Mixture Models