Presentasi sedang didownload. Silahkan tunggu

Presentasi sedang didownload. Silahkan tunggu

Bayesian: Single Parameter Prof. Nur Iriawan, PhD. Statistika – FMIPA – ITS, SURABAYA 21 Februari 2006.

Presentasi serupa


Presentasi berjudul: "Bayesian: Single Parameter Prof. Nur Iriawan, PhD. Statistika – FMIPA – ITS, SURABAYA 21 Februari 2006."— Transcript presentasi:

1 Bayesian: Single Parameter Prof. Nur Iriawan, PhD. Statistika – FMIPA – ITS, SURABAYA 21 Februari 2006

2 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 2 Frequentist Vs Bayesian (Casella dan Berger, 1987) Grup Frequentist –Grup yang mendasarkan diri pada cara klasik: MLE, Moment, UMVUE, MSE, dll –Pendekatan analitis selalu sebagai solusi Grup Bayesian –Grup yang mendasarkan diri pada cara Bayesian –Pendekatan numerik serta komputasi secara intensif –Inference lebih didasarkan pada kemungkinan muncul terbesar

3 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 3 Teorema Bayes (Thomas Bayes, 1702-1761)

4 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 4 Model Bayesian (Box dan Tiao, 1973), (Zellner, 1971), (Gelman, Stern, Carlin, dan Rubin, 1995) Mengacu pada bentuk proporsional Yang dibentuk sebagai Bahwa data yang dibentuk sebagai likelihood digunakan sebagai bahan untuk meng-update informasi prior menjadi sebuah informasi posterior yang siap untuk digunakan sebagai bahan inferensi.

5 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 5 Bayesian: Parameter juga diperlakukan sebagai variabel Dalam Bayesian semua parameter dalam model diperlakukan sebagai variabel Prinsip berfikir sebagai bentuk Full Conditional Distribution digunakan untuk mempelajari karakteristik setiap parameter Dibedakan antara simbol penyajian likelihood data dan Full Conditional Distribution.

6 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 6 Motivasi Bayesian Theorema Bayes –Thomas Bayes –Pada bentuk lain jika adalah suatu r.v yang independen dengan θ adalah parameternya, maka P(B) adalah konstan

7 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 7 Ice: Is there an icy road? Values {Yes, No} Initial Probabilities (.7,.3) Watson: Does Watson have a car crash? Values {Yes, No} Probabilities (.8,.2) if Ice=Yes, (.1,.9) if Ice=No. Example: the Icy Road Case

8 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 8 Watson.8.9.2.1 NoYes No Ice Icy Road: Conditional Probabilities p(Watson=yes|Ice=yes) p(Watson=no|ice=yes)

9 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 9 Icy Road: Likelihoods p(Watson=yes|Ice=yes) p(Watson=yes|Ice=no) Watson.8.9.2.1 NoYes No Ice Note: 8/1 ratio

10 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 10 Icy Road: Bayes Theorem: If Watson = yes -- Before Normalizing Watson.8.9.2.1 NoYes No Ice Prior * Likelihood  Posterior.7.3No Ice Yes.56.03 Yes No Ice Yes Sum =.59. Need to divide through by this ‘normalizing constant’ to get probabilities.

11 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 11 Icy Road: Bayes Theorem: If Watson = yes Watson.8.9.2.1 NoYes No Ice Prior * Likelihood  Posterior.7.3No Ice Yes.56.03 Yes No Ice Yes.95.05 Yes No Ice Yes Posterior probabilities -- each term in the product divided through by the normalizing constant.59.

12 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 12 Contoh pada kasus Normal Representasi alami suatu distribusi –Normal(μ,σ 2 ) atau N(μ,σ 2 ) Mana representasi yang representatif ?

13 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 13 Apa perbedaan antara penyajian berikut ini?

14 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 14 Plot variabel x, μ dan σ dalam full conditional Normal x μ σσ μ

15 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 15 Interval vs Highest Posterior Density (HPD) (Box dan Tiao, 1973),(Gelman et.al, 1995), (Iriawan, 2001) Pembentukan interval konfidensi pada frequentist adalah sbb Pembentukan interval konfidensi pada Bayesian didekati dengan HPD.

16 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 16 Representasi Kesamaan Densitas (Iriawan, 2001)

17 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 17 Compromise dalam Control Chart

18 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 18 HPD pada Control Chart Individu Peta Kendali (1-  ) x 100% Batas Kendali Bawah Batas Kendali Atas 95,071,3953109,481 97,564,4857110,915 99,055,3356112,775

19 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 19 Contoh Kasus pada Bernoulli Seperti halnya pada Normal sebelumnya, x~Ber(x;p) disajikan sbb: dimana pada frequentist, p dianggap konstan Bagaimana jika karena situasi dan tempat pengamatan yang berbeda dan diperoleh p berubah- ubah? Prinsip Bayesian, p akan diperlakukan menjadi sebuah variabel agar mempunyai kemampuan akomodatif pada keadaan seperti di atas.

20 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 20 Anggap p berubah sesuai dengan distribusi Beta(α,β), seperti berikut: dengan apa yang akan terjadi?

21 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 21 Anggap satu pengamatan bernoulli telah dilakukan, maka posterior distribusinya adalah sbb:

22 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 22 Sesuai dengan spesifikasi fungsi Beta, maka penyebut dapat diproses sbb:

23 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 23 Sehingga distribusi posterior untuk p setelah satu observasi tersebut adalah

24 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 24 Estimator Bayes Bayesian estimate dari p dapat diperoleh dengan meminimumkan loss function. Beberapa loss functions dapat digunakan, tetapi disini akan digunakan quadratic loss function yang konsisten dengan mean square errors (MSE) Secara umum, estimasi θ dengan pendekatan Bayes sbb ((Carlin and Louis, 1996), and (Elfessi and Reineke, 2001)) :

25 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 25 Dengan memperlakukan expektasi pada posterior distribution diperoleh

26 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 26 Seperti sebelumnya, diselesaikan integral tersebut dengan membuat variabel baru  * =  + x +1 dan  * =  - x +1. Integralnya akan memberikan hasil sbb:

27 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 27 –Dengan menggunakan penyederhanaan seperti berikut –Maka, –Atau Ingat hasil ini kembali pada saat pembahaan Compromising Bayesian dengan Classical Approaches

28 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 28 Pengembangan hasil ini ke bentuk n buah percobaan Bernoulli akan menghasilkan sebanyak y sukses memberikan hasil Dimana y adalah jumlah sukses dari observasi setiap bernoulli x. Nilai taksiran y adalah sebagai berikut: Ingat hasil ini kembali pada saat pembahaan Compromising Bayesian dengan Classical Approaches

29 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 29 Prior dan Metode Bayesian (Gelman et.al, 1995) Karena parameter  diperlakukan sebagai variabel maka dalam Bayesian  akan mempunyai nilai dalam domain , dengan densitas f  (  ). Dan densitas inilah yang akan dinamakan sebagai distribusi prior dari . Dengan adanya informasi prior yang dipadukan dengan data / informasi saat itu, X, yang digunakan dalam membentuk posterior , maka penghitungan posteriornya akan semakin mudah, yaitu hanya dengan menghitung densitas bersyarat dari  diberikan oleh X=x. Kritikan pada Bayesian biasanya terfokus pada “legitimacy dan desirability” untuk menggunakan  sebagai random variabel dan ketepatan mendefinisikan/memilih distribusi prior-nya.

30 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 30 Bentuk Prior, Likelihood, dan Posterior yang ideal Likelihood Posterior Prior θ Proper/ conjugate

31 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 31 Bagaimana jika pemilihan priornya seperti berikut ini? Posterior Prior Likelihood Pemilihan prior seperti ini akan Merupakan sebuah misleading prior, Sehingga posteriornya tidak akan Jelas bentuknya. θ

32 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 32 Prior yang serba sama densitasnya di semua domain prior Likelihood posterior θ improper

33 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 33 Interpretasi distribusi Prior 1.Sebagai bentuk distribusi frequency 2.Sebagai bentuk representasi normatif dan objectif pada suatu parameter yang lebih rasional untuk dipercayai 3.Sebagai suatu representasi subjectifitas seseorang dalam memandang sebuah parameter menurut penilainnya sendiri

34 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 34 Prior sebagai representasi Frequensi Distribusi Adakalanya nilai suatu parameter dibangkitkan dari modus pola data sebelumnya baik itu dari pola simetri ataupun tidak simetri Dalam sebuah inspeksi dalam proses industri, data kerusakan pada batch sebelumnya biasanya akan digunakan sebagai estimasi informasi prior untuk keadaan batch selanjutnya Prior biasanya mempunyai arti fisik sesuai dengan frequensi kejadian data-datanya

35 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 35 Interpretasi Normative/Objective dari suatu prior Permasalahan pokok agar prior dapat interpretatif adalah bagaimana memilih distribusi prior untuk suatu parameter yang tidak diketahui namun sesuai dengan permasalahan fisik yang ada. Jika  hanya mempunyai nilai-nilai pada range yang tertentu saja, hal ini cukup beralasan jika digunakan prior yang mempunyai densitas serba sama (equally likelly / uniformly distributed). Interpretasinya adalah bahwa setiap kondisi diberi kesempatan yang sama untuk dapat terpilih sebagai suporter likelihood dalam membentuk posteriornya. Prior dapat mempunyai arti yang sangat janggal jika salah dalam pemilihannya

36 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 36 Kasus prior dalam Continuous Parameters Invariance arguments. –Hal ini akan dapat terjadi, sebagai contoh dalam kasus Normal mean , dapat diartikan bahwa semua titik dalam semua interval (a,a+h) harus mempunyai probabilitas prior untuk semua h dan a yang diketahui. Hal ini akan memberikan pengertian bahwa untuk semua titik dalam interval tersebut mempunyai kesempatan sama terpilih atau cenderung mempunyai uniform prior (“improper prior”) –Untuk parameter, , dalam interval (a,ka) akan mempunyai prior probabilitas yang sama, yang hal ini akan memberikan arti bahwa priornya akan proportional pada nilai 1/  Lagi-lagi hal ini juga menghasilkan sebuah improper prior.

37 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 37 Macam-macam Prior Conjugate prior vs non-conjugate prior ((Box dan Tiao, 1973),(Gelman et.al, 1995), (Tanner, 1996), (Zellner, 1971)) –Prior terkait dengan pola model likelihood datanya Proper prior vs Improper prior (Jeffreys prior) –Prior terkait pada pemberian pembobotan/ densitas di setiap titik, uniformly distributed atau tidak Informative prior vs Non-Informative prior –Prior terkait dengan sudah diketahui pola/frekuensi distribusi dari datanya atau belum Pseudo-prior (Carlin dan Chib, 1995) –Prior terkait dengan pemberian nilainya yang disetarakan dengan hasil elaborasi dari frequentist (misal regresi dengan OLS)

38 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 38 Continuous Parameters Biasanya digunakan uniform prior (at least if the parameter space is of finite extent) Tetapi jika  adalah uniform, maka suatu bentuk fungsi non-linear dari , g (  ), tidak akan uniform Contoh jika p(  )=1,  >0. Re-parameterisasi sebagai maka: dimana sehingga: “ignorance about  ” does not imply “ignorance about  ” The notion of prior “ignorance” may be untenable (mungkin dapat diperbolehkan)?

39 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 39 Turning this process around slightly, Bayesian analysis assumes that we can make some kind of probability statement about parameters before we start. The sample is then used to update our prior distribution.

40 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 40 –Pertama, anggap bahwa prior yang digunakan dapat direpresentasikan sebagai probability density function  (  ) dengan  adalah parameter yang akan dipelajari. –Berdasarkan pada sampel X (likelihood function) kita akan dapat meng-update distribusi priornya mengguankan Bayes rule

41 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 41 Beberapa Conjugate priors

42 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 42 The Jeffreys Prior (single parameter) Jeffreys prior diberikan sebagai berikut: dimana adalah expected Fisher Information This is invariant to transformation in the sense that all parametrizations lead to the same prior Can also argue that it is uniform for a parametrization where the likelihood is completely determined (see Box and Tiao, 1973, Section 1.3)

43 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 43 Contoh Jeffreys pada Binomial Hasil ini adalah suatu bentuk distribusi beta dengan parameters ½ and ½

44 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 44 Contoh Jeffreys’ Priors yang lain

45 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 45 Improper Priors  Trouble Posterior (sometimes) Suppose Y 1,.,Y n are independently normally distributed with constant variance  2 and with: Suppose it is known that  is in [0,1],  is uniform on [0,1], and , , and  have improper priors Then for any observations y, the marginal posterior density of  is proportional to where h is bounded and has no zeroes in [0,1]. This posterior is an improper distribution on [0,1]!

46 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 46 Improper prior usually  proper posterior 

47 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 47 Contoh lain: improper  proper

48 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 48 Subjective Degrees of Belief Probability represents a subjective degree of belief held by a particular person at a particular time Various techniques for eliciting subjective priors. For example, Good’s device of imaginary results. e.g. binomial experiment. beta prior with a=b. “Imagine” the experiment yields 1 tail and n-1 heads. How large should n be in order that we would just give odds of 2 to 1 in favor of a head occurring next? (eg n = 4 implies a=b=1)

49 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 49 Problems with Subjectivity What if the prior and the likelihood disagree substantially? The subjective prior cannot be “wrong” but may be based on a misconception The model may be substantially wrong Often use hierarchical models in practice:

50 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 50 Hierarchical Model Contoh pada kasus Binomial Binomial(n, p) Beta(a, b) Poisson( λ ) Gamma(c, d) Gamma(e, f) Gamma(g, h)

51 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 51 General Comments Determination of subjective priors is difficult Difficult to assess the usefulness of a subjective posterior Don’t be misled by the term of “subjective”; all data analyses involve appreciable personal elements

52 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 52 Once again: An example with a continuous variable: A beta- binomial example The setup: We are flipping a biased coin, where the probability of heads  could be anywhere between 0 and 1. We are interested in  We will have two sources of information: –Prior beliefs, which we will express as a beta distribution, and –Data, which will come in the form of counts of heads in 10 independent flips.

53 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 53 An example with a continuous variable: A beta-binomial example--the Prior Distribution The prior distribution: Let’s suppose we think it is more likely that the coin is close to fair, so  is probably nearer to.5 than it is to either 0 or 1. We don’t have any reason to think it is biased toward either heads or tails, so we’ll want a prior distribution that is symmetric around.5. We’re not real sure about what  might be--say about as sure as only 6 observations. This corresponds to 3 pseudo-counts of H and 3 of T, which, if we want to use a beta distribution to express this belief, corresponds to beta(4,4):

54 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 54 Beta. Defined on [0,1]. Conjugate prior for the probability parameter in Bernoulli & binomial models.  ~ dbeta(4,4) Mean(  ): Variance(  ): Mode(  ): The variable: “success probability” Shape, or “prior sample info” PseudoCount of successes PseudoCount of failures The success probability The failure probability An example with a continuous variable: A beta-binomial example--the Prior Distribution

55 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 55 An example with a continuous variable: A beta-binomial example--the Likelihood The likelihood: Next we will flip the coin ten times. Assuming the same true (but unknown to us) value of  is in effect for each of ten independent trials, we can use the binomial distribution to model the probability of getting any number of heads: i.e., The variable The “success probability” parameter Count of observed successes Count of observed failures The success probability The failure probability

56 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 56 An example with a continuous variable: A beta-binomial example--the Likelihood The likelihood: We flip the coin ten times, and observe 7 heads; i.e., r=7. The likelihood is obtained now using the same form as in the preceding slide, except now r is fixed at 7 and we are interested in the relative value of this function at different possible values of  :

57 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 57 An example with a continuous variable: Obtaining the posterior by Bayes Theorem General form: In our example, 7 plays the role of x*, and p plays the role of y. Before normalizing: After normalizing: posterior likelihood prior Now, how can we get an idea of what this means we believe about  after combining our prior belief and our observations?

58 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 58 An example with a continuous variable: In pictures Prior x Likelihood Posterior

59 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 59 This is just the kernel of a beta(11,7) distribution. This is rather special. The data were observed in accordance with a probability function which would have that same mathematical form as a likelihood once data are observed. We chose a prior distribution (in this case, a beta distribution) which would combine with the likelihood just so as to produce another distribution in the same parametric family (another beta distribution), just with updated parameters. We can work out its summary statistics: Mean(  ): Variance(  ): Mode(  ): prior was.5.028.5 An example with a continuous variable: Using the fact that we have conjugate distributions Now

60 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 60 What BUGS does in this simple problem with one variable is to sample lots of values from the posterior distribution for  ; that is, its distribution as determined first with information from the prior, but further conditional on the observed data. Here are the summary statistics from 50000 draws: Mean(  ): Variance(  ): Mode(  ): prior was.5.028.5 An example with a continuous variable: Using BUGS Now.1116 2 ~.0125

61 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 61 An example with a continuous variable: Using BUGS BUGS setup for this problem:

62 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 62 Looking ahead to sampling-based approaches with many variables BUGS = Bayesian-inference Using Gibbs Sampling Basic idea: Model multi-parameter problem in terms of assemblies of distributions and functions for all data and all parameters (taking advantage of conditional dependence whenever possible). –E.g., p(Data|x,y) p(x|z) p(y) p(z). (*) Observe Data*; Posterior p(x,y,z|Data*) is proportional to (*). Hard to evaluate normalizing constant, but...

63 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 63 Looking ahead to sampling-based approaches with many variables Can draw values from “full conditional” distributions: Start with a possible value for each variable in cycle 0. In cycle t+1, –Draw x t+1 from p(x|Y= y t,Z= z t,Data*) –Draw y t+1 from p(y|X= x t+1,Z= z t,Data*) –Draw z t+1 from p(z|X= x t+1,Y= y t+1,Data*) Under suitable conditions, these series of draws will come to approximate draws from the actual true joint posterior for all the parameters.

64 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 64 Inference in a chain UVXYZ p(z|y)p(y|x)p(x|v)p(v|u) p(u,v,x,y,z) = p(z|y,x,v,u) p(y|x,v,u) p(x|v,u) p(v|u) p(u) = p(z|y) p(y|x) p(x|v) p(v|u) p(u). Recursive representation:

65 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 65 Inference in a chain Suppose we learn the value of X: UVXYZ p(z|y)p(y|x)p(x|v)p(v|u) Start here, by revising belief about X

66 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 66 Inference in a chain Propagate information down the chain using conditional probabilities: UVXYZ p(z|y)p(y|x)p(x|v)p(v|u) From updated belief about X, use conditional probability to revise belief about Y

67 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 67 Inference in a chain UVXYZ p(z|y)p(y|x)p(x|v)p(v|u) From updated belief about Y, use conditional probability to revise belief about Z Propagate information down the chain using conditional probabilities:

68 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 68 Inference in a chain UVXYZ p(z|y)p(y|x)p(x|v)p(v|u) From updated belief about X, use Bayes Theorem to revise belief about V Propagate information up the chain using Bayes Theorem:

69 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 69 Inference in a chain UVXYZ p(z|y)p(y|x)p(x|v)p(v|u) From updated belief about V, use Bayes Theorem to revise belief about U Propagate information up the chain using Bayes Theorem:

70 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 70 U V X YZ Singly connected: There is never more than one path from one variable to another variable. Chains and trees are singly connected. Can use repeated applications of Bayes theorem and conditional probability to propagate evidence. (Pearl, early 1980s) Inference in singly-connected nets

71 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 71 Posterior Summaries Mean, median, mode, percentile, etc. Central 95% interval versus highest posterior density region (normal mixture example…)

72 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 72 Bayesian Confidence Intervals Apart from providing an alternative procedure for estimation, the Bayesian approach provides a direct procedure for the formulation of parameter confidence intervals. Returning to the simple case of a single coin toss, the probability density function of the estimator becomes:

73 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 73 As previously discussed, try to give  =  =1.4968, the Bayesian estimator of P is.6252.

74 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 74 However, using the posterior distribution function, we can also compute the probability that the value of p is less than.5 given a head: Please verify this result! Hence, we have a very formal statement of confidence intervals as P(0.3 < p < 0.7).

75 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 75 Prediction “Posterior Predictive Density” of a future observation binomial example, n=20, x=12, a=1, b=1  yy ~

76 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 76 Prediction for Univariate Normal

77 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 77 Prediction for Univariate Normal Posterior Predictive Distribution is Normal

78 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 78 Prediction for a Poisson

79 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 79 On the Compromise of Bayesian to Classical Estimation (presented on South-East Asia Stat & Math Muslim Society Conference) Nur Iriawan Statistics Department of Institut Teknologi Sepuluh Nopember Jl. Arief Rahman Hakim Sukolilo, Surabaya 60111, Indonesia iriawann@sby.centrin.net.id iriawann@sby.centrin.net.id

80 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 80 Example on Exponential Suppose x is exponentially distributed The MLE of is

81 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 81 Using Bayesian approach with prior of is The likelihood would be Then the posterior of given the data X is

82 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 82 The Bayes estimator for can be derived using

83 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 83

84 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 84 Numerical Calculation One thousand generated data from Exponential distribution, then The classical MLE give the result (using MINITAB) as follows

85 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 85 Using WinBUGS, the Bayes estimator is

86 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 86 Lihat kembali hasil dari Binomial Cara klasik memberikan hasil bahwa Bagaimana jika α = β = 0? Estimator Bayes akan menjadi sama dengan cara klasik. Demikian halnya jika nilai-nilai ini diterapkan pada prior beta, maka prior tersebut akan berubah menjadi sebuah Jeffreys’ prior. Estimator Bayes diperoleh

87 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 87 Summary The Bayesian estimator reported as the posterior mean which is used here is generated from an improper prior distribution. It has been shown that when there is no information about the prior of the parameter of model, a constant or Jeffreys’ prior is used, the resulting estimator will give a compromise result between Bayesian and Classical estimator.

88 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 88 Numerical Integration: Monte Carlo Method (Low dan Kelton, 2000) Anggap kita akan menghitung integral berikut Jika g(x) cukup kompleks maka nilai I akan cukup rumit. Dengan cara numerik seperti beriktu dapat diperoleh nilai I dengan cukup sederhana. Caranya adalah sbb:

89 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 89 Buat random variabel baru dengan x bernilai uniform dalam interval (a,b), atau U(a,b). Hitung ekspektasi Y dengan cara berikut

90 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 90 Diketahui bahwa Sehingga nilai integral I dapat didekati secara numerik oleh Berarti, bangkitkan data yang mempunyai distribusi Uniform dan masukkan nilainya ke fungsi g(x) jumlahkan nilainya dan hitung rata-ratanya sebagai taksiran nilai integral yang sedang dicari.

91 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 91 Berapa banyak data yang harus dibangkitkan? Data harus dibangkitkan sebanyak mungkin sampai nilai rata-ratanya mencapai titik konvergen. Burn-in

92 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 92 Cara lain menghitung nilai estimasi integral dengan RNG Macam Random Number Generator (RNG) –Transformasi Invers –Composisition –Convolution –Acceptance Rejection (AR) –Adaptive Acceptence Rejection (AAR)

93 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 93 Transformasi Invers Syarat Transformasi Invers –Fungsi mempunyai CDF yang close form Metodenya adalah sbb: x u 0 1 F(x)

94 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 94 Composition (Mixture form) Perhatikan bentuk fungsi berikut Half Normal Exponential I II f(x) Dimana data di daerah I dibangkitkan dengan Normal dan di daerah II dengan Exponential

95 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 95 Convolution Misalkan sebuah fungsi Erlang(m ), maka cara pembangkitan datanya adalah dengan mengkonvolusikan data bangkitan Exponential( ).

96 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 96 Acceptance Rejection (AR) Sangat bagus untuk fungsi yang tidak jelas pdf atau bukan Dapat mengakomodasikan fungsi yang tidak mempunyai CDF close form Caranya adalah sbb: f(x) txtx rxrx Accept Reject

97 Nur Iriawan Bayesian Modeling, PENS – ITS - 2006 97 Algoritma AR Bangkitkan x ~ r x Bangkitkan u ~ U(0,1) If then Accept x Else Reject x


Download ppt "Bayesian: Single Parameter Prof. Nur Iriawan, PhD. Statistika – FMIPA – ITS, SURABAYA 21 Februari 2006."

Presentasi serupa


Iklan oleh Google