Presentasi sedang didownload. Silahkan tunggu

Presentasi sedang didownload. Silahkan tunggu

Bayesian: Multi-Parameter Model Nur Iriawan, PhD. Statistika – FMIPA – ITS, SURABAYA 21 Februari 2006.

Presentasi serupa


Presentasi berjudul: "Bayesian: Multi-Parameter Model Nur Iriawan, PhD. Statistika – FMIPA – ITS, SURABAYA 21 Februari 2006."— Transcript presentasi:

1 Bayesian: Multi-Parameter Model Nur Iriawan, PhD. Statistika – FMIPA – ITS, SURABAYA 21 Februari 2006

2 Nur Iriawan Bayesian Modeling, PENS – ITS – Bahasan yang dicakup  Multiparameter models  Normal model dengan mean dan variance tidak diketahui, dengan prior: Non-informative Conjugate dan semi-conjugate  Multinomial model with conjugate Dirichlet prior  Multivariate Normal model dengan mean dan covariance tidak diketahui, dengan prior Non-informative Conjugate  Bayesian pada Model Regresi  Bayesian pada Model Mixture  Gibbs Sampler dan MCMC

3 Nur Iriawan Bayesian Modeling, PENS – ITS – Multiparameter Models: suatu pengantar  Permasalahan nyata dalam statistika adalah hampir selalu pasti akan berkecimpung dengan banyak quantity yang tidak diketahui.  Tetapi biasanya diantara yang banyak dan tidak diketahui tersebut akan hanya satu atau beberapa saja yang ingin dipelajari, baik itu parameter maupun prediksinya.  Hal yang lain yang tidak diketahui dinamakan/ dianggap sebagai nuisance parameters  Anggap terdapat 2 parameter (θ 1, θ 2 ) Θ 1 sebagai parameter yang akan dipelajari θ 2 sebagai suatu nuisance parameter

4 Nur Iriawan Bayesian Modeling, PENS – ITS –  Sebagai contoh pada model Normal dengan μ and σ 2 tidak diketahui Kita dapat mempunyai tujuan untuk mempelajari tentang population mean atau μ, tetapi kita tidak perlu tahu persis mengenai population variance σ 2. Sehingga dalam model yang dikembangkan kita harus memperlakukan σ 2 sebagai parameter yang tidak diketahui.

5 Nur Iriawan Bayesian Modeling, PENS – ITS –  Dalam beberapa kasus seperti ini, tujuan dalam Bayesian adalah untuk memperoleh distribusi marginal posterior untuk parameter yang sedang dipelajari. Sebagai contohnya dapat direpresentasikan sebagai p(μ|y)  Tetapi secara umum untuk mengestimate joint posterior distribution dari semua parameter dalam model yang ingin dipelajari, maka dilakukan dengan mengintegralkannya terhadap semua nuisance parameternya.  Contoh: pada posterior normal mean, dapat diperoleh dari p(μ, σ 2 |y) dan diintegralkan seperti berikut ini p(μ|y) = ∫p(μ, σ 2 |y) dσ 2

6 Nur Iriawan Bayesian Modeling, PENS – ITS – Joint posterior ini dapat direpresentasikan sebagai bentuk likelihood * prior Sehingga marginal dari μ dapat diperoleh dengan cara sbb Tampak bahwa p(μ|y) mempunyai bentuk sebuah mixture dari conditional posterior distribution yang diberikan oleh σ 2, dimana p(σ 2 |y) adalah sebagai fungsi pembobot untuk semua kemungkinan nilai σ 2 likelihood prior Posterior

7 Nur Iriawan Bayesian Modeling, PENS – ITS – Contoh: normal data dengan μ dan σ 2 tidak diketahui  Diperlukan informasi joint prior untuk kedua parameter yang tidak diketahui.  Anggap bahwa disini digunakan bentuk conventional noninformative prior sebagai berikut Ide ini muncul dari anggapan bahwa μ dan σ 2 adalah saling dan dilakukan perkalian diantara kedua standard noninformative priors yang digunakan untuk masing- masing.  Suatu anggapan setiap prior adalah independen merupakan suatu asumsi yang cukup beralasan disini; Hal ini juga memberikan pengertian bahwa jika kita mempunyai informasi yang cukup untuk satu parameter, bukan berarti kita akan tahu juga bentuk informasi dan distribusi dari parameter yang lain.

8 Nur Iriawan Bayesian Modeling, PENS – ITS –  Ingat kembali pada kasus standard noninformative priors untuk μ apabila σ 2 dianggap diketahui, dan juga pada kasus standard noninformative priors σ 2 apabila μ dianggap diketahui.  Dalam hal ini bukan berarti kita menggunakan suatu bentuk conjugate prior; we will see that the posterior distribution does not factor like this into an inverse gamma times an independent normal.  Note that this prior is improper, and the joint posterior is improper if there are fewer than two observations in the current data.

9 Nur Iriawan Bayesian Modeling, PENS – ITS – Joint posterior distribution dengan conventional noninformative prior  Joint posteriornya adalah Dimana s 2 adalah sampel variance dan v = n -1. dan s 2 adalah sufficient statistics untuk μ and σ 2.

10 Nur Iriawan Bayesian Modeling, PENS – ITS – Marginal posterior distribution dari μ  Kita akan menggunakan bentuk identitas probabilitas bersyarat seperti berikut  Untuk distribusi posterior σ 2 dapat diperoleh dengan proses integral seperti berikut What parametric density is this?

11 Nur Iriawan Bayesian Modeling, PENS – ITS – Conditional posterior distribution dari μ diberikan σ 2  Dengan menggunakan hasil posterior mean apabila variance diketahui dan uniform prior pada mean diperoleh : ((Gelman et.al, 1995), (Zellner, 1971), dan (Iriawan, 2003))

12 Nur Iriawan Bayesian Modeling, PENS – ITS –  Marginal posterior distribution untuk μ (σ unknown) Dengan menggunakan substitusi Diperoleh unnormalized gamma integral sbb What distribution is this?  t-Student,

13 Nur Iriawan Bayesian Modeling, PENS – ITS – Sehingga Catatan bahwa Distribusi posterior dari μ tidak tergantung pada data Distribusi sampling dari tidak tergantung pada parameter yang menyertainya

14 Nur Iriawan Bayesian Modeling, PENS – ITS – Posterior predictive distribution

15 Nur Iriawan Bayesian Modeling, PENS – ITS – Normal data with conjugate prior distribution μ and σ 2 are independent in their joint conjugate prior density

16 Nur Iriawan Bayesian Modeling, PENS – ITS – Joint Posterior p(μ,σ 2 | y ) dimana dengan

17 Nur Iriawan Bayesian Modeling, PENS – ITS – An informative semi-conjugate joint prior on μ and σ 2 for the normal distribution  An intuitive procedure for specifying a joint prior distribution p(μ, σ 2 |y) if we had prior information on both is:  Assume a priori independence  Place an inverse gamma prior on σ 2  Place a normal prior on μ  Then the joint prior is the product of these two priors  This is called a “semi-conjugate" prior. Why?  However, it is not a conjugate prior!  In fact, the marginal posterior distributions p(σ 2 |y) and p(μ|y) have no simple conjugate forms.

18 Nur Iriawan Bayesian Modeling, PENS – ITS –

19 Nur Iriawan Bayesian Modeling, PENS – ITS – Multinomial Models

20 Nur Iriawan Bayesian Modeling, PENS – ITS – Dirichlet Prior

21 Nur Iriawan Bayesian Modeling, PENS – ITS – Multivariate Normal Models (Gelman et.al, 1995)

22 Nur Iriawan Bayesian Modeling, PENS – ITS – Multivariate Normal With Known variance

23 Nur Iriawan Bayesian Modeling, PENS – ITS – Posterior conditional distribution of a sub-vector μ (1) with Σ known

24 Nur Iriawan Bayesian Modeling, PENS – ITS – Posterior predictive distribution for a new data

25 Nur Iriawan Bayesian Modeling, PENS – ITS –

26 Nur Iriawan Bayesian Modeling, PENS – ITS – Multivariate Normal with unknown mean and variance

27 Nur Iriawan Bayesian Modeling, PENS – ITS – Marginal posterior μ dan distribusi posterior data prediksi

28 Nur Iriawan Bayesian Modeling, PENS – ITS – Apa Kegunaan Metode Markov chain Monte Carlo (MCMC) ?  Untuk membentuk model yang sangat kompleks, berdemensi tinggi, atau sifat data yang berkorelasi tinggi (multicolinear)  Sangat khusus digunakan oleh pengguna Bayesian untuk pemodelan data  Membangun suatu Markov Chain yang distribusi stationeritasny aadalah berupa joint posterior dari semua parameter dan missing data yang ‘unknowns’ dari suatu model tertentu yang bersyarat pada data observasi yang diberikan.  Mengolah fakta yang diperoleh, dengan mengacu pada suatu aturan tertentu, untuk membentuk distribusi joint posterior dengan mengalikan antara "full conditional distributions" dari setiap unknown parameter dengan diberikan oleh semua parameter yang lainnya di dalam model. WinBUGS adalah merupakan general-purpose packages program yang menggunakan Gibbs sampling untuk membentuk Bayesian models.

29 Nur Iriawan Bayesian Modeling, PENS – ITS –  Membangkitkan sebuah deretan sampel yang menuruti sifat Markov Chain Setiap iterasi akan membangkitkan data sampel sebagai realisasi dari parameter unknown. Apa yang harus dimasukkan USER pada program WinBUGS?  Spesifikasi model yang memuat karakteristik distribusi yang berkaitan dengan data observasi dan parameter modelnya Distribusi suatu data observasi dinyatakan sebagai fungsi dari parameter-parameter yang menyertainya (likelihood) Distribusi prior dari setiap parameter  auxiliary files yang memuat data initial values untuk semua parameter unknowns

30 Nur Iriawan Bayesian Modeling, PENS – ITS – WinBUGS output adalah berupa samples  Yang berkorelasi  Dari suatu ‘quantities’ atau parameter interest yang digunakan oleh user WinBUGS untuk me-"monitor" parameters missing data Fungsi dari dua hal di atas


Download ppt "Bayesian: Multi-Parameter Model Nur Iriawan, PhD. Statistika – FMIPA – ITS, SURABAYA 21 Februari 2006."

Presentasi serupa


Iklan oleh Google