Bayesian: Multi-Parameter Model Nur Iriawan, PhD. Statistika – FMIPA – ITS, SURABAYA 21 Februari 2006

Bahasan yang dicakup Multiparameter models Normal model dengan mean dan variance tidak diketahui, dengan prior: Non-informative Conjugate dan semi-conjugate Multinomial model with conjugate Dirichlet prior Multivariate Normal model dengan mean dan covariance tidak diketahui, dengan prior Conjugate Bayesian pada Model Regresi Bayesian pada Model Mixture Gibbs Sampler dan MCMC Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 2

Multiparameter Models: suatu pengantar Permasalahan nyata dalam statistika adalah hampir selalu pasti akan berkecimpung dengan banyak quantity yang tidak diketahui. Tetapi biasanya diantara yang banyak dan tidak diketahui tersebut akan hanya satu atau beberapa saja yang ingin dipelajari, baik itu parameter maupun prediksinya. Hal yang lain yang tidak diketahui dinamakan/ dianggap sebagai nuisance parameters Anggap terdapat 2 parameter (θ1, θ2) Θ1 sebagai parameter yang akan dipelajari θ2 sebagai suatu nuisance parameter Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 3

Sebagai contoh pada model Normal dengan μ and σ2 tidak diketahui Kita dapat mempunyai tujuan untuk mempelajari tentang population mean atau μ, tetapi kita tidak perlu tahu persis mengenai population variance σ2 . Sehingga dalam model yang dikembangkan kita harus memperlakukan σ2 sebagai parameter yang tidak diketahui. Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 4

Contoh: pada posterior normal mean, dapat diperoleh dari p(μ, σ2|y) Dalam beberapa kasus seperti ini, tujuan dalam Bayesian adalah untuk memperoleh distribusi marginal posterior untuk parameter yang sedang dipelajari. Sebagai contohnya dapat direpresentasikan sebagai p(μ|y) Tetapi secara umum untuk mengestimate joint posterior distribution dari semua parameter dalam model yang ingin dipelajari, maka dilakukan dengan mengintegralkannya terhadap semua nuisance parameternya. Contoh: pada posterior normal mean, dapat diperoleh dari p(μ, σ2|y) dan diintegralkan seperti berikut ini p(μ|y) = ∫p(μ, σ2|y) dσ2 Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 5

likelihood prior Posterior Joint posterior ini dapat direpresentasikan sebagai bentuk likelihood * prior Sehingga marginal dari μ dapat diperoleh dengan cara sbb Tampak bahwa p(μ|y) mempunyai bentuk sebuah mixture dari conditional posterior distribution yang diberikan oleh σ2, dimana p(σ2|y) adalah sebagai fungsi pembobot untuk semua kemungkinan nilai σ2 likelihood prior Posterior Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 6

Contoh: normal data dengan μ dan σ2 tidak diketahui Diperlukan informasi joint prior untuk kedua parameter yang tidak diketahui. Anggap bahwa disini digunakan bentuk conventional noninformative prior sebagai berikut Ide ini muncul dari anggapan bahwa μ dan σ2 adalah saling dan dilakukan perkalian diantara kedua standard noninformative priors yang digunakan untuk masing-masing. Suatu anggapan setiap prior adalah independen merupakan suatu asumsi yang cukup beralasan disini; Hal ini juga memberikan pengertian bahwa jika kita mempunyai informasi yang cukup untuk satu parameter, bukan berarti kita akan tahu juga bentuk informasi dan distribusi dari parameter yang lain. Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 7

Ingat kembali pada kasus standard noninformative priors untuk μ apabila σ2 dianggap diketahui, dan juga pada kasus standard noninformative priors σ2 apabila μ dianggap diketahui. Dalam hal ini bukan berarti kita menggunakan suatu bentuk conjugate prior; we will see that the posterior distribution does not factor like this into an inverse gamma times an independent normal. Note that this prior is improper, and the joint posterior is improper if there are fewer than two observations in the current data. Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 8

Joint posterior distribution dengan conventional noninformative prior Joint posteriornya adalah Dimana s2 adalah sampel variance dan v=n-1. dan s2 adalah sufficient statistics untuk μ and σ2. Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 9

Marginal posterior distribution dari μ Kita akan menggunakan bentuk identitas probabilitas bersyarat seperti berikut Untuk distribusi posterior σ2 dapat diperoleh dengan proses integral seperti berikut What parametric density is this? Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 10

Conditional posterior distribution dari μ diberikan σ2 Dengan menggunakan hasil posterior mean apabila variance diketahui dan uniform prior pada mean diperoleh : ((Gelman et.al, 1995), (Zellner, 1971), dan (Iriawan, 2003)) Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 11

Marginal posterior distribution untuk μ (σ unknown) Dengan menggunakan substitusi Diperoleh unnormalized gamma integral sbb What distribution is this?  t-Student, Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 12

Sehingga Catatan bahwa Distribusi posterior dari μ tidak tergantung pada data Distribusi sampling dari tidak tergantung pada parameter yang menyertainya Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 13

Posterior predictive distribution Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 14

Normal data with conjugate prior distribution μ and σ2 are independent in their joint conjugate prior density Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 15

Joint Posterior p(μ,σ2|y) dengan dimana Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 16

An informative semi-conjugate joint prior on μ and σ2 for the normal distribution An intuitive procedure for specifying a joint prior distribution p(μ, σ2|y) if we had prior information on both is: Assume a priori independence Place an inverse gamma prior on σ2 Place a normal prior on μ Then the joint prior is the product of these two priors This is called a “semi-conjugate" prior. Why? However, it is not a conjugate prior! In fact, the marginal posterior distributions p(σ2|y) and p(μ|y) have no simple conjugate forms. Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 17

Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 18

Multinomial Models Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 19

Dirichlet Prior Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 20

Multivariate Normal Models (Gelman et.al, 1995) Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 21

Multivariate Normal With Known variance Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 22

Posterior conditional distribution of a sub-vector μ(1) with Σ known Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 23

Posterior predictive distribution for a new data Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 24

Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 25

Multivariate Normal with unknown mean and variance Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 26

Marginal posterior μ dan distribusi posterior data prediksi Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 27

Apa Kegunaan Metode Markov chain Monte Carlo (MCMC) ? Untuk membentuk model yang sangat kompleks, berdemensi tinggi, atau sifat data yang berkorelasi tinggi (multicolinear) Sangat khusus digunakan oleh pengguna Bayesian untuk pemodelan data Membangun suatu Markov Chain yang distribusi stationeritasny aadalah berupa joint posterior dari semua parameter dan missing data yang ‘unknowns’ dari suatu model tertentu yang bersyarat pada data observasi yang diberikan. Mengolah fakta yang diperoleh, dengan mengacu pada suatu aturan tertentu, untuk membentuk distribusi joint posterior dengan mengalikan antara "full conditional distributions" dari setiap unknown parameter dengan diberikan oleh semua parameter yang lainnya di dalam model. WinBUGS adalah merupakan general-purpose packages program yang menggunakan Gibbs sampling untuk membentuk Bayesian models. Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 28

Apa yang harus dimasukkan USER pada program WinBUGS? Membangkitkan sebuah deretan sampel yang menuruti sifat Markov Chain Setiap iterasi akan membangkitkan data sampel sebagai realisasi dari parameter unknown. Apa yang harus dimasukkan USER pada program WinBUGS? Spesifikasi model yang memuat karakteristik distribusi yang berkaitan dengan data observasi dan parameter modelnya Distribusi suatu data observasi dinyatakan sebagai fungsi dari parameter-parameter yang menyertainya (likelihood) Distribusi prior dari setiap parameter auxiliary files yang memuat data initial values untuk semua parameter unknowns Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 29

WinBUGS output adalah berupa samples Yang berkorelasi Dari suatu ‘quantities’ atau parameter interest yang digunakan oleh user WinBUGS untuk me-"monitor" parameters missing data Fungsi dari dua hal di atas Nur Iriawan Bayesian Modeling, PENS – ITS – 2006 30