Presentasi sedang didownload. Silahkan tunggu

Presentasi sedang didownload. Silahkan tunggu

Proses Stokastik Semester Ganjil 2013 DR. Rahma Fitriani, S.Si., M.Sc.

Presentasi serupa


Presentasi berjudul: "Proses Stokastik Semester Ganjil 2013 DR. Rahma Fitriani, S.Si., M.Sc."— Transcript presentasi:

1 Proses Stokastik Semester Ganjil 2013 DR. Rahma Fitriani, S.Si., M.Sc

2 The Long Run Behaviour of Markov Chains  Menganalisis peluang transisi n langkah dari rantai markov untuk n → ∞:  The Limiting Probability Distribution  Tidak tergantung pada state awal  Peluang transisi n langkah tersebut ada jika rantai markov mempunyai matriks peluang yang bersifat regular  Semua elemen P k >0 Apapun state awalnya (initial state) rantai markov akan berakhir di state j dengan peluang π j

3 Contoh: Rantai Markov dua State

4  P dengan beberapa pangkat: π0π0 π1π1

5 Syarat Keberadaan the Limiting probability  Rantai markov mempunya matriks peluang transisi yang bersifat regular  Matriks peluang transisi bersifat regular jika:  Setiap pasang state i, j, terdapat jalur k 1, k 2, …, k r di mana P ik 1 P k 1 k 2... P k r j >0  Terdapat paling sedikit satu i di mana P ii >0

6 The Limiting Probability Distribution  Jika P matriks peluang transisi yang bersifat regular di mana terdapat 0, 1, 2, …, N, kemungkinan state, maka:  The limiting probability distribution  =(  0,  1,  2, …,  N ) adalah solusi unik dari persamaan:  =  P

7 Contoh  Untuk rantai markov dengan matriks peluang transisi berikut ini:  Tentukan the limiting probability distribution.  Sistem persamaan:

8 Karena adanya batasan linier, maka satu persamaan bersifat redundan dan akan dibuang dari sistem persamaan -Pada kasus ini persamaan 3 yang dibuang

9 Dengan substitusi dan eliminasi, solusinya adalah:

10  Berdasarkan definisi dari the limiting probability:  Dengan mengoperasikan pangkat tinggi pada matriks peluang transisi: π0π0 π1π1 π2π2

11 Klasifikasi State-State  Definisi:  State j dapat dijangkau (reachable) dari state i jika peluang untuk menuju dari i ke j dalam n >0 langkah adalah positif  (Jika teradapat jalur dari i ke j pada diagram rantai markov).  Himpunan bagian S dari himpunan state X bersifat tertutup (closed) jika p ij =0 untuk setiap i  S and j  S  State i dikatakan absorbing jika terdapat closed set dengan satu anggota (state) saja.  Himpunan tertutup (closed set) S dikatakan irreducible jika sembarang state j  S dapat dijangkau dari setiap state i  S.  Rantai markov dikatakan irreducible jika himpunan state-nya X adalah irreducible.

12 Contoh  Irreducible Markov Chain 012 p 01 p 12 p 00 p 10 p 21 p 22 Reducible Markov Chain p 01 p 12 p 00 p 10 p 14 p 22 4 p 23 p 32 p Absorbing State Closed irreducible set

13 Transient and Recurrent States  Hitting Time Recurrence Time T ii adalah waktu yang dibutuhkan untuk state i kembali ke state i untuk pertama kalinya Diberikan ρ i sebagai peluang bahwa state akan kembali ke i dengan syarat rantai markov berawal di state i, maka, State i recurrent jia ρ i =1 dan transient jika ρ i <1 State i bersifat transient jika terdapat peluang bahwa rantai markov tidak akan kembali ke state i.

14 Teorema-teorema  Jika rantai markov mempunyai himpunan state yang finite, maka paling sedikit satu dari state-nya bersifat recurrent.  Jika i adalah state yang bersifat recurrent dan state j dapat dijangkau dari state i maka state j juga recurrent.  Jika S adalah himpunan state yang irreducible yang finite dan closed, maka setiap state di S adalah recurrent.

15 Positive and Null Recurrent States  Diberikan M i sebagai rata-rata waktu recurrence bagi state i  State i dikatakan positive recurrent jika M i <∞. Jika M i =∞ maka state tersebut dikatakan null-recurrent.

16 Example p 01 p 12 p 00 p 10 p 14 p 22 4 p 23 p 32 p Recurrent State Transient States Positive Recurrent States

17 17 Klasifikasi State-State j recurrenttransient positive non-absorbingabsorbing null

18 State Periodic dan Aperiodic  Misalkan bahwa struktur rantai markov adalah sedemikian sehingga terdapat beberapa jalur dari state i kembali ke state i, di mana jumlah langkah dari setiap jalur adalah kelipatan bilangan bulat d >1  state i disebut periodic dengan periode d.  Jika tidak terdapat bilangan bulat sedemikian (d =1) maka state tersebut bersifat aperiodic.  Contoh: Periodic State d = 2


Download ppt "Proses Stokastik Semester Ganjil 2013 DR. Rahma Fitriani, S.Si., M.Sc."

Presentasi serupa


Iklan oleh Google