Upload presentasi
Presentasi sedang didownload. Silahkan tunggu
1
Proses Stokastik Semester Ganjil 2013 DR. Rahma Fitriani, S.Si., M.Sc
2
The Long Run Behaviour of Markov Chains
Menganalisis peluang transisi n langkah dari rantai markov untuk n → ∞: The Limiting Probability Distribution Tidak tergantung pada state awal Peluang transisi n langkah tersebut ada jika rantai markov mempunyai matriks peluang yang bersifat regular Semua elemen Pk >0 Apapun state awalnya (initial state) rantai markov akan berakhir di state j dengan peluang πj
3
Contoh: Rantai Markov dua State
4
P dengan beberapa pangkat:
π0 π1
5
Syarat Keberadaan the Limiting probability
Rantai markov mempunya matriks peluang transisi yang bersifat regular Matriks peluang transisi bersifat regular jika: Setiap pasang state i, j, terdapat jalur k1, k2, …, kr di mana Pik1 P k1k2 ... Pkrj>0 Terdapat paling sedikit satu i di mana Pii>0
6
The Limiting Probability Distribution
Jika P matriks peluang transisi yang bersifat regular di mana terdapat 0, 1, 2, …, N, kemungkinan state, maka: The limiting probability distribution =(0, 1, 2, …,N) adalah solusi unik dari persamaan: = P
7
Contoh Untuk rantai markov dengan matriks peluang transisi berikut ini: Tentukan the limiting probability distribution. Sistem persamaan:
8
Karena adanya batasan linier, maka satu persamaan bersifat redundan dan akan dibuang dari sistem persamaan Pada kasus ini persamaan 3 yang dibuang
9
Dengan substitusi dan eliminasi, solusinya adalah:
10
Berdasarkan definisi dari the limiting probability:
Dengan mengoperasikan pangkat tinggi pada matriks peluang transisi: π0 π1 π2
11
Klasifikasi State-State
Definisi: State j dapat dijangkau (reachable) dari state i jika peluang untuk menuju dari i ke j dalam n >0 langkah adalah positif (Jika teradapat jalur dari i ke j pada diagram rantai markov). Himpunan bagian S dari himpunan state X bersifat tertutup (closed) jika pij=0 untuk setiap iS and j S Statei dikatakan absorbing jika terdapat closed set dengan satu anggota (state) saja. Himpunan tertutup (closed set) S dikatakan irreducible jika sembarang state jS dapat dijangkau dari setiap state iS. Rantai markov dikatakan irreducible jika himpunan state-nya X adalah irreducible.
12
Contoh Irreducible Markov Chain p01 p12 p00 p10 p21 p22
1 2 p01 p12 p00 p10 p21 p22 Reducible Markov Chain p01 p12 p00 p10 p14 p22 4 p23 p32 p33 1 2 3 Absorbing State Closed irreducible set
13
Transient and Recurrent States
Hitting Time Recurrence Time Tii adalah waktu yang dibutuhkan untuk state i kembali ke state i untuk pertama kalinya Diberikan ρi sebagai peluang bahwa state akan kembali ke i dengan syarat rantai markov berawal di state i, maka, State i recurrent jia ρi=1 dan transient jika ρi<1 State i bersifat transient jika terdapat peluang bahwa rantai markov tidak akan kembali ke state i.
14
Teorema-teorema Jika rantai markov mempunyai himpunan state yang finite, maka paling sedikit satu dari state-nya bersifat recurrent. Jika i adalah state yang bersifat recurrent dan state j dapat dijangkau dari state i maka state j juga recurrent. Jika S adalah himpunan state yang irreducible yang finite dan closed, maka setiap state di S adalah recurrent.
15
Positive and Null Recurrent States
Diberikan Mi sebagai rata-rata waktu recurrence bagi state i State i dikatakan positive recurrent jika Mi<∞. Jika Mi=∞ maka state tersebut dikatakan null-recurrent.
16
Example p01 p12 p00 p10 p14 p22 p23 p32 p33 Transient States
1 2 3 Transient States Positive Recurrent States Recurrent State
17
Klasifikasi State-State
j recurrent transient positive null absorbing non-absorbing
18
State Periodic dan Aperiodic
Misalkan bahwa struktur rantai markov adalah sedemikian sehingga terdapat beberapa jalur dari state i kembali ke state i, di mana jumlah langkah dari setiap jalur adalah kelipatan bilangan bulat d >1 state i disebut periodic dengan periode d. Jika tidak terdapat bilangan bulat sedemikian (d =1) maka state tersebut bersifat aperiodic. Contoh: 1 0.5 2 Periodic State d = 2
Presentasi serupa
