Proses Stokastik Semester Ganjil 2013 DR. Rahma Fitriani, S.Si., M.Sc

The Long Run Behaviour of Markov Chains Menganalisis peluang transisi n langkah dari rantai markov untuk n → ∞: The Limiting Probability Distribution Tidak tergantung pada state awal Peluang transisi n langkah tersebut ada jika rantai markov mempunyai matriks peluang yang bersifat regular Semua elemen Pk >0 Apapun state awalnya (initial state) rantai markov akan berakhir di state j dengan peluang πj

Contoh: Rantai Markov dua State

P dengan beberapa pangkat: π0 π1

Syarat Keberadaan the Limiting probability Rantai markov mempunya matriks peluang transisi yang bersifat regular Matriks peluang transisi bersifat regular jika: Setiap pasang state i, j, terdapat jalur k1, k2, …, kr di mana Pik1 P k1k2 ... Pkrj>0 Terdapat paling sedikit satu i di mana Pii>0

The Limiting Probability Distribution Jika P matriks peluang transisi yang bersifat regular di mana terdapat 0, 1, 2, …, N, kemungkinan state, maka: The limiting probability distribution =(0, 1, 2, …,N) adalah solusi unik dari persamaan:  = P

Contoh Untuk rantai markov dengan matriks peluang transisi berikut ini: Tentukan the limiting probability distribution. Sistem persamaan:

Karena adanya batasan linier, maka satu persamaan bersifat redundan dan akan dibuang dari sistem persamaan Pada kasus ini persamaan 3 yang dibuang

Dengan substitusi dan eliminasi, solusinya adalah:

Berdasarkan definisi dari the limiting probability: Dengan mengoperasikan pangkat tinggi pada matriks peluang transisi: π0 π1 π2

Klasifikasi State-State Definisi: State j dapat dijangkau (reachable) dari state i jika peluang untuk menuju dari i ke j dalam n >0 langkah adalah positif (Jika teradapat jalur dari i ke j pada diagram rantai markov). Himpunan bagian S dari himpunan state X bersifat tertutup (closed) jika pij=0 untuk setiap iS and j S Statei dikatakan absorbing jika terdapat closed set dengan satu anggota (state) saja. Himpunan tertutup (closed set) S dikatakan irreducible jika sembarang state jS dapat dijangkau dari setiap state iS. Rantai markov dikatakan irreducible jika himpunan state-nya X adalah irreducible.

Contoh Irreducible Markov Chain p01 p12 p00 p10 p21 p22 1 2 p01 p12 p00 p10 p21 p22 Reducible Markov Chain p01 p12 p00 p10 p14 p22 4 p23 p32 p33 1 2 3 Absorbing State Closed irreducible set

Transient and Recurrent States Hitting Time Recurrence Time Tii adalah waktu yang dibutuhkan untuk state i kembali ke state i untuk pertama kalinya Diberikan ρi sebagai peluang bahwa state akan kembali ke i dengan syarat rantai markov berawal di state i, maka, State i recurrent jia ρi=1 dan transient jika ρi<1 State i bersifat transient jika terdapat peluang bahwa rantai markov tidak akan kembali ke state i.

Teorema-teorema Jika rantai markov mempunyai himpunan state yang finite, maka paling sedikit satu dari state-nya bersifat recurrent. Jika i adalah state yang bersifat recurrent dan state j dapat dijangkau dari state i maka state j juga recurrent. Jika S adalah himpunan state yang irreducible yang finite dan closed, maka setiap state di S adalah recurrent.

Positive and Null Recurrent States Diberikan Mi sebagai rata-rata waktu recurrence bagi state i State i dikatakan positive recurrent jika Mi<∞. Jika Mi=∞ maka state tersebut dikatakan null-recurrent.

Example p01 p12 p00 p10 p14 p22 p23 p32 p33 Transient States 1 2 3 Transient States Positive Recurrent States Recurrent State

Klasifikasi State-State j recurrent transient positive null absorbing non-absorbing

State Periodic dan Aperiodic Misalkan bahwa struktur rantai markov adalah sedemikian sehingga terdapat beberapa jalur dari state i kembali ke state i, di mana jumlah langkah dari setiap jalur adalah kelipatan bilangan bulat d >1  state i disebut periodic dengan periode d. Jika tidak terdapat bilangan bulat sedemikian (d =1) maka state tersebut bersifat aperiodic. Contoh: 1 0.5 2 Periodic State d = 2