Proses Stokastik Semester Ganjil 2013/2014 DR. Rahma Fitriani, S.Si., M.Sc

Perhatikan rantai markov berikut ini β 1 1 α γ 1 2 Dengan matriks peluang transisi: Pada suatu periode n ketika pertama kali Xn di 0 atau 2: Rantai tersebut tetap berada di 0 atau 2 selamanya Trapped/Absorbed

First Step Analysis Digunakan untuk menganalisis: Time to absorption: Berapa lama secara rata-rata proses/rantai markov akan mencapai state-state tersebut? Pada contoh: state 0 atau 2. Berapa lama rantai akan terserap (absorbed/trapped) Pada contoh: state 0 dan 2 adalah absorbing states. Time to absorption:

Analisis pada time to absorption ke state 0 Digunakan definisi-definisi berikut: Peluang pada periode T rantai terjebak/terserap di 0, dengan syarat proses berawal di state 1 Periode 0 Periode T 1 … … Nilai harapan dari time to absorption

β 1 1 α γ 1 2 Dari rantai markov tsb, berapapun langkah transisi, ketika rantai terserap pada state 0 pada periode T, berlaku: Definisi

Periode 0 Periode 1 1 Periode T α 1 … … β u 1 … γ 2 … Transisi beberapa langkah dan berakhir di state 0 (terserap/absorbed) Transisi satu langkah berawal di state 1

Peluang pada periode T rantai terjebak/terserap di 0, dengan syarat proses berawal di state 1 Dengan sifat: Jika terserap di state 2, peluangnya:

Time to absorption Paling sedikit satu langkah Ketika X1=0 atau 2 Tidak ada transisi lanjutan (0 langkah) dengan peluang masing-masing α dan ϒ Ketika X1=1 masih dibutuhkan rata-rata v langkah lagi menuju 0 atau 2 dengan peluang β

Contoh: Perhatikan rantai markov berikut ini 0.6 1 1 0.1 0.3 1 2 Dengan matriks peluang transisi: Dengan syarat proses berawal di state 1, tentukan peluang bahwa rantai Markov tsb berakhir di state 0!

Adalah: Peluang pada periode T rantai terjebak/terserap di 0, dengan syarat proses berawal di state 1. Berdasarkan first step analysis:

Tentukan rata-rata time to absorption! Dengan definisi T langkah minimum untuk sampai ke absorbing state, 0 atau 2: Rata-rata dari T adalah rata-rata time to absorption: Dibutuhkan rata-rata 2.5 langkah untuk terserap di state 0 atau 2

First Step Analysis untuk Rantai Markov dengan 4 state Perhatikan rantai markov berikut ini P13 P22 1 1 P10 P11 P12 1 2 3 P21 P23 P20 Dengan matriks peluang transisi:

Pada suatu periode n ketika pertama kali Xn di 0 atau 3: Rantai tersebut tetap berada di 0 atau 3 selamanya Trapped/Absorbed Dengan definisi dari Time to absorption: Analisis pada time to absorption ke state 0 Digunakan definisi-definisi berikut: Nilai harapan dari time to absorption

0.1 1 0.3 1 0.4 0.3 0.2 1 2 3 0.3 0.3 0.1 Dari rantai markov tsb, berapapun langkah transisi, ketika rantai terserap pada state 0 pada periode T, berlaku: Definisi Definisi

Berawal dari state1 berakhir di 0 Periode 0 Periode 1 Periode T 1 0.4 1 … … 0.3 u1 1 … 0.2 u2 0.1 2 … 3 … Transisi beberapa langkah dan berakhir di state 0 (terserap/absorbed) Transisi satu langkah berawal di state 1

Berawal dari state 2, berakhir di 0 Periode 0 Periode 1 Periode T 1 0.1 2 … … 0.3 u1 1 … 0.3 u2 0.3 2 … 3 … Transisi beberapa langkah dan berakhir di state 0 (terserap/absorbed) Transisi satu langkah berawal di state 2

Dua sistem persamaan untuk dua variabel: Dengan substitusi atau eliminasi, diperoleh solusi sbb: Jika rantai berawal di state 1: Akan terserap di state 0 dengan peluang 30/43 Akan terserap di state 3 dengan peluang (1 - 30/43)=13/43 Jika rantai berawal di state 2: Akan terserap di state 0 dengan peluang 19/43 Akan terserap di state 3 dengan peluang (1 - 19/43)=24/43

Time to absorption, ketika berawal di state 1 Ketika berawal di state 1 diperlukan paling sedikit satu langkah Ketika X1=0 atau 3 tidak ada transisi lanjutan (0 langkah) dengan peluang masing-masing P10 dan P13 Ketika X1=1 masih dibutuhkan rata-rata v1 langkah lagi menuju 0 atau 3 dengan peluang P11 Ketika X1=2 masih dibutuhkan rata-rata v2 langkah lagi menuju 0 atau 3 dengan peluang P12

Time to absorption, ketika berawal di state 2 Ketika berawal di state 2 diperlukan paling sedikit satu langkah Ketika X1=0 atau 3 Tidak ada transisi lanjutan (0 langkah) dengan peluang masing-masing P20 dan P23 Ketika X1=1 masih dibutuhkan rata-rata v1 langkah lagi menuju 0 atau 3 dengan peluang P21 Ketika X1=2 masih dibutuhkan rata-rata v2 langkah lagi menuju 0 atau 3 dengan peluang P22

Untuk matriks peluang transisi: Diperoleh dua sistem persamaan untuk dua variabel sbb: Dengan substitusi atau eliminasi diperoleh:

Jika berawal dari state 1, maka secara rata-rata akan diperlukan 90/43=2.09 langkah untuk terserap di state 0 atau 3 Jika berawal dari state 2, maka secara rata-rata akan diperlukan 100/43=2.32 langkah untuk terserap di state 0 atau 3

Probability of absorption In General For any finite state Markov chain Xn: 0, 1, …, N Some states are transient (non absorbing states): i Some states are absorbing states: k For an absorbing state k: are the solution of the system of linear equations:

Dari contoh rantai markov 4 state Hasil yang diperoleh dari pembahasan sebelumnya

Time to Absorption in General Time to absorption for each transient states is the solution of the system of linear equations:

Dari contoh rantai markov 4 state Hasil yang diperoleh dari pembahasan sebelumnya

Example: A rat inside a 3 by 3 maze 1 7 Food 2 3 4 8 Shock 5 6

The probability that the rat will be absorbed in the food compartement 7, depends on its initial position. The solutions of the following equation system:

By the symmetry of the maze: 1 7 Food 2 3 4 8 Shock 5 6 By the symmetry of the maze: Which simplifies the system, and leads to the solutions:

Example: A toss of a coin until 2 successive heads Xn: the cumulative number of succesive head up to the n-th toss The state: 0, 1, 2 Stop the toss when we get HH T T P10 P00 0.5 0.5 H T H H 0.5 0.5 P12 P01

The mean time to reach state 2 (the absorbing state) from state 0: Mean time to absorption

By substitution, we get: It takes 6 tosses on average to reach state 2 (consecutive heads)