Proses Stokastik Semester Ganjil 2013/2014

Presentasi berjudul: "Proses Stokastik Semester Ganjil 2013/2014"— Transcript presentasi:

1 Proses Stokastik Semester Ganjil 2013/2014
DR. Rahma Fitriani, S.Si., M.Sc

2 Perhatikan rantai markov berikut ini
β 1 1 α γ 1 2 Dengan matriks peluang transisi: Pada suatu periode n ketika pertama kali Xn di 0 atau 2: Rantai tersebut tetap berada di 0 atau 2 selamanya Trapped/Absorbed

3 First Step Analysis Digunakan untuk menganalisis: Time to absorption:
Berapa lama secara rata-rata proses/rantai markov akan mencapai state-state tersebut? Pada contoh: state 0 atau 2. Berapa lama rantai akan terserap (absorbed/trapped) Pada contoh: state 0 dan 2 adalah absorbing states. Time to absorption:

4 Analisis pada time to absorption ke state 0
Digunakan definisi-definisi berikut: Peluang pada periode T rantai terjebak/terserap di 0, dengan syarat proses berawal di state 1 Periode 0 Periode T 1 … … Nilai harapan dari time to absorption

5 β 1 1 α γ 1 2 Dari rantai markov tsb, berapapun langkah transisi, ketika rantai terserap pada state 0 pada periode T, berlaku: Definisi

6 Periode 0 Periode 1 1 Periode T α 1 … … β u 1 … γ 2 … Transisi beberapa langkah dan berakhir di state 0 (terserap/absorbed) Transisi satu langkah berawal di state 1

7 Peluang pada periode T rantai terjebak/terserap di 0, dengan syarat proses berawal di state 1
Dengan sifat: Jika terserap di state 2, peluangnya:

8 Time to absorption Paling sedikit satu langkah Ketika X1=0 atau 2
Tidak ada transisi lanjutan (0 langkah) dengan peluang masing-masing α dan ϒ Ketika X1=1 masih dibutuhkan rata-rata v langkah lagi menuju 0 atau 2 dengan peluang β

9 Contoh: Perhatikan rantai markov berikut ini
0.6 1 1 0.1 0.3 1 2 Dengan matriks peluang transisi: Dengan syarat proses berawal di state 1, tentukan peluang bahwa rantai Markov tsb berakhir di state 0!

10 Adalah: Peluang pada periode T rantai terjebak/terserap di 0, dengan syarat proses berawal di state 1. Berdasarkan first step analysis:

11 Tentukan rata-rata time to absorption!
Dengan definisi T langkah minimum untuk sampai ke absorbing state, 0 atau 2: Rata-rata dari T adalah rata-rata time to absorption: Dibutuhkan rata-rata 2.5 langkah untuk terserap di state 0 atau 2

12 First Step Analysis untuk Rantai Markov dengan 4 state
Perhatikan rantai markov berikut ini P13 P22 1 1 P10 P11 P12 1 2 3 P21 P23 P20 Dengan matriks peluang transisi:

13 Pada suatu periode n ketika pertama kali Xn di 0 atau 3:
Rantai tersebut tetap berada di 0 atau 3 selamanya Trapped/Absorbed Dengan definisi dari Time to absorption: Analisis pada time to absorption ke state 0 Digunakan definisi-definisi berikut: Nilai harapan dari time to absorption

14 0.1 1 0.3 1 0.4 0.3 0.2 1 2 3 0.3 0.3 0.1 Dari rantai markov tsb, berapapun langkah transisi, ketika rantai terserap pada state 0 pada periode T, berlaku: Definisi Definisi

15 Berawal dari state1 berakhir di 0
Periode 0 Periode 1 Periode T 1 0.4 1 … … 0.3 u1 1 … 0.2 u2 0.1 2 … 3 … Transisi beberapa langkah dan berakhir di state 0 (terserap/absorbed) Transisi satu langkah berawal di state 1

16 Berawal dari state 2, berakhir di 0
Periode 0 Periode 1 Periode T 1 0.1 2 … … 0.3 u1 1 … 0.3 u2 0.3 2 … 3 … Transisi beberapa langkah dan berakhir di state 0 (terserap/absorbed) Transisi satu langkah berawal di state 2

17 Dua sistem persamaan untuk dua variabel:
Dengan substitusi atau eliminasi, diperoleh solusi sbb: Jika rantai berawal di state 1: Akan terserap di state 0 dengan peluang 30/43 Akan terserap di state 3 dengan peluang (1 - 30/43)=13/43 Jika rantai berawal di state 2: Akan terserap di state 0 dengan peluang 19/43 Akan terserap di state 3 dengan peluang (1 - 19/43)=24/43

18 Time to absorption, ketika berawal di state 1
Ketika berawal di state 1 diperlukan paling sedikit satu langkah Ketika X1=0 atau 3 tidak ada transisi lanjutan (0 langkah) dengan peluang masing-masing P10 dan P13 Ketika X1=1 masih dibutuhkan rata-rata v1 langkah lagi menuju 0 atau 3 dengan peluang P11 Ketika X1=2 masih dibutuhkan rata-rata v2 langkah lagi menuju 0 atau 3 dengan peluang P12

19 Time to absorption, ketika berawal di state 2
Ketika berawal di state 2 diperlukan paling sedikit satu langkah Ketika X1=0 atau 3 Tidak ada transisi lanjutan (0 langkah) dengan peluang masing-masing P20 dan P23 Ketika X1=1 masih dibutuhkan rata-rata v1 langkah lagi menuju 0 atau 3 dengan peluang P21 Ketika X1=2 masih dibutuhkan rata-rata v2 langkah lagi menuju 0 atau 3 dengan peluang P22

20 Untuk matriks peluang transisi:
Diperoleh dua sistem persamaan untuk dua variabel sbb: Dengan substitusi atau eliminasi diperoleh:

21 Jika berawal dari state 1, maka secara rata-rata akan diperlukan 90/43=2.09 langkah untuk terserap di state 0 atau 3 Jika berawal dari state 2, maka secara rata-rata akan diperlukan 100/43=2.32 langkah untuk terserap di state 0 atau 3

22 Probability of absorption In General
For any finite state Markov chain Xn: 0, 1, …, N Some states are transient (non absorbing states): i Some states are absorbing states: k For an absorbing state k: are the solution of the system of linear equations:

23 Dari contoh rantai markov 4 state
Hasil yang diperoleh dari pembahasan sebelumnya

24 Time to Absorption in General
Time to absorption for each transient states is the solution of the system of linear equations:

25 Dari contoh rantai markov 4 state
Hasil yang diperoleh dari pembahasan sebelumnya

26 Example: A rat inside a 3 by 3 maze
1 7 Food 2 3 4 8 Shock 5 6

27 The probability that the rat will be absorbed in the food compartement 7, depends on its initial position. The solutions of the following equation system:

28 By the symmetry of the maze:
1 7 Food 2 3 4 8 Shock 5 6 By the symmetry of the maze: Which simplifies the system, and leads to the solutions:

29 Example: A toss of a coin until 2 successive heads
Xn: the cumulative number of succesive head up to the n-th toss The state: 0, 1, 2 Stop the toss when we get HH T T P10 P00 0.5 0.5 H T H H 0.5 0.5 P12 P01

30 The mean time to reach state 2 (the absorbing state) from state 0:
Mean time to absorption

31 By substitution, we get:
It takes 6 tosses on average to reach state 2 (consecutive heads)