6. RANTAI MARKOV WAKTU DISKRIT KLASIFIKASI RUANG KEADAAN

Presentasi berjudul: "6. RANTAI MARKOV WAKTU DISKRIT KLASIFIKASI RUANG KEADAAN"— Transcript presentasi:

1 6. RANTAI MARKOV WAKTU DISKRIT KLASIFIKASI RUANG KEADAAN
Prostok-6-firda

2 Untuk mempelajari prilaku dari suatu rantai Markov,
kita perlu membuat klasifikasi dari ruang keadaan (ruang state) rantai Markov tersebut. Prostok-6-firda

3 6.1 Keadaan Accessible (dapat dicapai)
Pandang suatu rantai Markov, Keadaan j dikatakan accessible (dapat dicapai) dari keadaan i , dinotasikan dengan jika terdapat bilangan bulat sehingga Sudah tentu setiap keadaan dapat dicapai oleh dirinya sendiri, sehingga karena Prostok-6-firda

4 maka kita katakan keadaan 1 dapat dicapai dari 0
Contoh: 2/3 1/3 1 Jika 1 maka kita katakan keadaan 1 dapat dicapai dari 0 karena tapi tidak sebaliknya, keadaan 0 tidak dapat dicapai dari 1. Prostok-6-firda

5 yaitu terdapat bilangan
Jika dan yaitu terdapat bilangan bulat sehingga maka keadaan i dan j dikatakan saling berkomunikasi, dinotasikan, 1/3 Contoh: 1 1 1 2/3 2 Dalam hal ini, 1 dan 2 tidak saling berkomunikasi. Prostok-6-firda

6 (sifat komunikasi kelas rantai Markov)
Teorema 1 (sifat komunikasi kelas rantai Markov) Komunikasi adalah suatu relasi ekivalen, artinya (i) (ii) (iii) Prostok-6-firda

7 Bukti: (i) dan (ii) jelas berdasarkan definisi.
(iii) Asumsikan terdapat bilangan bulat sehingga maka dengan persamaan Chapman- Kolmogorov diperoleh, Artinya, Hal serupa berlaku untuk Sehingga terbukti Prostok-6-firda

8 Contoh: Berdasarkan relasi komunikasi, semua keadaan
dalam rantai Markov dapat diklasifikasikan ke dalam kelas-kelas komunikasi yang terpisah (disjoint) dan lengkap (exhaustive). Contoh: Tentukan kelas komunikasi dari matriks peluang transisi berikut: Prostok-6-firda

9 Jawab : Diagram transisinya untuk karena Kelas komunikasi : 1 1 1
1 1 Kelas komunikasi : karena Prostok-6-firda

10 2. Jika diberikan matriks peluang transisi
Maka Diagram transisinya: 1 1 1 Kelas komunikasinya:{0} dan {1}. Prostok-6-firda

11 3. Jika diberikan matriks peluang transisi
Maka Diagram transisinya: 1 2 1 1 1 Kelas komunikasinya:{0} , {1}, dan {2}. Prostok-6-firda

12 4. Jika diberikan matriks peluang transisi
Maka Diagram transisinya: 1/2 1 2 1 1/2 1/3 1/3 1/3 Kelas komunikasinya:{0} , {1,2}. Prostok-6-firda

13 Kelas komunikasinya:{0,2,3} , {1}.
5. Maka Diagram transisinya: 1/2 1 1/4 1/2 3/4 3 2 3/4 1/4 Kelas komunikasinya:{0,2,3} , {1}. Prostok-6-firda

14 Contoh: Jika suatu rantai Markov hanya mempunyai satu
kelas komunikasi, maka rantai Markov disebut Irreducible . Dalam hal ini semua keadaan saling berkomunikasi. Contoh: 1 1 diagram transisi 0  1  2  0 1 1 2 Kelas komunikasi : {0,1,2}. Jadi {0,1,2} rantai Markov Irreducible.

15 6.2 Periodisitas Keadaan i dikatakan memiliki perode d(i)
jika d(i) merupakan FPB (faktor persekutuan terbesar) / gcd (greatest common divisor) dari seluruh n = 1,2,… dimana Jika d(i) = 1, maka keadaan i disebut aperiodik. Jika d(i) > 1, maka keadaan i disebut periodik. Prostok-6-firda

16 Teorema 2 Bukti: Jika maka Asumsikan terdapat bilangan bulat sehingga
Dari definisi periode, d(j) membagi kedua n+m dan n+s+m dan juga (n+m)-(n+s+m)=s dengan Artinya, d(j) membagi d(i), dan berlaku sebaliknya, d(i) membagi d(j). Jadi d(i)=d(j). Prostok-6-firda

17 Contoh: Tentukan periodisitas dari setiap keadaan. Jawab:
1 1/2 diagram transisi 1 2 1 1/2 Tentukan periodisitas dari setiap keadaan. Jawab: Prostok-6-firda

18 keadaan 0: state 0 periodik. Prostok-6-firda

19 keadaan 1: periodik keadaan 2: periodik Sesuai teorema 2, Sehingga,
Prostok-6-firda

20 6.3 Keadaan Recurrent dan Transient
Didefinisikan yaitu peluang dimana keadaan j dicapai dari keadaan i pertama kali setelah n langkah. (dalam 0 langkah, keadaan j tidak tercapai dari i) (dalam 1 langkah ,keadaan j dapat dicapai dari i) Definisikan, Prostok-6-firda

21 Definisi 1 Jika keadaan i disebut recurrent. Jika
keadaan i disebut transient. Ingat!, keadaan i dicapai dari keadaan i (kembali dikunjungi) 1,2,…=langkah (bukan pangkat) Prostok-6-firda

22 Teorema 3 (syarat perlu dan cukup keadaan recurrent dan transient)
Keadaan i recurrent jika dan hanya jika Keadaan i transient jika dan hanya jika Prostok-6-firda

23 Contoh Matriks peluang transisi suatu rantai Markov,
1 1 1/2 1/2 Tentukan setiap keadaan apakah recurrent atau transient. Jawab: Jika gunakan teorema 3, Prostok-6-firda

24 Sehingga,  state 0 recurrent.  state 1 transient. Prostok-6-firda

25 Jika dengan definisi 1,  state 0 recurrent 1 1 1/2 1/2
1 1 1/2 1/2  state 0 recurrent Prostok-6-firda

26 1 1/2 1 1/2  State 1 transient. Prostok-6-firda

27 Teorema 4 Jika keadaan i recurrent dan maka keadaan j recurrent .
Bukti : Asumsikan terdapat bilangan bulat sedemikian sehingga Maka untuk sebarang Jika dijumlahkan atas s, diperoleh yang menyatakan bahwa j recurrent. (terbukti)

28 Akibat: Suatu rantai Markov yang irreducible memiliki
ruang keadaan yang recurrent atau transient. Prostok-6-firda

29 6.4 Keadaan Absorbing (menyerap)
Keadaan i dikatakan Absorbing (menyerap) jika (sekali i dicapai, tidak pernah keluar lagi) Disebut juga sebagai rantai Markov terserap (absorbing Markov chain) jika paling sedikit terdapat satu keadaan terserap. Prostok-6-firda

30 Contoh Matriks peluang transisi suatu rantai Markov,
Keadaan 0 dikatakan absorbing, karena Periodisitas keadaan 0 : (keadaan 0 aperiodik). Prostok-6-firda

31 Teorema 5 Teorema berikut menunjukkan rantai Markov dapat
membentuk beberapa kelas recurrent dan suatu himpunan keadaan transient. Teorema 5 Dari suatu rantai Markov , semua keadaan dapat diklasifikasikan menjadi beberapa kelas recurrent dan sisanya merupakan keadaan transient. Prostok-6-firda

32 Contoh Tunjukkan rantai Markov dengan peluang transisi
berikut memiliki suatu kelas recurrent dan sebuah himpunan keadaan transient. Prostok-6-firda

33 Rantai Markov ini mempunyai kelas recurrent
Diagram transisinya: 1/4 2/3 1 3/4 1/3 1/3 1/2 2 3 1/2 1/3 1/3 Rantai Markov ini mempunyai kelas recurrent {0,1} dan himpunan state transient {2,3}. Prostok-6-firda

34 Contoh : Diketahui peluang transisi suatu rantai Markov,
a. Tunjukkan bahwa rantai Markov tsb irreducible. b. Tentukan periodisitas setiap keadaan. Prostok-6-firda

35 Diagram transisinya: a. 0.1 0.8 1 0.4 1 0.4 0.1 0.1 2 3 0.1 0.8 0.2
0.1 0.8 1 0.4 1 0.4 0.1 0.1 2 3 0.1 0.8 0.2 a. Prostok-6-firda

36 Jadi kelas komunikasinya: {0,1,2,3}  rantai Markov irreducible.
Prostok-6-firda

37 Sehingga keadaan 1,2,3 aperiodik.
b. periodisitas: keadaan 0, Keadaan 0 aperiodik. Karena Maka dengan teorema 2, Sehingga keadaan 1,2,3 aperiodik. Prostok-6-firda

38 Soal Latihan: 1. Diketahui peluang transisi suatu rantai Markov,
Tentukan klasifikasi semua keadaan (state), yaitu kelas ekivalen, keadaan recurrent, dan transient. Prostok-6-firda

39 2. Diketahui peluang transisi suatu rantai Markov,
Tentukan klasifikasi semua keadaan (state), yaitu kelas ekivalen, keadaan recurrent, dan transient. Prostok-6-firda

40 3. Diketahui peluang transisi suatu rantai Markov,
(i) Tunjukkan bahwa rantai Markov tersebut irreducible (ii) Tentukan periodisitasnya. Prostok-6-firda

41 Limiting Probability Untuk suatu rantai Markov, semua keadaan
recurrent diklasifikasikan menjadi keadaan positif (non-null) recurrent atau null recurrent dengan memperhatikan menyatakan rata-rata waktu recurrent (mean recurrent time) untuk keadaan j. Prostok-6-firda

42 Teorema Jika keadaan j recurrent dan aperiodic, maka
Jika keadaan j recurrent dan periodik dengan periode d(j), maka Kita interpretasikan bahwa (artinya keadaan j null recurrent). Prostok-6-firda

43 Corollary (Akibat) Jika keadaan j transient, maka Prostok-6-firda

44 Definisi 5 Misalkan P matriks peluang transisi (m state)
dari rantai Markov Homogen. Jika Maka disebut distribusi stasioner untuk rantai Markov Homogen. Prostok-6-firda

45 Teorema 8 Jika suatu rantai Markov Irreducible, positive
recurrrent dan aperiodic (Rantai Markov Ergodik) maka terdapat limit peluang, yang bebas dari keadaan awal i, dengan tunggal dan merupakan solusi positif dari dan ini dinamakan distribusi stasioner dari rantai Markov. Prostok-6-firda

46 Misal rantai Markov dengan 3 ruang keadaan, {0,1,2}.
Ilustrasi Misal rantai Markov dengan 3 ruang keadaan, {0,1,2}. Cara menentukan distribusi stasioner Selesaikan Atau (i) Selesaikan secara simultan (ii) (iii) (iv)

47 Contoh Misal kondisi cuaca (hujan atau tidak hujan)
bergantung pada cuaca hari ini (hujan atau tidak hujan). 1. Misalkan , jika hari ini hujan maka besok akan hujan dengan peluang dan jika hari ini tidak hujan, maka besok akan hujan dengan peluang a. Tentukan peluang empat hari ke depan akan hujan jika hari ini hujan. b. Dalam jangka panjang, berapakah proporsi waktu (distribusi stasioner) untuk proses setiap keadaan. Prostok-6-firda

48 Misalkan keadaan 0 = keadaan hujan. keadaan 1 = keadaan tidak hujan.
Jawab: Misalkan keadaan 0 = keadaan hujan. keadaan 1 = keadaan tidak hujan. Maka matriks peluang transisi untuk masalah tersebut adalah: Jika Prostok-6-firda

49 Jadi, jika hari ini hujan, maka peluang empat hari
ke depan akan hujan adalah atau 51%. Prostok-6-firda

50 b. Distribusi stasioner :
Dari matriks peluang transisi diperoleh … (i) … (ii) … (iii) Dari (i) dan (ii) diperoleh, Prostok-6-firda

51 Substitusikan ke (iii), diperoleh
Jadi, distribusi stasioner: Artinya untuk jangka panjang, peluang hujan 50% dan tidak hujan 50%. Prostok-6-firda

52 2. Tentukan distribusi stasioner dari rantai Markov
dengan matriks peluang transisi : Jawab : … (i) … (ii) … (iii) … (iv)

53 Substitusi (i) ke (iv) :
Sehingga distribusi stasioner : Artinya untuk jangka panjang, keadaan %, keadaan %, dan keadaan %. Prostok-6-firda

54 Soal Latihan: 1. Diketahui peluang transisi suatu rantai Markov,
Tentukan distribusi stasioner untuk setiap rantai Markov tersebut. Prostok-6-firda