6. RANTAI MARKOV WAKTU DISKRIT KLASIFIKASI RUANG KEADAAN Prostok-6-firda

Untuk mempelajari prilaku dari suatu rantai Markov, kita perlu membuat klasifikasi dari ruang keadaan (ruang state) rantai Markov tersebut. Prostok-6-firda

6.1 Keadaan Accessible (dapat dicapai) Pandang suatu rantai Markov, Keadaan j dikatakan accessible (dapat dicapai) dari keadaan i , dinotasikan dengan jika terdapat bilangan bulat sehingga Sudah tentu setiap keadaan dapat dicapai oleh dirinya sendiri, sehingga karena Prostok-6-firda

maka kita katakan keadaan 1 dapat dicapai dari 0 Contoh: 2/3 1/3 1 Jika 1 maka kita katakan keadaan 1 dapat dicapai dari 0 karena tapi tidak sebaliknya, keadaan 0 tidak dapat dicapai dari 1. Prostok-6-firda

yaitu terdapat bilangan Jika dan yaitu terdapat bilangan bulat sehingga maka keadaan i dan j dikatakan saling berkomunikasi, dinotasikan, 1/3 Contoh: 1 1 1 2/3 2 Dalam hal ini, 1 dan 2 tidak saling berkomunikasi. Prostok-6-firda

(sifat komunikasi kelas rantai Markov) Teorema 1 (sifat komunikasi kelas rantai Markov) Komunikasi adalah suatu relasi ekivalen, artinya (i) (ii) (iii) Prostok-6-firda

Bukti: (i) dan (ii) jelas berdasarkan definisi. (iii) Asumsikan terdapat bilangan bulat sehingga maka dengan persamaan Chapman- Kolmogorov diperoleh, Artinya, Hal serupa berlaku untuk Sehingga terbukti Prostok-6-firda

Contoh: Berdasarkan relasi komunikasi, semua keadaan dalam rantai Markov dapat diklasifikasikan ke dalam kelas-kelas komunikasi yang terpisah (disjoint) dan lengkap (exhaustive). Contoh: Tentukan kelas komunikasi dari matriks peluang transisi berikut: Prostok-6-firda

Jawab : Diagram transisinya untuk karena Kelas komunikasi : 1 1 1 1 1 Kelas komunikasi : karena Prostok-6-firda

2. Jika diberikan matriks peluang transisi Maka Diagram transisinya: 1 1 1 Kelas komunikasinya:{0} dan {1}. Prostok-6-firda

3. Jika diberikan matriks peluang transisi Maka Diagram transisinya: 1 2 1 1 1 Kelas komunikasinya:{0} , {1}, dan {2}. Prostok-6-firda

4. Jika diberikan matriks peluang transisi Maka Diagram transisinya: 1/2 1 2 1 1/2 1/3 1/3 1/3 Kelas komunikasinya:{0} , {1,2}. Prostok-6-firda

Kelas komunikasinya:{0,2,3} , {1}. 5. Maka Diagram transisinya: 1/2 1 1/4 1/2 3/4 3 2 3/4 1/4 Kelas komunikasinya:{0,2,3} , {1}. Prostok-6-firda

Contoh: Jika suatu rantai Markov hanya mempunyai satu kelas komunikasi, maka rantai Markov disebut Irreducible . Dalam hal ini semua keadaan saling berkomunikasi. Contoh: 1 1 diagram transisi 0  1  2  0 1 1 2 Kelas komunikasi : {0,1,2}. Jadi {0,1,2} rantai Markov Irreducible.

6.2 Periodisitas Keadaan i dikatakan memiliki perode d(i) jika d(i) merupakan FPB (faktor persekutuan terbesar) / gcd (greatest common divisor) dari seluruh n = 1,2,… dimana Jika d(i) = 1, maka keadaan i disebut aperiodik. Jika d(i) > 1, maka keadaan i disebut periodik. Prostok-6-firda

Teorema 2 Bukti: Jika maka Asumsikan terdapat bilangan bulat sehingga Dari definisi periode, d(j) membagi kedua n+m dan n+s+m dan juga (n+m)-(n+s+m)=s dengan Artinya, d(j) membagi d(i), dan berlaku sebaliknya, d(i) membagi d(j). Jadi d(i)=d(j). Prostok-6-firda

Contoh: Tentukan periodisitas dari setiap keadaan. Jawab: 1 1/2 diagram transisi 1 2 1 1/2 Tentukan periodisitas dari setiap keadaan. Jawab: Prostok-6-firda

keadaan 0: state 0 periodik. Prostok-6-firda

keadaan 1: periodik keadaan 2: periodik Sesuai teorema 2, Sehingga, Prostok-6-firda

6.3 Keadaan Recurrent dan Transient Didefinisikan yaitu peluang dimana keadaan j dicapai dari keadaan i pertama kali setelah n langkah. (dalam 0 langkah, keadaan j tidak tercapai dari i) (dalam 1 langkah ,keadaan j dapat dicapai dari i) Definisikan, Prostok-6-firda

Definisi 1 Jika keadaan i disebut recurrent. Jika keadaan i disebut transient. Ingat!, keadaan i dicapai dari keadaan i (kembali dikunjungi) 1,2,…=langkah (bukan pangkat) Prostok-6-firda

Teorema 3 (syarat perlu dan cukup keadaan recurrent dan transient) Keadaan i recurrent jika dan hanya jika Keadaan i transient jika dan hanya jika Prostok-6-firda

Contoh Matriks peluang transisi suatu rantai Markov, 1 1 1/2 1/2 Tentukan setiap keadaan apakah recurrent atau transient. Jawab: Jika gunakan teorema 3, Prostok-6-firda

Sehingga,  state 0 recurrent.  state 1 transient. Prostok-6-firda

Jika dengan definisi 1,  state 0 recurrent 1 1 1/2 1/2 1 1 1/2 1/2  state 0 recurrent Prostok-6-firda

1 1/2 1 1/2  State 1 transient. Prostok-6-firda

Teorema 4 Jika keadaan i recurrent dan maka keadaan j recurrent . Bukti : Asumsikan terdapat bilangan bulat sedemikian sehingga Maka untuk sebarang Jika dijumlahkan atas s, diperoleh   yang menyatakan bahwa j recurrent. (terbukti)

Akibat: Suatu rantai Markov yang irreducible memiliki ruang keadaan yang recurrent atau transient. Prostok-6-firda

6.4 Keadaan Absorbing (menyerap) Keadaan i dikatakan Absorbing (menyerap) jika (sekali i dicapai, tidak pernah keluar lagi) Disebut juga sebagai rantai Markov terserap (absorbing Markov chain) jika paling sedikit terdapat satu keadaan terserap. Prostok-6-firda

Contoh Matriks peluang transisi suatu rantai Markov, Keadaan 0 dikatakan absorbing, karena Periodisitas keadaan 0 : (keadaan 0 aperiodik). Prostok-6-firda

Teorema 5 Teorema berikut menunjukkan rantai Markov dapat membentuk beberapa kelas recurrent dan suatu himpunan keadaan transient. Teorema 5 Dari suatu rantai Markov , semua keadaan dapat diklasifikasikan menjadi beberapa kelas recurrent dan sisanya merupakan keadaan transient. Prostok-6-firda

Contoh Tunjukkan rantai Markov dengan peluang transisi berikut memiliki suatu kelas recurrent dan sebuah himpunan keadaan transient. Prostok-6-firda

Rantai Markov ini mempunyai kelas recurrent Diagram transisinya: 1/4 2/3 1 3/4 1/3 1/3 1/2 2 3 1/2 1/3 1/3 Rantai Markov ini mempunyai kelas recurrent {0,1} dan himpunan state transient {2,3}. Prostok-6-firda

Contoh : Diketahui peluang transisi suatu rantai Markov, a. Tunjukkan bahwa rantai Markov tsb irreducible. b. Tentukan periodisitas setiap keadaan. Prostok-6-firda

Diagram transisinya: a. 0.1 0.8 1 0.4 1 0.4 0.1 0.1 2 3 0.1 0.8 0.2 0.1 0.8 1 0.4 1 0.4 0.1 0.1 2 3 0.1 0.8 0.2 a. Prostok-6-firda

Jadi kelas komunikasinya: {0,1,2,3}  rantai Markov irreducible. Prostok-6-firda

Sehingga keadaan 1,2,3 aperiodik. b. periodisitas: keadaan 0, Keadaan 0 aperiodik. Karena Maka dengan teorema 2, Sehingga keadaan 1,2,3 aperiodik. Prostok-6-firda

Soal Latihan: 1. Diketahui peluang transisi suatu rantai Markov, Tentukan klasifikasi semua keadaan (state), yaitu kelas ekivalen, keadaan recurrent, dan transient. Prostok-6-firda

2. Diketahui peluang transisi suatu rantai Markov, Tentukan klasifikasi semua keadaan (state), yaitu kelas ekivalen, keadaan recurrent, dan transient. Prostok-6-firda

3. Diketahui peluang transisi suatu rantai Markov, (i) Tunjukkan bahwa rantai Markov tersebut irreducible (ii) Tentukan periodisitasnya. Prostok-6-firda

Limiting Probability Untuk suatu rantai Markov, semua keadaan recurrent diklasifikasikan menjadi keadaan positif (non-null) recurrent atau null recurrent dengan memperhatikan menyatakan rata-rata waktu recurrent (mean recurrent time) untuk keadaan j. Prostok-6-firda

Teorema Jika keadaan j recurrent dan aperiodic, maka Jika keadaan j recurrent dan periodik dengan periode d(j), maka Kita interpretasikan bahwa (artinya keadaan j null recurrent). Prostok-6-firda

Corollary (Akibat) Jika keadaan j transient, maka Prostok-6-firda

Definisi 5 Misalkan P matriks peluang transisi (m state) dari rantai Markov Homogen. Jika Maka disebut distribusi stasioner untuk rantai Markov Homogen. Prostok-6-firda

Teorema 8 Jika suatu rantai Markov Irreducible, positive recurrrent dan aperiodic (Rantai Markov Ergodik) maka terdapat limit peluang, yang bebas dari keadaan awal i, dengan tunggal dan merupakan solusi positif dari dan ini dinamakan distribusi stasioner dari rantai Markov. Prostok-6-firda

Misal rantai Markov dengan 3 ruang keadaan, {0,1,2}. Ilustrasi Misal rantai Markov dengan 3 ruang keadaan, {0,1,2}. Cara menentukan distribusi stasioner Selesaikan Atau (i) Selesaikan secara simultan (ii) (iii) (iv)

Contoh Misal kondisi cuaca (hujan atau tidak hujan) bergantung pada cuaca hari ini (hujan atau tidak hujan). 1. Misalkan , jika hari ini hujan maka besok akan hujan dengan peluang dan jika hari ini tidak hujan, maka besok akan hujan dengan peluang a. Tentukan peluang empat hari ke depan akan hujan jika hari ini hujan. b. Dalam jangka panjang, berapakah proporsi waktu (distribusi stasioner) untuk proses setiap keadaan. Prostok-6-firda

Misalkan keadaan 0 = keadaan hujan. keadaan 1 = keadaan tidak hujan. Jawab: Misalkan keadaan 0 = keadaan hujan. keadaan 1 = keadaan tidak hujan. Maka matriks peluang transisi untuk masalah tersebut adalah: Jika Prostok-6-firda

Jadi, jika hari ini hujan, maka peluang empat hari ke depan akan hujan adalah 0.513 atau 51%. Prostok-6-firda

b. Distribusi stasioner : Dari matriks peluang transisi diperoleh … (i) … (ii) … (iii) Dari (i) dan (ii) diperoleh, Prostok-6-firda

Substitusikan ke (iii), diperoleh Jadi, distribusi stasioner: Artinya untuk jangka panjang, peluang hujan 50% dan tidak hujan 50%. Prostok-6-firda

2. Tentukan distribusi stasioner dari rantai Markov dengan matriks peluang transisi : Jawab : … (i) … (ii) … (iii) … (iv)

Substitusi (i) ke (iv) : Sehingga distribusi stasioner : Artinya untuk jangka panjang, keadaan 0 50%, keadaan 1 25%, dan keadaan 2 25%. Prostok-6-firda

Soal Latihan: 1. Diketahui peluang transisi suatu rantai Markov, Tentukan distribusi stasioner untuk setiap rantai Markov tersebut. Prostok-6-firda