Proses Stokastik Semester Ganjil 2013 DR. Rahma Fitriani, S.Si., M.Sc

Beberapa Rantai Markov Khusus Rantai Markov dua state Rantai Markov yang didefinisikan sebagai jumlah peubah acak (variabel random) yang saling bebas dengan sebaran yang sama (identically, independently distributed: iid) Random walks satu dimensi Success Runs

Rantai Markov dua State Rantai markov dengan hanya dua kemungkinan nilai  State: 0 dan 1 Dengan matriks peluang transisi: Dengan sifat long run: Tidak perduli darimana pun berasal, pada long run sistem akan berakhir: di 0 dengan peluang b/(a+b) di 1 dengan peluang a/(a+b)

Contoh Produk rusak (defective) vs tidak rusak (non defective) pada suatu proses produksi

Pada long run, suatu unit produksi dari sistem tersebut akan rusak (state 1) dengan peluang: Pada long run, suatu unit produksi dari sistem akan tidak rusak (state 0) dengan peluang:

Rantai Markov yang didefinisikan Sebagai jumlah dari IID Peubah Acak Diberikan 𝜉: sebagai peubah acak (rv) diskrit Adalah observasi dari 𝜉 yang iid Contoh 1: Peubah acak yang saling bebas Contoh 2: Successive Maxima (kasus penawaran/lelang)

Contoh 1: Peubah Acak (RV) yang saling Bebas Dengan sifat kebebasan Rantai tidak tergantung pada state awal: state pada periode ke n Rantai hanya tergantung pada state pada periode n+1

Contoh 2: Successive Maxima Penerapan pada proses penawaran di pelelangan Penawaran secara berturut-turut Observasi 𝜉 yang iid Peluang bahwa penawaran tunggal akan sama dengan i: Proses penawaran akan berhenti ketika penawaran terakhir melebihi M The successive bids: Rantai Markov

Penawaran pada tahap/putaran ke n+1 tergantung pada penawaran pada putaran ke n Dengan hubungan sbb: Penawaran sebelum Penawaran Baru State yang mungkin: 0, 1, …, M Xn A new offered bid ξ Xn+1 1 1 … … M M

Xn A new offered bid ξ Xn+1 1 1 1 1 2 2 M M Xn A new offered bid ξ Xn+1 2 2 1 2 2 2 3 3 M M

Matriks peluang transisi: M adalah absorbing state Waktu sampai dengan absorption: berapa tahap/putaran yang harus dilakukan sampai dengan penawaran diterima

Transient states: i < M Rata-rata waktu sampai dengan absorption dianalisis dengan first step analysis Transient states: i < M Rata-rata waktu sampai dengan absorption  statet ketika proses penawaran berhenti

Random walk Satu Dimensi Rantai markov dengan state bilangan integer (terbatas ataupun tidak) Kemungkinan transisi tunggal dari state i Ke state i+1: dengan peluang pi Tetap di state i: dengan peluang ri Ke state i-1: dengan peluang qi

Contoh: Gambler’s Ruin Pada saat 0, seorang pemain mempunyai $ 2 Pada waktu 1, 2, …, dia bertaruh $ 1: Menang: dia mendapat $1, dengan peluang 0.5 Kalah: dia kehilangan $ 1, dengan peluang 0.5 Setelah dia mendapatkan $ 4, dia akan berhenti bertaruh. Berapa peluang bahwa dia akan bangkrut? Berapa lama? States: 0, 1, 2, 3, 4

1, 2, 3 adalah transient states. Matriks peluang transisi: Peluang dia akan bangkrut adalah peluang ter-absorbsi di state 0, jika dia berawal di state 2 1, 2, 3 adalah transient states.

Dengan first step analysis

Solusi dari sistem persamaan Peluang bahwa dia akan bangkrut  peluang akan berada di state 0, jika dia berawal dari state 2 adalah sebesar 0.5