Hidden Markov Model II Toto Haryanto.

Presentasi berjudul: "Hidden Markov Model II Toto Haryanto."— Transcript presentasi:

1 Hidden Markov Model II Toto Haryanto

2 Termonologi dalam HMM Model dalam HMM ditulis sebagai
Pernytaan P(O| λ) bermakna peluang suatu observasi O jika diberikan model HMM λ Pernytaan P(O| S1,S2) bermakna peluang suatu observasi O jika diberikan model HMM λ dengan State S1,S1 Dengan λ : Model A : Matriks Transisi B : Matriks Emisi Π : Matriks Prority

3 Jenis Hidden Markov Model (HMM)
Ergodic HMM Left-Right (L-R) HMM P B H Pada Ergodic HMM, suatu state diperkenankan Untuk dapat mengunjuni state manapun. Visualisasi Ergodic HMM dapay dilihat pada Gambar di samping Pada L-R HMM transisi terjadi ke state diriinya atau state lain yang unik H P B

4 Permasalahan dalam HMM
Diberikan model λ = (A, B, π), bagaimana menghitung P(O | λ), yaitu kemungkinan ditemuinya rangkaian pengamatan O = O1, O2, ..., OT. Diberikan model λ = (A, B, π), bagaimana memilih rangkaian state I = i1, i2,...,iT sehingga P(O, I | λ), kemungkinan gabungan rangkaian pengamatan O = O1, O2, ..., OT dan rangkaian state jika diberikan model, maksimal. Bagaimana mengubah parameter HMM, λ = (A, B, π) sehingga P(O | λ) maksimal.

5 Solusi ? Masalah (1) dikenal dengan istilah Evaluating
Diselesaikan dengan prosedur yang dikenal dengan forward- backward procedure (Rabiner 1989) Masalah (2) dikenal dengan istilah Decoding Diselesaikan dengan menggunakan algoritma Viterbi Masalah (3) dikenal dengan Istilah Learning Diselesaikan dengan menggunakan algoritma Baum-Welch

6 Teladan 1 Masalah 1 Anda dalam ruang terkunci. Berapa peluang dari cuaca pada hari jika diberikan status {P,B,P}, kemudian diketahui bahwa selama tiga hari tersebut office boy masuk ke dalam ruangan tidak pernah membawa payung. Dik : Peluang baik, q1,q2,q3 pertama kali terjadi masing-masing adalah 1/3 Tomorro’s weather Today weather P H B 0.8 0.05 0.15 0.2 0.6 0.3 0.5 Dengan Payung Tanpa Payung weather Panas 0,1 0,9 Hujan 0,8 0,2 Berawan 0,3 0,7

7 Penyelesaian Masalah 1 Pembuatan Model HMM
P (P B P | x1=TP,x2 = TP, x3=TP) P(P) * P(TP|P) * P(B| P) * P(TP| B) * P( P| B) * P (TP|P) = 1/3 * * * * * = Pada kasus di atas state-nya sudah ditentukan. Bagaimana Jika kasusnya P (TP,TP,TP| λ ) ? Artinya : Kita harus menghitung semua state obervasi (TP) untuk semua kemungkinan hidden state

8 Teladan 2 Masalah 1 Dimesi Matrik Transisi (A) = MxM
Matriks Transisi (A) Matriks Transisi (B) S1 S2 0.5 0.4 0.6 I O S1 0.2 0.8 S2 0.9 0.1 Dimesi Matrik Transisi (A) = MxM Dimensi Matriks Emisi (B) = M xN Dimensi Matriks Prior (Π) = M x 1 Matriks Priority (Π) S1 0.3 S2 0.7

9 Teladan 2 (Masalah 1) Berdasarkan Model HMM λ, tentukan peluang untuk observasi sebagai berikut: a) P (II | S1,S2) b) P (OO | S2,S2) Jawab: a) Peluang bahwa observasi II pada state S1 kemudian S2 adalah mengalikan komponen sebagai berikut: P(S1)*P(I|S1)*P(S2|S1)*P(I|S2) 0.3 * * * = b) ???

10 Diagram Trelis Digaram trelis dapat digunakan untuk memvisualisasikan kemungkinan dalam perhitungan HMM.

11 Diagram Trelis Diagram Trelis untuk Kasus Teladan 1 Masalah1 TP P H B
State observasi : x1=TP x2=TP x3=TP n =1 n =2 n =3 Waktu

12 Teladan Masalah 2 Permasalahan 2 adalah kita mencari state yang optimal dari suatu observasi terhadap model HMM yang ada. Diselesaikan dengan manggunakan algoritma Viterbi Beberapa langkah dalam Viterbi Inisialisasi Rekursif Terminasi Lacak Balik

13 Algoritma Viterbi (Teladan Masalah 2)
Inisialisasi Rekursif Terminasi Terminasi

14 Teladan 2 Maslah 2 Jika Anda berada di dalam ruang tertutup dan Anda tidak mengetahui bagaimana cuaca di luar. Sementara observasi menunjukkan bahwa officeboy selama tiga hari ternyata ({TP,DP,DP}). Tentukan peluang yang paling mungkin dari cuaca di luar pada kondisi tersebut ? Selesaikan dengan algoritma viterbi! Ket: DP : dengan payung

15 Langkah 1 (Inisialisasi)
δ1(P) = π(P)* B(TP|P) = 1/3 * 0.9 = 0.3 Ψ1 (P)= 0 δ1(H) = π(H)* B(TP|H) = 1/3 * 0.2 = δ1(B) = π(B)* B(TP|B) = 1/3 * 0.7 = 0.23

16 Langkah 2 (Rekursif) n =2 (Menghitung kemungkinan state berikutnya dari 3 state sebelumnya) δ2(P) = max{δ1(P)* A(P|P) , δ1(H)* A(P|H), δ1(B)*A(P|B)}* B(DP|P) = max {0.3* 0.8 , * , * 0.2} * = 0.024 Ψ2 (P) = P δ2(H) = max{δ1(P)* A(H|P) , δ1(H)* A(H|H), δ1(B)*A(H|B)}* B(DP|H) = max {0.3* , * 0.6, * 0.3} * = 0.056 Ψ2 (H) = B δ2(B) = max{δ1(P)* A(B|P) , δ1(H)* A(B|H), δ1(B)*A(B|B)}* B(DP|B) = max {0.3* , * 0.2, * 0.5} * = Ψ2 (B) = B

17 Diagram Trelis n = 2 Lanjutkan ke rekursif berikutnya untuk n = 3

18 Langkah 2 (Rekursif) n =3 (Menghitung kemungkinan state berikutnya dari 3 state sebelumnya) δ3(P) = max{δ1(P)* A(P|P) , δ1(H)* A(P|H), δ1(B)*A(P|B)}* B(DP|P) = max {0.024* 0.8 , * , * 0.2} * = Ψ3 (P) = P δ3(H) = max{δ1(P)* A(H|P) , δ1(H)* A(H|H), δ1(B)*A(H|B)}* B(DP|H) = max {0.024* , * 0.6, * 0.3} * = Ψ3 (H) = H δ3(B) = max{δ1(P)* A(B|P) , δ1(H)* A(B|H), δ1(B)*A(B|B)}* B(DP|B) = max {0.024* , * 0.2, * 0.5} * = Ψ3 (B) = B

19 Diagram Trelis n = 3

20 Langkah 3 (Terminasi) q3* = argmax(δ3(i)) = H
Secara global path telah selesai sampai dengan n=3 (karna ada tiga sekuens observasi yaitu {DP.DP,DP} Lakukan penentuan argumen maksimum P*(O| λ) = max(δ3(i)) =δ3(H)=0.0269 q3* = argmax(δ3(i)) = H Artinya bahwa state terakhir dari observasi ada pada state Hujan

21 Diagram Trelis Terminasi

22 Langkah 4 (Lacak Balik) Sekuens terbaik dapat dilihat dari vektor Ψ
n = N - 1= 2 q2* = Ψ3 (q3* ) = Ψ3 (H) = H {Lihat proses rekursif pada n = 3 untuk Ψ3 (H) } n = N - 1= 1 q1* = Ψ2 (q2* ) = Ψ2 (H) = B {Lihat proses rekursif pada n = 2 untuk Ψ2 (H) }

23 Hasil Akhir Berdasarkan hasil q1,q1 dan q3 diperoleh bahwa state yang mungkin dengan peluang terbesar untuk observasi {DP,DP,DP} adalah {B,H,H}

24 Masalah 3 Training Contoh Algoritma Baum-Welch Link File Excel

25 Selesai Bersemangatlah terhadap segala sesuatu yang bermanfaat bagimu, mintalah pertolongan kepada Rabb-mu yang janganlah kamu merasa bersedih Terima Kasih