Penyelidikan Operasi Pemrograman Dinamik Stokastik

Materi Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Infinite Horizon Dynamic Programming/Proses Keputusan Markov

Pemrograman Dinamik Stokastik Pemrograman Dinamik Stokastik berkaitan dengan permasalahan yang memiliki variabel acak yang menyatakan suatu kejadian yang bernilai acak. 𝑆𝑡𝑎𝑡𝑒 𝑆 𝑁 𝑋 𝑁 𝑆 𝑁+1 𝑆 𝑁+2 𝑋 𝑁+1 𝑑𝑒𝑐𝑖𝑠𝑖𝑜𝑛 Deterministik: 𝑓 𝑛 ( 𝑆 𝑛 ) 𝐶 𝑛 ( 𝑋 𝑛 , 𝑆 𝑛 ) 𝑓 𝑛+1 ( 𝑆 𝑛+1 ) 𝐶 𝑛+1 ( 𝑋 𝑛+1 , 𝑆 𝑛+1 ) Keadaan pada tahap berikutnya ditentukan dengan pasti berdasarkan keadaan dan keputusan pada tahap sebelumnya

Pemrograman Dinamik Stokastik 𝑠𝑡𝑎𝑡𝑒 𝑆 𝑛 𝑑𝑒𝑐𝑖𝑠𝑖𝑜𝑛 𝑜𝑢𝑡𝑐𝑜𝑚𝑒 1 𝑝𝑟𝑜𝑏=𝑝1 𝑒𝑣𝑒𝑛𝑡 𝑜𝑢𝑡𝑐𝑜𝑚𝑒 2 𝑝𝑟𝑜𝑏=𝑝2 𝑜𝑢𝑡𝑐𝑜𝑚𝑒 3 𝑝𝑟𝑜𝑏=𝑝3 𝑠𝑡𝑎𝑡𝑒 𝑆 𝑛+1 1 𝑠𝑡𝑎𝑡𝑒 𝑆 𝑛+1 2 𝑠𝑡𝑎𝑡𝑒 𝑆 𝑛+1 3 𝑓 𝑛+ 1 𝑆 𝑛+1 1 𝑑𝑒𝑛𝑔𝑎𝑛 𝑝𝑟𝑜𝑏 𝑝1 𝑓 𝑛+1 𝑆 𝑛+1 2 𝑑𝑒𝑛𝑔𝑎𝑛 𝑝𝑟𝑜𝑏 𝑝2 𝑓 𝑛+ 1 𝑆 𝑛+1 3 𝑑𝑒𝑛𝑔𝑎𝑛 𝑝𝑟𝑜𝑏 𝑝3 𝑋 𝑛 𝜔 𝑛 𝑓 𝑛 ( 𝑆 𝑛 ) 𝐶 𝑛 ( 𝑋 𝑛 , 𝑆 𝑛 , 𝜔 𝑛 ) 𝑓 𝑛+1 𝑆 𝑛+1 = 𝑝 𝑖 𝑓 𝑛+1 𝑆 𝑛+1 𝑖 Ekspektasi

Pemrograman Dinamik Stokastik Persamaan Rekursif 𝑓 𝑛 𝑆 𝑛 =𝑜𝑝𝑡 𝐶 𝑛 ( 𝑋 𝑛 , 𝑆 𝑛 , 𝜔 𝑛 )+Ε 𝑓 𝑛+1 ( 𝑆 𝑛+1 ) 𝑋 𝑛 𝑓 𝑛 𝑆 𝑛 =𝑜𝑝𝑡 𝐶 𝑛 ( 𝑋 𝑛 , 𝑆 𝑛 , 𝜔 𝑛 )+ 𝑝 𝑖 𝑓 𝑛+1 ( 𝑆 𝑛+1 𝑖 ) 𝑋 𝑛

Pemrograman Dinamik Stokastik Contoh Permasalahan Toko elektronik menjual TV dengan spesifikasi tertentu. Toko tersebut menyediakan stok TV tersebut maksimum 2 unit. TV dipesan toko dari pemasok. Pesanan tersebut datang pada hari yang sama. Biaya pembelian adalah 5+10𝑥, dimana 𝑥 menyatakan banyaknya yang dibeli oleh toko dari pemasok. Banyaknya pembeli yang datang ke toko dalam satu minggu adalah acak dengan probabilitas sebagai berikut: Pembeli 1 2 Probabilitas 0.3 0.5 0.2

Pemrograman Dinamik Stokastik Persyaratan TV yang tidak laku pada suatu minggu disimpan untuk minggu depan dengan biaya penyimpan = 2/TV/minggu Maksimum stok TV = 2 unit TV dijual dengan harga 20 Bila ada pembeli tetapi stok kosong, toko mengalami kerugian kesempatan = 3/TV Toko akan membuat rencana pemesanan dalam 1 bulan (4 minggu) sehingga keuntungannya maksimal. Pada awal bulan tidak ada stok.

Pemrograman Dinamik Stokastik Formulasi Pemrograman Dinamik State : Stok TV ditoko ( 𝑆 𝑛 ) Decision : Banyaknya yang dipesan ke pemasok ( 𝑋 𝑛 ) Event : Pembeli datang Outcome : Banyaknya TV yang terjual 𝜔 𝑛 State transformasi/state equation : 𝑆 𝑛+1 = max 𝑆 𝑛 + 𝑋 𝑛 − 𝜔 𝑛 , 0 Fungsi Hasil : 20𝐴−𝐵−2 𝑆 𝑛+1 −3∗ max 𝜔 𝑛 − 𝑋 𝑛 − 𝑆 𝑛 , 0 Biaya Pembelian 𝐵= 5+10 𝑋 𝑛 , 𝑋 𝑛 =1,2 0, 𝑋 𝑛 =0 Biaya Penolakan (yg tdk terlayani minggu itu) Hasil Penjualan 𝐵= 𝜔 𝑛 𝑏𝑖𝑙𝑎 𝑋 𝑛 + 𝑆 𝑛 − 𝜔 𝑛 ≥0 𝑋 𝑛 + 𝑆 𝑛 𝑏𝑖𝑙𝑎 𝑋 𝑛 + 𝑆 𝑛 − 𝜔 𝑛 ≤0 Biaya Penyimpanan (yg tdk terjual minggu itu)

Pemrograman Dinamik Stokastik Formulasi Pemrograman Dinamik Tahap : Awal dari setiap minggu Horizon : 4 Syarat batas : 𝑆 0 =0; 𝑆 5 =1 atau 2 atau 3 (bergantung pada penjualan) Fungsi rekursif : Ruang keadaan : {0,1,2} 𝑓 𝑛 𝑆 𝑛 =𝑜𝑝𝑡 𝐶 𝑛 ( 𝑋 𝑛 , 𝑆 𝑛 , 𝜔 𝑛 )+Ε 𝑓 𝑛+1 ( 𝑆 𝑛+1 )

Pemrograman Dinamik Stokastik Tahap 4 – Minggu Keempat 𝑺 𝟒 𝑿 𝟒 𝑾 𝟒 𝑪 𝟒 𝒇 𝟒 𝑬( 𝒇 𝟒 ) -2,7 1 -3 2 -6 -2 12,8 20 17 -4 15,8 18 40

Pemrograman Dinamik Stokastik Tahap 4 – Minggu Keempat 𝑺 𝟒 𝑿 𝟒 𝑾 𝟒 𝑪 𝟒 𝒇 𝟒 𝑬( 𝒇 𝟒 ) 1 -17 -2,2 5 2 -19 0,8 3 25 - 4,7 21

Pemrograman Dinamik Stokastik Tahap 4 – Minggu Keempat 𝑺 𝟒 𝑿 𝟒 𝑾 𝟒 𝑪 𝟒 𝒇 𝟒 𝑬( 𝒇 𝟒 ) 2 -29 -9,2 1 -7 15 - -1,9 -9 13 2,2 11

Pemrograman Dinamik Stokastik Tahap 3 – Minggu Ketiga 𝑺 3 𝑿 3 𝑾 3 𝑪 3 𝒇 3 𝑬( 𝒇 3 ) -2,2 -4,9 1 -3 -5,2 2 -6 -8,2 -2 10,8 15,1 20 17,8 17 14,8 -4 11,8 26,5 18 30,8 40 37,8

Pemrograman Dinamik Stokastik Tahap 3 – Minggu Ketiga 𝑺 3 𝑿 3 𝑾 3 𝑪 3 𝒇 3 𝑬( 𝒇 3 ) 1 -17 -19,2 -4,4 5 2,8 2 -0,2 -19 -3,2 11,5 3 15,8 25 22,8 - 12,16 16,8 21 18,8

Pemrograman Dinamik Stokastik Tahap 3 – Minggu Ketiga 𝑺 3 𝑿 3 𝑾 3 𝑪 3 𝒇 3 𝑬( 𝒇 3 ) 2 -29 -13,2 1,5 1 -7 5,8 15 12,8 - 8,56 -9 6,8 13 25,8 5,36 11 26,8

Pemrograman Dinamik Stokastik Tahap 2 – Minggu Kedua 𝑺 2 𝑿 2 𝑾 2 𝑪 2 𝒇 2 𝑬( 𝒇 2 ) 1.5 -1.2 1 -3 -1.5 2 -6 -4.5 -2 13.1 18.38 20 21.5 17 18.5 -4 22.5 31.6 18 33.1 40 41.5

Pemrograman Dinamik Stokastik Tahap 2 – Minggu Kedua 𝑺 2 𝑿 2 𝑾 2 𝑪 2 𝒇 2 𝑬( 𝒇 2 ) 1 -17 -1,9 2,28 5 6,5 2 3,5 -19 7,5 16,6 3 18,1 25 26,5 - 20,97 27,5 21 36,1

Pemrograman Dinamik Stokastik Tahap 2 – Minggu Kedua 𝑺 2 𝑿 2 𝑾 2 𝑪 2 𝒇 2 𝑬( 𝒇 2 ) 2 -29 -2,5 6,6 1 -7 8,1 15 16,5 - 8,67 -9 6,1 13 28,1 7,5 11 37,5

Pemrograman Dinamik Stokastik Tahap 1 – Minggu Pertama 𝑺 1 𝑿 1 𝑾 1 𝑪 1 𝒇 1 𝑬( 𝒇 1 ) 6,6 3,65 1 -3 3,6 2 -6 0,6 -17 1,38 7,934 5 11,6 8,6 -29 2,6 6,79 -7 11,38 15 1,6 Ulangi iterasi ini dengan menggunakan S sebagai variable utama (S tetap, X berubah). Apa bisa? Apakah lebih mudah?

Pemrograman Dinamik Stokastik Maka Keputusan yang diambil agar keuntungan maksimum 𝑺 𝟏 𝑿 𝟏 𝑺 𝟐 𝑿 𝟐 𝑺 𝟑 𝑿 𝟑 𝑺 𝟒 𝑬 1 2 7,93 +6,6+1,5-2,2 =13,834 7,93 +6,6+1,5+12,8 =28,834 7,93 +6,6+1,5+15,8 =31,834 7,93 +6,6+15,1-2,2 =27,434 7,93 +6,6+15,1+12,8 =42,434 7,93 +6,6+26,5-2,2 =38,834 7,93 +6,6+26,5+12,8 =53,834 7,93 +6,6+26,5+15,8 =56,834 7,93 +18,38+1,5-2,2 =25,614 7,93 +18,38+1,5+12,8=40,614 7,93 +18,38+1,5+15,8=43,614 7,93 +18,38+15,1-2,2 =39,214 7,93 +18,38+15,1+12,8=54,214

Pemrograman Dinamik Stokastik Keputusan optimal untuk toko tersebut dapat dideskripsikan sebagai: Pada minggu ke 1 beli 1 TV. Bila 1 TV tersebut terjual, maka pada minggu ke 2 beli 2 TV. Bila tidak terjual, pada minggu ke 2 jangan beli TV lagi Pada minggu ke 3, cek stok TV. Bila habis, beli 2 TV lagi. Bila masih ada sisa stok TV, jangan beli TV lagi Pada minggu ke 4, cek stok. Bila habis, beli 1 TV lagi. Bila masih ada sisa stok, jangan beli TV lagi

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Sistem dinamik dinyatakan dengan persamaan state 𝑠 𝑛+1 =𝑔( 𝑠 𝑛 , 𝑥 𝑛 , 𝑤 𝑛 ) Dimana 𝑠 𝑛 : State pada tahap (saat) n 𝑥 𝑛 : Decision pada tahap (saat) n 𝑤 𝑛 : Gangguan pada tahap (saat) n 𝑔 : Fungsi yang mentransformasikan 𝑆 𝑛 ke 𝑆 𝑛+1 (State Transformation)

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Aksi Kontrol adalah keputusan yang diambil untuk mempengaruhi perubahan state 𝑥 𝑛 = Aksi kontrol pada saat n Aksi Kontrol tersebut dipilih sedemikian hingga suatu kriteria di optimalkan Aksi Kontrol yang mengoptimalkan suatu nilai kriteria disebut kontrol Optimal atau Pengaturan Optimal

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Kriteria yang dipergunakan pada umumnya adalah fungsi dari 𝑠 𝑛 , 𝑥 𝑛 , 𝑤 𝑛 yang merupakan jumlahan nilai fungsi hasil yang diperoleh pada tiap tahapnya 𝐾= 𝑛=1 𝑁 𝐶 𝑛 ( 𝑠 𝑛 , 𝑥 𝑛 , 𝑤 𝑛 ) Dengan demikian aksi kontrol optimal adalah 𝑥 𝑛 yang mengoptimalkan K 𝑂𝑝𝑡 𝐾=𝑂𝑝𝑡 𝑛=1 𝑁 𝐶 𝑛 ( 𝑠 𝑛 , 𝑥 𝑛 , 𝑤 𝑛 ) 𝑥 𝑛 𝑥 𝑛

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Strategi Kontrol adalah sekumpulan aksi kontrol yang berlaku untuk jangka panjang (selama horizon waktu pengendalian) Strategi Kontrol dapat dicari berdasarkan formula dari 𝑥 𝑛 yang diperoleh dari proses optimasi terhadap K Secara umum, suatu Strategi Kontrol dinyatakan dalam suatu fungsi yang manyatakan hubungan antara 𝑥 dan 𝑠 yang berlaku untuk semua 𝑛 = 1,2,… 𝑁 𝑥 𝑛 =𝑓 𝑠 𝑛 , 𝑤 𝑛 𝑛=1,2,…,𝑁

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Permasalahan ini dapat diselesaikan secara bertahap dengan menggunakan pemrograman dinamik untuk melakukan optimasi secara bertahap: 𝐾= 𝑓 𝑁 𝑠 𝑁 + 𝑛=1 𝑁−1 𝐶 𝑛 ( 𝑠 𝑛 , 𝑥 𝑛 , 𝑤 𝑛 ) Dimana 𝑓 𝑁 𝑆 𝑁 adalah hasil optimasi 𝐶 𝑁 𝑠 𝑁 , 𝑥 𝑁 , 𝑤 𝑁 terhadap 𝑥 𝑁 , atau 𝑓 𝑁 𝑠 𝑁 = 𝑂𝑝𝑡 {𝐶 𝑁 𝑠 𝑁 , 𝑥 𝑁 , 𝑤 𝑁 } 𝑥 𝑁 Sehingga 𝑂𝑝𝑡 𝐾= 𝑓 𝑁 𝑠 𝑁 +𝑂𝑝𝑡 𝑛=1 𝑁−1 𝐶 𝑛 ( 𝑠 𝑛 , 𝑥 𝑛 , 𝑤 𝑛 ) 𝑥 𝑛 𝑥 𝑛 Demikian seterusnya dari 𝑛= 𝑁 sampai 𝑛= 1

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Contoh : Persediaan TV 𝑠 𝑛 = Banyak stok TV pada awal minggu ke-𝑛 𝑥 𝑛 = Banyaknya TV yang dipesan pada awal minggu ke-𝑛 𝑤 𝑛 = Penjualan TV dalam minggu ke-𝑛 𝑠 𝑛+1 =max⁡(0, 𝑠 𝑛 + 𝑥 𝑛 − 𝑤 𝑛 ) 𝐶 𝑛 𝑠 𝑛 , 𝑥 𝑛 , 𝑤 𝑛 =20 𝑤 𝑛 −(5+10 𝑥 𝑛 +2 max 𝑠 𝑛 + 𝑥 𝑛 − 𝑤 𝑛 ,0 +3 max 0, 𝑤 𝑛 −𝑥 𝑛 − 𝑠 𝑛 ) 𝑥 𝑛 ≠0 𝐶 𝑛 𝑠 𝑛 , 𝑥 𝑛 , 𝑤 𝑛 =20 𝑤 𝑛 −(2 max 𝑠 𝑛 + 𝑥 𝑛 − 𝑤 𝑛 ,0 +3 max 0, 𝑤 𝑛 −𝑥 𝑛 − 𝑠 𝑛 ) 𝑥 𝑛 =0

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Persamaan aksi control telah dirumuskan sebagai: 𝑥 𝑛 = 𝑓 𝑠 𝑛 , 𝑤 𝑛 𝑥 𝑛 dapat dicari dengan pemrograman dinamik untuk 𝑁 tertentu (untuk contoh ini 𝑁=4 ) Misalkan untuk contoh tersebut diminta untuk mengevaluasi strategi kontrol mana yang lebih baik: Pesan 2 hanya bila persediaan habis Pesan (2−𝑠) dimana 𝑠 adalah stok pada awal minggu berjalan

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Strategi 1 Rumusan strategi kontrolnya adalah: 𝑥 𝑛 = 2 𝑏𝑖𝑙𝑎 𝑠 𝑛 =0 = 0 𝑏𝑖𝑙𝑎 𝑠 𝑛 ≠0 Stok minggu ini Aksi Kontrol Stok Minggu Depan 1 2 0.2 0.5 0.3 0.5+0.2 Tabel Probabilitas

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Strategi 1 Tabel Hasil Stok awal minggu ini (s) Aksi Kontrol (x) Stok Minggu Depan 1 2 40-25 = 15 20-25-2-0 = -7 -25-4-0 = -29 20-0-0-0 = 20 20-0-0-3 = 17 0-0-2-0 = -2 - 40-0-0 = 40 20-2-0 = 18 -4-0 = -4

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Contoh : Persediaan TV Strategi 1 Tahap 4 – Minggu Keempat 𝑺𝟒 𝑿𝟒 𝒇 𝟒 (𝑺 𝟒 ) =𝑪 𝟒 𝑺 𝟒 , 𝑿 𝟒 + 𝒇 𝟓 ( 𝑺 𝟓 ) = 𝑪 𝟒 ( 𝑺 𝟒 , 𝑿 𝟒 ) 2 (0.2)(15)+(0.5)(-7)+(0.3)(-29)= -9.2 1 (0.5)(20)+(0.2)(17)+(0.3)(-2)=12.8 (0.2)(40)+(0.5)(18)+(0.3)(-4)=15.8

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Contoh : Persediaan TV Strategi 1 Tahap 3 – Minggu Ketiga 𝑺𝟑 𝑿𝟑 𝒇𝟑(𝑺𝟑) = 𝑪 𝟑 ( 𝑺 𝟑 , 𝑿 𝟑 ) + 𝒇 𝟒 ( 𝑺 𝟒 ) 2 (0.2)(15-9.2)+(0.5)(-7+12.8)+(0.3)(-29+15.8)= 0.1 1 (0.5)(20-9.2)+(0.2)(17-9.2)+(0.3)(-2+12.8)=10.2 (0.2)(40-9.2)+(0.5)(18+12.8)+(0.3)(-4+15.8)=25.1

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Contoh : Persediaan TV Strategi 1 Tahap 2 – Minggu Kedua 𝑺𝟐 𝑿𝟐 𝒇𝟐(𝑺𝟐) 2 (0.2)(15+0.1)+(0.5)(-7+10.2)+(0.3)(-29+25.1)= 3.39 1 (0.5)(20+0.1)+(0.2)(17+0.1)+(0.3)(-2+10.2)=15.93 (0.2)(40+0.1)+(0.5)(18+10.2)+(0.3)(-4+25.1)=28.45

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Contoh : Persediaan TV Strategi 1 Tahap 1 – Minggu Pertama S1 X1 f1(S1) Rata-rata 2 (0.2)(15+3.39)+(0.5)(-7+15.93)+(0.3)(-29+28.45)= 7,978 (15.35+27.722+40.35)/3 = 27.807 1 (0.5)(20+3.39)+(0.2)(17+3.39)+(0.3)(-2+15.93) (0.2)(40+3.39)+(0.5)(18+15.93)+(0.3)(-4+28.5

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Strategi 2 Rumusan strategi kontrolnya adalah: 𝑥 𝑛 = 2− 𝑠 𝑛 Tabel Probabilitas Stok minggu ini Aksi Kontrol Stok Minggu Depan 1 2 0.2 0.5 0.3

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Contoh : Persediaan TV Strategi 2 Tabel Hasil Stok minggu ini Aksi Kontrol Stok Minggu Depan 1 2 40-25-0-0 = 15 20-25-2-0 = -7 -25-4-0 = -29 40-15-0-0 = 25 20-15-0-0 = 5 -15-4 = -19 40-0-0-0 = 40 20-2-0-0 = 18 -4-0 = -4

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Contoh : Persediaan TV Strategi 2 Tahap 4 – Minggu Keempat 𝑺𝟒 𝑿𝟒 𝒇𝟒(𝑺𝟒) 2 (0.2)(15)+(0.5)(-7)+(0.3)(-29)= - 9.2 1 (0.2)(25)+(0.5)(3)+(0.3)(-19)= 0.8 (0.2)(40)+(0.5)(18)+(0.3)(-4)=15.8

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Contoh : Persediaan TV Strategi 2 Tahap 3 – Minggu Ketiga 𝑺𝟑 𝑿𝟑 𝒇𝟑(𝑺𝟑) 2 (0.2)(15-9.2)+(0.5)(-7+0.8)+(0.3)(-29+15.8)= -5.9 1 (0.2)(25-9.2)+(0.5)(3+0.8)+(0.3)(-19+15.8)= 4.1 (0.2)(40-9.2)+(0.5)(18+0.8)+(0.3)(-4+15.8)=19.1

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Contoh : Persediaan TV Strategi 2 Tahap 2 – Minggu Kedua 𝑺𝟐 𝑿𝟐 𝒇𝟐(𝑺𝟐) 2 (0.2)(15-5.9)+(0.5)(-7+4.1)+(0.3)(-29+19.1)= -2.6 1 (0.2)(25-5.9)+(0.5)(3+4.1)+(0.3)(-19+19.1)= 7.4 (0.2)(40-5.9)+(0.5)(18+4.1)+(0.3)(-4+19.1)=22.4

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Contoh : Persediaan TV Strategi 2 Tahap 1 – Minggu Pertama S1 X1 f1(S1) Rata-rata 2 (0.2)(15-2.6)+(0.5)(-7+7.4)+(0.3)(-29+22.4)= 0.7 (0.7+10.7+25.7)/3= 12.3667 1 (0.2)(25-2.6)+(0.5)(3+7.4)+(0.3)(-19+22.4)= 10. (0.2)(40-2.6)+(0.5)(18+7.4)+(0.3)(-4+22.4)=25.7

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Perbandingan Strategi yang lebih baik 𝑓 1 ( 𝑠 1 ) Strategi 1 Bandingkan dengan 𝑓 1 ( 𝑠 1 ) Strategi 2 Yang lebih besar adalah yang paling baik

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Imagine that you have $10,000 to invest and that you will have an opportunity to invest that amount in either of two investments (A or B) at the beginning of each of the next 3 years. Both investments have uncertain returns. For investment A you will either lose your money entirely or (with higher probability) get back $20,000 (a profit of $10,000) at the end of the year. For investment B you will get back either just your $10,000 or (with low probability) $20,000 at the end of the year. The probabilities for these events are as follows: Investment Amount Returned Probability A 0,25 20.000 0,75 B 10.000 0,9 0,1 You are allowed to make only (at most) one investment each year, and you can invest only $10,000 each time. Use dynamic programming to find the investment policy that maximizes the expected amount of money you will have after 3 years. Source: 10.4-2. Introduction to Operation Research 9th edition, Hillier and Lieberman.

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Tahap : Tahun Horizon : 3 Syarat batas : 𝑆 1 =10000; 𝑆 4 = sebanyak-banyaknya (dalam hal ini yang paling mungkin menjadi maksimal 40000) State ( 𝑆 𝑛 ) : Uang tersedia (Modal awal dan hasil invetasi sebelumnya) Decision ( 𝑋 𝑛 ) : Investment (A or B) Event : Amount returned Outcome : Banyaknya amount returned 𝜔 𝑛 State transform : 𝑆 𝑛+1 ={ 𝑆 𝑛 − 𝑋 𝑛 + 𝜔 𝑛 } Fungsi Hasil : 𝑆 𝑛 − 𝑋 𝑛 + 𝜔 𝑛 Penyelesaian : 𝑓 1 𝑆 1

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik 𝑠 𝑛 = Uang tersedia pada awal tahun investasi 𝑥 𝑛 = Pilihan investasi di A atau B 𝑤 𝑛 = Hasil yang didapatkan dari investasi Strategi kontrol: Investasi di B jika uang tersedia ≥20000, investasi di A jika uang tersedia 10000 Hanya berinvestasi di B

Uang Tersedia Tahun Berikutnya Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Tabel Probabilitas Uang Tersedia Aksi Kontrol Uang Tersedia Tahun Berikutnya +𝟎 +𝟏𝟎.𝟎𝟎𝟎 +𝟐𝟎.𝟎𝟎𝟎 0<𝑆≤10.000 A 0,25 - 0,75 B 0,9 0,1 𝑆≥20.000

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Strategi 1 Tahap 3 𝑆 3 𝑋 3 𝑬[𝑓 3 𝑆 3 ] 30.000 B (30.000-10.000+10.000)(0,9) + (30.000-10.000+20.000)(0.1) = 31.000 20.000 (20.000-10.000+10.000)(0,9) + (20.000-10.000+20.000)(0.1) = 21.000 10.000 A Tidak mungkin ke state ini Tahap 2 𝑆 2 𝑋 2 𝑬[𝑓 2 𝑆 2 ] 20.000 B (20.000-10.000+10.000+21.000)(0,9) + (20.000-10.000+20.000+31.000)(0.1) = 43.000 10.000 A Tidak mungkin ke state ini -

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Tahap 1 𝑆 1 𝑋 1 𝑬[𝑓 1 𝑆 1 ] 10.000 A (0)(0,25) + (10.000-10.000+20.000+43.000)(0,75) = 47.250 Strategi 2 Tahap 3 𝑆 3 𝑋 3 𝑬[𝑓 3 𝑆 3 ] 30.000 B (30.000-10.000+10.000)(0,9) + (30.000-10.000+20.000)(0.1) = 31.000 20.000 (20.000-10.000+10.000)(0,9) + (20.000-10.000+20.000)(0.1) = 21.000 10.000 (10.000-10.000+10.000)(0,9) + (10.000-10.000+20.000)(0.1) = 11.000

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Tahap 2 𝑆 2 𝑋 2 𝑬[𝑓 2 𝑆 2 ] 20.000 B (20.000-10.000+10.000+21.000)(0,9) + (20.000-10.000+20.000+31.000)(0.1) = 43.000 10.000 (10.000-10.000+10.000+11.000)(0,9) + (10.000-10.000+20.000+21.000)(0.1) = 21.000 Tahap 1 𝑆 1 𝑋 1 𝑬[𝑓 1 𝑆 1 ] 10.000 B (10.000-10.000+10.000+21.000)(0,9) + (10.000-10.000+20.000+43.000)(0.1) = 34.200

Pemrograman Dinamik Stokastik Pengaturan Optimal dengan Program Dinamik Interpretasi 𝐸[𝑓 1 𝑠 1 ] Strategi 1 ≥ 𝐸[𝑓 1 𝑠 1 ] Strategi 2, maka strategi yang paling baik adalah strategi 1 di mana berlaku: Investasi di B jika uang tersedia di awal tahun ≥20000, investasi di A jika uang tersedia di awal tahun = 10000, dengan kemungkinan total nilai pengembalian investasi terbesar adalah 4000 Ambil satu contoh persoalan pengaturan optimal semacam ini dari buku referensi atau yang lain atau buat sendiri dan kerjakan sesuai dengan langkah-langkah pada bahan kuliah ini

Proses Keputusan Markov Persoalan yang dibahas pada bagian sebelumnya memiliki probabilitas berada pada suatu state yang berubah tiap saat. State pada saat berikutnya hanya tergantung pada state pada saat ini. Proses acak semacam ini disebut sebagai proses Markov. Notasikan: Π 𝑖 𝑛 = Probabilitas berada pada state 𝑖 pada saat 𝑛 Untuk contoh diatas dapat diartikan sebagai: Probabilitasnya memiliki 𝑖 TV pada awal minggu ke 𝑛 yang memiliki nilai-nilai sebagai berikut: Π 0 0 =1, Π 1 0 =0, Π 2 0 =0 Π 0 1 =0.2, Π 1 1 =0.5, Π 2 1 =0.3

Proses Keputusan Markov Notasikan 𝑃 𝑖𝑗 sebagai probabilitasnya berpindah dari state 𝑖 pada saat n ke state 𝑗 pada saat n+1 Π 0 2 = Π 0 1 𝑃 00 + Π 1 1 𝑃 10 + Π 2 1 𝑃 20 Π 1 2 = Π 0 1 𝑃 01 + Π 1 1 𝑃 11 + Π 2 1 𝑃 21 Π 2 2 = Π 0 1 𝑃 02 + Π 1 1 𝑃 12 + Π 2 1 𝑃 22 Dalam notasi vector, dapat ditulis sebagai (Π 0 2 Π 1 2 Π 2 2 )= (Π 0 1 Π 1 1 Π 2 1 𝑃 (Π 0 𝑛+1 Π 1 𝑛+1 Π 2 𝑛+1 )= (Π 0 𝑛 Π 1 𝑛 Π 2 𝑛 𝑃

Proses Keputusan Markov Dapat diringkas sebagai Π 𝑛+1 =Π 𝑛 𝑃 Dimana 𝑃= 𝑃00 𝑃01 𝑃02 𝑃10 𝑃11 𝑃12 𝑃20 𝑃21 𝑃22 Π 𝑛 = (Π 0 𝑛 Π 1 𝑛 Π 2 𝑛 Bila system stabil, maka akan mencapai kondisi steady state yaitu kondisi dimana probabilitas berada pada satu state tertentu tidak lagi merupakan fungsi waktu: lim 𝑛→∞ Π 𝑛 =Π Π=Π𝑃 Π(𝐼−𝑃)=0 sehingga

Proses Keputusan Markov Nilai kriteria persatuan waktu dapat dinyatakan sebagai 𝑖=1 𝑚 Π 𝑖 𝐾 𝑖 Dimana 𝑚= Banyaknya state 𝐾 𝑖 = Nilai pada state i Π 𝑖 = Probabilitas pada state i dalam steady state Untuk contoh Toko TV dengan strategi 1 (order hanya kalau habis) diperoleh: 𝑃= 0.2 0.5 0.3 0.7 0.3 0 0.2 0.5 0.3 Dari persamaan Π 𝐼−𝑃 =0, nilai Π dapat dihitung

Proses Keputusan Markov STRATEGI 1: Order 2 kalau persedian habis 𝑃 1 = 0.2 0.5 0.3 0.7 0.3 0 0.2 0.5 0.3 ; 𝜋 𝐼−𝑃 =0 𝜋 0.8 −0.5 −0.3 −0.7 0.7 0 −0.2 −0.5 0.7 =0 0.8 𝜋 0 −0,7 𝜋 1 −0.2 𝜋 2 =0… 1 −0.5 𝜋 0 −0,7 𝜋 1 −0.5 𝜋 2 =0… 2 −0.3 𝜋 0 +0.7 𝜋 2 =0… 3 3 𝜋 2 = 0.3 0.7 𝜋 0 = 3 7 𝜋 0 3 → 2 −0.5 𝜋 0 −0,7 𝜋 1 − 0.3 1.4 𝜋 0 =0 − 1 2 − 3 14 𝜋 0 + 7 10 𝜋 1 =0 𝜋 1 = 100 98 𝜋 0 𝜋 0 + 𝜋 1 + 𝜋 2 =1 𝜋 0 1+ 100 98 + 3 7 =1 𝜋 0 98+100+42 98 =1 𝜋 0 = 98 240 𝜋 1 = 100 240 𝜋 2 = 42 240

Proses Keputusan Markov STRATEGI 2: Order sebanyak 2-s dimana s adalah persediaan awal bulan 𝑃 2 = 0.2 0.5 0.3 0.2 0.5 0.3 0.2 0.5 0.3 ; 𝜋 𝐼−𝑃 =0 𝜋 0.8 −0.5 −0.3 −0.2 0.5 −0.3 −0.2 −0.5 0.7 =0 0.8 𝜋 0 −0,2 𝜋 1 −0.2 𝜋 2 =0… 1 −0.5 𝜋 0 +0,5 𝜋 1 −0.5 𝜋 2 =0… 2 −0.3 𝜋 0 −0,3 𝜋 1 +0.7 𝜋 2 =0… 3 2 𝜋 1 = 𝜋 0 + 𝜋 2 2 → 3 −0.3 𝜋 0 −0,3 𝜋 0 + 𝜋 2 +0.7 𝜋 2 =0 −0.6 𝜋 0 +0.4 𝜋 2 =0 𝜋 2 = 6 4 𝜋 0 0.8𝜋 0 −0.2 𝜋 1 −0.2 6 4 𝜋 0 =0 𝜋 0 8 10 − 3 10 − 2 10 𝜋 1 =0 𝜋 1 = 5 2 𝜋 0 𝜋 0 + 𝜋 1 + 𝜋 2 =1 𝜋 0 1+ 5 2 + 3 2 =1 𝜋 0 2+5+3 2 =1 𝜋 0 = 2 10 𝜋 1 = 5 10 𝜋 2 = 3 10

Proses Keputusan Markov 𝑖=1 𝑚 Π 𝑖 𝐾 𝑖 Strategi 1: 𝐾 1 =−9.2; 𝐾 2 =12.8; 𝐾 3 =15.8 = 98 240 . −9.2 + 100 240 . 12.8 + 42 240 . 15.8 =𝟒.𝟑𝟒𝟏𝟕 Strategi 2 𝐾 1 =−9.2; 𝐾 2 =0.8; 𝐾 3 =15.8 = 2 10 . −9.2 + 5 10 . 0.8 + 3 10 . 15.8 =𝟑.𝟑 Nilai pada strategi 1 > Nilai Strategi 2 Sehingga strategi 1 lebih baik daripada strategi 2

Proses Keputusan Markov Sebuah Manufaktur memiliki sebuah mesin produksi. Karena penggunaan yang ekstrim, maka terjadi perubahan kondisi mesin setiap minggunya. Keadaan mesin dapat dikategorikan menjadi: State Condition Good as new 1 Minor deterioration 2 Major deterioration 3 Inoperable Matriks disamping menunjukkan probabilitas perubahan kondisi mesin dalam satu bulan dari state awal (baris) ke state berikutnya (kolom). State 1 2 3 7/8 1/16 3/4 1/4 1/2

Proses Keputusan Markov Ketika mesin tidak bekerja secara maksimal, maka akan muncul barang cacat yang menyebabkan kerugian menurut keadaan state mesin tersebut: State Kerugian barang cacat 1 1000 2 3000 Mesin dalam kondisi state 3 harus diganti. Penggantian mesin (bisa dalam state 1,2, dan 3) memakan biaya sebesar 4000, selain itu penggantian membutuhkan waktu 1 minggu yang menyebabkan kehilangan kuntungan produksi sebesar 2000 Terdapat keadaan overhaul, yaitu maintenance mesin agar peformanya bisa naik 1 state. Overhaul hanya berlaku pada mesin dalam kondisi state 2 dan mengubahnya menjadi state 1. Overhaul membutuhkan biaya 2000 dan memakan waktu 1 minggu yang menyebabkan kehilangan kuntungan produksi sebesar 2000. Buat kebijakan tindakan terhadap mesin agar meminimalkan biaya total

Kerugian keuntungan produksi Proses Keputusan Markov Tabel Keputusan yang dapat diambil: Ada 4 kemungkinan kebijakan: Mengganti mesin saat state 3 saja Mengganti mesin saat state 3 dan overhaul mesin pada state 2 Mengganti mesin saat state 2 dan 3 Mengganti mesin saat state 1,2, dan 3 Decision State Kerugian barang cacat Biaya Maintenance Kerugian keuntungan produksi Total Cost Do nothing 1 1000 2 3000 Overhaul 2000 4000 Replace 1,2,3 6000

Proses Keputusan Markov Kebijakan 1 Kebijakan 2 Pendefinisian State 1 2 3 7/8 1/16 3/4 1/4 1/2 State 1 2 3 7/8 1/16 3/4 1/4 Probabilitas perubahan state pada kebijakan ke i Total biaya untuk masing – masing kebijakan sebagai berikut: Kebijakan 1 Kebijakan 2 Kebijakan\State K1 K2 K3 K4 1 1000 3000 6000 2 4000 3 4 State 1 2 3 7/8 1/16 3/4 1/4 State 1 2 3 7/8 1/16

Proses Keputusan Markov 𝑃 1 = 0 7/8 0 3/4 1/16 1/16 1/8 1/8 0 0 1 0 1/2 1/2 0 0 𝜋 𝐼− 𝑃 1 =[ 𝜋 0 𝜋 1 𝜋 2 𝜋 3 ] 1 −7/8 0 1/4 −1/16 −1/16 1/8 −1/8 0 0 −1 0 1/2 −1/2 0 1 1 𝜋 0 − 𝜋 3 =0 2 − 7 8 𝜋 0 + 1 4 𝜋 1 =0 3 − 1 16 𝜋 0 − 1 8 𝜋 1 + 1 2 𝜋 2 =0 4 − 1 16 𝜋 0 − 1 8 𝜋 1 − 1 2 𝜋 2 + 𝜋 3 =0 Kebijakan 1 𝜋 0 + 𝜋 1 + 𝜋 2 + 𝜋 3 =1 𝜋 0 + 7 2 𝜋 0 + 𝜋 0 + 𝜋 0 =1 ∴ 𝜋 0 = 2 13 𝜋 1 = 7 13 𝜋 2 = 2 13 𝜋 3 = 2 13 1 𝜋 0 = 𝜋 3 2 𝜋 0 = 2 7 𝜋 1 3 − 1 16 𝜋 0 − 1 8 7 2 𝜋 0 + 1 2 𝜋 2 =0 − 8 16 𝜋 0 + 1 2 𝜋 2 =0 𝜋 0 = 𝜋 2

Proses Keputusan Markov Kebijakan 2 𝑃 2 = 0 7/8 0 3/4 1/16 1/16 1/8 1/8 0 1 1 0 0 0 0 0 𝜋 𝐼− 𝑃 2 =[ 𝜋 0 𝜋 1 𝜋 2 𝜋 3 ] 1 −7/8 0 1/4 −1/16 −1/16 1/8 −1/8 0 −1 −1 0 1 0 0 1 1 𝜋 0 − 𝜋 3 =0 2 − 7 8 𝜋 0 + 1 4 𝜋 1 − 𝜋 2 =0 3 − 1 16 𝜋 0 − 1 8 𝜋 1 + 𝜋 2 =0 4 − 1 16 𝜋 0 − 1 8 𝜋 1 + 𝜋 3 =0 𝜋 0 + 𝜋 1 + 𝜋 2 + 𝜋 3 =1 𝜋 0 + 15 2 𝜋 0 + 𝜋 0 + 𝜋 0 =1 ∴ 𝜋 0 = 2 21 𝜋 1 = 15 21 𝜋 2 = 2 21 𝜋 3 = 2 21 1 𝜋 0 = 𝜋 3 4 − 1 16 𝜋 0 − 1 8 𝜋 1 + 𝜋 0 =0 𝜋 0 = 2 15 𝜋 1 3 − 1 16 𝜋 0 − 1 8 ( 15 2 𝜋 0 )+ 𝜋 2 =0 𝜋 0 = 𝜋 2

Proses Keputusan Markov Kebijakan 3 𝑃 3 = 0 7/8 0 3/4 1/16 1/16 1/8 1/8 1 0 1 0 0 0 0 0 𝜋 𝐼− 𝑃 3 =[ 𝜋 0 𝜋 1 𝜋 2 𝜋 3 ] 1 −7/8 0 1/4 −1/16 −1/16 1/8 −1/8 −1 0 −1 0 1 0 0 1 1 𝜋 0 − 𝜋 2 − 𝜋 3 =0 2 − 7 8 𝜋 0 + 1 4 𝜋 1 =0 3 − 1 16 𝜋 0 − 1 8 𝜋 1 + 𝜋 2 =0 4 − 1 16 𝜋 0 − 1 8 𝜋 1 + 𝜋 3 =0 𝜋 0 + 𝜋 1 + 𝜋 2 + 𝜋 3 =1 𝜋 0 + 7 2 𝜋 0 + 1 2 𝜋 0 + 1 2 𝜋 0 =1 ∴ 𝜋 0 = 2 11 𝜋 1 = 7 11 𝜋 2 = 1 11 𝜋 3 = 1 11 2 𝜋 0 = 2 7 𝜋 1 3 − 1 16 𝜋 0 − 1 8 7 2 𝜋 0 + 𝜋 2 =0 𝜋 0 =2 𝜋 2 1 𝜋 0 − 1 2 𝜋 0 − 𝜋 3 =0 𝜋 0 =2 𝜋 3

Proses Keputusan Markov Kebijakan 4 𝑃 4 = 0 7/8 1 0 1/16 1/16 0 0 1 0 1 0 0 0 0 0 𝜋 𝐼− 𝑃 4 =[ 𝜋 0 𝜋 1 𝜋 2 𝜋 3 ] 1 −7/8 −1 1 −1/16 −1/16 0 0 −1 0 −1 0 1 0 0 1 1 𝜋 0 − 𝜋 1 − 𝜋 2 − 𝜋 3 =0 2 − 7 8 𝜋 0 + 𝜋 1 =0 3 − 1 16 𝜋 0 + 𝜋 2 =0 4 − 1 16 𝜋 0 + 𝜋 3 =0 𝜋 0 + 𝜋 1 + 𝜋 2 + 𝜋 3 =1 𝜋 0 + 7 8 𝜋 0 + 1 16 𝜋 0 + 1 16 𝜋 0 =1 ∴ 𝜋 0 = 16 32 𝜋 1 = 14 32 𝜋 2 = 1 32 𝜋 3 = 1 32 2 𝜋 0 = 8 7 𝜋 1 3 𝜋 0 =16 𝜋 2 4 𝜋 0 =16 𝜋 3

Proses Keputusan Markov Perbandingan Hasil Tiap Kebijakan Kebijakan ( 𝝅 𝟎 , 𝝅 𝟏 , 𝝅 𝟐 , 𝝅 𝟑 ) Biaya Yang di Keluarkan 1 ( 𝟐 𝟏𝟑 , 𝟕 𝟏𝟑 , 𝟐 𝟏𝟑 , 𝟐 𝟏𝟑 ) 𝟏 𝟏𝟑 𝟐∗𝑲𝟏+𝟕∗𝑲𝟐+𝟐∗𝑲𝟑+𝟐∗𝑲𝟒 = 𝟏 𝟏𝟑 𝟐∗𝟎+𝟕∗𝟏𝟎𝟎𝟎+𝟐∗𝟑𝟎𝟎𝟎+𝟐∗𝟔𝟎𝟎𝟎 =𝟏𝟗𝟐𝟑 2 ( 𝟐 𝟐𝟏 , 𝟏𝟓 𝟐𝟏 , 𝟐 𝟐𝟏 , 𝟐 𝟐𝟏 ) 𝟏 𝟐𝟏 𝟐∗𝟎+𝟏𝟓∗𝟏𝟎𝟎𝟎+𝟐∗𝟒𝟎𝟎𝟎+𝟐∗𝟔𝟎𝟎𝟎 =𝟏𝟔𝟔𝟕 3 ( 𝟐 𝟏𝟏 , 𝟕 𝟏𝟏 , 𝟏 𝟏𝟏 , 𝟏 𝟏𝟏 ) 𝟏 𝟏𝟏 𝟐∗𝟎+𝟕∗𝟏𝟎𝟎𝟎+𝟏∗𝟔𝟎𝟎𝟎+𝟏∗𝟔𝟎𝟎𝟎 =𝟏𝟕𝟐𝟕 4 ( 𝟏𝟔 𝟑𝟐 , 𝟏𝟒 𝟑𝟐 , 𝟏 𝟑𝟐 , 𝟏 𝟑𝟐 ) 𝟏 𝟑𝟐 𝟏𝟔∗𝟎+𝟏𝟒∗𝟔𝟎𝟎𝟎+𝟏∗𝟔𝟎𝟎𝟎+𝟏∗𝟔𝟎𝟎𝟎 =𝟑𝟎𝟎𝟎

Proses Keputusan Markov Dari Perhitungan diatas dapat disimpulkan bahwa biaya paling minimum dapat dicapai dengan menggunakan kebijakan ke 2 yaitu: Mengganti mesin yang berada pada state 3 Overhaul mesin yang berada pada state 2 Dengan total biaya yang dikeluarkan sebesar $ 1667 Kesimpulan Ambil satu contoh persoalan proses keputusan markov semacam ini dari buku referensi atau yang lain atau buat sendiri dan kerjakan sesuai dengan langkah-langkah pada bahan kuliah ini

Tugas 8 Kerjakan tugas-tugas yang diberikan pada bahan paparan ini