Penyelidikan Operasi Penyelesaian Numerik

Penyelidikan Operasi Penyelesaian Numerik
Persoalan Optimisasi Tanpa Kendala

Materi 1. Fungsi Variabel Tunggal ► Bisection ► Golden Section
► Bisection dengan Derifatif 2. Fungsi Variabel Banyak ► Steepest Descent ► Conjugate Gradient ► Newton

Fungsi Variabel Tunggal
Bisection Penjelasan Geometris Dicari suatu titik minimum 𝑓(𝑥) yang terdapat antara 𝑎 dan 𝑏 min 𝑓(𝑥) 𝑎≤𝑥≤𝑏

Bisection Penjelasan Geometris Ambil 2 titik sembarang dalam interval 𝑎 dan 𝑏 yaitu 𝑥 1 dan 𝑥 2 dengan 𝑎< 𝑥 1 < 𝑥 2 <𝑏

Bisection Penjelasan Geometris Karena 𝑓( 𝑥 1 ) lebih kecil dari 𝑓( 𝑥 2 ) maka tidak mungkin titik minimum di sebelah kanan 𝑥 Sehingga bagian disebelah kanan 𝑥 2 dapat dibuang dan 𝑥 2 lama menjadi 𝑏 baru. Selanjutnya ambil lagi titik 𝑥 1 dan 𝑥 2 baru

Bisection Penjelasan Geometris Langkah tadi kembali dilakukan karena 𝑓( 𝑥 1 ) masih lebih kecil dari 𝑓( 𝑥 2 )

Bisection Penjelasan Geometris Karena 𝑓( 𝑥 1 ) sama dengan 𝑓( 𝑥 2 ), maka x1 menjadi a baru x2 menjadi b baru lalu diambil titik 𝑥 1 dan 𝑥 2 baru. Proses ini dilakukan hingga 𝑎 dan 𝑏 memiliki selisih yang cukup kecil sesuai dengan ketelitian yang diinginkan

Bisection Langkah-langkah diatas dapat dituliskan dalam pseudo code sbb: Take 2 titik sembarang 𝑎< 𝑥 1 < 𝑥 2 <𝑏 While 𝑏−𝑎 >𝜖 do: (ϵ adalah tingkat ketelitian yang diinginkan) Calculate 𝑓( 𝑥 1 ) dan 𝑓( 𝑥 2 ) 4. If 𝑓( 𝑥 1 )<𝑓( 𝑥 2 ) then 𝑏= 𝑥 1 else if 𝑓( 𝑥 1 )>𝑓( 𝑥 2 ) then 𝑎= 𝑥 1 else 𝑎= 𝑥 1 dan 𝑏= 𝑥 2 5. Repeat until 𝑏−𝑎 ≤𝜖 6. Titik minimum adalah 𝑥 ∗ = 𝑎+𝑏 2 dengan nilai minimum = 𝑓( 𝑥 ∗ )

Bisection Contoh Min 𝑥 2 −2𝑥+4 Dengan 0< 𝑥 ∗ <3 Ketelitian 1,5

Bisection 𝑥 1 =0,5; 𝑥 2 =2,5 𝑓 𝑥 1 = 0,5 2 −2 0,5 +4=3,25 𝑓 𝑥 2 = 2,5 2 −2 2,5 +4=5,25 𝑓 𝑥 1 <𝑓 𝑥 2 𝑎=0 dan 𝑏=2,5 𝑏−𝑎 =2,5>1,5 Iterasi dilanjutkan Contoh Iterasi 0 Min 𝑥 2 −2𝑥+4 𝑎=0 dan 𝑏=3 ∈ =1,5

Bisection 𝑥 1 =0,5; 𝑥 2 =2 𝑓 𝑥 1 = 0,5 2 −2 0,5 +4=3,25 𝑓 𝑥 2 = −2 2 +4=4 𝑓 𝑥 1 <𝑓 𝑥 2 𝑎=0 dan 𝑏=2 𝑏−𝑎 =2>1,5 Iterasi dilanjutkan Contoh Iterasi 1 Min 𝑥 2 −2𝑥+4 𝑎=0 dan 𝑏=2,5 ∈ =1,5

Bisection 𝑥 1 =0,5; 𝑥 2 =1,5 𝑓 𝑥 1 = 0,5 2 −2 0,5 +4=3,25 𝑓 𝑥 2 = 1,5 2 −2 1,5 +4=3,25 𝑓 𝑥 1 =𝑓 𝑥 2 𝑎=0,5 dan 𝑏=1,5 𝑏−𝑎 =1>1,5 Iterasi dihentikan Contoh Iterasi 2 Min 𝑥 2 −2𝑥+4 𝑎=0 dan 𝑏=2 ∈ =1,5

Bisection Contoh Maka nilai minimum 𝑓 𝑥 pada 𝑥 ∗ = 𝑎+𝑏 2 = (0,5+1,5) 2 =1 Nilai minimum 𝑓(𝑥) adalah 𝑓 𝑥 = −2 1 +4=3

Bisection Tabel Iterasi i x1 x2 f(x1) f(x2) a b |b-a| ∈ 0.5 2.5 3.25 5.25 1.5 1 2 4 Buat program untuk metode Bisection. Gunakan untuk fungsi pangkat 4 yang memiliki nilai minimum untuk menghasilkan tabel seperti diatas sampai ketelitian 0,1. Kerjakan untuk dua pasang nilai (a,b) berbeda.

Bisection Contoh: Min 𝑥 4 −8 𝑥 proses iterasi di MATLAB 𝑖 𝑎 𝑏 𝑥 1 𝑥 2 𝑓( 𝑥 1 ) 𝑓( 𝑥 2 ) 1 3 1,03 2,97 8,6383 23,2411 2 2,94 21,5630 2,91 19,9639 6 2.85 2.82 10 2,73 1,3 2,7 10,8241 20 1,15 2,58 1,18 2,55 6,7996 6,2625 30 1,54 2,4 1,57 2,37 2,3565 2,1774 40 1,72 2,25 1,75 2,22 0,8789 0,8619 64 1,96 2,04 1,99 2,01 0,0251 0,016

Golden Section Tujuan dari Golden Section adalah untuk menyamakan banyaknya penghapusan nilai saat pergeseran nilai 𝑎 atau 𝑏

Ilustrasi Metode Golden Section
Fungsi Variabel Tunggal Golden Section 1−𝑝 𝑙 𝑝𝑙 𝑎 𝑏 𝑥 2 𝑥 1 Ilustrasi Metode Golden Section Penjelasan Geometris: Rasio yang sama untuk dua kasus 𝑎 ke 𝑥 1 dan 𝑏 ke 𝑥 2 𝑎 ke 𝑥 2 dan 𝑏 ke 𝑥 1 Membuat supaya salah titik tetap terpakai pada iterasi berikutnya

Ilustrasi Metode Golden Section
Fungsi Variabel Tunggal Golden Section 1−𝑝 𝑙 𝑝𝑙 𝑎 𝑏 𝑥 2 𝑥 1 𝑎 ′ 𝑏 ′ 𝑥 2 ′ 𝑥 1 ′ Ilustrasi Metode Golden Section Kasus 𝑓( 𝑥 1 )<𝑓( 𝑥 2 ) 𝑙′ 𝑝𝑙’ Penjelasan Geometris: 1−𝑝 𝑙=𝑝(𝑝𝑙) 𝑝 2 +𝑝−1=0

Golden Section 2. If 𝑓( 𝑥 1 )<𝑓( 𝑥 2 ) then 𝑏= 𝑥 2 𝑥 2 = 𝑥 1 𝑙=𝑝𝑙, 𝑥 1 =𝑎+ 1−𝑝 𝑙 Langkah-langkah : Input : 𝑎,𝑏,𝑝,𝜖 𝑙=𝑏−𝑎 𝑥 1 =𝑎+ 1−𝑝 𝑙 𝑥 2 =𝑎+𝑝𝑙 1. Hitung 𝑓 𝑥 1 𝑑𝑎𝑛 𝑓( 𝑥 2 ) Else, if 𝑓( 𝑥 1 )>𝑓( 𝑥 2 ) then 𝑎= 𝑥 1 𝑥 1 = 𝑥 2 𝑙=𝑝𝑙 𝑥 2 =𝑎+𝑝𝑙 Else 𝑎= 𝑥 1 , 𝑏= 𝑥 2 𝑙=𝑏−𝑎 𝑥 1 =𝑎+ 1−𝑝 𝑙, 𝑥 2 =𝑎+𝑝𝑙 3. If 𝑙≤𝜖 then 𝑥 ∗ = 𝑏−𝑎 2 . Stop Else, back to 1

Golden Section Contoh min 𝑥 2 −2𝑥+4 dengan 0< 𝑥 ∗ <3 ketelitian 1,5

Golden Section 𝑥 1 =1,146 ; 𝑥 2 =1,854 𝑓 𝑥 1 = 1, −2 1,146 +4 =3,02 𝑓 𝑥 2 = 1, −2 1,854 +4 =3,72 𝑓 𝑥 1 <𝑓( 𝑥 2 ) 𝑎=0 dan 𝑏=1,854 𝑙=𝑝𝑙=1,854 , 𝑥 2 =1,146 Iterasi dilanjutkan Contoh Iterasi 0 min 𝑥 2 −2𝑥+4 𝑎=0 dan 𝑏=3 𝑙=3−0=3 𝑥 1 =𝑎+ 1−𝑝 𝑙=1,146 𝑥 2 =𝑎+𝑝𝑙=1,854 ∈ =1,5<𝑙

Golden Section 𝑥 1 =0,708 ; 𝑥 2 =1,146 𝑓 𝑥 1 = 0, −2 0,708 +4 =3,08 𝑓 𝑥 2 = 1, −2 1,146 +4 =3,02 𝑓 𝑥 1 >𝑓( 𝑥 2 ) 𝑎=0,708 dan 𝑏=1,854 𝑙=𝑝𝑙=1,145 , 𝑥 1 =1,146 Iterasi dilanjutkan Iterasi 1 min 𝑥 2 −2𝑥+4 𝑎=0 dan 𝑏=1,854 𝑙=1,854 𝑥 1 =𝑎+ 1−𝑝 𝑙=0.708 𝑥 2 =1,146 ∈ =1,5<𝑙

Golden Section Iterasi 2 min 𝑥 2 −2𝑥+4 𝑎=0,708 dan 𝑏=1,854 𝑙=1,145 𝑥 1 =1,146 𝑥 2 =𝑎+𝑝𝑙=1,145 ∈ =1,5>𝑙 STOP 𝑥 ∗ = 𝑎+𝑏 2 = 0,708+1,854 2 =1,281 Buat program untuk metode Golden Section. Gunakan untuk fungsi pangkat 4 yang memiliki nilai minimum untuk menghasilkan tabel seperti pada bagian Bisection sampai ketelitian 0,1. Kerjakan untuk dua pasang nilai (a,b) berbeda.

Golden Section Contoh: 𝑥 4 −8 𝑥 proses iterasi di MATLAB 𝑖 𝑎 𝑏 𝑥 1 𝑥 2 𝑓( 𝑥 1 ) 𝑓( 𝑥 2 ) 1 3 1.7640 2.2360 0.0027 1.0000 1.4722 0.7891 0.9994 2 1.9442 3.3590 2.0557 0.0484 4 1.8754 0.0511 5 1.9869 0.2330 6 2.0131 7 1.9705

Bisection dengan Derivatif Dua metode yang telah dijelaskan di depan tidak menggunakan derivatif fungsi yang akan dicari nilai minimumnya. Sehingga prosesnya menjadi lambat. Keuntungannya, kedua metode tersebut dapat dipakai untuk fungsi yang tidak memiliki derivatif ataupun yang derivatifnya sulit dicari. Apabila derivative dari fungsi yang akan dicari nilai minimumnya diketahui, berdasarkan informasi ini proses pencarian titik minimum akan dapat dilakukan dengan lebih cepat.

Bisection dengan Derivatif Mempermudah mencari nilai titik minimum pada fungsi yang derivatifnya diketahui Tidak bisa atau sulit digunakan untuk fungsi yang tidak memiliki derivatifnya atau derivatifnya sulit dicari Untuk mempermudah pencarian nilai titik minimum, dikarenakan pada titik minimum nilai 𝑓’(𝑥) = 0 Metode Bisection dengan derivatif dirancang dengan menggunakan prinsip: Jika 𝑓’(𝑥) < 0  titik minimum yang dicari ada disebelah kanan titik x Jika 𝑓’(𝑥) > 0  titik minimum yang dicari ada disebelah kiri titik x Jika 𝑓’(𝑥) = 0  titik minimum yang dicari ada pada titik x tersebut

Bisection dengan Derivatif 𝑓(𝑥) = 𝑥 2 − 1 𝑓′(𝑥) =2𝑥 Di titik ini, nilai f’ < 0, dapat di lihat dari grafik bahwa titik optimum ada di sebelah kanan Di titik ini, nilai f’ > 0, dapat di lihat dari grafik bahwa titik optimum ada di sebelah kiri Di titik ini, nilai f’ = 0 titik ini merupakan titik optimum

Bisection dengan Derivatif Langkah-langkah diatas dapat dituliskan dalam pseudo code sbb: 1. Take 2 titik sembarang 𝑎, 𝑏 2. While 𝑏 − 𝑎 > 𝜖 do: (ϵ adalah tingkat ketelitian yang diinginkan) Take nilai 𝑥 sembarang dengan syarat, 𝑎 < 𝑥 < 𝑏 (bisa 𝑥 = 𝑎+𝑏 2 ) Calculate 𝑓’(𝑥) If 𝑓’(𝑥) < 0 then 𝑎 = 𝑥 else if 𝑓’(𝑥) > 0 then 𝑏 = 𝑥 else if 𝑓’(𝑥) = 0 then 𝑥 ∗ = 𝑥, stop 3. Titik minimum adalah 𝑥 ∗ = 𝑎+𝑏 2 dengan nilai minimum 𝑓(𝑥 ∗ )

Bisection dengan Derivatif Contoh : Min 𝑥 2 − 2𝑥 + 4 Ambil titik sembarang, 𝑎 = 0 dan 𝑏 = 3 dengan ∈ = 1 𝑏 – 𝑎 = 3 > ∈ 𝑥 0 (titik sembarang antara a & b) = 2.5 𝑓’ 𝑥 0 = 2 2,5 – 2=3 𝑓’( 𝑥 0 ) > 0  titik optimum di sebelah kiri 𝑏= 𝑥 0 𝑎 = 0 dan 𝑏 = 2.5 𝑏 – 𝑎 = 2.5 > ∈ 𝑥 1 = 2 𝑓’( 𝑥 1 ) = 2 (𝑥 1 )– 2 = 2(2) – 2 =2 𝑓’( 𝑥 1 ) > 0  titik optimum di sebelah kiri 𝑏= 𝑥 1

Bisection dengan Derivatif 𝑎 = 0 dan 𝑏 = 2 𝑏 – 𝑎 = 2.5 > ∈ 𝑥 2 =1.5 𝑓’( 𝑥 2 ) = 2 (𝑥 2 )– 2 = 2(1.5) – 2 =1 𝑓’( 𝑥 2 ) > 0  titik optimum di sebelah kiri 𝑏= 𝑥 1 𝑎 = 0 dan 𝑏 =1.5 𝑏 – 𝑎 =1.5 > ∈ 𝑥 3 =1 𝑓’( 𝑥 3 ) = 2 (𝑥 3 )– 2 = 2(1) – 2 =0 𝑓’( 𝑥 3 ) > 0  titik optimum Jadi, titik optimumnya ada pada 𝑥=1

Bisection dengan Derivatif Contoh 𝑥 4 −8 𝑥 proses iterasi di MATLAB dengan 𝑎=0;𝑏=6 𝑖 𝑎 𝑏 𝑥 𝑓(𝑥) 1 6 3 25 2 1.5000 3.0625 3.0000 2.2500 1.1289 1.8750 2.0625 1.9688 0.0154 𝑥 ∗ =2.0156 Buat program untuk metode Bisection dengan Derivatif. Gunakan untuk fungsi pangkat 4 yang memiliki nilai minimum untuk menghasilkan tabel seperti pada bagian Bisection sampai ketelitian 0,1. Kerjakan untuk dua pasang nilai (a,b) berbeda. Bandingkan kecepatan ketiga metode pada sub bab ini

Fungsi Variabel Banyak
Steepest Descent: Penyelesaian Geometri Model matematika : Min 𝑓 𝑥 , 𝑥 adalah vektor Proses pencarian titik minimum dilakukan secara rekursif sebagai berikut: Dari suatu titik yang diketahui (x0), gerak berlawanan arah dengan gradien fungsi pada titik tersebut sampai didapat titik baru (x1) yang memiliki nilai 𝑓 𝑥 terkecil sepanjang garis −𝛻𝑓 𝑥 0 . Ulangi proses tersebut sampai tidak dapat memperoleh titik baru lagi Titik Min

Steepest Descent: Penyelesaian Geometri Gradien 𝛻𝑓( 𝑥 0 ) merupakan arah penambahan terbesar dari nilai 𝑓 𝑥 pada 𝑥= 𝑥 0 . Sehingga −𝛻𝑓( 𝑥 0 ) adalah arah penurunan terbesar nilai 𝑓(𝑥) pada 𝑥= 𝑥 0 . Untuk mencari titik minimum sebaiknya bergerak sepanjang −𝛻𝑓( 𝑥 0 ) Untuk menentukan jauhnya, cari 𝜆 yang meminimumkan 𝑓 𝑥 0 +𝜆 𝑑 0 =𝑓(𝜆) yaitu fungsi variable tunggal sehingga dapat dicari dengan metode yang telah dijelaskan

Steepest Descent: Penyelesaian Geometri 𝑥 𝑛 = 𝑥 𝑛−1 − 𝜆 𝑛 𝛻𝑓 𝑥 𝑛−1 𝑓 𝑥 𝑛 =𝑓( 𝑥 𝑛−1 −𝜆𝑛𝛻𝑓( 𝑥 𝑛−1 ) =𝑓( 𝜆 𝑛 ) 𝑥 1 = 𝑥 0 − 𝜆 1 𝛻𝑓 𝑥 0 𝑥 2 = 𝑥 1 − 𝜆 2 𝛻𝑓 𝑥 1 , dan seterusnya Definisikan: 𝑑 𝑛 = steepest descent direction (arah penurunan paling tajam) pada titik 𝑥 𝑛 𝑑 𝑛 =−𝛻𝑓 𝑥 𝑛 𝑥 𝑛+1 = 𝑥 𝑛 + 𝜆 𝑛+1 𝑑 𝑛

Steepest Descent: Penyelesaian Geometri Sifat dari 𝑑 𝑛 : 𝑑 1 ⊥ 𝑑 2 𝑑 3 ⊥ 𝑑 2 ….. 𝑑 𝑛+1 ⊥ 𝑑 𝑛 min x3 d2 x2 Berlaku: 𝑑 1 . 𝑑 2 =0 𝑑 3 . 𝑑 2 =0 ….. 𝑑 𝑛+1 . 𝑑 𝑛 =0 Mengapa? Coba buktikan! d1 x1 d0 x0

Steepest Descent: Penyelesaian Geometri Pseudocode: Take 1 titik sembarang sebagai 𝑥 0 . Set 𝑛=1 Find 𝛻𝑓( 𝑥 0 ) Calculate 𝑥 𝑛 = 𝑥 𝑛−1 − 𝜆 𝑛 𝛻𝑓( 𝑥 𝑛−1 ), nyatakan dengan 𝜆 𝑛 Expres 𝑓 𝑥 𝑛 =𝑓( 𝑥 𝑛−1 − 𝜆 𝑛 𝛻𝑓 𝑥 𝑛−1 ) sebagai 𝑓( 𝜆 𝑛 ) (karena 𝑓( 𝑥 𝑛−1 ) dan 𝛻𝑓( 𝑥 𝑛−1 ) dapat dihitung, 𝑓 𝑥 𝑛 =𝑓( 𝜆 𝑛 ) adalah merupakan fungsi skalar) Calculate 𝜆 𝑛 yang meminimumkan 𝑓( 𝜆 𝑛 ) If 𝛻𝑓( 𝑥 𝑛 ) > ∈, then set 𝑛=𝑛+1. Go to 3 Else, 𝑥 𝑛 adalah titik minimum dengan nilai minimum sebesar 𝑓( 𝑥 𝑛 ). Stop

Steepest Descent: Contoh Fungsi Kuadrat (2 Variabel) Contoh min 3 𝑥 𝑥 𝑥 1 𝑥 2 −6 𝑥 1 −8 𝑥 2 +6 Dengan Steepest Descent mulai dari (1,1) 𝛻𝑓 𝑥 = 6 𝑥 1 +4 𝑥 2 −6 4 𝑥 1 +4 𝑥 2 −8 Iterasi 1 𝑥 0 = 1 1 𝛻𝑓( 𝑥 0 )= 4 0 𝑑 0 = −4 0 𝑥 1 = 𝜆 −4 0 = 1−4𝜆 1

Steepest Descent: Contoh Fungsi Kuadrat (2 Variabel) 𝑓 𝜆 = 3(1−4𝜆) −4𝜆 −6 1−4𝜆 −8+6 =48 𝜆 2 −24𝜆+3+2+4−16𝜆−6+24𝜆−2 =48 𝜆 2 −16𝜆+1 Cari 𝜆 yang meminimumkan 𝑓 𝜆 : 𝛻𝑓 𝜆 =96 𝜆 −16=0 𝜆𝑚𝑖𝑛= = 1 6 𝛻𝑓( 𝑥 0 ) =4>𝜀 (Terus)

Steepest Descent: Contoh Fungsi Kuadrat (2 Variabel) Iterasi 2 𝑥 1 = −4 0 = 1/3 1 Iterasi 1 𝛻𝑓( 𝑥 1 )= 0 −8/3 𝑑 1 = 0 8/3 (1,1) (1/3,1) 𝑥 2 = 1/3 1 +𝜆 0 8/3 = 𝜆

Steepest Descent: Contoh Fungsi Kuadrat (2 Variabel) 𝑓 𝜆 = − 8 3 𝜆 𝜆 − − 𝜆 +6 = 𝜆 𝜆 𝜆−2−8− 64 3 𝜆+6 = 𝜆 2 − 64 9 𝜆+ 1 3 Cari 𝜆 yang meminimumkan 𝑓 𝜆 : 𝛻𝑓 𝜆 = 𝜆 − 64 9 =0 𝜆𝑚𝑖𝑛= 1 4 𝛻𝑓( 𝑥 1 ) = (Terus)

Steepest Descent: Contoh Fungsi Kuadrat (2 Variabel) 𝑥 2 = 𝜆 = = Iterasi 2 (1/3,5/3) (1/3,1)

Steepest Descent: Contoh Fungsi Kuadrat (2 Variabel) Contoh Iterasi ketiga 𝑥 2 = 𝛻𝑓 𝑥 2 = 𝑑 2 =−𝛻𝑓 𝑥 2 = Iterasi berlanjut karena 𝛻𝑓( 𝑥 2 ) >0 𝑥 3 = 𝑥 2 +𝜆 𝑑 2 𝑥 3 = −𝜆 = − 8𝜆 𝑓 𝜆 =3 8𝜆 3 − − (16𝜆) 9 − 14 9 agar diperoleh λ minimum maka 𝛻𝑓 𝜆 =0 (128𝜆) 3 − 64 9 =0 𝜆= 1 6 𝑥 3 = − 8𝜆 = −

Steepest Descent: Contoh Fungsi Kuadrat (2 Variabel) min min Iterasi ketiga Iterasi ke-40 Buat program untuk metode SD dan gunakan pada fungsi pangkat 4 yang memiliki titik minimum. Gambarkan proses iterasinya dan nyatakan hasil iterasinya dalam bentuk table seperti pada metode bisection

Steepest Descent Contoh dengan Fungsi Pangkat 2 2𝑥 1 2 −4 𝑥 𝑥 2 2 −4 𝑥 2 mulai dari titik (−1,0) 𝑖 𝑥 1 𝑥 2 𝑓( 𝑥 ) -1 1 1.2222 1.1111 2 3 6 10 20 26

Steepest Descent: Contoh Fungsi Kuadrat (2 Variabel) Contoh dengan Fungsi Pangkat 3 𝑥 𝑥 𝑥 𝑥 mulai dari titik (1,1) (menggunakan matlab) Secara analitis, diperoleh empat kandidat. Apa saja? Dua diantaranya tidak memenuhi syarat keoptimalan. Satu adalah titik maksimum dan satu titik minimum. Titik mana?

Steepest Descent: Contoh Fungsi Kuadrat (2 Variabel) Tidak cocok dengan perhitungan analitis. Dimana letak kesalahannya? Mungkinkah dibuat menjadi konvergen ke titik minimum yang dicari?

Conjugate Gradient (Fletcher-Reeves) Algoritma Conjugate Gradient pada prinsipnya sama seperti Steepest Descent, tetapi arah vektornya adalah kombinasi linier dari gradien iterasi sekarang dengan gradien iterasi sebelumnya. Sehingga, perbedaan antara metode Conjugate Gradient dan Metode Steepest Decent hanyalah pada algoritma penentuan arah penurunan nilai f(x) atau disebut d

Conjugate Gradient (Fletcher-Reeves) Pada tahap awal ditentukan salah satu titik 𝑥 0 . Vektor 𝑑 0 atau arah menurunnya nilai 𝑓(𝑥) pada titik 𝑥 0 adalah −𝛻𝑓( 𝑥 0 ). Penentuan nilai d berikutnya atau di, 1=1,2,…adalah dengan rumus sebagai berikut: 𝑑 𝑖 =−𝛻 𝑓 𝑖 + 𝛻 𝑓 𝑖 𝛻 𝑓 𝑖− 𝑑 𝑖−1 Rumus ini menyatakan kombinasi linear arah sebelumnya ( 𝑑 𝑖−1 ) dengan arah penurunan terbaik pada titik terakhir (𝛻𝑓 𝑥 𝑖 )

Conjugate Gradient (Fletcher-Reeves) Pseudocode untuk algoritma ini adalah sebagai berikut: Tentukan satu titik awal 𝑥 0 . Tentukan tingkat ketelitian ∈. Set 𝑖=0. Tentukan arah peregerakan awal 𝑑 0 =−𝛻𝑓 𝑥 0 =−𝛻 𝑓 0 Cari 𝜆 0 ∗ yaitu 𝜆 yang meminimumkan 𝑓( 𝑥 0 + 𝜆 0 𝑑 0 ) Set 𝑖=𝑖+1 Hitung 𝑥 𝑖 = 𝑥 𝑖−1 + 𝜆 𝑖−1 ∗ 𝑑 𝑖−1 Hitung 𝛻𝑓 𝑥 𝑖 =𝛻 𝑓 𝑖 , Hitung 𝑑 𝑖 =−𝛻 𝑓 𝑖 + 𝛻 𝑓 𝑖 𝛻 𝑓 𝑖− 𝑑 𝑖−1 If 𝑑 𝑖 > ∈, cari 𝜆 𝑖 ∗ yang meminimumkan 𝑓( 𝑥 𝑖 + 𝜆 𝑖 𝑑 𝑖 ). Go to 4 Else, 𝑥 𝑖 adalah titik minimum. Hitung nilai minimum 𝑓( 𝑥 𝑖 ). Stop

Conjugate Gradient (Fletcher-Reeves) Contoh Min 3 𝑥 𝑥 𝑥 1 𝑥 2 −6 𝑥 1 −8 𝑥 2 +6 mulai dari (1,1) Dapat dicari: 𝛻𝑓 𝑥 = 6 𝑥 1 +4 𝑥 2 −6 4 𝑥 1 +4 𝑥 2 −8 Iterasi 0 (sama dengan SD): 𝑥 0 = 𝛻𝑓( 𝑥 0 )= 𝑑 0 = −4 0 𝑑 0 =4>𝜀 (Terus) Telah diperoleh 𝑥 1 = −4 0 = 1/3 1 (1,1) (1/3,1)

Conjugate Gradient (Fletcher-Reeves) Iterasi 1 𝛻𝑓( 𝑥 1 )= 0 −8/3 𝑑 1 =−𝛻𝑓 𝑥 𝛻𝑓 𝑥 𝛻𝑓 𝑥 𝑑 0 =− 0 −8/3 + (8/3) −4 0 = −16/9 −8/3 𝑑 1 ≥𝜀 (Terus) 𝑥 2 = 𝑥 1 + 𝜆 1 𝑑 1 = 1/ 𝜆 1 −16/9 −8/3 Cari 𝜆 1 yang meminimumkan 𝑓 𝑥 1 =𝑓( 𝜆 1 )

Conjugate Gradient (Fletcher-Reeves) 𝑓 𝜆 = 𝜆 𝜆 1 − 1 3 agar diperoleh 𝜆 1 minimum maka 𝛻𝑓( 𝜆 1 ) = 0 1704𝜆 = 0 𝜆 1 = − =− 𝑥2 = − 16 9 (− ) 1− 8 3 (− ) = , 𝑑 1 ≥𝜀 (Terus) Iterasi 1 min 𝒙 𝟐 𝒅 𝟏 𝒅 𝟎 𝒙 𝟏 𝒙 𝟎 Kerjakan contoh ini secara terstruktur sesuai dengan langkah-langkah pada pseudo code yang diberikan. Apakah pseudo code tersebut dapat dibuat lebih efisien? Jelaskan

Conjugate Gradient (Fletcher-Reeves) Buat program untuk metode CD dan gunakan pada fungsi pangkat 4 yang memiliki titik minimum. Gambarkan proses iterasinya dan nyatakan hasil iterasinya dalam bentuk table seperti pada metode bisection

Conjugate Gradient (Fletcher-Reeves) Metode ini memang relatif lebih cepat namun seringkali efek rotasi dan translasi yang dimiliki menyebabkan arah pergerakan penurunan nilai f(x) berbelok terlalu jauh dari semestinya.

Conjugate Gradient Contoh dengan Fungsi Pangkat 2 2𝑥 1 2 −4 𝑥 𝑥 2 2 −4 𝑥 2 mulai dari titik (−1,0) 𝑖 𝑥 1 𝑥 2 𝑓( 𝑥 ) -1 1 1.2222 1.1111 2 0.8573 1.8612 3 1.0147 1.9442 -7,9758 6 0.9993 1.9993 10 20 23

Conjugate Gradient (Fletcher-Reeves) Contoh dengan Fungsi Pangkat 3 𝑥 𝑥 𝑥 𝑥 mulai dari titik (1,1) (menggunakan matlab)

Conjugate Gradient (Fletcher-Reeves)

Conjugate Gradient (Fletcher-Reeves) Tidak cocok dengan perhitungan analitis. Dimana letak kesalahannya? Mungkinkah dibuat menjadi konvergen ke titik minimum yang dicari?

Newton Dengan menggunakan turunan pertama saja, ternyata diperlukan banyak iterasi untuk mencapai titik minimum walaupun hanya untuk fungsi orde dua. Dengan tujuan meminimalisir jumlah iterasi, metode newton menggunakan turunan pertama dan kedua. Sehingga untuk fungsi orde dua, hanya diperlukan satu iterasi untuk mencapai titik minimum yang dituju

Newton Metode Newton didasarkan pada ekspansi 𝑓(𝑥) di sekitar titik 𝑥 0 dengan menggunakan Deret Taylor 𝑓 𝑥 0 =𝑓 𝑥 0 + 𝑓 ′ 𝑥 0 𝑥− 𝑥 ! 𝑓 ′′ 𝑥− 𝑥 … Nilai x di sekitar x0 adalah 𝑥= 𝑥 0 +𝑑 𝑑=𝑥− 𝑥 0 Maka Deret Taylor menjadi 𝑓 𝑥 0 =𝑓 𝑥 0 + 𝑓 ′ 𝑥 0 𝑑+ 1 2! 𝑓 ′′ 𝑑 2 +…

Newton Karena 𝑥 0 adalah angka, maka 𝑓 ′ 𝑥 0 =𝛻𝑓 𝑥 0 ; 𝑓 ′′ 𝑥 0 =𝐻( 𝑥 0 ) adalah angka Sehingga, fungsi 𝑓(𝑥) menjadi fungsi𝑑, atau 𝑓(𝑑) 𝑓 𝑥 0 =𝑓 𝑥 0 +𝛻𝑓 𝑥 0 𝑇 𝑑+ 1 2! 𝑑 𝑇 𝐻 𝑥 0 𝑑+… Dengan pendekatan deret Taylor orde dua, diperoleh 𝑓 𝑑 =𝑓 𝑥 0 +𝛻𝑓 𝑥 0 𝑇 𝑑+ 1 2! 𝑑 𝑇 𝐻 𝑥 0 𝑑 Cari 𝑑 yang meminimumkan 𝑓(𝑑)

Newton 𝑓 𝑑 =𝑓 𝑥 0 +𝛻𝑓 𝑥 0 𝑇 𝑑+ 1 2! 𝑑 𝑇 𝐻 𝑥 0 𝑑 𝑓 ′ 𝑑 =𝛻𝑓 𝑥 0 +𝐻 𝑥 0 𝑑=0  persamaan linier dalam d Atau 𝑑 = − 𝐻 −1 ( 𝑥 0 )𝛻 𝑓( 𝑥 0 ) steepest descent Nilai − 𝐻 −1 ( 𝑥 0 ) akan memberi efek pergeseran sudut (rotasi) dan penambah besar (translasi) dari arah steepest descent. Sehingga pada metode Newton tidak perlu menghitung 𝜆 dan pergeseran seperti pada CG

Newton Algoritma ini dapat dituliskan dalam pseudocode berikut ini: Ambil titik sembarang 𝑥 0 . Set 𝑖 = 0 Hitung 𝛻𝑓( 𝑥 𝑖 ) If 𝛻𝑓( 𝑥 𝑖 ) ≤ ∈ then 𝑥 𝑖 titik minimum. Hitung nilai min 𝑓( 𝑥 𝑖 ). Stop Else, 𝑖=𝑖+1 𝑑 𝑖−1 = − 𝐻 −1 ( 𝑥 𝑖−1 )𝛻 𝑓( 𝑥 𝑖−1 ) 𝑥 𝑖 = 𝑥 𝑖−1 + 𝑑 𝑖−1 Go to 2

Newton Contoh Min 3 𝑥 𝑥 𝑥 1 𝑥 2 −6 𝑥 1 −8 𝑥 2 +6 mulai dari (1,1) Tentukan 𝛻𝑓 𝑥 = 6 𝑥 1 +4 𝑥 2 −6 4 𝑥 1 +4 𝑥 2 −8 Iterasi 0: 𝑖=0, 𝑥 0 = 𝛻𝑓( 𝑥 0 )= 4 0 𝛻𝑓( 𝑥 0 ) =4> ∈ (Terus)

Newton Iterasi 1 𝐻(𝑥 0 )= 𝑑 0 = − 𝐻 −1 𝑥 0 𝛻 𝑓 𝑥 0 = −2 2 𝑥1 = 𝑥0 + 𝑑0 = −2 2 = −1 3 Iterasi 2 𝛻𝑓 𝑥1 = 0 0 𝛻𝑓( 𝑥 0 ) =0≤ ∈ (stop) Titik 𝑥 1 = −1 3 adalah titik minimum dengan nilai fungsi minimum =−3

Newton min 𝒙 𝟏 Rancang metode Newton untuk scalar dan cobakan pada contoh dan tugas yang dipergunakan untuk metode bisection dengan derivatif 𝒅 𝟏 𝒙 𝟎 Buat program untuk metode newton dan gunakan pada fungsi pangkat 4 yang memiliki titik minimum. Gambarkan proses iterasinya dan nyatakan hasil iterasinya dalam bentuk table seperti pada metode bisection

Newton Contoh dengan Fungsi Pangkat 2 2𝑥 1 2 −4 𝑥 𝑥 2 2 −4 𝑥 2 mulai dari titik (−1,0) 𝑖 𝑥 1 𝑥 2 𝑓( 𝑥 ) -1 1 2

Newton Contoh dengan Fungsi Pangkat 4 𝑥 𝑥 1 2 𝑥 𝑥 𝑥 1 2 −4 𝑥 mulai dari titik (2,2) 𝑖 𝑥 1 𝑥 2 𝑓( 𝑥 ) 2 1 1,1267 1,9154 -0,4055 0,4108 2,0716 -7,0357 3 0,0543 2,0332 -7,9758 4 0,0014 2,0014 -7,9999 5 0,0000 2,0000

Newton Contoh dengan Fungsi Pangkat 4 𝑥 𝑥 1 2 𝑥 𝑥 𝑥 1 2 −4 𝑥 mulai dari titik (−2,2) 𝑖 𝑥 1 𝑥 2 𝑓( 𝑥 ) 2 1 1,9154 -0,4055 2,0716 -7,0357 3 2,0332 -7,9758 4 2,0014 -7,9999 5 2,0000

Newton Contoh dengan Fungsi Pangkat 4 𝑥 𝑥 1 2 𝑥 𝑥 𝑥 1 2 −4 𝑥 mulai dari titik (2,−2) 𝑖 𝑥 1 𝑥 2 𝑓( 𝑥 ) 2 1 1.1267 -1,9154 -0,4055 0.4108 -2,0716 -7,0357 3 0.0543 -2,0332 -7,9758 4 0.0014 -2,0014 -7,9999 5 0.0000 -2,0000

Conjugate Gradient (Fletcher-Reeves) Contoh dengan Fungsi Pangkat 3 𝑥 𝑥 𝑥 𝑥 mulai dari titik (1,1) (menggunakan matlab)

Conjugate Gradient (Fletcher-Reeves)

Penyelidikan Operasi Penyelesaian Numerik

Presentasi serupa

Presentasi berjudul: "Penyelidikan Operasi Penyelesaian Numerik"— Transcript presentasi:

Presentasi serupa

Tentang proyek

Tanggapan

Masuk

Otorisasi melalui jaringan sosial:

Penyelidikan Operasi Penyelesaian Numerik

Presentasi serupa

Presentasi berjudul: "Penyelidikan Operasi Penyelesaian Numerik"— Transcript presentasi:

Presentasi serupa

Tentang proyek

Tanggapan