Penyelidikan Operasi Penyelesaian Numerik Persoalan Optimisasi Tanpa Kendala

Materi 1. Fungsi Variabel Tunggal ► Bisection ► Golden Section ► Bisection dengan Derifatif 2. Fungsi Variabel Banyak ► Steepest Descent ► Conjugate Gradient ► Newton

Fungsi Variabel Tunggal Bisection Penjelasan Geometris Dicari suatu titik minimum 𝑓(𝑥) yang terdapat antara 𝑎 dan 𝑏 min 𝑓(𝑥) 𝑎≤𝑥≤𝑏

Fungsi Variabel Tunggal Bisection Penjelasan Geometris Ambil 2 titik sembarang dalam interval 𝑎 dan 𝑏 yaitu 𝑥 1 dan 𝑥 2 dengan 𝑎< 𝑥 1 < 𝑥 2 <𝑏

Fungsi Variabel Tunggal Bisection Penjelasan Geometris Karena 𝑓( 𝑥 1 ) lebih kecil dari 𝑓( 𝑥 2 ) maka tidak mungkin titik minimum di sebelah kanan 𝑥 2 . Sehingga bagian disebelah kanan 𝑥 2 dapat dibuang dan 𝑥 2 lama menjadi 𝑏 baru. Selanjutnya ambil lagi titik 𝑥 1 dan 𝑥 2 baru

Fungsi Variabel Tunggal Bisection Penjelasan Geometris Langkah tadi kembali dilakukan karena 𝑓( 𝑥 1 ) masih lebih kecil dari 𝑓( 𝑥 2 )

Fungsi Variabel Tunggal Bisection Penjelasan Geometris Karena 𝑓( 𝑥 1 ) sama dengan 𝑓( 𝑥 2 ), maka x1 menjadi a baru x2 menjadi b baru lalu diambil titik 𝑥 1 dan 𝑥 2 baru. Proses ini dilakukan hingga 𝑎 dan 𝑏 memiliki selisih yang cukup kecil sesuai dengan ketelitian yang diinginkan

Fungsi Variabel Tunggal Bisection Langkah-langkah diatas dapat dituliskan dalam pseudo code sbb: Take 2 titik sembarang 𝑎< 𝑥 1 < 𝑥 2 <𝑏 While 𝑏−𝑎 >𝜖 do: (ϵ adalah tingkat ketelitian yang diinginkan) Calculate 𝑓( 𝑥 1 ) dan 𝑓( 𝑥 2 ) 4. If 𝑓( 𝑥 1 )<𝑓( 𝑥 2 ) then 𝑏= 𝑥 1 else if 𝑓( 𝑥 1 )>𝑓( 𝑥 2 ) then 𝑎= 𝑥 1 else 𝑎= 𝑥 1 dan 𝑏= 𝑥 2 5. Repeat until 𝑏−𝑎 ≤𝜖 6. Titik minimum adalah 𝑥 ∗ = 𝑎+𝑏 2 dengan nilai minimum = 𝑓( 𝑥 ∗ )

Fungsi Variabel Tunggal Bisection Contoh Min 𝑥 2 −2𝑥+4 Dengan 0< 𝑥 ∗ <3 Ketelitian 1,5

Fungsi Variabel Tunggal Bisection 𝑥 1 =0,5; 𝑥 2 =2,5 𝑓 𝑥 1 = 0,5 2 −2 0,5 +4=3,25 𝑓 𝑥 2 = 2,5 2 −2 2,5 +4=5,25 𝑓 𝑥 1 <𝑓 𝑥 2 𝑎=0 dan 𝑏=2,5 𝑏−𝑎 =2,5>1,5 Iterasi dilanjutkan Contoh Iterasi 0 Min 𝑥 2 −2𝑥+4 𝑎=0 dan 𝑏=3 ∈ =1,5

Fungsi Variabel Tunggal Bisection 𝑥 1 =0,5; 𝑥 2 =2 𝑓 𝑥 1 = 0,5 2 −2 0,5 +4=3,25 𝑓 𝑥 2 = 2 2 −2 2 +4=4 𝑓 𝑥 1 <𝑓 𝑥 2 𝑎=0 dan 𝑏=2 𝑏−𝑎 =2>1,5 Iterasi dilanjutkan Contoh Iterasi 1 Min 𝑥 2 −2𝑥+4 𝑎=0 dan 𝑏=2,5 ∈ =1,5

Fungsi Variabel Tunggal Bisection 𝑥 1 =0,5; 𝑥 2 =1,5 𝑓 𝑥 1 = 0,5 2 −2 0,5 +4=3,25 𝑓 𝑥 2 = 1,5 2 −2 1,5 +4=3,25 𝑓 𝑥 1 =𝑓 𝑥 2 𝑎=0,5 dan 𝑏=1,5 𝑏−𝑎 =1>1,5 Iterasi dihentikan Contoh Iterasi 2 Min 𝑥 2 −2𝑥+4 𝑎=0 dan 𝑏=2 ∈ =1,5

Fungsi Variabel Tunggal Bisection Contoh Maka nilai minimum 𝑓 𝑥 pada 𝑥 ∗ = 𝑎+𝑏 2 = (0,5+1,5) 2 =1 Nilai minimum 𝑓(𝑥) adalah 𝑓 𝑥 = 1 2 −2 1 +4=3

Fungsi Variabel Tunggal Bisection Tabel Iterasi i x1 x2 f(x1) f(x2) a b |b-a| ∈ 0.5 2.5 3.25 5.25 1.5 1 2 4 Buat program untuk metode Bisection. Gunakan untuk fungsi pangkat 4 yang memiliki nilai minimum untuk menghasilkan tabel seperti diatas sampai ketelitian 0,1. Kerjakan untuk dua pasang nilai (a,b) berbeda.

Fungsi Variabel Tunggal Bisection Contoh: Min 𝑥 4 −8 𝑥 2 +16 proses iterasi di MATLAB 𝑖 𝑎 𝑏 𝑥 1 𝑥 2 𝑓( 𝑥 1 ) 𝑓( 𝑥 2 ) 1 3 1,03 2,97 8,6383 23,2411 2 2,94 21,5630 2,91 19,9639 6 2.85 2.82 15.6215 10 2,73 1,3 2,7 10,8241 20 1,15 2,58 1,18 2,55 6,7996 6,2625 30 1,54 2,4 1,57 2,37 2,3565 2,1774 40 1,72 2,25 1,75 2,22 0,8789 0,8619 64 1,96 2,04 1,99 2,01 0,0251 0,016

Fungsi Variabel Tunggal Golden Section Tujuan dari Golden Section adalah untuk menyamakan banyaknya penghapusan nilai saat pergeseran nilai 𝑎 atau 𝑏

Ilustrasi Metode Golden Section Fungsi Variabel Tunggal Golden Section 1−𝑝 𝑙 𝑝𝑙 𝑎 𝑏 𝑥 2 𝑥 1 Ilustrasi Metode Golden Section Penjelasan Geometris: Rasio yang sama untuk dua kasus 𝑎 ke 𝑥 1 dan 𝑏 ke 𝑥 2 𝑎 ke 𝑥 2 dan 𝑏 ke 𝑥 1 Membuat supaya salah titik tetap terpakai pada iterasi berikutnya

Ilustrasi Metode Golden Section Fungsi Variabel Tunggal Golden Section 1−𝑝 𝑙 𝑝𝑙 𝑎 𝑏 𝑥 2 𝑥 1 𝑎 ′ 𝑏 ′ 𝑥 2 ′ 𝑥 1 ′ Ilustrasi Metode Golden Section Kasus 𝑓( 𝑥 1 )<𝑓( 𝑥 2 ) 𝑙′ 𝑝𝑙’ Penjelasan Geometris: 1−𝑝 𝑙=𝑝(𝑝𝑙) 𝑝 2 +𝑝−1=0

Fungsi Variabel Tunggal Golden Section 2. If 𝑓( 𝑥 1 )<𝑓( 𝑥 2 ) then 𝑏= 𝑥 2 𝑥 2 = 𝑥 1 𝑙=𝑝𝑙, 𝑥 1 =𝑎+ 1−𝑝 𝑙 Langkah-langkah : Input : 𝑎,𝑏,𝑝,𝜖 𝑙=𝑏−𝑎 𝑥 1 =𝑎+ 1−𝑝 𝑙 𝑥 2 =𝑎+𝑝𝑙 1. Hitung 𝑓 𝑥 1 𝑑𝑎𝑛 𝑓( 𝑥 2 ) Else, if 𝑓( 𝑥 1 )>𝑓( 𝑥 2 ) then 𝑎= 𝑥 1 𝑥 1 = 𝑥 2 𝑙=𝑝𝑙 𝑥 2 =𝑎+𝑝𝑙 Else 𝑎= 𝑥 1 , 𝑏= 𝑥 2 𝑙=𝑏−𝑎 𝑥 1 =𝑎+ 1−𝑝 𝑙, 𝑥 2 =𝑎+𝑝𝑙 3. If 𝑙≤𝜖 then 𝑥 ∗ = 𝑏−𝑎 2 . Stop Else, back to 1

Fungsi Variabel Tunggal Golden Section Contoh min 𝑥 2 −2𝑥+4 dengan 0< 𝑥 ∗ <3 ketelitian 1,5

Fungsi Variabel Tunggal Golden Section 𝑥 1 =1,146 ; 𝑥 2 =1,854 𝑓 𝑥 1 = 1,146 2 −2 1,146 +4 =3,02 𝑓 𝑥 2 = 1,854 2 −2 1,854 +4 =3,72 𝑓 𝑥 1 <𝑓( 𝑥 2 ) 𝑎=0 dan 𝑏=1,854 𝑙=𝑝𝑙=1,854 , 𝑥 2 =1,146 Iterasi dilanjutkan Contoh Iterasi 0 min 𝑥 2 −2𝑥+4 𝑎=0 dan 𝑏=3 𝑙=3−0=3 𝑥 1 =𝑎+ 1−𝑝 𝑙=1,146 𝑥 2 =𝑎+𝑝𝑙=1,854 ∈ =1,5<𝑙

Fungsi Variabel Tunggal Golden Section 𝑥 1 =0,708 ; 𝑥 2 =1,146 𝑓 𝑥 1 = 0,708 2 −2 0,708 +4 =3,08 𝑓 𝑥 2 = 1,146 2 −2 1,146 +4 =3,02 𝑓 𝑥 1 >𝑓( 𝑥 2 ) 𝑎=0,708 dan 𝑏=1,854 𝑙=𝑝𝑙=1,145 , 𝑥 1 =1,146 Iterasi dilanjutkan Iterasi 1 min 𝑥 2 −2𝑥+4 𝑎=0 dan 𝑏=1,854 𝑙=1,854 𝑥 1 =𝑎+ 1−𝑝 𝑙=0.708 𝑥 2 =1,146 ∈ =1,5<𝑙

Fungsi Variabel Tunggal Golden Section Iterasi 2 min 𝑥 2 −2𝑥+4 𝑎=0,708 dan 𝑏=1,854 𝑙=1,145 𝑥 1 =1,146 𝑥 2 =𝑎+𝑝𝑙=1,145 ∈ =1,5>𝑙 STOP 𝑥 ∗ = 𝑎+𝑏 2 = 0,708+1,854 2 =1,281 Buat program untuk metode Golden Section. Gunakan untuk fungsi pangkat 4 yang memiliki nilai minimum untuk menghasilkan tabel seperti pada bagian Bisection sampai ketelitian 0,1. Kerjakan untuk dua pasang nilai (a,b) berbeda.

Fungsi Variabel Tunggal Golden Section Contoh: 𝑥 4 −8 𝑥 2 +16 proses iterasi di MATLAB 𝑖 𝑎 𝑏 𝑥 1 𝑥 2 𝑓( 𝑥 1 ) 𝑓( 𝑥 2 ) 1 3 1.7640 2.2360 0.0027 1.0000 1.4722 0.7891 0.9994 2 1.9442 3.3590 2.0557 0.0484 4 1.8754 0.0511 5 1.9869 0.2330 6 2.0131 7 1.9705

Fungsi Variabel Tunggal Bisection dengan Derivatif Dua metode yang telah dijelaskan di depan tidak menggunakan derivatif fungsi yang akan dicari nilai minimumnya. Sehingga prosesnya menjadi lambat. Keuntungannya, kedua metode tersebut dapat dipakai untuk fungsi yang tidak memiliki derivatif ataupun yang derivatifnya sulit dicari. Apabila derivative dari fungsi yang akan dicari nilai minimumnya diketahui, berdasarkan informasi ini proses pencarian titik minimum akan dapat dilakukan dengan lebih cepat.

Fungsi Variabel Tunggal Bisection dengan Derivatif Mempermudah mencari nilai titik minimum pada fungsi yang derivatifnya diketahui Tidak bisa atau sulit digunakan untuk fungsi yang tidak memiliki derivatifnya atau derivatifnya sulit dicari Untuk mempermudah pencarian nilai titik minimum, dikarenakan pada titik minimum nilai 𝑓’(𝑥) = 0 Metode Bisection dengan derivatif dirancang dengan menggunakan prinsip: Jika 𝑓’(𝑥) < 0  titik minimum yang dicari ada disebelah kanan titik x Jika 𝑓’(𝑥) > 0  titik minimum yang dicari ada disebelah kiri titik x Jika 𝑓’(𝑥) = 0  titik minimum yang dicari ada pada titik x tersebut

Fungsi Variabel Tunggal Bisection dengan Derivatif 𝑓(𝑥) = 𝑥 2 − 1 𝑓′(𝑥) =2𝑥 Di titik ini, nilai f’ < 0, dapat di lihat dari grafik bahwa titik optimum ada di sebelah kanan Di titik ini, nilai f’ > 0, dapat di lihat dari grafik bahwa titik optimum ada di sebelah kiri Di titik ini, nilai f’ = 0 titik ini merupakan titik optimum

Fungsi Variabel Tunggal Bisection dengan Derivatif Langkah-langkah diatas dapat dituliskan dalam pseudo code sbb: 1. Take 2 titik sembarang 𝑎, 𝑏 2. While 𝑏 − 𝑎 > 𝜖 do: (ϵ adalah tingkat ketelitian yang diinginkan) Take nilai 𝑥 sembarang dengan syarat, 𝑎 < 𝑥 < 𝑏 (bisa 𝑥 = 𝑎+𝑏 2 ) Calculate 𝑓’(𝑥) If 𝑓’(𝑥) < 0 then 𝑎 = 𝑥 else if 𝑓’(𝑥) > 0 then 𝑏 = 𝑥 else if 𝑓’(𝑥) = 0 then 𝑥 ∗ = 𝑥, stop 3. Titik minimum adalah 𝑥 ∗ = 𝑎+𝑏 2 dengan nilai minimum 𝑓(𝑥 ∗ )

Fungsi Variabel Tunggal Bisection dengan Derivatif Contoh : Min 𝑥 2 − 2𝑥 + 4 Ambil titik sembarang, 𝑎 = 0 dan 𝑏 = 3 dengan ∈ = 1 𝑏 – 𝑎 = 3 > ∈ 𝑥 0 (titik sembarang antara a & b) = 2.5 𝑓’ 𝑥 0 = 2 2,5 – 2=3 𝑓’( 𝑥 0 ) > 0  titik optimum di sebelah kiri 𝑏= 𝑥 0 𝑎 = 0 dan 𝑏 = 2.5 𝑏 – 𝑎 = 2.5 > ∈ 𝑥 1 = 2 𝑓’( 𝑥 1 ) = 2 (𝑥 1 )– 2 = 2(2) – 2 =2 𝑓’( 𝑥 1 ) > 0  titik optimum di sebelah kiri 𝑏= 𝑥 1

Fungsi Variabel Tunggal Bisection dengan Derivatif 𝑎 = 0 dan 𝑏 = 2 𝑏 – 𝑎 = 2.5 > ∈ 𝑥 2 =1.5 𝑓’( 𝑥 2 ) = 2 (𝑥 2 )– 2 = 2(1.5) – 2 =1 𝑓’( 𝑥 2 ) > 0  titik optimum di sebelah kiri 𝑏= 𝑥 1 𝑎 = 0 dan 𝑏 =1.5 𝑏 – 𝑎 =1.5 > ∈ 𝑥 3 =1 𝑓’( 𝑥 3 ) = 2 (𝑥 3 )– 2 = 2(1) – 2 =0 𝑓’( 𝑥 3 ) > 0  titik optimum Jadi, titik optimumnya ada pada 𝑥=1

Fungsi Variabel Tunggal Bisection dengan Derivatif Contoh 𝑥 4 −8 𝑥 2 +16 proses iterasi di MATLAB dengan 𝑎=0;𝑏=6 𝑖 𝑎 𝑏 𝑥 𝑓(𝑥) 1 6 3 25 2 1.5000 3.0625 3.0000 2.2500 1.1289 1.8750 2.0625 1.9688 0.0154 𝑥 ∗ =2.0156 Buat program untuk metode Bisection dengan Derivatif. Gunakan untuk fungsi pangkat 4 yang memiliki nilai minimum untuk menghasilkan tabel seperti pada bagian Bisection sampai ketelitian 0,1. Kerjakan untuk dua pasang nilai (a,b) berbeda. Bandingkan kecepatan ketiga metode pada sub bab ini

Fungsi Variabel Banyak Steepest Descent: Penyelesaian Geometri Model matematika : Min 𝑓 𝑥 , 𝑥 adalah vektor Proses pencarian titik minimum dilakukan secara rekursif sebagai berikut: Dari suatu titik yang diketahui (x0), gerak berlawanan arah dengan gradien fungsi pada titik tersebut sampai didapat titik baru (x1) yang memiliki nilai 𝑓 𝑥 terkecil sepanjang garis −𝛻𝑓 𝑥 0 . Ulangi proses tersebut sampai tidak dapat memperoleh titik baru lagi Titik Min

Fungsi Variabel Banyak Steepest Descent: Penyelesaian Geometri Gradien 𝛻𝑓( 𝑥 0 ) merupakan arah penambahan terbesar dari nilai 𝑓 𝑥 pada 𝑥= 𝑥 0 . Sehingga −𝛻𝑓( 𝑥 0 ) adalah arah penurunan terbesar nilai 𝑓(𝑥) pada 𝑥= 𝑥 0 . Untuk mencari titik minimum sebaiknya bergerak sepanjang −𝛻𝑓( 𝑥 0 ) Untuk menentukan jauhnya, cari 𝜆 yang meminimumkan 𝑓 𝑥 0 +𝜆 𝑑 0 =𝑓(𝜆) yaitu fungsi variable tunggal sehingga dapat dicari dengan metode yang telah dijelaskan

Fungsi Variabel Banyak Steepest Descent: Penyelesaian Geometri 𝑥 𝑛 = 𝑥 𝑛−1 − 𝜆 𝑛 𝛻𝑓 𝑥 𝑛−1 𝑓 𝑥 𝑛 =𝑓( 𝑥 𝑛−1 −𝜆𝑛𝛻𝑓( 𝑥 𝑛−1 ) =𝑓( 𝜆 𝑛 ) 𝑥 1 = 𝑥 0 − 𝜆 1 𝛻𝑓 𝑥 0 𝑥 2 = 𝑥 1 − 𝜆 2 𝛻𝑓 𝑥 1 , dan seterusnya Definisikan: 𝑑 𝑛 = steepest descent direction (arah penurunan paling tajam) pada titik 𝑥 𝑛 𝑑 𝑛 =−𝛻𝑓 𝑥 𝑛 𝑥 𝑛+1 = 𝑥 𝑛 + 𝜆 𝑛+1 𝑑 𝑛

Fungsi Variabel Banyak Steepest Descent: Penyelesaian Geometri Sifat dari 𝑑 𝑛 : 𝑑 1 ⊥ 𝑑 2 𝑑 3 ⊥ 𝑑 2 ….. 𝑑 𝑛+1 ⊥ 𝑑 𝑛 min x3 d2 x2 Berlaku: 𝑑 1 . 𝑑 2 =0 𝑑 3 . 𝑑 2 =0 ….. 𝑑 𝑛+1 . 𝑑 𝑛 =0 Mengapa? Coba buktikan! d1 x1 d0 x0

Fungsi Variabel Banyak Steepest Descent: Penyelesaian Geometri Pseudocode: Take 1 titik sembarang sebagai 𝑥 0 . Set 𝑛=1 Find 𝛻𝑓( 𝑥 0 ) Calculate 𝑥 𝑛 = 𝑥 𝑛−1 − 𝜆 𝑛 𝛻𝑓( 𝑥 𝑛−1 ), nyatakan dengan 𝜆 𝑛 Expres 𝑓 𝑥 𝑛 =𝑓( 𝑥 𝑛−1 − 𝜆 𝑛 𝛻𝑓 𝑥 𝑛−1 ) sebagai 𝑓( 𝜆 𝑛 ) (karena 𝑓( 𝑥 𝑛−1 ) dan 𝛻𝑓( 𝑥 𝑛−1 ) dapat dihitung, 𝑓 𝑥 𝑛 =𝑓( 𝜆 𝑛 ) adalah merupakan fungsi skalar) Calculate 𝜆 𝑛 yang meminimumkan 𝑓( 𝜆 𝑛 ) If 𝛻𝑓( 𝑥 𝑛 ) > ∈, then set 𝑛=𝑛+1. Go to 3 Else, 𝑥 𝑛 adalah titik minimum dengan nilai minimum sebesar 𝑓( 𝑥 𝑛 ). Stop

Fungsi Variabel Banyak Steepest Descent: Contoh Fungsi Kuadrat (2 Variabel) Contoh min 3 𝑥 1 2 +2 𝑥 2 2 +4 𝑥 1 𝑥 2 −6 𝑥 1 −8 𝑥 2 +6 Dengan Steepest Descent mulai dari (1,1) 𝛻𝑓 𝑥 = 6 𝑥 1 +4 𝑥 2 −6 4 𝑥 1 +4 𝑥 2 −8 Iterasi 1 𝑥 0 = 1 1 𝛻𝑓( 𝑥 0 )= 4 0 𝑑 0 = −4 0 𝑥 1 = 1 1 +𝜆 −4 0 = 1−4𝜆 1

Fungsi Variabel Banyak Steepest Descent: Contoh Fungsi Kuadrat (2 Variabel) 𝑓 𝜆 = 3(1−4𝜆) 2 +2+4 1−4𝜆 −6 1−4𝜆 −8+6 =48 𝜆 2 −24𝜆+3+2+4−16𝜆−6+24𝜆−2 =48 𝜆 2 −16𝜆+1 Cari 𝜆 yang meminimumkan 𝑓 𝜆 : 𝛻𝑓 𝜆 =96 𝜆 −16=0 𝜆𝑚𝑖𝑛= 16 96 = 1 6 𝛻𝑓( 𝑥 0 ) =4>𝜀 (Terus)

Fungsi Variabel Banyak Steepest Descent: Contoh Fungsi Kuadrat (2 Variabel) Iterasi 2 𝑥 1 = 1 1 + 1 6 −4 0 = 1/3 1 Iterasi 1 𝛻𝑓( 𝑥 1 )= 0 −8/3 𝑑 1 = 0 8/3 (1,1) (1/3,1) 𝑥 2 = 1/3 1 +𝜆 0 8/3 = 1 3 1+ 8 3 𝜆

Fungsi Variabel Banyak Steepest Descent: Contoh Fungsi Kuadrat (2 Variabel) 𝑓 𝜆 = 3 1 3 2 +2 1− 8 3 𝜆 2 +4 1 3 1+ 8 3 𝜆 −6 1 3 −8 1+ 8 3 𝜆 +6 = 1 3 +2+ 32 3 𝜆+ 128 9 𝜆 2 + 4 3 + 32 9 𝜆−2−8− 64 3 𝜆+6 = 128 9 𝜆 2 − 64 9 𝜆+ 1 3 Cari 𝜆 yang meminimumkan 𝑓 𝜆 : 𝛻𝑓 𝜆 = 256 9 𝜆 − 64 9 =0 𝜆𝑚𝑖𝑛= 1 4 𝛻𝑓( 𝑥 1 ) = 8 3 (Terus)

Fungsi Variabel Banyak Steepest Descent: Contoh Fungsi Kuadrat (2 Variabel) 𝑥 2 = 1 3 1+ 8 3 𝜆 = 1 3 1+ 2 3 = 1 3 5 3 Iterasi 2 (1/3,5/3) (1/3,1)

Fungsi Variabel Banyak Steepest Descent: Contoh Fungsi Kuadrat (2 Variabel) Contoh Iterasi ketiga 𝑥 2 = 1 3 5 3 𝛻𝑓 𝑥 2 = 8 3 0 𝑑 2 =−𝛻𝑓 𝑥 2 = 8 3 0 Iterasi berlanjut karena 𝛻𝑓( 𝑥 2 ) >0 𝑥 3 = 𝑥 2 +𝜆 𝑑 2 𝑥 3 = 1 3 5 3 −𝜆 8 3 0 = 1 3 − 8𝜆 3 5 3 𝑓 𝜆 =3 8𝜆 3 − 1 3 2 − (16𝜆) 9 − 14 9 agar diperoleh λ minimum maka 𝛻𝑓 𝜆 =0 (128𝜆) 3 − 64 9 =0 𝜆= 1 6 𝑥 3 = 1 3 − 8𝜆 3 5 3 = −1 9 5 3

Fungsi Variabel Banyak Steepest Descent: Contoh Fungsi Kuadrat (2 Variabel) min min Iterasi ketiga Iterasi ke-40 Buat program untuk metode SD dan gunakan pada fungsi pangkat 4 yang memiliki titik minimum. Gambarkan proses iterasinya dan nyatakan hasil iterasinya dalam bentuk table seperti pada metode bisection

Fungsi Variabel Banyak Steepest Descent Contoh dengan Fungsi Pangkat 2 2𝑥 1 2 −4 𝑥 1 1 + 𝑥 2 2 −4 𝑥 2 mulai dari titik (−1,0) 𝑖 𝑥 1 𝑥 2 𝑓( 𝑥 ) -1 1 1.2222 1.1111 -5.1111 2 0.85185 1.85185 -5.934156 3 1.01646 1.93415 -5.995123 6 0.99918 1.99918 -5.999998 10 0.9999955 1.9999955 -6.000000 20 0.9999999 1.99999999 26 1.0000000 1.9999999

Fungsi Variabel Banyak Steepest Descent: Contoh Fungsi Kuadrat (2 Variabel) Contoh dengan Fungsi Pangkat 3 𝑥 1 3 +2 𝑥 1 +20 2 + 𝑥 2 3 +2 𝑥 2 +20 2 mulai dari titik (1,1) (menggunakan matlab) Secara analitis, diperoleh empat kandidat. Apa saja? Dua diantaranya tidak memenuhi syarat keoptimalan. Satu adalah titik maksimum dan satu titik minimum. Titik mana?

Fungsi Variabel Banyak Steepest Descent: Contoh Fungsi Kuadrat (2 Variabel) Tidak cocok dengan perhitungan analitis. Dimana letak kesalahannya? Mungkinkah dibuat menjadi konvergen ke titik minimum yang dicari?

Fungsi Variabel Banyak Conjugate Gradient (Fletcher-Reeves) Algoritma Conjugate Gradient pada prinsipnya sama seperti Steepest Descent, tetapi arah vektornya adalah kombinasi linier dari gradien iterasi sekarang dengan gradien iterasi sebelumnya. Sehingga, perbedaan antara metode Conjugate Gradient dan Metode Steepest Decent hanyalah pada algoritma penentuan arah penurunan nilai f(x) atau disebut d

Fungsi Variabel Banyak Conjugate Gradient (Fletcher-Reeves) Pada tahap awal ditentukan salah satu titik 𝑥 0 . Vektor 𝑑 0 atau arah menurunnya nilai 𝑓(𝑥) pada titik 𝑥 0 adalah −𝛻𝑓( 𝑥 0 ). Penentuan nilai d berikutnya atau di, 1=1,2,…adalah dengan rumus sebagai berikut: 𝑑 𝑖 =−𝛻 𝑓 𝑖 + 𝛻 𝑓 𝑖 2 𝛻 𝑓 𝑖−1 2 . 𝑑 𝑖−1 Rumus ini menyatakan kombinasi linear arah sebelumnya ( 𝑑 𝑖−1 ) dengan arah penurunan terbaik pada titik terakhir (𝛻𝑓 𝑥 𝑖 )

Fungsi Variabel Banyak Conjugate Gradient (Fletcher-Reeves) Pseudocode untuk algoritma ini adalah sebagai berikut: Tentukan satu titik awal 𝑥 0 . Tentukan tingkat ketelitian ∈. Set 𝑖=0. Tentukan arah peregerakan awal 𝑑 0 =−𝛻𝑓 𝑥 0 =−𝛻 𝑓 0 Cari 𝜆 0 ∗ yaitu 𝜆 yang meminimumkan 𝑓( 𝑥 0 + 𝜆 0 𝑑 0 ) Set 𝑖=𝑖+1 Hitung 𝑥 𝑖 = 𝑥 𝑖−1 + 𝜆 𝑖−1 ∗ 𝑑 𝑖−1 Hitung 𝛻𝑓 𝑥 𝑖 =𝛻 𝑓 𝑖 , Hitung 𝑑 𝑖 =−𝛻 𝑓 𝑖 + 𝛻 𝑓 𝑖 2 𝛻 𝑓 𝑖−1 2 . 𝑑 𝑖−1 If 𝑑 𝑖 > ∈, cari 𝜆 𝑖 ∗ yang meminimumkan 𝑓( 𝑥 𝑖 + 𝜆 𝑖 𝑑 𝑖 ). Go to 4 Else, 𝑥 𝑖 adalah titik minimum. Hitung nilai minimum 𝑓( 𝑥 𝑖 ). Stop

Fungsi Variabel Banyak Conjugate Gradient (Fletcher-Reeves) Contoh Min 3 𝑥 1 2 +2 𝑥 2 2 +4 𝑥 1 𝑥 2 −6 𝑥 1 −8 𝑥 2 +6 mulai dari (1,1) Dapat dicari: 𝛻𝑓 𝑥 = 6 𝑥 1 +4 𝑥 2 −6 4 𝑥 1 +4 𝑥 2 −8 Iterasi 0 (sama dengan SD): 𝑥 0 = 1 1 𝛻𝑓( 𝑥 0 )= 4 0 𝑑 0 = −4 0 𝑑 0 =4>𝜀 (Terus) Telah diperoleh 𝑥 1 = 1 1 + 1 6 −4 0 = 1/3 1 (1,1) (1/3,1)

Fungsi Variabel Banyak Conjugate Gradient (Fletcher-Reeves) Iterasi 1 𝛻𝑓( 𝑥 1 )= 0 −8/3 𝑑 1 =−𝛻𝑓 𝑥 1 + 𝛻𝑓 𝑥 1 2 𝛻𝑓 𝑥 0 2 . 𝑑 0 =− 0 −8/3 + (8/3) 2 4 2 −4 0 = −16/9 −8/3 𝑑 1 ≥𝜀 (Terus) 𝑥 2 = 𝑥 1 + 𝜆 1 𝑑 1 = 1/3 1 + 𝜆 1 −16/9 −8/3 Cari 𝜆 1 yang meminimumkan 𝑓 𝑥 1 =𝑓( 𝜆 1 )

Fungsi Variabel Banyak Conjugate Gradient (Fletcher-Reeves) 𝑓 𝜆 = 852 27 𝜆 1 2 + 64 9 𝜆 1 − 1 3 agar diperoleh 𝜆 1 minimum maka 𝛻𝑓( 𝜆 1 ) = 0 1704𝜆 27 + 64 9 = 0 𝜆 1 = −192 1704 =−0.11268 𝑥2 = 1 3 − 16 9 (−0.11268) 1− 8 3 (−0.11268) = 0.53365 1,30048 𝑑 1 ≥𝜀 (Terus) Iterasi 1 min 𝒙 𝟐 𝒅 𝟏 𝒅 𝟎 𝒙 𝟏 𝒙 𝟎 Kerjakan contoh ini secara terstruktur sesuai dengan langkah-langkah pada pseudo code yang diberikan. Apakah pseudo code tersebut dapat dibuat lebih efisien? Jelaskan

Fungsi Variabel Banyak Conjugate Gradient (Fletcher-Reeves) Buat program untuk metode CD dan gunakan pada fungsi pangkat 4 yang memiliki titik minimum. Gambarkan proses iterasinya dan nyatakan hasil iterasinya dalam bentuk table seperti pada metode bisection

Fungsi Variabel Banyak Conjugate Gradient (Fletcher-Reeves) Metode ini memang relatif lebih cepat namun seringkali efek rotasi dan translasi yang dimiliki menyebabkan arah pergerakan penurunan nilai f(x) berbelok terlalu jauh dari semestinya.

Fungsi Variabel Banyak Conjugate Gradient Contoh dengan Fungsi Pangkat 2 2𝑥 1 2 −4 𝑥 1 1 + 𝑥 2 2 −4 𝑥 2 mulai dari titik (−1,0) 𝑖 𝑥 1 𝑥 2 𝑓( 𝑥 ) -1 1 1.2222 1.1111 -5.1111 2 0.8573 1.8612 -5.9400 3 1.0147 1.9442 -7,9758 6 0.9993 1.9993 -6.0000 10 0.999996 1.999995 20 1.000000003 1.999999991 23 1.000000000 1.999999999

Fungsi Variabel Banyak Conjugate Gradient (Fletcher-Reeves) Contoh dengan Fungsi Pangkat 3 𝑥 1 3 +2 𝑥 1 +20 2 + 𝑥 2 3 +2 𝑥 2 +20 2 mulai dari titik (1,1) (menggunakan matlab)

Fungsi Variabel Banyak Conjugate Gradient (Fletcher-Reeves)

Fungsi Variabel Banyak Conjugate Gradient (Fletcher-Reeves) Tidak cocok dengan perhitungan analitis. Dimana letak kesalahannya? Mungkinkah dibuat menjadi konvergen ke titik minimum yang dicari?

Fungsi Variabel Banyak Newton Dengan menggunakan turunan pertama saja, ternyata diperlukan banyak iterasi untuk mencapai titik minimum walaupun hanya untuk fungsi orde dua. Dengan tujuan meminimalisir jumlah iterasi, metode newton menggunakan turunan pertama dan kedua. Sehingga untuk fungsi orde dua, hanya diperlukan satu iterasi untuk mencapai titik minimum yang dituju

Fungsi Variabel Banyak Newton Metode Newton didasarkan pada ekspansi 𝑓(𝑥) di sekitar titik 𝑥 0 dengan menggunakan Deret Taylor 𝑓 𝑥 0 =𝑓 𝑥 0 + 𝑓 ′ 𝑥 0 𝑥− 𝑥 0 + 1 2! 𝑓 ′′ 𝑥− 𝑥 0 2 +… Nilai x di sekitar x0 adalah 𝑥= 𝑥 0 +𝑑 𝑑=𝑥− 𝑥 0 Maka Deret Taylor menjadi 𝑓 𝑥 0 =𝑓 𝑥 0 + 𝑓 ′ 𝑥 0 𝑑+ 1 2! 𝑓 ′′ 𝑑 2 +…

Fungsi Variabel Banyak Newton Karena 𝑥 0 adalah angka, maka 𝑓 ′ 𝑥 0 =𝛻𝑓 𝑥 0 ; 𝑓 ′′ 𝑥 0 =𝐻( 𝑥 0 ) adalah angka Sehingga, fungsi 𝑓(𝑥) menjadi fungsi𝑑, atau 𝑓(𝑑) 𝑓 𝑥 0 =𝑓 𝑥 0 +𝛻𝑓 𝑥 0 𝑇 𝑑+ 1 2! 𝑑 𝑇 𝐻 𝑥 0 𝑑+… Dengan pendekatan deret Taylor orde dua, diperoleh 𝑓 𝑑 =𝑓 𝑥 0 +𝛻𝑓 𝑥 0 𝑇 𝑑+ 1 2! 𝑑 𝑇 𝐻 𝑥 0 𝑑 Cari 𝑑 yang meminimumkan 𝑓(𝑑)

Fungsi Variabel Banyak Newton 𝑓 𝑑 =𝑓 𝑥 0 +𝛻𝑓 𝑥 0 𝑇 𝑑+ 1 2! 𝑑 𝑇 𝐻 𝑥 0 𝑑 𝑓 ′ 𝑑 =𝛻𝑓 𝑥 0 +𝐻 𝑥 0 𝑑=0  persamaan linier dalam d Atau 𝑑 = − 𝐻 −1 ( 𝑥 0 )𝛻 𝑓( 𝑥 0 ) steepest descent Nilai − 𝐻 −1 ( 𝑥 0 ) akan memberi efek pergeseran sudut (rotasi) dan penambah besar (translasi) dari arah steepest descent. Sehingga pada metode Newton tidak perlu menghitung 𝜆 dan pergeseran seperti pada CG

Fungsi Variabel Banyak Newton Algoritma ini dapat dituliskan dalam pseudocode berikut ini: Ambil titik sembarang 𝑥 0 . Set 𝑖 = 0 Hitung 𝛻𝑓( 𝑥 𝑖 ) If 𝛻𝑓( 𝑥 𝑖 ) ≤ ∈ then 𝑥 𝑖 titik minimum. Hitung nilai min 𝑓( 𝑥 𝑖 ). Stop Else, 𝑖=𝑖+1 𝑑 𝑖−1 = − 𝐻 −1 ( 𝑥 𝑖−1 )𝛻 𝑓( 𝑥 𝑖−1 ) 𝑥 𝑖 = 𝑥 𝑖−1 + 𝑑 𝑖−1 Go to 2

Fungsi Variabel Banyak Newton Contoh Min 3 𝑥 1 2 +2 𝑥 2 2 +4 𝑥 1 𝑥 2 −6 𝑥 1 −8 𝑥 2 +6 mulai dari (1,1) Tentukan 𝛻𝑓 𝑥 = 6 𝑥 1 +4 𝑥 2 −6 4 𝑥 1 +4 𝑥 2 −8 Iterasi 0: 𝑖=0, 𝑥 0 = 1 1 𝛻𝑓( 𝑥 0 )= 4 0 𝛻𝑓( 𝑥 0 ) =4> ∈ (Terus)

Fungsi Variabel Banyak Newton Iterasi 1 𝐻(𝑥 0 )= 6 4 4 4 𝑑 0 = − 𝐻 −1 𝑥 0 𝛻 𝑓 𝑥 0 = −2 2 𝑥1 = 𝑥0 + 𝑑0 = 1 1 + −2 2 = −1 3 Iterasi 2 𝛻𝑓 𝑥1 = 0 0 𝛻𝑓( 𝑥 0 ) =0≤ ∈ (stop) Titik 𝑥 1 = −1 3 adalah titik minimum dengan nilai fungsi minimum =−3

Fungsi Variabel Banyak Newton min 𝒙 𝟏 Rancang metode Newton untuk scalar dan cobakan pada contoh dan tugas yang dipergunakan untuk metode bisection dengan derivatif 𝒅 𝟏 𝒙 𝟎 Buat program untuk metode newton dan gunakan pada fungsi pangkat 4 yang memiliki titik minimum. Gambarkan proses iterasinya dan nyatakan hasil iterasinya dalam bentuk table seperti pada metode bisection

Fungsi Variabel Banyak Newton Contoh dengan Fungsi Pangkat 2 2𝑥 1 2 −4 𝑥 1 1 + 𝑥 2 2 −4 𝑥 2 mulai dari titik (−1,0) 𝑖 𝑥 1 𝑥 2 𝑓( 𝑥 ) -1 1 2 -6.00000

Fungsi Variabel Banyak Newton Contoh dengan Fungsi Pangkat 4 𝑥 1 4 + 𝑥 1 2 𝑥 2 2 + 1 2 𝑥 2 4 + 𝑥 1 2 −4 𝑥 2 2 mulai dari titik (2,2) 𝑖 𝑥 1 𝑥 2 𝑓( 𝑥 ) 2 1 1,1267 1,9154 -0,4055 0,4108 2,0716 -7,0357 3 0,0543 2,0332 -7,9758 4 0,0014 2,0014 -7,9999 5 0,0000 2,0000 -8.0000

Fungsi Variabel Banyak Newton Contoh dengan Fungsi Pangkat 4 𝑥 1 4 + 𝑥 1 2 𝑥 2 2 + 1 2 𝑥 2 4 + 𝑥 1 2 −4 𝑥 2 2 mulai dari titik (−2,2) 𝑖 𝑥 1 𝑥 2 𝑓( 𝑥 ) 2 1 -1.1267 1,9154 -0,4055 -0.4108 2,0716 -7,0357 3 -0.0543 2,0332 -7,9758 4 -0.0014 2,0014 -7,9999 5 -0.0000 2,0000 -8.0000

Fungsi Variabel Banyak Newton Contoh dengan Fungsi Pangkat 4 𝑥 1 4 + 𝑥 1 2 𝑥 2 2 + 1 2 𝑥 2 4 + 𝑥 1 2 −4 𝑥 2 2 mulai dari titik (2,−2) 𝑖 𝑥 1 𝑥 2 𝑓( 𝑥 ) 2 1 1.1267 -1,9154 -0,4055 0.4108 -2,0716 -7,0357 3 0.0543 -2,0332 -7,9758 4 0.0014 -2,0014 -7,9999 5 0.0000 -2,0000 -8.0000

Fungsi Variabel Banyak Conjugate Gradient (Fletcher-Reeves) Contoh dengan Fungsi Pangkat 3 𝑥 1 3 +2 𝑥 1 +20 2 + 𝑥 2 3 +2 𝑥 2 +20 2 mulai dari titik (1,1) (menggunakan matlab)

Fungsi Variabel Banyak Conjugate Gradient (Fletcher-Reeves)