1 Pertemuan 23 Pemilihan regresi terbaik Matakuliah: I0174/Analisis regresi Tahun: 2005 Versi: 1

2 Learning Outcomes Pada akhir pertemuan ini, diharapkan mahasiswa akan mampu : Memilih regresi terbaik

3 Outline Materi all possible regression best subset regression backward elimination step-wise regression

4 Prosedur (1) semua kemungkinan regresi (all possible regression) (2) regresi himpunan bagian terbaik (best subset regression) (3) eliminasi langkah mundur (backward elimination), (4) regresi bertatar (step-wise regression)

5 Prosedur semua kemungkinan regresi Pertama-tama prosedur ini menentukan semua kemungkinan persamaan regresi Setiap persamaan regresi harus dievaluisi menurut kriterium tertentu; tiga kriteria yang akan kita bahas adalah 1. nilai R 2 yang dicapai, 2. nilai s 2, jumlah kuadrat sisa, dan 3. statistik Cp.

6 Jika ada 4 perubah peramal (X1, X2, X3 dan X4) Kelompokkan persamaan-persamaan regresi itu ke dalam lima kelompok: Kelompok A : terdiri atas satu persamaan regresi dengan hanya nilai tengah model Y=βo Kelompok B terdiri atas empat persamaan regresi dengan 1-peubah peramal model Y = βo + β1 Xi Kelompok C terdiri atas enam persamaan regresi dengan 2-peubah peramal model Y = βo + β1 Xi + β1 Xj

7 Kelompok B terdiri atas empat persamaan yaitu Y = βo + β1 X1 Y = βo + β2 X2 Y = βo + β3 X3 Y = βo + β4 X4

8 Kelompok C terdiri atas enam persamaan regresi yaitu model Y = βo + β1 X1 + β2 X2 Y = βo + β1 X1 + β3 X3 Y = βo + β1 X1 + β4 X4 Y = βo + β2 X2 + β3 X3 Y = βo + β2 X2 + β4 X4 Y = βo + β3 X3 + β4 X4

9 Penggunaan R 2 Kelompok D terdiri atas empat persamaan regresi dengan 3-peubah peramal model Y = βo + β1 X1 + β2 X2 + β3 X3 Y = βo + β1 X1 + β3 X2 + β4 X3 Y = βo + β2 X2 + β3 X3 + β4 X4 Y = βo + β1 X1 + β2 X2 + β4 X4

10 Kelompok E terdiri atas satu persamaan regresi dengan 4-peubah peramal model Y= βo + β1 X1 + β1 X2 + β1 X3 + β1 X4

11 Pemilihan model Pertimbangkan nilai R 2 yang diperoleh Pertimbangannya: nilainya besar Nilai R 2 : min -1 hingga maks +1 Regresi yang memilki R2 terbesar yang dipilih

12 Penggunaan Kuadrat tengah Sisa (S 2 ) Bila jumlah amatannya cukup besar, evaluasi terhadap rata-rata kuadrat tengah sisa untuk setiap kelompok seringkali dapat menunjukkan titik pemisah yang terbaik bagi banyaknya peubah yang sebaiknya disertakan dalam regresi.

13 Penggunaan Cp Mallow Model "terbaik" ditentukan setelah memeriksa tebaran Cp. Yang dicari adalah persamaan regresi dengan nilai Cp rendah yang kira-kira sama dengan p (banyaknya parameter dalam model termasuk βo). Cp = JKS p /s 2 – (n-p)

14 Regresi "Himpunan Bagian Terbaik" ("Best Subset" Regression) Tiga kriteria dapat digunakan untuk menentukan himpunan bagian "K terbaik", yaitu: 1.Nilai R 2 maksimum, 2.Nilai R 2 terkoreksi maksimum 3.Statistik Cp Mallows. R 2 terkoreksi = 1- (1-R 2 ){(n-1)/n-p)}

15 Pemilihan regresi terbaik Pemilihan berdasarkan nilai R 2 tertinggi Nilai Cp terendah

16 Pemilihan regresi terbaik dapat dimulai dari: Semua kemungkinan dengan satu, dua atau lebih variabel Sub-set variabel yang diperkirakan harus berpengaruh