Pokok Bahasan : Review Regresi Linier Sederhana dan Berganda

Presentasi berjudul: "Pokok Bahasan : Review Regresi Linier Sederhana dan Berganda"— Transcript presentasi:

1 Pokok Bahasan : Review Regresi Linier Sederhana dan Berganda
Analisis Regresi Pokok Bahasan : Review Regresi Linier Sederhana dan Berganda Tujuan Instruksional Khusus : Mahasiswa dapat menjelaskan regresi linier sederhana dan berganda dan asumsi-asumsi yang mendasarinya

2 Regresi Linier Sederhana
Model Regresi Linier Sederhana (1 peubah penjelas) Model Regresi Linier Berganda ( k peubah penjelas ) Dengan notasi matriks dapat dituliskan :

3 Ringkasan Regresi Linier Berganda
Model Regresi Linier Berganda dengan 2 peubah penjelas : Model umum Regresi Berganda dengan k peubah penjelas dalam notasi matriks :

4 Ringkasan Regresi Linier Berganda
lanjutan Nilai ramalan Matriks dugaan ragam peragam bagi b : dengan : s2 = KT sisaan

5 Ringkasan Regresi Linier Berganda
lanjutan KOEFISIEN DETERMINASI Dugaan simpangan baku dengan : s2 = KT sisaan

6 Pendugaan model regresi linier berganda dengan notasi matriks
Notasi Matriks pada Model Regresi Linier Berganda dengan k = 2 Penduga parameter regresi berganda dg notasi matriks :

7 Contoh: model regresi linier berganda dalam notasi matriks
Data : Model Regresi dalam notasi Matriks : y x1 x2 3.5 3.1 30 3.2 3.4 25 3.0 20 2.9 4.0 3.9 40 2.5 2.8 2.3 2.2

8 Contoh : Menduga parameter regresi linier berganda dg matriks
Dugaan bagi parameter regresi : Dari data contoh tsb. didapat : X’X = 3 x 7 7 x 3

9 Contoh : Menduga parameter regresi linier berganda dg matriks
lanjutan Dengan perhitungan cara matriks didapat : b = (X’X) -1 X’ Dugaan garis regresinya : y

10 Pemeriksaan Model Regresi Berganda : uji-t
Uji-t dimaksudkan untuk menguji pengaruh setiap peubah penjelas secara satu per satu terhadap peubah responnya Model Regresi Berganda dg 2 peubah penjelas : Peubah penjelas Xj tidak berhubungan linier dg Y Peubah penjelas Xj berhubungan linier dg Y Peubah penjelas Xj berhubungan linier positif dg Y Peubah penjelas Xj berhubungan linier negatif dg Y

11 Pemeriksaan Model untuk Regresi Berganda : uji-t
lanjutan Hipotesis : 1. Statistik uji-nya : Derajat bebasnya = n – k - 1 2. Unsur ke (j+1) diagonal (X’X)-1 Akar dari KT sisaan k = banyaknya peubah penjelas

12 Contoh : uji-t dengan notasi matriks
Dengan menggunakan data contoh pada slide sebelumnya ingin diuji apakah X1 dan atau X2 berpengaruh linier thdp Y Didapatkan bahwa Dugaan garis regresi-nya: Hipotesisnya : Peubah penjelas Xj tidak berhubungan linier dg Y Peubah penjelas Xj berhubungan linier dg Y

13 Contoh : uji-t dengan notasi matriks
lanjutan Statistik uji-nya : S2=

14 Contoh : uji-t dengan notasi matriks
(lanjutan) d.b. = = t4,.025 = 2.776 a/2=.025 a/2=.025 Untuk j=1  t hit =  tolak H0 Untuk j=2  t hit =  terima H0 -tn-3,α/2 tn-3,α/2 KESIMPULAN : 1. Cukup bukti untuk mengatakan bahwa ada hub linier antara x1 dan Y 2. Tidak cukup bukti untuk mengatakan bahwa ada hub linier antara x2 dan Y Tolak H0 Terima H0 Tolak H0 -2.776 2.776

15 Contoh : uji-t dengan Minitab
lanjutan Regression Analysis: Y versus X1, X2 The regression equation is Y = X X2 Predictor Coef SE Coef T P Constant X X S = R-Sq = 83.3% R-Sq(adj) = 74.9% > 0.05 Terima H0

16 Pemeriksaan Model Regresi Berganda : uji-F
Dengan uji F ini kita dapat mengetahui : peubah-peubah penjelas yang ada dalam model berpengaruh secara serempak terhadap respon atau tidak. (model regresi layak atau tidak) Penambahan satu peubah penjelas ke dalam model setelah peubah penjelas lainnya ada dalam model berpengaruh nyata atau tidak terhadap respon Penambahan sekelompok peubah penjelas ke dalam model setelah peubah penjelas lainnya ada dalam model berpengaruh nyata atau tidak terhadap respon

17 Uji Parameter Regresi Linier Berganda : uji-F untuk model keseluruhan
H0 : peubah respon tidak memp hub linier dg peubah penjelas ke-1 s.d ke-k Sumber Keragaman Derajat Bebas (db) Jumlah Kuadrat (JK) Kuadrat Tengah (KT) b1, b2,..,bk| b0 k b’X’Y – Y’11’Y Sisaan n – k-1 Y’Y – b’X’Y Total (terkoreksi) n - 1 Y’Y – Y’11’Y H1 : peubah respon memp hub linier dg min 1 peubah penjelas ke-1 s.d ke-k KRITERIA PENOLAKAN :

18 Uji Parameter Regresi Linier Berganda : uji-F untuk model keseluruhan
lanjutan OUT PUT MINITAB : DATA TEKANAN DARAH The regression equation is Tekanan Darah = 50,5 + 12,8 Ukuran Tubuh + 0,848 Umur + 9,11 Merokok S = 7, R-Sq = 72,6% R-Sq(adj) = 69,6% Analysis of Variance Source DF SS MS F P Regression , , ,71 0,000 Residual Error , ,2 Total ,0 KEPUTUSAN: tolak H = 5% KESIMPULAN: Tekanan darah memiliki hubungan linier dg min satu peubah penjelas F tabel : F (3,28), 5% =2,95

19 Uji Parameter Regresi Linier Berganda : uji-F untuk model keseluruhan
lanjutan Statistik uji-nya: Keputusan: Kesimpulan: F tabel : F (3,28), 5% =2,95 Tolak H0  = .05 Cukup bukti untuk mengatakan bahwa minimum ada satu peubah penjelas yg berhubungan linier dg Y F Terima H0 Tolak H0 F.05 = 2,95

20 Uji-F Parsial dan uji-F Sekuensial
PADA ANALISIS REGRESI LINIER BERGANDA : Terhadap semua peubah penjelas yang tersedia : Diuji peubah penjelas apa yg berpengaruh nyata thd respon. Dari yang ada dalam model, usahakan yang dipakai hanya peubah penjelas yang keberadaannya dalam model menyum-bangkan keragaman kepada garis regresi cukup besar Jika suatu peubah penjelas keberadaannya dalam model sudah dapat diwakili oleh yg lainnya, maka peubah penjelas tsb tidak perlu lagi digunakan dlm model Lebih disenangi model yang memiliki banyaknya peubah penjelas yang lebih sedikit.

21 Pemeriksaan Model Regresi Berganda : uji-F
Apakah penambahan X2 ke dalam model berpengaruh terhadap Y Sumber Keragaman Derajat Bebas (db) Jumlah Kuadrat (JK) Kuadrat Tengah (KT) b1, b2 | b0 2 b’X’Y – Y’11’Y Sisaan n – 3 Y’Y – b’X’Y Total (terkoreksi) n - 1 Y’Y – Y’11’Y 1

22 Pemeriksaan Model Regresi Berganda : KOEFISIEN DETERMINASI BERGANDA
Proporsi keragaman pada Y dijelaskan oleh semua peubah X secara bersama-sama SSR is sum of squares regression (not residual; that’s SSE). 27

23 Pemeriksaan Model Regresi Berganda : Adjusted R2
R2 besarnya tidak pernah turun ketika peubah X ditambahkan ke dalam model Hanya nilai Y yang menentukan besarnya SSyy Tidak ada gunanya kalau membandingkan model yg satu dg yg sdh ditambah peubah penjelasnya. Solusi: Adjusted R2 Setiap penambahan peubah penjelas akan menurunkan nilai adjusted R2.

24 Validitas Model PRESS = Prediction Sum of Squares, adalah prosedur yang merupakan kombinasi dari: semua kemungkinan regresi, analisis sisaan, dan teknik validasi. Digunakan untuk mengukur validitas model. = yi : nilai respon pada x=xi (data lengkap) : nilai ramalan y pd x=xi yg diramal melalui dugaan persamaan regresi dari data tanpa amatan ke-i Model valid jika memiliki PRESS yg kecil R2pred adalah statistik la-innya yg berhub dg PRESS. Model valid jika R2pred besar.

25 Validitas Model PROSEDUR PRESS (lanjutan)
Mis. k adalah banyaknya peubah dalam suatu persamaan regresi, n adalah banyaknya amatan Langkah-langkahnya: Sisihkan amatan ke-1, amatan ke-1 tidak digunakan, data tinggal n-1. Dugalah semua ”kemungkinan model regresi” thdp n-1 data tersebut. (jika k=1 banyaknya ”kemungkinan model” hanya 1) Ramal y1 dengan model yang didapat pd no.2. (lakukan untuk semua kemungkinan model  hanya 1 jika k=1) Hitung perbedaan y1 yg disisihkan tadi dengan hasil no.3.  Ulangi langkah 1-4 dengan menyisihkan amatan ke-2, ke-3,...., ke-n. Didapat Untuk setiap model regresi yang mungkin hitung : Pilih model yang relatif memiliki nilai PRESS terkecil, dan melibatkan peubah penjelas sedikit.

26 Validitas Model (lanjutan) Contoh Proses PRESS, untuk n=11 dan k=1
Y X Dugaan Garis Regresi dg Data tanpa amatan ke-i ramalan Yi tnp amatan ke-i ei,-i e i,-i kuadrat 7,46 10 Y tnp 1 = 3,01 + 0,505 X tnp 1 8,06 -0,6 0,36 6,77 8 Y tnp 2 = 3,05 + 0,497 X tnp 2 7,026 -0,256 0,06553 12,74 13 Y tnp 3 = 4,01 + 0,345 X tnp 3 8,495 4,245 18,02003 7,11 9 Y tnp 4 = 3,04 + 0,500 X tnp 4 7,54 -0,43 0,18490 7,81 11 Y tnp 5 = 2,95 + 0,514 X tnp 5 8,604 -0,794 0,63043 8,84 14 Y tnp 6 = 2,46 + 0,577 X tnp 6 10,538 -1,698 2,88320 6,08 6 Y tnp 7 = 2,97 + 0,502 X tnp 7 5,982 0,098 0,00960 5,39 4 Y tnp 8 = 2,72 + 0,526 X tnp 8 4,824 0,566 0,32035 8,15 12 Y tnp 9 = 2,84 + 0,528 X tnp 9 9,176 -1,026 1,05267 6,42 7 Y tnp 10 = 3,03 + 0,498 X tnp10 6,516 -0,096 0,00921 5,73 5 Y tnp 11 = 2,88 + 0,511 X tnp11 5,435 0,295 0,08703 Total = PRESS = 23,6229

27 Validitas Model (lanjutan) Output Minitab untuk data contoh tsb
Hasil PRESS melalui proses = hasil Minitab Untuk k=1 hanya ada 1 model Amatan ke-3 memberikan simpangan ramalan terbesar Amatan ke-3 dapat dipandang sebagai amatan berpengaruh Dugaan parameter regresi tanpa amatan ke-3 sangat berbeda dg lainnya dugaan yg ini relatif yg benar/baik The regression equation is Y = 3,00 + 0,500 X Predictor Coef SE Coef T P Constant , , , ,026 X , , , ,002 S = 1, R-Sq = 66,6% R-Sq(adj) = 62,9% PRESS = 23, R-Sq(pred) = 42,70% Analysis of Variance Source DF SS MS F P Regression , , ,97 0,002 Residual Error , ,528 Total ,226 Keluarkan amatan ke-3 dari analisis. Cek nilai PRESS-nya. Cek nilai R2nya

28 Validitas Model (lanjutan) Output Minitab data lengkap
Output Minitab data tanpa amatan ke-3 The regression equation is Y = 3,00 + 0,500 X Predictor Coef SE Coef T P Constant , , , ,026 X , , , ,002 S = 1, R-Sq = 66,6% PRESS = 23, R-Sq(pred) = 42,70% Analysis of Variance Source DF SS MS F P Regression , , ,97 0,002 Residual Error , ,528 Total ,226 The regression equation is Y tnp 3 = 4,01 + 0,345 X tnp 3 Predictor Coef SE Coef T P Constant 4, , , ,000 X tnp , , , ,000 S = 0, R-Sq = 100,0 PRESS = 0, R-Sq(pred) = 100,00% Analysis of Variance Source DF SS MS F P Regression , , ,34 0,000 Residual Error , ,000 Total ,161 Menyisihkan amatan ke-3 mempengaruhi dugaan parameter, menurunkan nilai PRESS Dari sisi model, “persamaan tanpa amatan ke-3” yg terbaik. R-Sq(pred)=100,00%  model sangat valid  PELUANG salah memprediksi = 0

29 Validitas Model (lanjutan) Dugaan garis regresi dg data lengkap
PRESS = 23, R-Sq(pred) = 42,70% Dugaan garis regresi tanpa amatan ke-3 PRESS = 0, R-Sq(pred) = 100,0% Semakin kecil nilai PRESS-nya  model semakin valid  semakin baik untuk memprediksi. Setiap 1 model regresi thdp 1 set data memiliki 1 nilai PRESS

30 ASUMSI ASUMSI YANG HARUS DIPENUHI DALAM ANALISIS REGRESI BERGANDA :
1. Kondisi Gauss-Marcov 2. Galat menyebar Normal 3. Galat bebas terhadap peubah bebas, 4. Tidak ada multikolinieritas pd peubah bebas,