Analisa Data Statistik Chap 14: Regresi Linear Jamak (Multiple Linear Regression) Agoes Soehianie, Ph.D.

Presentasi berjudul: "Analisa Data Statistik Chap 14: Regresi Linear Jamak (Multiple Linear Regression) Agoes Soehianie, Ph.D."— Transcript presentasi:

1 Analisa Data Statistik Chap 14: Regresi Linear Jamak (Multiple Linear Regression)
Agoes Soehianie, Ph.D

2 LATAR BELAKANG Sering kali ada lebih dari 1 variabel independen (Xk) yang menentukan variabel dependen (Y). Sehingga model Regresi Jamak (Multiple Regression Model) diperlukan. Jikalau hubungan antara Y dan Xk linear maka model disebut Model Regresi Linear Jamak (Multiple Linear Regression Model). Untuk populasi model tsb, berarti nilai rata-rata Y akan diberikan oleh Y = β0 + β1X1 + β2X2 + ….+ βkXk Dan estimasi bagi Y yang diperoleh dari sampel adalah:

3 MENGHITUNG KOEFISIEN Misalkan dari sampel diperoleh data {Yi, X1i, X2i, …, Xki} untuk i=1,n maka model regresi linear jamaknya adalah: Dengan ei adalah random error. Memakai cara yg sama dengan regresi linear, didefinisikan SSE: Dengan diferensiasi thd b0, b1, dst hasilnya = 0, maka diperoleh satu set sistem persamaan linear bari b0,b1, ….

4 Persamaan Bagi Koefisien
Sistem Persamaan Linear ini diselesaikan dengan metoda yg dikenal, misalnya Eliminasi-Gauss atau Gauss-Jordan, Dekomposisi LU dll

5 Contoh Sebuah studi tentang emisi NOx dari sebuah truk dilakukan untuk melihat pengaru dari kelembaban, suhu, dan tekanan udara mempengaruhi emisi NOx. Model yg ingin dites adalah: Dengan Y adalah kadar (ppm) dari NOx yg diemisi truk, X1 : kelembaban, X2 : suhu dan X3 : tekanan udara saat percobaan. Y = β0 + β1X1 + β2X2 + β3X3 NOX(ppm) Kelembaban(%) Suhu(F) Tekanan (Psi) No Y X1 X2 X3 1 0.9 72.4 76.3 29.18 2 0.96 34.3 77.1 29.24 3 10.7 79 29.78 4 1.1 12.9 67.4 29.39 5 1.15 8.3 66.8 29.69 6 1.03 20.1 76.9 29.48 7 31.5 29.63 8 0.78 96.6 78.7 29.29 9 0.82 107.4 86.8 29.03 10 0.95 54.9 70.9 29.37 Sum 9.79 449.1 756.8 294.08 Average 0.979 44.91 75.68 29.408

6 Matrix SPL bagi Koefisien
Y = β0 + β1X1 + β2X2 + β3X3

7 Tabel Perhitungan Manual
X1*X2 X1*X3 X2*X3 X12 X22 X32 X1Y X2Y X3Y 65.16 68.67 26.262 32.928 74.016 845.3 114.49 6241 10.7 79 29.78 869.46 166.41 14.19 74.14 32.329 554.44 68.89 9.545 76.82 404.01 20.703 79.207 992.25 34.65 84.59 32.593 75.348 61.386 88.068 71.176 52.155 67.355 736.36 73.636 Σ Mean

8 Matrix SPL dan SOlusi = Mb = N Salah satu cara solusi : b =M-1 N M-1
10 449.1 756.8 294.08 b0 9.79 b1 b2 736.36 b3 = Mb = N Salah satu cara solusi : b =M-1 N M-1 Y = X1 – X X3

9 Perluasan : Regresi Polinomial
Model multiple regresi linear juga bisa langsung diterapkan untuk model regresi polinomial: Y = b0 + b1x + b2x2+b3x3 + ….+ bnxn Dengan analogi : x = x1 x2=x2 x3 = x3 …. Xn = xn dengan Substitusi ini semua rumus yang dipakai untuk menghitung koefisien b0, b1 dst bisa dipergunakan dengan penyesuaian seperlunya. Soal. Diberikan data berikut X Y Buatlah kurva regresi Y thd X jika Y = b0+b1X + b2X2 + b3X3

10 ANOVA UNTUK REGRESI JAMAK LINEAR
Hipotesa yg ingin diperiksa adalah : H0 : β1= β2= β3= β4=… 0 berarti Y tidak bergantung semua Xk H1 : Paling tidak ada 1 nilai βk ≠ 0 Untuk memeriksa kebenaran hipotesa ini bisa digunakan F-test, dengan nilai F: Dengan v1=k dan v2=n-(k+1) dan test 1 ekor bagian atas. Jadi H0 ditolak Jika F > Fkritis SUmber Variasi Sum Squares Derajat Kebebasan Mean Square F Regresi SSR k MSR= SSR/k MSR/MSE Error SSE n-(k+1) MSE=SSE/ {n-(k+1)} TOTAL SST n-1

11 ANOVA: Sumber-sumber Variansi
SSTot SSE SSR X : mean (X,Y)

12 TESTING INVIDUAL KOEFISIEN
Untuk masing-masing koefisien, dapat dilakukan test hipotesa H0 : βk = 0 H1 : βk ≠ 0 Dengan mempergunakan variabel test: Variabel t ini terdistribusi menurut student-t dengan derajat kebebasan v=n-(k+1). Dengan Sbk adalah standard error dari koefisien bk. Perhitungan Sbk secara manual rumit, melibatkan elemen diagonal dari matrix variansi-kovariansi. (Lihat Text Book)

13 INTERVAL BAGI KOEFISIEN
Interval kepercayaan 100(1-α)% bagi koefisien βk adalah: Variabel t ini terdistribusi menurut student-t dengan derajat kebebasan v=n-(k+1).

14 Contoh. (Y-Y' ) 2 (Y-Ym)2 (Y' - Ym)2 No X1 X2 X3 Y Prediksi Temp Insul
X1 X2 X3 Y Prediksi No Temp Insul Age Cost Y' (Y-Y' ) 2 (Y-Ym)2 (Y' - Ym)2 1 35 3 6 250 258.9 79.46 2 29 4 10 360 296.0 36 7 165 176.7 137.01 814.82 60 9 43 118.2 5 65 92 91.8 0.05 30 200 246.1 27.56 355 335.1 396.44 8 290 307.8 317.44 21 11 230 264.6 612.56 55 120 176.0 856.10 54 12 73 26.2 48 205 139.2 0.06 13 20 15 400 352.9 14 39 320 231.9 707.76 72 70.2 3.26 16 272 310.2 17 58 94 75.9 328.10 18 40 190 192.4 5.53 232.56 166.36 19 27 235 218.8 262.69 885.06 183.40 139 216.4 124.39 Sum 744 127 140 4105 41695 212916 171220 Mean 37.2 6.35 205.25 41616 210913 168341 Ym: Y mean Y’: Y Prediksi

15 Hipotesa Testing (Global)
Hipotesa yg ingin diperiksa adalah : H0 : β1= β2= β3=0 berarti Y tidak bergantung semua Xk H1 : Paling tidak ada 1 nilai βk ≠ 0 Untuk memeriksa kebenaran hipotesa ini bisa digunakan F-test, dengan nilai F: Dengan jumlah data n=20 dan jumlah variabel independen k=3

16 Contoh. Dilakukan multiple regresi linear: Y = b0 + b1X1+ b2X2+ b3X3
Hasilnya adalah: b0 b1 b2 b3 Persamaan Regresinya: Yprediksi= Y = – 4.583X X X3 Dari model ini kemudian bisa dihitung: SStot=SSE+SSR

17 Contoh. Dari tabel diperoleh:
SSE = SSR = SSTot = Banyak data n=20, banyak variabel bebas k=3 SUmber Variasi Sum Squares Derajat Kebebasan Mean Square F Regresi SSR k MSR= SSR/k MSR/MSE Error SSE n-(k+1) MSE=SSE/ {n-(k+1)} TOTAL SSTot n-1 SUmber Variasi Sum Squares Derajat Kebebasan Mean Square F Regresi 3 21.9 Error 41 695 20-(3+1) 2606.0 TOTAL 19

18 Contoh. Dari tabel F untuk v1=3 danv2=16, dan tingkat signifikan α=0.05 Diperoleh nilai kritis F adalah F(3,16) = Hasil perhitungan menunjukkan F=21.9. Karena 21.9 > 3.24 maka H0 ditolak, sehingga tidak benar kalau dikatakan bahwa X1, X2 dan X3 seluruhnya tidak menentukan nilai Y.

19 Line Fit

20 Koefisien Korelasi Jamak dan Determinasi Jamak
Koefisien Determinasi Jamak (Multiple Determination) R2 adalah total variasi data Y yang bisa dijelaskan oleh model regresi, yaitu: Yaitu variansi karena regresi dibagi variasi total. Sedangkan R : koefisien korelasi jamak = Selain itu juga didefinisikan Adjusted R2 R2 selalu bertambah dengan penambahan variabel independen. R2adj memperhitungkan pengaruh ini, sehingga akan “menghukum” overfitted model.

21 Koefisien Korelasi Jamak dan Determinasi Jamak
Dari tabel diperoleh: SSE = SSR = SSTot = Banyak data n=20, banyak variabel bebas k=3 Selain itu juga didefinisikan Adjusted R2 Koefisien adjusted R2 baru berarti bilamana dalam pembentukan model ingin diketahui apakah penambahan variabel independen baru memang memperbaiki model atau tidak.

22 Hasil Output Excell

23 TESTING INVIDUAL KOEFISIEN
Untuk masing-masing koefisien, dapat dilakukan test hipotesa H0 : β1 = 0 H0 : β2 = 0 H0 : β3 = 0 H1 : β1 ≠ 0 H1 : β2 ≠ 0 H1 : β3 ≠ 0 Dari output Excell Sb1 = standard error b1 = 0.772, maka t1 Hasil ini bisa dilihat juga di output Excell tsb (kolom tstat), demikian juga untuk t2 = dan t3 = Dari Output Excell hal itu bisa secara cepat dilihat pada nilai P-value yang menyatakan luas daerah sebelah kanan nilai t-hitung

24 TESTING INVIDUAL KOEFISIEN
Test ini adalah test 2 ekor dengan derajat kebebasan v=n-(k+1) = 20-(3+1)=16. Untuk tingkat signifikan α = 0.05 maka t0.025 (v=16) = (dari tabel). Berarti H0 di tolak jika thitung < atau thitung > 2.12. Berarti dari t1 = t2 = dan t3 = 1.521, H0 ditolak untuk t1, t2 dan diterima untuk t3. Berarti variabel X1 (temp) dan X2(insulasi) memiliki pengaruh signifikan pada biaya Y (cost), sedangkan X3 (age) tidak berkontribusi secara signifikan thd Y(cost).

25 INTERVAL BAGI KOEFISIEN
Interval bagi koefisien βk untuk tingkat kepercayaan 95% dapat juga disusun. Nilai t0.025 =2.12 untuk v=20-(3+1) Hasil tsb juga dapat dilihat pada output Excell. Pada kolom lower95% dan Upper 95%. Terlihat memang interval 95% bagi koefisien Age membentang dari hingga !