UJI HIPOTESIS REGRESI BERGANDA TUJUAN Menjelaskan teknik uji hipotesis dalam regresi berganda (full model dan reduced model)

Dalam regresi berganda muncul per( Dalam regresi berganda muncul per(?)an tentang kontribusi bbrp IV untuk memprediksi nilai Y. Tiga per(?)an: An overall test: apakah semua IV (the fitted model) berkontribusi bermakna utk memprediksi Y?; Uji utk adisi satu var.: apakah pe(+) satu IV me(+) secara bermakna utk memprediksi Y lebih besar di-banding tanpa pe(+)an var. baru dlm model?; Uji utk adisi sekelompok var.: apakah pe(+)an atau adisi sekelompok IV akan me(+) secara bermakna utk memprediksi nilai Y dibanding tanpa pe(+)an kelompok var. tsb yg sudah ada di model? Ke 3 per(?) dijawab dgn uji hipotesis stat. dr masing2 per(+)an. Setiap uji hipotesis di ekspresikan dgn uji F dan utk bbrp kasus digunakan uji t

Uji F dlm analisa regresi adalah rasio dari dua independent estimate variance adl estimasi s2 bila H0 benar (true) adl estimasi s2 bila HO salah (not true) Dlm tabel ANOVA  Mean Square, digunakan mengestimasi varians. Jika HO salah (not true) maka estimasi

Nilai F mendekati 1  jika HO benar (true), dan >1 bila HO salah (not true). Makin besar nilai F makin besar kemungkinan HO salah (not true) 2. Masing2 uji (test) dpt di interpretasikan sbg perban-dingan 2 model. Model pertama disebut ‘full model’ atau ‘complete model’ dan model berikutnya adl ‘reduced model’ (full model dikurangi satu atau lebih IV) Contoh: Y = b0 + b1X1 + b2X2 + E  full model Y = b0 + b1X1 + E  reduced model Dengan HO: b2=0  ‘the full model’ dikurangi satu atau lebih IV menjadi ‘reduced model’. Pengujian HO: b2=0 berarti menguji mana yang lebih baik ‘fit model’ antara kedua model tersebut

Uji Kemaknaan Regresi Berganda Contoh itu menjelaskan bahwa ‘reduced model’ (X1) mrpk bagian dr IV atau ‘full model’ (X1 & X2) Di ‘full model’ kita H0: b1=b2, di ‘reduced model’: Y=b0+b1X1+E dgn b=b1=b2 & X=X1+X2 Uji Kemaknaan Regresi Berganda Kita punya suatu model dengan k-IV: Y=b0+b1X1+b2X2+…….+bkXk+E Maka Null Hypothesis dpt ditulis: Tidak perbedaan bermakna dalam ‘overall regression’ atau H0:b1=b2=……….+bk=0, dan uji hipotesa digunakan ANOVA:

Contoh: Model Y=b0+b1X1+b2X2+b3X3 Y=b0+b1HGT+b2AGE+b3AGE2 Merupakan Total Sum of Square dan Error Sum of Square. F-hitung dibandingkan dgn F-tabel=Fk,n-k-1 sesuai dgn a = 0.05. H0 ditolak bila F-hitung >= F-tabel F-hitung diperoleh dgn cara lain yaitu Contoh: Model Y=b0+b1X1+b2X2+b3X3 Y=b0+b1HGT+b2AGE+b3AGE2

Dengan sample 12 anak, kita mempunyai k=3 MS-Regr=231. 02, MS-Resid=24 Dengan sample 12 anak, kita mempunyai k=3 MS-Regr=231.02, MS-Resid=24.40 & r2=0.782 maka kita memperoleh: Titik kritis untuk a=0.05 adl F3,8,0.95 = 4.07  H0 ditolak pada a=0.05  ditulis p<0.05  umumnya ditulis F3,8,0.95 = 4.07 (p<0.05) Hasil ini disimpulkan vars HGT, AGE dan AGE2 secara bersama dpt memprediksi WGT (dgn data yang ada). Namun, tidak selalu demikian, mungkin saja hanya HGT dan/atau AGE sudah cukup memprediksi WGT. Perlu di cek.

Pelajari tabel-tabel ANOVA berikut Model 1: WGT = b0 + b1HGT + E Coefficient Standard Error Partial F b0 = 6.190 b1 = 1.073 Sb1=0.242 19.66 Estimated model: WGT=6.190+1.073HGT ANOVA Table Source df SS MS F r2 Regression 1 588.92 19.67 .6630 Residual 10 299.33 29.93 Total 11 888.25

Model 2: WGT = b0 + b2AGE + E Coefficient Standard Error Partial F b0 = 30.571 b1 = 3.643 Sb2 = 0.955 14.55 Estimated model: WGT = 30.571 + 3.643AGE ANOVA Table Source df SS MS F r2 Regression 1 526.39 14.55 .5926 Residual 10 361.86 36.19 Total 11 888.25

Model 3: WGT = b0 + b3(AGE)2 +E Coefficient Standard Error Partial F b0 = 45.998 b1 = 0.206 Sb1=0.055 14.03 Estimated model: WGT=45.998 + 0.206 (AGE)2 ANOVA Table Source df SS MS F r2 Regression 1 521.93 14.25 .5876 Residual 10 366.32 36.63 Total 11 888.25

Model 4. WGT = b0 + b1HGT + b2AGE + E Coefficient Standard Error Partial F b0 = 6.553 b1 = 0.722 Sb1 = 0.261 7.65 b2 = 2.050 Sb2 = 0.937 4.79 Esti’d model: WGT= 6.553 + 0.722HGT+ 2.050AGE ANOVA Table Source df SS MS F r2 Regression 2 692.82 346.41 15.95 .78 Residual 9 195.43 21.71 Total 11 888.25

Model 5. WGT = b0 + b1HGT + b3(AGE)2 + E Coefficient Standard Error Partial F b0 = 15.118 b1 = 0.726 Sb1 = 0.263 7.62 b3 = 0.115 Sb3 = 0.054 4.54 Esti’d model: WGT = 15.118 + .726HGT + .115(AGE)2 ANOVA Table Source df SS MS F r2 Regression 2 689.65 344.82 15.63 .7764 Residual 8 198.60 22.07 Total 11 888.25

Model 6: WGT = b0 + b1HGT + b2AGE + b3(AGE)2 + E Coefficient Standard Error Partial F b0 = 3.438 b1 = 0.724 Sb1 = .277 6.83 b2 = 2.777 Sb2 = 7.427 0.14 b3 = -0.042 Sb3 = 0.422 0.01 E.M. WGT = 3.438 + .724HGT + 2.777AGE - .042(AGE)2 ANOVA Table Source df SS MS F r2 Regression 3 693.06 231.02 9.47 .7802 Residual 8 195.19 24.4 Total 11 888.25

Kita sudah mengetahui jawaban dr pertanyaan no.1  perhatikan EM 6. Menggunakan X1=HGT sbg IV, nilai 588.92 adalah SS Regresi utk model garis lurus; nilai SSE utk model ini adl hanya menambahkan 195.19, 103.90 dan 0.24 secara bersama adl 299.33 dgn dk=10 (8+1+1) F-stat utk menguji kemaknaan persamaan garis lurus dgn hanya memasuk HGT adl F=(588.92/1)/(299.33/10)= 19.67  p<0.05 Utk menjawab per(?)an 2 & 3gunakan partial F test. Uji ini akan memberikan gambaran apakah kita hrs me(+) semua var. atau hanya satu atau dua IV saja.

Null Hipothesis Bila kita ingin menguji apakah pe(+)an satu var. X* akan secara bermakna meningkatkan prediksi Y ketika bbrp var. X1, X2,……,Xp sdh dlm model? Maka hipotesanya: H0: ‘X* tdk me(+) secara bermakna utk memprediksi Y setelah ada X1, X2,....,Xp dlm model’  d.p.l H0: b* = 0 utk model Y=b0+b1X1+b2X2+….,+bpXp+b*X* Ini mrpk prosedur utk membandingkan antara ‘full model’ X1, X2,…….,Xp dan X* sbg IV dgn ‘reduced model’ X1,X2,……,Xp (tanpa X*) karena H0: b* = 0  Tujuan analisis ini adl menentukan model yang paling sesuai utk memprediksi Y

ANOVA Tabel utk WGT dgn HGT, AGE, (AGE)2 Source df SS MS F r2 X1 1 588.92 19.67 .7802 Regresi X2lX3 103.90 4.78 (.05<p<.1) X3lX1, X2 0.24 Residual 8 195.19 24.40 Total 11 888.25

Uji Partial F  Null Hypothesis Andaikan kita uji apakah pe(+)an X* secara bermakna meningkatkan prediksi Y setelah X1, X2, ….., Xp sudah ada di model. Maka Ho: X* tidak meningkatkan secara bermakna prediksi Y setelah X1, X2, …., Xp ada di model atau Ho: b*=0 didalam model y = b0 + b1X1 + b2X2+ …..+ bpXp +b*X* + E Dengan perkataan lain kita membandingkan 2 model: Full model  X1, X2, ……, Xp dan X* sebagai IV dan Reduced model  X1, X2, ….., Xp Ini berarti kita menguji model regresi yang paling tepat, apakah pe(+) variabel X* meningkatkan secara bermakna prediksi Y setelah di model ada X1, X2, …,Xp

Prosedur Uji parsial F utk mengetahui peran X* setelah ada var. X1, X2, ……, Xp didalam model, kita hrs hitung Sum of Square full model X1, X2, ….., Xp, X* dan Sum of Square reduced model X1, X2, ……, Xp  di ANOVA table: Regression X*lX1, X2, ……, Xp dan Sum of Square dihitung: SS dr pe(+) X* setelah ada X1, X2, …, Xp = Regr SS full model: X1, X2,….., Xp, X* - Regr SS reduced model: X1, X2, …., Xp  SS (X*lX1,X2, ….Xp) = Regr SS (X1, X2, ….Xp, X*) – Regr SS (X1, X2, ……, Xp)

Jadi utk model Y = b0 + b1X1 + b2X2 dengan H0: b2 = 0 SS(X2lX1) = Regr SS (X1,X2) – Regr SS (X1) = 692.82 - 588.92 = 103.90 Utk model Y = b0 + b1X1 + b2X2 + b3X3 SS (X3lX1, X2) = Regr SS(X1,X2,X3) – Regr SS (X1,X2) = 693.06 – 692.82 = 0.24 Simpulan uji hipotesa: ‘penambahan var. X* kedalam model yang sudah ada X1, X2, ….., Xp tidak meningkat-kan secara bermakna utk memprediksi Y  atau F(X*lX1,X2,.,Xp) = pe(+) SS setelah ada X1,X2,., Xp/ MS Resid model dgn var X1,X2,….., Xp, X* Dgn derajat kebebasan (dk)=1 & n-p-2, kita menolak H0 bila nilai F-hitung > F1,n-p-2. Data kita sebagai berikut:

F(X2lX1) = SS(X2lX1) / MS Residual (X1,X2) = (103. 90)/(195. 19+0 F(X2lX1) = SS(X2lX1) / MS Residual (X1,X2) = (103.90)/(195.19+0.24)/9 =4.78 dan F(X3lX1, X2) = SS(X3lX1, X2) / MS Resid (X1, X2, X3) = 0.24 / 24.4 = 0.01 Dari tabel F kita lihat bahwa untuk F1,9,0.90 = 3.36 dan F1,9,0.95 = 5.12 maka hasil uji statistik untuk F(X2lX1) = 4.78  artinya nilai p: 0.05<p<0.1, artinya kita menolak H0 pada a = 0.1  disimpulkan bahwa pe(+)an var. AGE me(+) nilai utk memprediksi Y pada a = 0.1 tidak pada a = 0.05 Uji F(X3lX1,X2) = 0.01  p>0.1 kita menerima H0, disimpulkan bahwa model yang paling sesuai (the best fitted model): Y = b0 +b1HGT + b2AGE

Uji t sebagai alternatif Cara yang sama sperti uji F parsial adl menggunakan uji t dgn dk = n-k-1. Uji t fokus uji null hipotesa H0: b* = 0  b* adl nilai koefisien dr X* di model regresi: Y = b0 + b1X1 + b2X2, ….,+ bpXp +b*X* untuk menguji H0: b0 = 0 digunakan uji Dalam uji ini kita menolak H0: b* = 0 jika ltl > tn-p-2, 1-a/2  uji dua arah; Ha: b* # 0 T > tn-p-2, 1-a  uji satu arah; Ha: b*>0 T < tn-p-2, 1-a  uji satu arah; Ha: b*<0

Uji t dua arah memberikan hasil yang sama dengan uji F parsial Contoh: uji H0: b3 = 0 dalam model Y = b0 + b1X1 + b2X2 + b3X3 + E dari ANOVA table 6 kita akan memperoleh Nilai tersebut kita kuadratkan: t2 = 0.01  = parsial F(X3lX1,X2)

SUMBER DF SS MS F REGRESI x1 1 37.5 X2|x1 498 5.8 RESIDUAL 27 2301 3196 37.5 X2|x1 498 5.8 RESIDUAL 27 2301 85.2 TOTAL 29 5996