UJI HIPOTESIS REGRESI BERGANDA

Presentasi berjudul: "UJI HIPOTESIS REGRESI BERGANDA"— Transcript presentasi:

1 UJI HIPOTESIS REGRESI BERGANDA
TUJUAN Menjelaskan teknik uji hipotesis dalam regresi berganda (full model dan reduced model)

2 Dalam regresi berganda muncul per(
Dalam regresi berganda muncul per(?)an tentang kontribusi bbrp IV untuk memprediksi nilai Y. Tiga per(?)an: An overall test: apakah semua IV (the fitted model) berkontribusi bermakna utk memprediksi Y?; Uji utk adisi satu var.: apakah pe(+) satu IV me(+) secara bermakna utk memprediksi Y lebih besar di-banding tanpa pe(+)an var. baru dlm model?; Uji utk adisi sekelompok var.: apakah pe(+)an atau adisi sekelompok IV akan me(+) secara bermakna utk memprediksi nilai Y dibanding tanpa pe(+)an kelompok var. tsb yg sudah ada di model? Ke 3 per(?) dijawab dgn uji hipotesis stat. dr masing2 per(+)an. Setiap uji hipotesis di ekspresikan dgn uji F dan utk bbrp kasus digunakan uji t

3 Uji F dlm analisa regresi adalah rasio dari dua independent estimate variance
adl estimasi s2 bila H0 benar (true) adl estimasi s2 bila HO salah (not true) Dlm tabel ANOVA  Mean Square, digunakan mengestimasi varians. Jika HO salah (not true) maka estimasi

4 Nilai F mendekati 1  jika HO benar (true), dan >1 bila HO salah (not true). Makin besar nilai F makin besar kemungkinan HO salah (not true) 2. Masing2 uji (test) dpt di interpretasikan sbg perban-dingan 2 model. Model pertama disebut ‘full model’ atau ‘complete model’ dan model berikutnya adl ‘reduced model’ (full model dikurangi satu atau lebih IV) Contoh: Y = b0 + b1X1 + b2X2 + E  full model Y = b0 + b1X1 + E  reduced model Dengan HO: b2=0  ‘the full model’ dikurangi satu atau lebih IV menjadi ‘reduced model’. Pengujian HO: b2=0 berarti menguji mana yang lebih baik ‘fit model’ antara kedua model tersebut

5 Uji Kemaknaan Regresi Berganda
Contoh itu menjelaskan bahwa ‘reduced model’ (X1) mrpk bagian dr IV atau ‘full model’ (X1 & X2) Di ‘full model’ kita H0: b1=b2, di ‘reduced model’: Y=b0+b1X1+E dgn b=b1=b2 & X=X1+X2 Uji Kemaknaan Regresi Berganda Kita punya suatu model dengan k-IV: Y=b0+b1X1+b2X2+…….+bkXk+E Maka Null Hypothesis dpt ditulis: Tidak perbedaan bermakna dalam ‘overall regression’ atau H0:b1=b2=……….+bk=0, dan uji hipotesa digunakan ANOVA:

6 Contoh: Model Y=b0+b1X1+b2X2+b3X3 Y=b0+b1HGT+b2AGE+b3AGE2
Merupakan Total Sum of Square dan Error Sum of Square. F-hitung dibandingkan dgn F-tabel=Fk,n-k-1 sesuai dgn a = 0.05. H0 ditolak bila F-hitung >= F-tabel F-hitung diperoleh dgn cara lain yaitu Contoh: Model Y=b0+b1X1+b2X2+b3X3 Y=b0+b1HGT+b2AGE+b3AGE2

7 Dengan sample 12 anak, kita mempunyai k=3 MS-Regr=231. 02, MS-Resid=24
Dengan sample 12 anak, kita mempunyai k=3 MS-Regr=231.02, MS-Resid=24.40 & r2=0.782 maka kita memperoleh: Titik kritis untuk a=0.05 adl F3,8,0.95 = 4.07  H0 ditolak pada a=0.05  ditulis p<0.05  umumnya ditulis F3,8,0.95 = 4.07 (p<0.05) Hasil ini disimpulkan vars HGT, AGE dan AGE2 secara bersama dpt memprediksi WGT (dgn data yang ada). Namun, tidak selalu demikian, mungkin saja hanya HGT dan/atau AGE sudah cukup memprediksi WGT. Perlu di cek.

8 Pelajari tabel-tabel ANOVA berikut
Model 1: WGT = b0 + b1HGT + E Coefficient Standard Error Partial F b0 = 6.190 b1 = Sb1= Estimated model: WGT= HGT ANOVA Table Source df SS MS F r2 Regression 1 588.92 19.67 .6630 Residual 10 299.33 29.93 Total 11 888.25

9 Model 2: WGT = b0 + b2AGE + E Coefficient Standard Error Partial F b0 = b1 = Sb2 = Estimated model: WGT = AGE ANOVA Table Source df SS MS F r2 Regression 1 526.39 14.55 .5926 Residual 10 361.86 36.19 Total 11 888.25

10 Model 3: WGT = b0 + b3(AGE)2 +E
Coefficient Standard Error Partial F b0 = b1 = Sb1= Estimated model: WGT= (AGE)2 ANOVA Table Source df SS MS F r2 Regression 1 521.93 14.25 .5876 Residual 10 366.32 36.63 Total 11 888.25

11 Model 4. WGT = b0 + b1HGT + b2AGE + E
Coefficient Standard Error Partial F b0 = 6.553 b1 = Sb1 = b2 = Sb2 = Esti’d model: WGT= HGT AGE ANOVA Table Source df SS MS F r2 Regression 2 692.82 346.41 15.95 .78 Residual 9 195.43 21.71 Total 11 888.25

12 Model 5. WGT = b0 + b1HGT + b3(AGE)2 + E
Coefficient Standard Error Partial F b0 = b1 = Sb1 = b3 = Sb3 = Esti’d model: WGT = HGT (AGE)2 ANOVA Table Source df SS MS F r2 Regression 2 689.65 344.82 15.63 .7764 Residual 8 198.60 22.07 Total 11 888.25

13 Model 6: WGT = b0 + b1HGT + b2AGE + b3(AGE)2 + E
Coefficient Standard Error Partial F b0 = 3.438 b1 = Sb1 = b2 = Sb2 = b3 = Sb3 = E.M. WGT = HGT AGE (AGE)2 ANOVA Table Source df SS MS F r2 Regression 3 693.06 231.02 9.47 .7802 Residual 8 195.19 24.4 Total 11 888.25

14 Kita sudah mengetahui jawaban dr pertanyaan no.1  perhatikan EM 6.
Menggunakan X1=HGT sbg IV, nilai adalah SS Regresi utk model garis lurus; nilai SSE utk model ini adl hanya menambahkan , dan 0.24 secara bersama adl dgn dk=10 (8+1+1) F-stat utk menguji kemaknaan persamaan garis lurus dgn hanya memasuk HGT adl F=(588.92/1)/(299.33/10)=  p<0.05 Utk menjawab per(?)an 2 & 3gunakan partial F test. Uji ini akan memberikan gambaran apakah kita hrs me(+) semua var. atau hanya satu atau dua IV saja.

15 Null Hipothesis Bila kita ingin menguji apakah pe(+)an satu var. X* akan secara bermakna meningkatkan prediksi Y ketika bbrp var. X1, X2,……,Xp sdh dlm model? Maka hipotesanya: H0: ‘X* tdk me(+) secara bermakna utk memprediksi Y setelah ada X1, X2,....,Xp dlm model’  d.p.l H0: b* = 0 utk model Y=b0+b1X1+b2X2+….,+bpXp+b*X* Ini mrpk prosedur utk membandingkan antara ‘full model’ X1, X2,…….,Xp dan X* sbg IV dgn ‘reduced model’ X1,X2,……,Xp (tanpa X*) karena H0: b* = 0  Tujuan analisis ini adl menentukan model yang paling sesuai utk memprediksi Y

16 ANOVA Tabel utk WGT dgn HGT, AGE, (AGE)2
Source df SS MS F r2 X1 1 588.92 19.67 .7802 Regresi X2lX3 103.90 4.78 (.05<p<.1) X3lX1, X2 0.24 Residual 8 195.19 24.40 Total 11 888.25

17 Uji Partial F  Null Hypothesis
Andaikan kita uji apakah pe(+)an X* secara bermakna meningkatkan prediksi Y setelah X1, X2, ….., Xp sudah ada di model. Maka Ho: X* tidak meningkatkan secara bermakna prediksi Y setelah X1, X2, …., Xp ada di model atau Ho: b*=0 didalam model y = b0 + b1X1 + b2X2+ …..+ bpXp +b*X* + E Dengan perkataan lain kita membandingkan 2 model: Full model  X1, X2, ……, Xp dan X* sebagai IV dan Reduced model  X1, X2, ….., Xp Ini berarti kita menguji model regresi yang paling tepat, apakah pe(+) variabel X* meningkatkan secara bermakna prediksi Y setelah di model ada X1, X2, …,Xp

18 Prosedur Uji parsial F utk mengetahui peran X* setelah ada var. X1, X2, ……, Xp didalam model, kita hrs hitung Sum of Square full model X1, X2, ….., Xp, X* dan Sum of Square reduced model X1, X2, ……, Xp  di ANOVA table: Regression X*lX1, X2, ……, Xp dan Sum of Square dihitung: SS dr pe(+) X* setelah ada X1, X2, …, Xp = Regr SS full model: X1, X2,….., Xp, X* - Regr SS reduced model: X1, X2, …., Xp  SS (X*lX1,X2, ….Xp) = Regr SS (X1, X2, ….Xp, X*) – Regr SS (X1, X2, ……, Xp)

19 Jadi utk model Y = b0 + b1X1 + b2X2 dengan H0: b2 = 0
SS(X2lX1) = Regr SS (X1,X2) – Regr SS (X1) = = Utk model Y = b0 + b1X1 + b2X2 + b3X3 SS (X3lX1, X2) = Regr SS(X1,X2,X3) – Regr SS (X1,X2) = – = 0.24 Simpulan uji hipotesa: ‘penambahan var. X* kedalam model yang sudah ada X1, X2, ….., Xp tidak meningkat-kan secara bermakna utk memprediksi Y  atau F(X*lX1,X2,.,Xp) = pe(+) SS setelah ada X1,X2,., Xp/ MS Resid model dgn var X1,X2,….., Xp, X* Dgn derajat kebebasan (dk)=1 & n-p-2, kita menolak H0 bila nilai F-hitung > F1,n-p-2. Data kita sebagai berikut:

20 F(X2lX1) = SS(X2lX1) / MS Residual (X1,X2) = (103. 90)/(195. 19+0
F(X2lX1) = SS(X2lX1) / MS Residual (X1,X2) = (103.90)/( )/9 = dan F(X3lX1, X2) = SS(X3lX1, X2) / MS Resid (X1, X2, X3) = 0.24 / 24.4 = 0.01 Dari tabel F kita lihat bahwa untuk F1,9,0.90 = 3.36 dan F1,9,0.95 = 5.12 maka hasil uji statistik untuk F(X2lX1) = 4.78  artinya nilai p: 0.05<p<0.1, artinya kita menolak H0 pada a = 0.1  disimpulkan bahwa pe(+)an var. AGE me(+) nilai utk memprediksi Y pada a = 0.1 tidak pada a = 0.05 Uji F(X3lX1,X2) = 0.01  p>0.1 kita menerima H0, disimpulkan bahwa model yang paling sesuai (the best fitted model): Y = b0 +b1HGT + b2AGE

21 Uji t sebagai alternatif
Cara yang sama sperti uji F parsial adl menggunakan uji t dgn dk = n-k-1. Uji t fokus uji null hipotesa H0: b* = 0  b* adl nilai koefisien dr X* di model regresi: Y = b0 + b1X1 + b2X2, ….,+ bpXp +b*X* untuk menguji H0: b0 = 0 digunakan uji Dalam uji ini kita menolak H0: b* = 0 jika ltl > tn-p-2, 1-a/2  uji dua arah; Ha: b* # 0 T > tn-p-2, 1-a  uji satu arah; Ha: b*>0 T < tn-p-2, 1-a  uji satu arah; Ha: b*<0

22 Uji t dua arah memberikan hasil yang sama dengan uji F parsial
Contoh: uji H0: b3 = 0 dalam model Y = b0 + b1X1 + b2X2 + b3X3 + E dari ANOVA table 6 kita akan memperoleh Nilai tersebut kita kuadratkan: t2 = 0.01  = parsial F(X3lX1,X2)

23 SUMBER DF SS MS F REGRESI x1 1 37.5 X2|x1 498 5.8 RESIDUAL 27 2301
3196 37.5 X2|x1 498 5.8 RESIDUAL 27 2301 85.2 TOTAL 29 5996