Hypothesis Testing In Full Rank Model Uji hipotesis diantaranya untuk menjawab pertanyaan pertanyaan berikut: Apakah model yang dibentuk apakah sebagian besar observed variable mampu menjelaskan variasi dalam variabel respon? Apakah hanya sebagian atau seluruh variabel observasi mampu menjelaskan variasi dalam variable respon? Apakah variabel tertentu dalam model dapat digunakan untuk mengestimasi respon?

Uji Kesesuaian Model Kita lihat model linier berikut: yi =β0+ β1 Xi1+ β2 Xi2+…+βkXik+εi, i=1,2,…,n Apakah model di atas sudah sesuai(cocok)? Artinya, apakah model linier tersebut variabel-variabel observasi dapat menjelaskan variasi dari variabel respon? Jika tidak, maka semua koefisien model akan sama dengan nol, sebaliknya minimal terdapat satu koefisien model yang tidak sama dengan nol.

Uji terhadap model di atas, sbb: H0 : β1 = 0 H1 : β1 ≠ 0 Asumsi yang digunakan dalam uji model ini adalah random errors berdistribusi normal dengan E[ε]=0 dan Var ε=σ2I. Akibatnya y vektor random nx1 juga berdistribusi normal dengan rata-rata Xβ dan varians σ2I.

Metode yang digunakan untuk menguji hipotesis ini adalah analysis of variance (ANOVA). ANOVA adalah teknik analitik dimana jumlah kuadrat didistribusikan kedalam beberapa komponen sumber. Disini y΄y (jumlah kuadrat variabel respon) dipecah menjadi bagian-bagian yang lebih berarti. Residual sum of squares, yang merefleksikan variasi random atau variasi yang tidak dijelaskan dalam respon, dapat dinyatakan sebagai:

SSRes =y΄y – y΄X(X΄X)-1X΄y y΄y = y΄X(X΄X)-1X΄y +SSRes y΄X(X΄X)-1X΄y merefleksikan variasi dalam variabel respon yang tidak acak, sama artinya dengan variase dalam variabel respon yang dijelaskan oleh model regresi linier. y΄X(X΄X)-1X΄y disebut dengan model or regression sum of squares, yang dinotasikan dengan SSModel atau SSReg. Jika y΄y disebut dengan SSTotal, maka jumlah kuadrat total dapat dinyatakan sebagai: SSTotal = SSReg + SSRes

Pengujian ini membutuhkan pengetahuan tentang distribusi probabilitas dari SSReg/σ2 dan SSRes/σ2 serta hubungan antara keduanya. Theorema 4.1. SSReg adalah notasi dari jumlah kuadrat regresi dalam model rank penuh, maka SSReg/σ2 mengikuti distribusi chi-square dengan derajat bebas p=k+1 dan parameter noncentral

Theorema 4.2. SSRes adalah notasi dari jumlah kuadrat residual dalam model rank penuh, maka SSRes/σ2 mengikuti distribusi chi-square dengan derajat bebas n-p. Theorema 4.3. SSReg/σ2 dan SSRes/σ2 adalah bentuk kuadrat yang saling bebas. Theorema 4.4. Jika X adalah matriks nxp rank penuh, maka X΄X adalah positive definite.

Pada kondisi H0 : β1 = 0 benar parameter noncentral λ berkaitan dengan SSReg/σ2 sama dengan nol. Sehingga bentuk kuadrat ini mengikuti distribusi chi-square dengan derajat bebas p. SSReg/σ2 dan SSRes/σ2 saling bebas, dan H0 benar ratio: Mengikuti distribusi F dengan derajat bebas p dan n-p.

s2 adalah penduga tak bias untuk σ2, atau E(MSRes)= σ2 s2 adalah penduga tak bias untuk σ2, atau E(MSRes)= σ2. E(MSReg) = E[(1/p) y΄X(X΄X)-1X΄y] = (1/p)[tr(X(X΄X)-1X΄σ2I+(Xβ)΄X(X΄X)-1X΄Xβ] = (1/p)[pσ2+ β΄X΄Xβ] Jika hipotesis nol tidak benar, maka β≠0. Sejak X΄X adalah positive definite, β΄X΄Xβ>0 dan E[MSReg]> σ2. Sehingga ratio MSReg/MSRes lebih besar dari 1.

ANOVA Table Source of Variation Sum of Square Degrees of Freedom Mean Square F Ratio Regression y΄X(X΄X)-1X΄y P SSReg/p MSReg/MSRes Residual y΄y–y΄X(X΄X)-1X΄y n-p SSRes/n-p Total y΄y n