TUGAS PRESENTASI MODEL LINEAR KELOMPOK 1: Annisa Nur Fadhilah 11.6548 Apella Melianta 11.6553 Hasti Amanda 11.6692 Hasti Putri Hulu 11.6693 Nurul Lia Shinta D 11.6836 Sanefaro Mofu 11.6894 Zukha Latifa 11.6978

UJI HIPOTESIS DALAM MODEL FULL RANK Model dasar yang diasumsikan: Dimana Uji Adequacy atau model keberartian.

Metode yang digunakan adalah Analysist of Variance (ANOVA). kita tahu bahwa Misalkan Maka

Theorem 4.1.1 “ Misalkan notasi jumlah kuadrat regresi dalam model linear full rank, maka mengikuti distribusi Cho- Square non-central dengan derajat bebas p= k+1 dan parameter non central “

Bukti Y = vektor n x 1 =matriks simetris nxn yang idempoten sama dengan trace nya dimana tr =tr =tr =k+1 mengikuti Non-Central Chi-Square Distribution dengan derajat bebas k+1 dan noncentrality parameter

Theorem 4.1.2 “ Misalkan notasi jumlah kuadrat residual dalam model linear full rank, maka mengikuti distribusi Cho-Square non-central dengan derajat bebas n-p. “ Theorem 4.1.3 dan adalah bentuk kuadrat yang independen

“ Jika X adalah n x p full rank, maka adalah definite positif.” Theorem 4.1.4 “ Jika X adalah n x p full rank, maka adalah definite positif.” Bukti

Contoh soal A data processing System entails there basic structural elements: file (X1), flows (X2), and processes (X3). Files are permanent records, flows are data interfaces, and processes are functionally defined logical manipulations of the data. An investigation of the cost of developing software was reported in “A Software Matrix for Coast Estimation and Efficiency Measurement in Data Processing System Development”, journal of System software 3, 1983. These data are based on that Study.

Coast (in Units of 1000) FILES FLOWS PROCESSES (y) (X1) (X2) (x3) 22.6 4 44 18 15.0 2 33 15 78.1 20 80 28.0 6 24 21 80.5 227 50 24.5 3 20.5 41 13 147.6 16 187 137 4.2 19 48.2 5 48 17

The assumed linear regression model is: i= 1,2,3,..,11 Let us test JAWABAN The assumed linear regression model is: i= 1,2,3,..,11 Let us test for these data, SAS is used to find that

SSReg=y'XX'X-1X'y=38978. 38 y'y=39667. 01 SSres=y'y-SSReg=688 SSReg=y'XX'X-1X'y=38978.38 y'y=39667.01 SSres=y'y-SSReg=688.63 MSReg=SSRegp=SSReg4=38978.384=9744.595 MSRes=SSResn-p=SSRes7=688.387=98.375 F4,7=MSRegMSRes=9744.59598.375=99.055

Since The F ratio exceeds i , it is expected That H0 will be rejected based on The distribution. Since The critical point for an α = 0.01 level Test is 7.85, The true P value is less 0.01. There is strong evidenci that β≠0. That is, at least on of the Parameters is not zero. Our task eventually to discover exactly whice of these parameter is nonzero. The result of this analysis are summarized in Table 4.2

Table 4.2 ANOVA for cost data of Example 4.1.1 Source of Variance Sum of Square Derees of freedom Mean Square F Ratio Regression 38978.38 4 9744.595   99.055 Residual or error 688.63 7 98.375 Total 39667.01 11  

UJI HIPOTESIS A SUBVECTOR DARI β Di bagian 4.1 kita menguji H0 : β = 0 dengan H1 : β ≠ 0 Model Regresi linear dapat di tuliskan sebagai berikut y = Xβ + dimana dan . Jika H0 benar, maka dan .Hipotesis nol dapat menyatakan bahwa variabel respon acak dengan rata-rata 0. Jika β ≠ 0, maka tetapi varian y adalah tetap . Karena itu, hipotesis alternative menyatakan bahwa variansi respon acak dengan rata-ratabukan nol. Dikatakan bahwa β ≠ 0 menyiratkan bahwa setidaknya salah satu dari parameters β0,β1,...,βk adalah bukan nol. Khususnya, kita ingin tahu apakah ada atau tidak ada bukti bahwa regressors x1,x2,...,xk berguna untuk menjelakan variasi respon, dan dimana regressors ini yang paling penting.

Untuk menentukan ini, kita harus membuat sebuah metode untuk uji hypothesismengenai subset dari himpunan parameters {β0,β1,…,βk}. Dan Memiliki bentuk seperti dan Jadi partisi β adalah

kita akan menguji dengan Ingat bahwa jumlah kuadrat regresi( regressions sum of square) untuk full model adalah Dalam konteks ini berguna untuk menunjukkan bentuk kuadrat dari R(β). Jumlah kuadrat regresi ( regressions sum of square) untuk reduced model di notasikan dengan R(γ2) dan di tunjukkan sebagai berikut Perbedaaan antara R(β) dan R(γ2) adalah jumlah dari respon variasi yang bukan merupakan merupakan acak tetapi tidak dapat dihitung hanya dengan reduced model. Perbedaan ini di sebut sum of square for regressions pada γ1 dihadapan γ2dan di notasikan sebagai berikut

Untuk mengembangkan uji statistic matematis, kita harus mempertimbangkan identitas sebagai berikut Dengan menulis ulang identitas tersebut dengan menggunakan notasi yang hanya sebagai berikut sehingga memudahkan kita untuk melihat Dan bahwa :

Theorem 4.2.1 Diketahui z adalah random variable n x 1 dari normal multivariate dengan mean µ danvarians I. dan jika Kondisi perlu dan cukup untuk bentuk kuadratik yang independent dan didistribusikan sebagai random variable chi-square noncentral dengan parameter ri dan γi, dimana dan dimana

Untuk menerapkan teoremaini, z=y/σ Untuk menerapkan teoremaini, z=y/σ. Perhatikan asumsi model di bawah ini Dan Dari teorema Cochran-fisher, dapat disimpulkan bahwa bentuk kuadrat yang terlibat adalah random variable independent dari chi-square noncentral. Dan bentuk kuadraticnya adalah sebagai berikut Sesuai dengan distribusi chi-square non central dengan rank r dan parameter noncentralitya adalah

Dari berbagai argumen di atas bahwa besar dari menunjukkan ada bukti atau tidak ada bukti untuk menolak. Kita harus ketahui bahwa, uji statistika harus dari satu distribusi yang merupakan asumsi bahwa hipotesis nol adalah benar. Untuk mengembangkan statistic dalam kasus ini, kita harus memperhatikan ratio dari Theorem 4.2.2 Jika H0:γ1=0 adalah benar, maka mengikuti distribusi F dengan derajat bebas r dan n-p. Pembuktian Melalui teorema cochran-fisher, diketahui bahwa

Jika H0:γ1=0 adalah benar, maka γ reduces to

R(γ1|γ2)/r/SSRes/(n-p) Tabel Anova 4.3 Source of Variation SS db MS F ratio Regression Full model R(β1) p Reduced model R(γ2) p-r γ1 in presence γ2 R(β)-R(γ2)=R(γ1|γ2) r R(γ1|γ2)/r R(γ1|γ2)/r/SSRes/(n-p) Residual y'y - R(β) = SSRes n-p SSRes/(n-p) Total y'y n  

Contoh 4.2.1

4.3 Partial dan Sequential Test Pada pembahasan di depan sebuah metode untuk subset parameter telah dibangun. Ketika ϒ1 = 1 x 1, maka ketika hanya sebuah parameter yang diuji untuk menyimpulkan seluruh model yang lain, maka uji F berdasarkan derajat bebas 1 dan n – p disebut Partial F test. Sehingga, H0 : βj = 0 vs H1: βj ≠ 0 Regresi sum of square untuk setiap model dinotasikan dengan R(β0, β1, β2, . . ., βj) dan diberikan dengan R(β0, β1, β2, . . ., βj)=y’X˜( X˜’ X˜)-1 X˜y Itu bisa digunakan untuk determine series “extra sum of square unruk regresi” dengan menemukan perbedaan antara “full” model regeresi sum square itu lebih dan lebih parameter ditambahkan ke model tersebut

R(β2|β0, β1)= R(β0, β1, β2)- R(β0,β1) Itu diberikan dengan R(β0|β1)= R(β0,β1)- R(β0) R(β2|β0, β1)= R(β0, β1, β2)- R(β0,β1) R(β3|β0, β1, β2)= R(β0, β1, β2, β3)- R(β0, β1, β2). R(βk|β0, β1,..., βk-1)= R(β0, β1,..., βk)- R(β0, β1,..., βk-1) Atau R(β)= R(β0)+ R(β0|β1)+ R(β2|β0, β1)+ R(β3|β0, β1, β2)+...+ R(βk|β0, β1,..., βk-1) F ratio Digunakan untuk uji hipotesis nol dimana βj tidak dibutuhkan di dalam model yang terdiri dari β0, β1,..., βj-1. Tes tersebut disebut sequential F test. Contoh 4.3.1  

4.4 Alternatif lain dalam pengujian hipotesis dalam subvektor Dalam bagian 4.2 statistik dikembangkan untuk menguji tetapi, seperti disepakati, perdebatan bahwa uji tersebut adalah right-tailed hanyalah sebuah anggapan belaka. Pada bagian ini ,sebuah metode alternatif lain untuk penghitungan diturunkan. Dalam bentuk alternatif, uji F yang dikembangkan merupakan raight- tailed. Penurunan bentuk alternatif ini berdasarkan kemampuan untuk menulis dan inversnya dalam bentuk partisi.

Theorem 4.4.1 Misalkan matriks berukuran dengan rank dinyatakan dalam bentuk partisi sebagai Dimana matriks berukuran dengan rank r dan matriks berukuran dengan rank p-r . sehingga dapat dinyatakan sebagai kemudian, jika Maka

Theorem 4.4.2 Misalkan matriks berukuran dengan rank dinyatakan dalam bentuk partisi sebagai Dimana matriks berukuran dengan rank r dan matriks berukuran dengan rank . Misal dipartisi sebagai Dimana adalah sebuah vektor berukuran dan adalah vektor berukuran . Maka dimana merupakan least square estimator untuk Bukti

Sekarang anggap bahwa statistik F digunakan untuk menguji Sekarang anggap bahwa statistik F digunakan untuk menguji. Statistik ini dapat dinyatakan dengan Diketahui bahwa . Least square estimator untuk yaitu , diketahui berdistribusi normal dengan rata-rata dan varians Menggunakan teorema 2.2.1

Mudah untuk dilihat bahwa jika benar, maka .Sehingga jika benar, F ratio harus memberikan nilai yang mendekati 1. Karena merupakan principal minor dari matriks positif definit , juga positif definit, begitu juga dengan inversnya. Menurut definisi

untuk . Selanjutnya jika tidak benar, pembilang statistik F harus lebih besar dari , sehingga akan menghasilkan nilai F ratio yang melampaui 1. Logika memerintahkan bahwa harus ditolak untuk nilai uji statistik yang besar. sehingga, uji F dikembangkan untuk menguji hipotesis nol bahwa sebuah subvektor nol merupakan uji right-tailed.

UJI t PADA Kasus khusus ketika merupakan parameter tunggal. Disini kita menguji dan Seperti yang telah diketahui, hipotesis ini dapat diuji dengan menggunakan uji F parsial dengan bentuk

Bentuk ini merupakan kuadrat dari random variabel pada bab 3 yang digunakan untuk mencari confidence interval untuk . Mudah untuk menunjukkan bahwa kuadrat dari t random variabel akan mengikuti distribusi F. Sebahai hasil dari hubungan ini, hipotesis nol bahwa memiliki nilai o dapat diuji dengan uji t atau uji parsial F. Uji t memiliki kelebihan dibandingkan dengan uji parsial F yaitu uji t dapat diinterpretasikan dalam pengertian arah, yaitu tanda aljabar dari statistik t menunjukkan tanda dari . F ratio selalu memberikan hasil yang positif dan hanya mengindikasikan apakah berbeda dari 0.