RANK FULL MODEL (VARIANCE ESTIMATION) Untuk dapat melakukan pendugaan interval terhadap parameter model (β0, β1, β2 ,…,βk) dan uji hipotesis tentang parameter model maka perlu dilakukan pendugaan terhadap varians (σ2) yaitu varians dari variabel-variabel random y1, y2, …, yk. Varians suatu variabel random adalah ukuran variabilitasnya, secara teori adalah rata-rata atau nilai harapan dari kudrat selisih antara variabel random tersebut dengan rata-rata populasinya.

Pembilang pada rumus di atas atau (y- Xb)΄(y-Xb) dikenal dengan penduga jumlah kuadrat residu (error). Jumlah kuadrat residu ini merefleksikan variasi random atau variasi yang tidak dijelaskan oleh variabel y (response).

Regression through the origin Model regresi linier berganda yang umum menggunakan intercept. Artinya model terdiri dari k parameter β1, β2, …, βk yang berkaitan dengan k variabel x0, x1, …, xk, dan juga mengandung satu parameter β0 yang bediri sendiri. Parameter ini yang disebut dengan intercept. Sehingga jumlah parameter yang harus diestimasi dalam model adalah p=k+1.

Pada kondisi tertentu intercept ini tidak diperlukan atau β0=0 Pada kondisi tertentu intercept ini tidak diperlukan atau β0=0. Sehingga model mempunyai bentuk y= β1x1 + β2x2 + …+ βkxk dan disebut dengan regression through the origin. dan penduganya adalah b=(X΄X)-1X΄y. Penduga untuk σ2 adalah dengan p=k.

Nyatakan fungsi densitas dari residual ke-i f(εi). Maximum Likelihood Estimators Asumsi: ε1, ε2, …, εn random variabel berdistribusi normal dan independent dengan masing-masing memiliki rata-rata 0 dan varians σ2. Langkah- langkah metode ini: Nyatakan fungsi densitas dari residual ke-i f(εi). Tentukan fungsi likelihood (L): fungsi densitas gabungan dari random errors. Karena random errors saling bebas maka fungsi densitas gabungan merupakan perkalian dari fungsi marginalnya. L adalah: Nyatakan L sbg fungsi dari β dan σ2.

Tentukan ln L Maksimumkan Ln L terhadap β untuk mendapatkan penduga maksimum likelihood bagi β0, β1, …, βk. Maksimumkan Ln L terhadap σ2 untuk mendapatkan penduga maksimum likelihood bagi σ2.

εi merupakan r.v. dg rata-rata 0 dan varians σ2, shg fungsi densitasnya adalah: Fungsi likelihoodnya adalah:

ε=y-Xβ, Σε2=ε΄ε=(y-Xβ)΄(y-Xβ), sehingga: Kemudian log. natural kedua sisi menjadi:

Theorema (Fisher-Neyman Factorization) Theorema (Fisher-Neyman Factorization). Diketahui X variabel acak dimana fungsi densitasnya mengandung parameter tunggal θ. Jika X1, X2,…, Xn mrpk sampel acak yang dipilih dari distribusi ini dengan fungsi densitas gabungan f(x1, x2,…, xn;θ). Statistik u(x1, x2,…, xn) merupakan statistik cukup (sufficient) untuk θ jika dan hanya jika f(x1, x2,…, xn;θ)=g[Y; θ]h(x1, x2,…, xn) dengan g hanya tergantung pada x1, x2,…, xn melalui Y, dan h tidak tergantung pada θ.

Theorema Diketahui y=Xβ+ε dengan X matrik rank penuh dengan ordo nx(k+1), β adalah vaktor (x+1)x1 dari parameter yang tidak diketahui dan ε adalah vektor random nx1 berdistribusi normal dengan rata-rata 0 dan varians σ2I. Maka b=(X’X)-1X’y dan s2=e’e/(n-p) adalah statistik cukup untuk β dan σ2.

εi merupakan r.v. dg rata-rata 0 dan varians σ2, shg fungsi densitasnya adalah: Distribusi gabungan untuk ε1, ε2,…, εn adalah

ε=y-Xβ, Σε2=ε΄ε=(y-Xβ)΄(y-Xβ), sehingga: Sehingga