RANK FULL MODEL (ESTIMATION) Model linier dalam teori statistik secara umum mempunyai bentuk: y=β0+ β1 X1+ β2 X2+…+βkXk+ε Y=response Xi=regressors ε =random variable yang mrpk variasi random yg tidak dapat dijelaskan oleh variable response. βi=konstan atau parameter, nilai sebenarnya tdk diketahui sehingga perlu diestimasi dengan data observasi/eksperimen.

yn =β0+ β1 Xn1+ β2 Xn2+…+βkXnk+ εn Percobaan atau pengamatan dilakukan sebanyak n kali untuk berbagi nilai x1, x2, … , xk (n≥k+1) dan y1, y2, … , yn. Jika xij adalah notasi dari pengamatan ke i pada variabel xj maka akan didapatkan model dalam bentuk sistem persamaan linier dengan bentuk: y1 =β0+ β1 X11+ β2 X12+…+βkX1k+ ε1 y2 =β0+ β1 X21+ β2 X22+…+βkX2k+ ε2 . yn =β0+ β1 Xn1+ β2 Xn2+…+βkXnk+ εn

Misal: Sistem persamaan linier dapat dinyatakan dalam bentuk matriks: y=Xβ+ε y dan ε masing-masing merupakan vektor random. y adalah vektor response dan ε adalah vektor dari random errors. Β adalah vektor (k+1)x1 dari parameter yg tdk diketahui. X adalah matriks skalar dengan ordo nx(k+1). Model full rank disini adalah sama artinya dengan X mempunyai full rank.

Least Square Estimators Dalam metode ini memerlukan vektor random error (ε) yang mempunyai rata-rata 0 dan varians σ2I. Dengan menggunakan aturan ekspektasi dan varians, dapat diketahui bahwa vektor y memiliki rata-rata Xβ dan matriks varians-kovarians σ2I.

Model linier menyatakan bahwa: y=β0+ β1 X1+ β2 X2+…+βkXk+ε Ekpektasi dari model di atas adalah: E(y)=β0+ β1 X1+ β2 X2+…+βkXk+E(ε) Seperti diketahui sebelumnya bahwa E(ε)=0, shg E(y)=β0+ β1 X1+ β2 X2+…+βkXk+E Rata-rata response tergantung dari nilai-nilai variabel x dan merupakan fungsi dari parameter-parameter.

Untuk mendapatkan estimator dari parameter-parameter dalam model, pertama kita nyatakan response dalam bentuk residual sebagai berikut: y1 =b0+ b1 X11+ b2 X12+…+bkX1k+ e1 y2 =b0+ b1 X21+ b2 X22+…+bkX2k+ e2 . yn =b0+ b1 Xn1+ b2 Xn2+…+bkXnk+ en

Misalkan : Maka SPL dapat dinyatakan dalam bentuk matriks: y=Xb+e Dlm metode least square kita meminimumkan jumlah kuadrat residual :

Theorema 3.1. Jika y=Xβ+ε dengan X adalah matriks nx(k+1) rank penuh, β adalah vektor dari paramater (k+1)x1, ε adalah vektor random nx1 dengan rata-rata 0 dan varians σ2I. Penduga least square untuk β (b) adalah b=(X΄X)-1X΄y

Bukti: Vektor residual dpt dinyatakan sbb e=y – Xb shg e΄e = (y – Xb)΄(y – Xb) = (y΄ – b΄X΄)(y – Xb) = y΄y – y΄Xb – b΄X΄y + b΄X΄Xb b΄X΄y mrpkn matrik 1x1 sehingga b΄X΄y=(b΄X΄y)΄ atau b΄X΄y=y΄Xb e΄e = y΄y – 2(X΄y)΄b + b΄X΄Xb Untuk meminumumkan e΄e mk diturunkan terhadap b kemudian disamakan dengan nol.

Contoh: Asumsikan model: y=β0+ β1 X1+ β2 X2+ε Data observasi adalah sbb:

Theorema 3.2. Jika y=Xβ+ε dengan X adalah matriks nx(k+1) rank penuh, β adalah vektor dari paramater (k+1)x1, ε adalah vektor random nx1 dengan rata-rata 0 dan varians σ2I. Penduga least square b=(X΄X)-1X΄y merupakan penduga yang tak bias (unbiased estimator) untuk β. Varians estimator tersebut adalah Var b= (X΄X)-1σ2.

Theorema Gauss-Markoff Penduga unbiased least square merupakan salah satu contoh penduga linier. Penduga dinyatakan dalam bentuk Ly, L adalah matrik bilangan riil. L= (X´X )-1 X´ Sayangnya, unbiasedness tidak menjamin uniqueness. Unbiased linier estimator bisa lebih dari satu. Theorema Gauss-Markoff menjamin bahwa dari semua estimator β, b merupakan estimator yang terbaik dengan varians terkecil. (BLUE)

Theorema 3.3. Jika y=Xβ+ε dengan X adalah matriks nx(k+1) rank penuh, β adalah vektor dari paramater (k+1)x1, ε adalah vektor random nx1 dengan rata-rata 0 dan varians σ2I. Penduga least square b=(X΄X)-1X΄y merupakan the best linear unbiased estimator untuk β. Bukti: Misal b* merupakan the best linear unbiased estimator untuk β: b*=[(X΄X)-1X΄+B]y, B: matrik bil riik (k+1)xn

E(b. ) =[(X΄X)-1X΄+B]E[y] =[(X΄X)-1X΄+B]Xβ =[I+BX] β Jika b E(b*) =[(X΄X)-1X΄+B]E[y] =[(X΄X)-1X΄+B]Xβ =[I+BX] β Jika b* merupakan BLUE untuk β, maka E(b*) = β β =[I+BX] β sehingga [I+BX]=I, ini artinya BX=0

Var(b*)= Var[(X΄X)-1X΄+B]y =[(X΄X)-1X΄+B]σ2I[(X΄X)-1X΄+B]΄ =σ2[(X΄X)-1X΄+B] [X(X΄X)-1+B΄] =σ2[(X΄X)-1X΄X(X΄X)-1+(X΄X)-1X΄B+BX(X΄X)-1+BB΄] diketahui bahwa BX=0, maka X΄B=0, sehingga Var(b*) = σ2[(X΄X)-1+BB΄] =(X΄X)-1σ2+BB΄σ2 =Var(b)+BB΄σ2 Elemen ke i pada diagonal utama BB ΄ adalah

Pendugaan Fungsi Linier dari βi Fungsi linier dari βi dapat dituliskan sebagai t΄β dengan t΄ merupakan vektor bilangan riil 1x(k+1). Esimator t΄β adalah t΄b, dengan b adalah the least square estimator untuk β. Theorema 3.4. Jika y=Xβ+ε dengan X adalah matriks nx(k+1) rank penuh, β adalah vektor dari paramater (k+1)x1, ε adalah vektor random nx1 dengan rata-rata 0 dan varians σ2I. Misal t΄ adalah vektor bilangan riil 1x(k+1). The best linear unbiased estimator untuk t ΄β adalah t΄b, b adalah the least square estimator untuk β.

Variance Estimation