Model Linier untuk Data Kontinyu S2 Statistika Semester Genap 2011/2012 21/02/2019 Dr. Rahma Fitriani, S.SI., M.Sc

Struktur Acak (Random Structure) Peubah respons Y (kontinyu) akan bervariasi walaupun mempunyai kovariate (X) yang bernilai sama. Setiap respons yi : realisasi dari peubah acak Yi. Diasumsikan bahwa: μi : Nilai harapan σ2 : ukuran deviasi/fluktuasi pengamatan terhadap nilai harapannya. 21/02/2019 Dr. Rahma Fitriani, S.SI., M.Sc

Dr. Rahma Fitriani, S.SI., M.Sc Fungsi kepekatan peluang sebaran normal bagi satu pengamatan ke i Asumsi, pengamatan-pengamatan saling bebas. Sebaran peluang bersama adalah perkalian dari sebaran peluang masing-masing pengamatan → pembentukan fungsi likelihood Antar pengamatan tidak berkorelasi: cov(Yi,Yj) = 0 untuk i ≠ j. 21/02/2019 Dr. Rahma Fitriani, S.SI., M.Sc

Dr. Rahma Fitriani, S.SI., M.Sc n pengamatan disajikan dalam vektor kolom y → realisasi dari peubah acak Y E(Y) = μ → nilai harapan var(Y) = σ2I, → matriks ragam peragam, di mana I adalah matriks identitas, dengan diagonal utama σ2 dan nol untuk elemen selainnya n pengamatan tidak berkorelasi dan mempunyai ragam sama. Y mempunyai sebaran normal berganda 21/02/2019 Dr. Rahma Fitriani, S.SI., M.Sc

Struktur Sistematis (Systematic Structure) Digunakan p peubah prediktor: x1, … , xp Realisasi prediktor untuk pengamatan ke i: xi1, … , xip Asumsi: nilai harapan respons (μi) tergantung pada prediktor tsb. Jika μi sebagai fungsi linier dari prediktor: Koefisien βj adalah koefisien regresi Dalam notasi matriks, 21/02/2019 Dr. Rahma Fitriani, S.SI., M.Sc

Dr. Rahma Fitriani, S.SI., M.Sc Dalam notasi matriks untuk mewakili seluruh pengamatan: X matriks berukuran an n ×p Memuat nilai prediktor ke p dari seluruh n pengamatan. X disebut sebagai matriks model atau matriks desain. Notasi matriks lebih umum digunakan 21/02/2019 Dr. Rahma Fitriani, S.SI., M.Sc

Dr. Rahma Fitriani, S.SI., M.Sc Xβ : Penduga linier /linear predictor Regresi sederhana, regresi berganda Analisis ragam / analisis peragam Null model Model linier paling sederhana μi = μ untuk semua pengamatan i Tidak ada perbedaan sistematis antar pengamatan. Bentuk khusus penduga linier, pada satu peubah prediktor p = 1 dan xi = 1 untuk semua i 21/02/2019 Dr. Rahma Fitriani, S.SI., M.Sc

Dr. Rahma Fitriani, S.SI., M.Sc Saturated model: Setiap pengamatan mempunyai nilai tengah sendiri μi. Bentuk khusus penduga linier dengan n peubah prediktor, p = n xi =1 untuk pengamatan ke- i dan 0 selainnya. Umumnya model yang bersifat di antara kedua kasus tersebut. Struktur sistematis diwakili oleh penduga linier Struktur acak diwakili oleh suku galat. 21/02/2019 Dr. Rahma Fitriani, S.SI., M.Sc

Dr. Rahma Fitriani, S.SI., M.Sc Pendugaan Parameter Bagaimana menduga β dan σ2? Metode penduga kemungkinan maksimum/ Maximum Likelihood Estimator Memaksimumkan fungsi likelihood, Fungsi likelihood: perkalian fungsi kepekatan peluang untuk semua pengamatan Membentuk log dari fungsi tsb. Pilih β dan σ2 yang memaksimumkan 21/02/2019 Dr. Rahma Fitriani, S.SI., M.Sc

Dr. Rahma Fitriani, S.SI., M.Sc Pemilihan β yang memaksimumkan fungsi log likelihood, pada nilai tertentu σ2 (dianggap tetap) setara dengan Pemilihan β yang meminimumkan jumlah kuadrat galat Pilih β yang meminimumkan Memilih nilai β yang membentuk μi = xiβ sedekat mungkin dengan nilai pengamatan yi. 21/02/2019 Dr. Rahma Fitriani, S.SI., M.Sc

Dr. Rahma Fitriani, S.SI., M.Sc Persamaan normal bagi penduga kemungkinan maksimum Turunan dari RSS terhadap β yang disamadengankan nol Matriks X disebut matriks model Jika X matriks adalah matriks yang full column rank Tidak ada kolom yang merupakan kombinasi linier dari kolom-kolom yang lain Matriks X’X juga full rank Matriks X’X dapat dibalik (dicari inverse-nya) untuk menentukan solusi dari persamaan normal 21/02/2019 Dr. Rahma Fitriani, S.SI., M.Sc

Dr. Rahma Fitriani, S.SI., M.Sc Penduga kemungkinan maksimum bagi parameter β: Jika X bukan matriks yang ‘full column rank’ Dapat digunakan generalized inverse dari X’X. Interpretasi lebih mudah jika kolom redundan dari X ditiadakan. Terdeteksi oleh statistical software yang terbaru, dan otomatis ditiadakan. 21/02/2019 Dr. Rahma Fitriani, S.SI., M.Sc

Dr. Rahma Fitriani, S.SI., M.Sc Beberapa metode untuk mencari inverse dari X’X: Choleski decomposition, Dekomposisi LU The Gram-Schmidt orthogonalization. Walaupun diasumsikan bahwa MLE diperoleh pada nilai σ2 tertentu (fixed), penduga MLE tidak tergantung pada σ2 Global maximum 21/02/2019 Dr. Rahma Fitriani, S.SI., M.Sc

Dr. Rahma Fitriani, S.SI., M.Sc Null model Model linier paling sederhana μi = μ untuk semua pengamatan i Bentuk khusus penduga linier, pada satu peubah prediktor p = 1 dan xi = 1 untuk semua i X adalah vektor dengan seluruh elemen bernilai 1 21/02/2019 Dr. Rahma Fitriani, S.SI., M.Sc

Dr. Rahma Fitriani, S.SI., M.Sc Tugas Terstruktur Buat resume mengenai Choleski decomposition Buat resume mengenai dekomposisi LU Buat resume mengenai Gram-Schmidt orthogonalization. 21/02/2019 Dr. Rahma Fitriani, S.SI., M.Sc