MODEL BERPANGKAT PENUH (MODEL REGRESI)

Estimasi Parameter Model DAFTAR SLIDE Formulasi Model Estimasi Parameter Model Pendugaan Interval Pengujian Hipotesis 2

PENDAHULUAN Analisis regresi berkenaan dengan studi ketergantungan dari satu variabel yang disebut variabel respon yang dilambangkan dengan y, pada satu atau lebih variabel penjelas atau peramal yang dilambangkan dengan X. Tujuan: memperkirakan atau meramalkan nilai variabel respon apabila nilai dari variabel penjelas sudah diketahui. Variabel peramal: variabel yang nilainya dapat ditentukan atau nilainya dapat diamati namun tidak dapat dikendalikan. 3

PENDAHULUAN CONTOH : 4 SATU VARIABEL PENJELAS (X) DUA VARIABEL PENJELAS (X) 4

PENDAHULUAN Hubungan diantara dua variabel: Fungsional: diekspresikan dengan rumus matematik. y = f(x) f adalah fungsi yang menunjukkan nilai y yang berhubungan dengan nilai x tertentu. Statistik : bukan hubungan yang sempurna karena observasi tidak terletak tepat pada kurva hubungan. y = f(x) + ε ε adalah variabel random yang memiliki fungsi distribusi tertentu. 5

PENDAHULUAN Scatter diagram atau scatter plot: scattering/skenario titik-titik dalam hubungan statistik. Dalam terminologi statistik tiap-tiap titik dalam scatter diagram menunjukkan observasi atau percobaan. 6

PENDAHULUAN Skala data: Data kualitatif: Skala nominal: bisa dibedakan, disebut juga data kategori. Skala ordinal: bisa dibedakan dan memiliki urutan tingkatan Data kuantitatif: Skala interval: bisa dibedakan, memiliki tingkatan, dan memiliki nilai yang tidak mutlak. Skala rasio: sama dengan interval tetapi tidak memiliki nilai nol mutlak. 7

PENDAHULUAN Berdasarkan pengumpulan data, terdapat 2 tipe data untuk model linier: Observational: Nilai variabel X dalam model linier tidak terkontrol. Contoh: Data tentang penelitian psikologi, marketing, sosial dsb. Experimental: Nilai variabel X dalam model linier terkontrol. X1 : temperatur, dapat ditentukan misalnya 100, 125, 150 X2 : tekanan, misalnya ditentukan 50, 60, 70 Y : impurity (variabel random) 8

Linear Regression Y X b b + = e Y X Yi Xi ? (the actual value of Yi) 0 1 + = Yi i e X Xi

Model regresi linier sederhana untuk n observasi: yi = 0 + 1 xi + i FORMULASI MODEL Model regresi linier sederhana untuk n observasi: yi = 0 + 1 xi + i xi : regressor variable yi : response variable 0: the intercept, unknown 1: the slope, unknown i : error with E(i) = 0 and Var(i) = 2 (unknown) The errors are uncorrelated sehingga cov(i,j) = 0; i ≠ j i = 1, …, n 10

E(y|x) = E(0 + 1 x + ) = 0 + 1 x FORMULASI MODEL Given x, E(y|x) = E(0 + 1 x + ) = 0 + 1 x Var(y|x) = Var(0 + 1 x + ) = 2 Responses are also uncorrelated. Regression coefficients: 0, 1 1: the change of E(y|x) by a unit change in x 0: E(y|x=0) 11

Least-squares Estimation of the Parameters Estimation of 0 and 1 PENDUGAAN TITIK Least-squares Estimation of the Parameters Estimation of 0 and 1 n pairs: (yi, xi), i = 1, …, n Method of least squares: Minimize 12

Least-squares normal equations: PENDUGAAN TITIK Least-squares normal equations: 13

The least-squares estimator: PENDUGAAN TITIK 14

Properties of the Least-Squares Estimators: PENDUGAAN TITIK Properties of the Least-Squares Estimators: are linear combinations of yi are unbiased estimators. 15

PENDUGAAN TITIK 16

Residual sum of squares: PENDUGAAN TITIK Estimator of 2 Residual sum of squares: 17

the unbiased estimator of 2 is PENDUGAAN TITIK Since , the unbiased estimator of 2 is MSE is called the residual mean square. This estimate is model-dependent. 18

Model regresi linier berganda untuk n observasi: FORMULASI MODEL Model regresi linier berganda untuk n observasi: dengan : parameter : konstanta diketahui dan variabel random 19

Arti parameter regresi: FORMULASI MODEL Arti parameter regresi: β0 dan βi dalam model regresi disebut koefisien. βi : slope garis regresi, menunjukkan perubahan pada rataan distribusi probabilitas Y per satuan kenaikan Xi dengan asumsi Xj (i ≠ j) konstan. β0 : intersep Y dari garis regresi. Jika cakupan model tdd X = 0, β0 menunjukkan rataan distribusi probabilitas Y pada X = 0. Jika cakupan model tdk termasuk X = 0, β0 tidak memiliki arti tertentu sebagai bentuk terpisah dalam model regresi. 20

FORMULASI MODEL Dalam Bentuk Matriks 21

X : matriks konstanta , full rank ε : vektor random error FORMULASI MODEL Persamaan Dalam Bentuk Matriks dengan y : vektor respon β : vektor parameter X : matriks konstanta , full rank ε : vektor random error 22

ESTIMASI PARAMETER MODEL Postulate Model: Model taksiran: Residual/sisaan: , metode: Ordinary Least Square (OLS) Maximum Likelihood Estimator (MLE) Generalized Least Square (GLS) 23

ESTIMASI PARAMETER MODEL: OLS Asumsi: vektor random dengan mean dan varians Cara: meminimumkan jumlah kuadrat sisaan 24

ESTIMASI PARAMETER MODEL: MLE Asumsi tambahan: Tuliskan atau Tuliskan fungsi likelihood (L): atau Cari ln(L). Cari : 25

ESTIMASI PARAMETER MODEL: MLE biased unbiased 26

ESTIMASI PARAMETER MODEL: GLS Postulate Model: Model taksiran: → V matriks definit positif berukuran n × n definit positif → definit positif. Penduga minimumkan 27

ESTIMASI PARAMETER MODEL: GLS 28

Diketahui dengan X matriks full rank TEOREMA GAUSS MARKOV Diketahui dengan X matriks full rank n × (k + 1), vektor parameter (k + 1) × 1, dan vektor random n × 1 dengan mean 0 dan varians Penduga kuadrat terkecil adalah penduga yang BLUE (Best Linier Unbiased Estimator) untuk . Best: varians minimum Linier: fungsi linier dari variabel respon (y). Unbiased: 29

ESTIMASI PARAMETER MODEL: GLS Definisi (Myers, hal: 103): Diketahui Z variabel random normal standar dan variabel random berdistribusi chi-squared dengan derajat bebas n dan saling bebas, maka variabel random berdistribusi t dengan derajat bebas n. 30

ESTIMASI PARAMETER MODEL: GLS Teorema (Myers, hal: 105) Diketahui: model , , maka: dan saling bebas. 31

A random sample of 14 students is selected from an elementary school, and each student is measured on a creativity score (Create) using a new testing instrument and on a task score (Task) using a standard instrument. The Task score is the mean time taken to perform several hand-eye coordination tasks. Because the test for the creativity test is much cheaper, it is of interest to know whether you can substitute it for the more expensive Task score. create a regression equation that will effectively predict a Task score (the dependent variable) from the Create score (the independent variable) ! LATIHAN 32

Sampel 15 pasang data adalah sebagai berikut X1 X2 Y 15 7,7 36 LATIHAN Sampel 15 pasang data adalah sebagai berikut X1 X2 Y 15 7,7 36 22 8,2 39 16 7,8 35 19 9,3 43 22 8,2 40 20 8,8 42 28 12,1 49 14 8,0 38 X1 X2 Y 18 8,1 36 21 11,2 44 26 9,4 35 14 10,3 43 19 8,5 37 22 7,5 41 20 8,4 40 Carilah persamaan regresi linier dari data diatas ! 33

cjj: elemen diagonal ke –j dari 100(1-α)% CI untuk PENDUGAAN INTERVAL 100(1-α)% CI untuk βj : cjj: elemen diagonal ke –j dari 100(1-α)% CI untuk 100(1-α)% confidence region untuk β 34

PENGUJIAN HIPOTESIS Uji ketepatan Model Hipotesis: Metode: analysis of variance (ANOVA) Statistik uji: Keputusan: Tolak H0 jika 35

Tabel ANOVA PENGUJIAN HIPOTESIS Sumber Variasi Sum of Squares Degrees of Freedom Mean Square Fratio Regresi/Model SSreg k + 1 MSreg Error/Residual SSres n – (k+1) MSres Total SStotal n 36

PENGUJIAN HIPOTESIS Uji Subvektor Hipotesis: Statistik uji: Keputusan: Tolak H0 jika 37

PENGUJIAN HIPOTESIS Tabel ANOVA Sumber Variasi Sum of Squares Degrees of Freedom Mean Square Fratio Regresi/Model Full model k + 1 Reduced model (k + 1) – r in presence r Error/Residual SSres n – (k+1) MSres Total SStotal n 38

Jumlah Kuadrat Terkoreksi PENGUJIAN HIPOTESIS Jumlah Kuadrat Terkoreksi ( dan ) Sumber Variasi SS df MS Regresi SSreg k MSreg Residual SSres n – k - 1 MSres Total (corrected) SStotal n - 1 Faktor Koreksi: 39

Jika |t*| ≤ t(1 – α/2; n – p): terima H0 PENGUJIAN HIPOTESIS H0 : vs H1 : Statistik uji: Kesimpulan: Jika |t*| ≤ t(1 – α/2; n – p): terima H0 40

pertanyaan