ANALISIS REGRESI SEDERHANA Dosen: Nunung Nurhayati

Masalah Misal diberikan n pasangan data (x1,y1), …, (xn,yn) yang diambil dari pasangan variabel (X,Y). Diasumsikan nilai Y terjadi akibat nilai X. Karena itu, X disebut variabel prediktor atau variabel bebas dan Y disebut variabel respon atau variabel terikat. Ingin diuji hipotesis: Apakah X berpengaruh (secara linier) terhadap Y ? Masalah: Bagaimana cara menaksir model liniernya ? Bagaimana cara menguji bahwa X berpengaruh terhadap Y ?

Analisis Regresi Analisis regresi adalah metode statistik untuk menentukan hubungan antara variabel prediktor dengan variabel respon. Jika hubungannya bersifat linier disebut analisis regresi linier. Jika variabel prediktor yang terlibat hanya X maka disebut analisis regresi linier sederhana dan jika lebih dari 1 disebut analisis regresi linier berganda. Analisis regresi linier dapat digunakan untuk memprediksi nilai variabel respon.

Regresi Linier Sederhana Asumsi: Jika terdapat sampel (X1,Y1), …, (Xn,Yn) maka . artinya, masing-masing i distribusinya identik yaitu N(0,2) dan bersifat independen. Model : X variabel bebas (variabel prediktor) Y variabel terikat (variabel respon)  0 dan  1 parameter regresi (koefisien regresi)  galat model (model error) berdistribusi N(0,2) 0 disebut juga intersep dan 1 disebut gradien atau slope

Regresi Linier Sederhana Berbeda dengan korelasi , pada regresi variabel Xi dianggap bukan variabel acak. Karena itu, nilai harapan Yi bersyarat di Xi adalah Seandainya nilai taksiran untuk  0 adalah b0 dan taksiran untuk  1 adalah b1, maka nilai prediksi untuk yi, jika xi diketahui, adalah Selanjutnya, disebut sisaan model (model residual).

Menaksir Model Regresi Jika ada n sampel (X,Y), model regresi ke-i dapat ditulis Misal nilai n sampel (X,Y) adalah (x1,y1), …, (xn,yn). Penaksir untuk  dan , yaitu dapat diperoleh melalui metode kuadrat terkecil (MKT) dengan cara meminimumkan jumlah kuadrat galat (JKG) model: Misal nilai taksiran Dengan mengguna- kan turunan pertama JKG terhadap  0 dan  1dapat diperoleh:

Menaksir Model Regresi Sedangkan taksiran untuk variansi galat atau 2 adalah

Contoh 1. Diberikan data pengamatan X = berat badan bayi (kg) dan Y = lingkar badan bayi (cm). Tentukan model regresi Y terhadap X, dan tentukan nilai prediksi y jika x = 30. xi yi 2.75 29.5 2.15 26.3 4.41 32.2 5.52 36.5 3.21 27.2 4.32 27.7 2.31 28.3 4.3 30.3 3.71 28.7 Untuk x = 3,

Menghitung koefisien regresi secara manual x y x2 xy 2.75 29.5 7.56 81.13 2.15 26.3 4.62 56.55 4.41 32.2 19.45 142.00 5.52 36.5 30.47 201.48 3.21 27.2 10.30 87.31 4.32 27.7 18.66 119.66 2.31 28.3 5.34 65.37 4.3 30.3 18.49 130.29 3.71 28.7 13.76 106.48 32,68 266,7 128.66 990.27

Menghitung taksiran parameter regresi secara manual Perhitungan b1 juga dapat dilakukan dengan rumus

Menghitung taksiran standar deviasi galat secara manual 29.5 27.71 1.79 3.20 26.3 26.40 -0.10 0.01 32.2 31.35 0.85 0.73 36.5 33.78 2.72 7.40 27.2 28.72 -1.52 2.31 27.7 31.15 -3.45 11.91 28.3 26.75 1.55 2.41 30.3 31.11 -0.81 0.65 28.7 29.81 -1.11 1.24 29.85

Inferensi Parameter Regresi Galat  diasumsikan N(0,2) maka Y ~ N(0, 0 +1X) Karena b0 dan b1 fungsi dari sampel (x1,y1), …, (xn,yn), maka b0 ~ N(0,0) dan b1 ~ N(0,0). Akibatnya, dengan

Selang Kepercayaan SK 100(1-)% untuk 0 dan 1 adalah dan

Uji Hipotesis Untuk menguji signifikansi parameter 0 terhadap model dapat diuji hipotesis, H0: 0 = 0 vs H1: 0  0 dengan statistik uji H0 ditolak jika Untuk menguji signifikansi parameter 0 terhadap model dapat diuji hipotesis H0: 1 = 0 vs H1: 1  0 dengan statistik uji

Contoh 2. Uji signifikansi parameter intersep pada Contoh 1 untuk taraf  = 0,05 dan hitung nilai-p pengujiannya. Akan diuji H0: 0 = 0 vs H1: 0  0 Karena maka Untuk  = 0,05 dan n = 9, Karena t0 > 2,365 maka H0 dtolak. Jadi pada taraf  = 0,05, parameter 0 berbeda secara signifikan dari 0. Dengan bantuan software , untuk t0 = 3,499 dapat diperoleh Nilai-p = 2P(T > t0) = 5.10-5 .

Contoh 3. Uji signifikansi parameter gradien pada Contoh 1 untuk taraf  = 0,05 dan hitung nilai-p pengujiannya. Akan diuji H0: 1 = 0 vs H1: 1  0 Karena maka Untuk  = 0,05 dan n = 9, Karena t1 > 2,365 maka H0 dtolak. Jadi pada taraf  = 0,05, parameter 1 berbeda secara signifikan dari 0. Dari tabel t dengan d.k = 7, nilai 2,998 < t1 < 3,499 sehingga (2)(0,005) < nilai-p < (2)(0,01) atau 0,01< nilai-p < 0,02. Perhitungan dengan software, nilai-p = 0,01225. .

Koefisien Determinasi dengan rentang nilai 0  R2  1. Digunakan untuk menilai apakah model regresi yang diperoleh sudah memadai atau belum. Biasanya dinyatakan dalam %. Untuk Contoh 1 dapat dihitung R2 = 61,5%. Artinya total variasi (keragaman) nilai y yang dapat dijelaskan oleh model regresi adalah sebesar 61,5% .

Uji F untuk Pengujian 1 Selain uji t, uji signifikansi parameter 1 dapat dilakukan dengan uji F. Akan diuji H0: 1 = 0 vs H1: 1  0 Statistik uji Kriteria penolakan Tolak H0 pada taraf signifikansi  jika f > f(1,n -2) Jika menggunakan nilai-p: Tolak H0 pada taraf signifikansi  jika nilai-p < 

Tabel ANOVA Tabel ANOVA (analysis of variance) adalah tabel yang merangkum perhitungan-perhitungan pada regresi. Sumber variasi d.k Jumlah Kuadrat Rataan Kuadrat F hitung Regresi 1 JKR JKR/s2 Galat n -2 JKS s2 = JKS/(n-2) Total n -1 JKT JKT = JKR + JKS = Dari tabel ANOVA, dapat dihitung R2, s, dan pengujian signifikansi parameter 1

Contoh 2. Analisis regresi data pada Contoh 1 dengan Minitab Stat  Regression atau, ketik pada session window MTB > Regress c2 1 c1 Regression Analysis: y versus x The regression equation is y = 21.7 + 2.19 x Predictor Coef SE Coef T P Constant 21.696 2.470 8.78 0.000 x 2.1861 0.6532 3.35 0.012 S = 2.06513 R-Sq = 61.5% R-Sq(adj) = 56.0%

Dengan hanya memperhatikan Tabel ANOVA dapat diperoleh Analysis of Variance Source DF SS MS F P Regression 1 47.767 47.767 11.20 0.012 Residual Error 7 29.853 4.265 Total 8 77.620 Dengan hanya memperhatikan Tabel ANOVA dapat diperoleh Beberapa informasi, diantaranya Selain itu, uji F dengan p-value = 0,012 menunjukkan bahwa secara signifikan 1  0 yang berarti bahwa secara signifikan X berpengaruh terhadap Y.

Contoh 3. Analisis regresi data pada Contoh 1 dengan MS Excel – Analysis ToolPak xi yi 2.75 29.5 2.15 26.3 4.41 32.2 5.52 36.5 3.21 27.2 4.32 27.7 2.31 28.3 4.3 30.3 3.71 28.7

Analisis regresi dengan MS Excel: Data  Data Analysis  Regression  Input data x dan y Koef . Determinasi R2 Std. deviasi galat Nilai-p untuk F JKR JKS SK 95% untuk 1

Install Analysis ToolPak (jika belum ada di Excel) Klik di pojok kiri atas layar Excel Klik di kanan bawah  klik Add-Ins