Analisis regresi (principle component regression) GANGGA ANURAGA, S.Si, M.Si

Definisi Principle Component Regression Metode regresi yang memasukkan seluruh variabel independen dan mengakomodasi adanya kolinieritas/multikolinieritas antar variabel independen dengan cara mengelompokkan variabel yang saling berkorelasi cukup tinggi dalam sebuah variabel baru. Sehingga mereduksi banyaknya dimensi regresi dan antar variabel baru tersebut tidak saling berkorelasi cukup tinggi. Definisi Contoh Standarisasi M. Korelasi Varibel Baru Pilih Model Model Regresi

Definisi Contoh Langkah-langkah PCR Standarisasi M. Korelasi 1. Melakukan standarisasi/pembakuan data variabel independent xj : 2. Membuat matrik korelasi antar variabel independen 3. Membangkitkan variabel baru yang saling independent PC1 = a11z1 + a12z2 + … + a1kzk PC2 = a21z1 + a22z2 + … + a2kzk ...... PCk = ak1z1 + ak2z2 + … + akkzk atau PCj =aj’z dan nilai a adalah eigen-vector dari eigen- value ke-j dari matriks korelasi antar variabel independent Banyaknya PC ditentukan berdasarkan kriteria : Eigen value ≥ 1, atau Proporsi kumulatif eigen value : dengan k = banyaknya variabel independen 4. Melakukan regresi y dengan skor PC 5. Menyatakan model regresi Y dengan PC ke dalam model Y dengan z, kemudian x. Contoh Standarisasi M. Korelasi Varibel Baru Pilih Model Model Regresi

Soal: Definisi Contoh x1 x2 x3 x4 y 7 26 6 60 78.5 1 29 15 52 74.3 11 56 8 20 104.3 31 47 87.6 33 95.9 55 9 22 109.2 3 71 17 102.7 44 72.5 2 54 18 93.1 21 4 115.9 40 23 34 83.8 66 12 113.3 10 68 109.4 Contoh Standarisasi M. Korelasi Varibel Baru Pilih Model Model Regresi

Deteksi Multikolinieritas Definisi The regression equation is y = 62.4 + 1.55 x1 + 0.510 x2 + 0.102 x3 - 0.144 x4 Predictor Coef SE Coef T P VIF Constant 62.41 70.07 0.89 0.399 x1 1.5511 0.7448 2.08 0.071 38.5 x2 0.5102 0.7238 0.70 0.501 254.4 x3 0.1019 0.7547 0.14 0.896 46.9 x4 -0.1441 0.7091 -0.20 0.844 282.5 S = 2.44601 R-Sq = 98.2% R-Sq(adj) = 97.4% Analysis of Variance Source DF SS MS F P Regression 4 2667.90 666.97 111.48 0.000 Residual Error 8 47.86 5.98 Total 12 2715.76 Source DF Seq SS x1 1 1450.08 x2 1 1207.78 x3 1 9.79 x4 1 0.25 Contoh Standarisasi M. Korelasi Varibel Baru Pilih Model Model Regresi

Standarisasi x  z Definisi Contoh Standarisasi M. Korelasi y z1 z2 z3 z4 78.5 -0.07846 -1.42369 -0.90072 1.79231 74.3 -1.09845 -1.2309 0.5044 1.31436 104.3 0.60153 0.50422 -0.58847 -0.59744 87.6 -1.10237 1.01564 95.9 0.24717 0.17923 109.2 0.43996 -0.43235 -0.47795 102.7 -0.75846 1.46818 0.81665 -1.43385 72.5 1.59728 0.83641 93.1 -0.92845 0.3757 0.97278 115.9 2.30152 -0.07415 -1.21297 -0.23897 83.8 -0.524 1.7534 0.23897 113.3 1.14686 -1.07539 109.4 0.43154 1.27539 Contoh Standarisasi M. Korelasi Varibel Baru Pilih Model Model Regresi

Matriks korelasi Definisi Contoh Eigen value & eigen vektor z1 z2 z3 0.22858 -0.82413 -0.24545 -0.13924 -0.97295 0.02954 Contoh Standarisasi M. Korelasi Varibel Baru Eigen value & eigen vektor Eigenvalue 2.2357 1.5761 0.1866 0.0016 Proportion 0.559 0.394 0.047 0.000 Cumulative 0.559 0.953 1.000 1.000 Variable PC1 PC2 PC3 PC4 z1 0.476 0.509 0.676 0.241 z2 0.564 -0.414 -0.314 0.642 z3 -0.394 -0.605 0.638 0.268 z4 -0.548 0.451 -0.195 0.677 Pilih Model Model Regresi

Komponen utama Definisi Contoh PC1 = 0.476 z1 + 0.564z2 -0.394z3 – 0.548z4 PC2 = 0.509z1 – 0.414z2 – 0.605z3 + 0.451 z4 Contoh Case PC1 PC2 1 -1,46724 1,90303 2 -2,13583 0,23835 3 1,12987 0,18388 4 -0,65989 1,57677 5 0,35876 0,48354 6 0,96664 0,16994 7 0,9307 -2,13482 8 -2,23214 -0,69167 9 -0,35152 -1,43224 10 1,66254 1,8281 11 -1,64018 -1,29511 12 1,69259 -0,39225 13 1,74568 -0,43752 Standarisasi Nilai dari variabel zi dimasukkan Pada Persamaan tersebut M. Korelasi Varibel Baru Pilih Model Model Regresi

Pemilihan Model Definisi Contoh Analisis Regresi : Y dengan PC1 The regression equation is y = 95,4 + 9,88 PC1 Predictor Coef SE Coef T P Constant 95,4231 0,8163 116,90 0,000 PC1 9,8831 0,5682 17,39 0,000 S = 2,943 R-Sq = 96,5% R-Sq(adj) = 96,2% Analysis of Variance Source DF SS MS F P Regression 1 2620,5 2620,5 302,53 0,000 Residual Error 11 95,3 8,7 Total 12 2715,8 Contoh Standarisasi M. Korelasi Varibel Baru Pilih Model Model Regresi

Pemilihan Model Definisi Contoh Analisis Regresi : Y dengan PC1, PC2 The regression equation is y = 95.4 + 9.88 PC1 - 0.125 PC2 Predictor Coef SE Coef T P VIF Constant 95.4231 0.8548 111.63 0.000 PC1 9.8831 0.5950 16.61 0.000 1.0 PC2 -0.1250 0.7087 -0.18 0.864 1.0 S = 3.082 R-Sq = 96.5% R-Sq(adj) = 95.8% Analysis of Variance Source DF SS MS F P Regression 2 2620.8 1310.4 137.96 0.000 Residual Error 10 95.0 9.5 Total 12 2715.8 Standarisasi M. Korelasi Varibel Baru Pilih Model Model Regresi

Model Regresi Definisi Contoh Diperoleh estimasi model regresi komponen utama (dianggap asumsi metode OLS terpenuhi) Model regresi dalam z : Model regresi dalam x : Contoh Standarisasi M. Korelasi Varibel Baru Pilih Model Descriptive Statistics: x1; x2; x3; x4 Variable N Mean Median TrMean StDev SE Mean x1 13 7,46 7,00 6,82 5,88 1,63 x2 13 48,15 52,00 48,09 15,56 4,32 x3 13 11,77 9,00 11,45 6,41 1,78 x4 13 30,00 26,00 29,45 16,74 4,64 Model Regresi

k n a H T s