Analisa Data Statistik Chap 11: Regresi Linear Agoes Soehianie, Ph.D

Model Regresi Linear Variabel Y merupakan respons dari variabel independen x dengan hubungan Y = α + β X + ε . Dengan α dan β adalah titik poting dengan sumbu Y dan gradien yg belum diketahui, sedangkan ε adalah variabel random dengan sifat nilai rata-rata =0, dan variansi = σ2. Dari sampel data diperoleh set data {xi,yi} ingin diperoleh model garis lurus terbaik y= a + b x, yaitu dengan mendapatkan a sebagai estimator α dan β di estimasi oleh b. Variable independen X dipilih yg error dalam pengukurannya kecil atau dapat diabaikan dibandingkan Y.

Garis Lurus Terbaik – Metoda Least Squares X Yk ek Xk X Garis lurus terbaik diperoleh dengan meminimasi residual error ek yaitu selisih antara predicted yk dengan data yg dipeoleh yk, yaitu jumlah total kuadrat residual error minimum (Sum Squares of Errors) Garis lurus terbaik diperoleh dengan meminimasi residual error ek yaitu selisih antara predicted yk dengan data yg dipeoleh yk, yaitu jumlah total kuadrat residual error minimum (metoda Least Squares)

Garis Lurus Terbaik – Metoda Least Squares Untuk mendapatkan koefisien a dan b yg terbaik, maka dicari a dan b yg meminimumkan SSE, yaitu dengan menghitung turunan SSE thd a dan b: Yang akan memberikan dua buah persamaan linear bagi a dan b: Garis lurus terbaik diperoleh dengan meminimasi residual error ek yaitu selisih antara predicted yk dengan data yg dipeoleh yk, yaitu jumlah total kuadrat residual error minimum (metoda Least Squares)

Garis Lurus Terbaik – Metoda Least Squares Dalam notasi matrix sistem pers. Linear tsb dapat dituliskan: Solusi bagi sistem pers. Linear tsb dapat diperoleh dengan berbagai cara antara lain cara Cramers: Garis lurus terbaik diperoleh dengan meminimasi residual error ek yaitu selisih antara predicted yk dengan data yg dipeoleh yk, yaitu jumlah total kuadrat residual error minimum (metoda Least Squares)

Garis Lurus Terbaik – Metoda Least Squares Solusi bagi a dan b (metoda Cramers): Atau : Garis lurus terbaik diperoleh dengan meminimasi residual error ek yaitu selisih antara predicted yk dengan data yg dipeoleh yk, yaitu jumlah total kuadrat residual error minimum (metoda Least Squares)

Garis Lurus Terbaik – Metoda Least Squares Penyederhanaan bisa dilakukan mengingat Σ1=N, sehingga: Untuk keperluan perhitungan, formula di atas dapat dituliskan sbb: Dengan Garis lurus terbaik diperoleh dengan meminimasi residual error ek yaitu selisih antara predicted yk dengan data yg dipeoleh yk, yaitu jumlah total kuadrat residual error minimum (metoda Least Squares)

Notasi Untuk keperluan penulisan diperkenalkan notasi berikut: Sehingga rumus regresi linear dapat dituliskan sbb: Garis lurus terbaik diperoleh dengan meminimasi residual error ek yaitu selisih antara predicted yk dengan data yg dipeoleh yk, yaitu jumlah total kuadrat residual error minimum (metoda Least Squares)

Contoh X Y Xs=X-Xr Ys=Y-Yr Xs^2 Ys^2 Xs*Ys Yteori 27 250 -21.8 -35.5 476.7 1260.25 775.1 255.0 45 285 -3.8 -0.5 14.7 0.25 1.9 280.2 72 320 23.2 34.5 536.7 1190.25 799.3 317.8 58 295 9.2 9.5 84.0 90.25 87.1 298.3 31 265 -17.8 -20.5 318.0 420.25 365.6 260.6 60 298 11.2 12.5 124.7 156.25 139.6 301.1 Σ 293 1713 1554.8 3117.5 2168.5 SXX = 1554.9 SYY= 3117.5 SXY=2168.5 xs= 293/6=48.8 ys=1713/6=285.5 b = SXY/SXX = 1.3947 a= ys-bxs= 285.5- 1.3947*48.8=217.39 Garis lurus terbaik diperoleh dengan meminimasi residual error ek yaitu selisih antara predicted yk dengan data yg dipeoleh yk, yaitu jumlah total kuadrat residual error minimum (metoda Least Squares)

Contoh : Grafik Garis lurus terbaik diperoleh dengan meminimasi residual error ek yaitu selisih antara predicted yk dengan data yg dipeoleh yk, yaitu jumlah total kuadrat residual error minimum (metoda Least Squares)

Memahami Estimator Rata-Rata dan Variansi Sebenarnya model linear yg benar menggambarkan hubungan linear x dan y di populasi adalah: Dengan suku error εi diasumsikan adalah variabel random dengan rata-rata 0, dan varian konstan σ2 yang tak bergantung pada nilai xi dipakai. Sedangkan nilai α dan β adalah nilai parameter regresi yg sesungguhnya di populasi. Jadi koefisien a dan b yg diperoleh dari satu set data percobaan hanyalah salah satu kemungkinan nilai yg mungkin saja. Kita sebut estimator bagi α adalah A dan bagi β adalah B. Dengan A dan B untuk satu set nilai {xi} yg sama bila diulang-ulang akan menghasilkan nilai (a,b) yg berbeda. Karena nilai {xi} sama, maka variansi dari A dan B hanya ditentukan dari variansi variabel yi. Garis lurus terbaik diperoleh dengan meminimasi residual error ek yaitu selisih antara predicted yk dengan data yg dipeoleh yk, yaitu jumlah total kuadrat residual error minimum (metoda Least Squares)

Memahami Estimator Rata-Rata dan Variansi Tentu saja asumsi distribusinya adalah bahwa rata-ratanya mencerminkan nilai parameter populasi yg sesungguhnya: Ingat σ2 adalah variansi suku error. Bisa dibuktikan bahwa A dan B adalah unbiased estimator bagi α dan β. Maksudnya: Garis lurus terbaik diperoleh dengan meminimasi residual error ek yaitu selisih antara predicted yk dengan data yg dipeoleh yk, yaitu jumlah total kuadrat residual error minimum (metoda Least Squares)

Partisi Variabilitas Total dan Estimator Variansi Dapat dibuktikan SSE (Sum Squares of Errors) bisa dituliskan sebagai: Tetapi b= SXY/SXX sehingga: Garis lurus terbaik diperoleh dengan meminimasi residual error ek yaitu selisih antara predicted yk dengan data yg dipeoleh yk, yaitu jumlah total kuadrat residual error minimum (metoda Least Squares)

Partisi Variabilitas Total dan Estimator Variansi Sedangkan variansi dari Y, yaitu σ2 , diwakili oleh unbiased estimator S2 yg besarnya adalah: Besaran S2 ini disebut Mean Squared Errors, Sedangkan S juga disebut Standard Error Estimates bagi Y. Garis lurus terbaik diperoleh dengan meminimasi residual error ek yaitu selisih antara predicted yk dengan data yg dipeoleh yk, yaitu jumlah total kuadrat residual error minimum (metoda Least Squares)

Inference Statistik ttg Slope Regresi (β) Estimator bagi slope regresi β adalah B, sedangkan variabel statistik yg terkait dengan distribusi B adalah : Variabel t memiliki distribusi student-t dengan derajat kebebasan v=n-2. Dengan ini dapat dicari interval kepercayaan bagi slope (β) dan juga dilakukan testing hipotesis terhadap slope tsb. Garis lurus terbaik diperoleh dengan meminimasi residual error ek yaitu selisih antara predicted yk dengan data yg dipeoleh yk, yaitu jumlah total kuadrat residual error minimum (metoda Least Squares)

Contoh: Interval Kepercayaan β Dari contoh sebelumnya tentukan interval kepercayaan 95% bagi slope (β). Jawab: Interval kepercayaan 100(1-α)% diberikan oleh Jumlah data n=6, sehingga v=n-2 = 4. Interval kepercayaan 95% berarti α = 5%. Dari tabel student-t diperoleh nilai kritis t0.025 (v=4) adalah 2.776. Garis lurus terbaik diperoleh dengan meminimasi residual error ek yaitu selisih antara predicted yk dengan data yg dipeoleh yk, yaitu jumlah total kuadrat residual error minimum (metoda Least Squares)

Contoh: Interval Kepercayaan β Dari tabel tsb diperoleh: SXX = 1554.9 SYY= 3117.5 SXY=2168.5 b = SXY/SXX = 1.3947 Sehingga: Sehingga interval kepercayaan bagi slope adalah: interval kepercayaan 95% bagi slope adalah: 1.?? < β < 1.??

Contoh: Hipotesis Testing untuk slope β Tabel disamping memberikan hasil pengukuran BOD (Biological Oxygen Demand) Y% dan Solid Reduction X(%). Periksalah hipotesa H0: β=1 dan H1: β<1 dengan tingkat signifikan 5% No x y 1 3 5 2 7 11 21 4 15 16 18 6 27 28 29 8 30 25 9 35 10 31 40 12 32 13 33 34 14 36 37 No x y 17 36 38 18 34 19 37 20 21 39 22 23 45 24 40 25 42 41 26 27 43 44 28 29 30 46 31 47 49 32 50 51

Contoh: Hipotesis Testing Jawab: Hipotesa H0: β=1 dan H1: β<1 Tingkat signifikan α= 5% Daerah kritis Variabel statistik untuk di test adalah t: dengan derajat kebebasan v=n-2 Nilai kritis -t0.05 = -1.697 Tolak H0 jika t < -1.697

Contoh: Hipotesis Testing 4. Perhitungan Berdasarkan tabel data diperoleh koefisien regresi Y = a+ bX, a = 4.1390 b=0.8895 SXX = 4093.47 SYY = 3566.88 SXY = 3641.19 S2 = (SYY-b SXY)/(n-2) = (3566.88-0.8895*3641.19)/(32-2) S = 3.3065 5. Keputusan Karena t < -1.697 maka H0 ditolak 6. Kesimpulan, cukup bukti untuk menolak bahwa slope = 1, dan menerima slope < 1

Estimasi bagi Titik Potong (a) Nilai titik potong a juga terdistribusi merata. Jika A adalah variabel random yg terkait, maka A akan terdistribusi normal, dengan nilai rata-rata μA=α, dan variansi: Parameter t sbb: Akan terdistribusi menurut student t dengan derajat kebebasan n-2. Dengan demikian interval kepercayaan maupun hipotesa testing yang terkait dengan α dapat diformulasikan memakai rumus di atas.

Kualitas Fitting : Koefisien Determinasi Besaran SST = total corrected sum of squares didefinisikan sbb: SSE : variansi karena random error = unexplained variation Sedangkan SSE Dan SSR (regression sum squares): R: koefisien determinasi , persentase dari variansi data yg bisa dijelaskan oleh regresi.

Kualitas Fitting : Koefisien Determinasi Jika seluruh variansi bisa dijelaskan oleh regresi maka SSE=0, sehingga R=1. Sebaliknya jika regresi hanya bisa menjelaskan sedikit sekali maka R~ 0. Berapakah nilai R yang bisa dikatakan bagus? Sulit! Tergantung keperluan dan bidang dimana statistik ini dipakai. Dalam modelling menambahkan variabel bebas akan mempertinggi nilai R tentu saja, tapi tidak berarti modelnya lebih bagus.

Interval Kepercayaan Bagi Y Tujuan dilakukannya regresi adalah untuk membuat prediksi nilai variabel tak bebas Y bilamana diketahui sebuah nilai X tertentu. Nilai Memberikan nilai rata-rata prediksi bagi Y untuk x=x0. Diinginkan untuk mendapatkan interval kepercayaan bagi nilai Y prediksi tsb. Dapat dibuktikan bahwa distribusi rata-rata sampel Y0 = a+bx0 adalah normal dengan nilai rata-rata dan variansi : Sedangkan variabel statistik berikut ini terdistribusi student t dengan v=n-2

Interval Kepercayaan bagi Y Jadi untuk sebuah nilai X0 tertentu, kita dapat membuat interval kepercayaan bagi nilai rata-rata Y0 yg terkait, dengan interval kepercayaan (1-α)100% yaitu diberikan oleh: Dengan dan

Interval Prediksi Y dari 1 Kali Pengukuran Nilai prediksi yg akan dimiliki oleh Y0 untuk satu kali pengukuran berikutnya di X0, akan memiliki rata-rata dan variansi: Variabel statistik berikut ini memiliki distribusi student t dengan derajat kebebasan v=n-2

Interval Prediksi Y dari 1 Kali Pengukuran Interval kepercayaan bagi prediksi nilai yg akan dimiliki oleh Y0 untuk satu kali pengukuran berikutnya di X0, adalah:

Contoh Contoh. Data berikut ini memberikan hubungan antara frekuensi kunjungan Salesman fotocopy (X) dan jumlah mesin fotocopy terjual (Y). Buatlah interval kepercayaan 95% bagi rata-rata fotocopy terjual bagi salesman-salesman yg melakukan kunjungan sebanyak 25 kali Bilamana si Polan melakukan kunjungan 25 kali berapakah interval kepercayaan 95% bagi jumlah mesin fotocopy yg mampu dia jual?

SOlusi Jawab. Hasil pengolahan data memberikan: SXX = 760 SYY=1850 SXY=900 b = SXY/SXX = 900/760 = 1.1842 a = Yrata-b*Xrata = 45 – 1.1842*22= 18.95 S2 = (SYY-bSXY)/(n-2) = 98.03  S = 9.90 Dari tabel student t untuk v=n-2=8, t0.025 = 2.306 Sehingga untuk X=25, Y = a+bX = 18.95+1.1842*25 =48.55

SOlusi Jawab (lanjutan). Hasil pengolahan data memberikan: a) Interval kepercayaan bagi rata-rata sales untuk frekuensi kunjungan X=25 adalah 48.55 – 7.64 < Y < 48.55+ 7.64 40.9 < Y < 56.2 b) Interval prediksi bagi si Polan yg melakukan kunjungan X=25 kali:

SOlusi Jawab (lanjutan). 48.55 – 24.1 < Y < 48.55 + 24.1 Wajar bagi interval prediksi bagi 1 orang si Polan jauh lebih besar dibandingkan dengan interval kepercayaan bagi rata-rata sales untuk seluruh sales untuk jumlah kunjungan yg sama yaitu 25.

Grafik : Garis Regresi, CI dan Prediksi

Koefisien Determinasi (ulangan) Arti lebih jelas daripada r didapat dari r2 = R yang sering disebutkan sebagai koefisien determinasi sampel. Jadi R adalah: Dimana SST = SSR + SSE, dengan masing-masing adalah DI depan kita beri nama SST=SEE. SSR = Sum Squares of Residual atau regression sum squares, SSR mencerminkan bagian dari variasi data yg bisa dijelaskan oleh regresi. Sehingga R menyatakan porsi dari variasi SYY yg bisa dijelaskan dengan regresi Y thd X, atau porsi dari variabilitas variabel Y yg bisa dijelaskan oleh model regresi.

Hipotesis Testing untuk koefisien korelasi Untuk memeriksa kebenaran hipotesis H0: ρ = 0 H1: ρ ≠ 0 yg berkenan dengan koefisien korelasi r, maka variabel statistik yg diuji adalah Yg terdistribusi menurut student t dengan derajat kebebasan v=n-2.

Contoh Dalam contoh sebelumnya, tentang sales mesin fotocopy, ujilah hipotesa H0: ρ=0 dengan H1: ρ≠0 dengan tingkat signifikan 5%. Jawab: 1. Hipotesa H0: ρ=0 dengan H1: ρ≠0 2. Tingkat signifikan α = 0.05 Daerah kritis : ini adalah tes 2 ekor Variabel statistik yg diuji adalah t: dengan n= 10, sehingga nilai kritis t0.025(v=10-2=8) = 2.306 Tolak H0 jika t > 2.306 atau t < -2.306 4. Perhitungan, telah dihitung r=0.759

Contoh 5. Keputusan Karena r > 3.297, maka H0 ditolak 6. Kesimpulan Cukup bukti untuk menyatakan bahwa ada hubungan korelasi linear antara frekuensi kunjungan (X) dengan tingkat penjualan (Y)

Hipotesis Testing untuk koefisien korelasi Sedangkan untuk kasus lebih umum untuk memeriksa kebenaran hipotesis H0: ρ = ρ0 yg berkenan dengan koefisien korelasi r, maka variabel statistik yg diuji adalah Yg terdistribusi menurut distribusi normal

Contoh Dalam contoh sebelumnya, tentang sales mesin fotocopy, ujilah hipotesa H0: ρ=0.8 dengan H1: ρ<0.8 dengan tingkat signifikan 5%. Jawab: 1. Hipotesa H0: ρ=0.8 dengan H1: ρ< 0.8 2. Tingkat signifikan α = 0.05 Daerah kritis : ini adalah tes 1 ekor Variabel statistik yg diuji adalah Z: nilai kritis -Z0.05 = -1.645 Tolak H0 jika Z < -1.645 4. Perhitungan, telah dihitung r=0.759, dan dalam hal ini ρ0=0.8

Contoh 5. Keputusan Karena Z> -1.645, maka H0 tidak bisa ditolak 6. Kesimpulan Tidak cukup bukti untuk menyatakan bahwa ρ< 0.8

ANOVA – Pilihan Model Regresi Sering analisa kualitas regresi dilakukan dengan metoda ANOVA (Analysis of Variance). Misal kita memiliki n data {xi,yi}. Telah ditunjukkan bahwa: SYY = SST = SSR + SSE atau SSR : mencerminkan variansi data yang bisa dijelaskan olehmodel. SSE : variansi di sekitar garis regresi Hipotesa yang akan di test: H0 : β=0 H1: β≠0 Ini berarti : kita menyatakan bahwa variasi data Y hanya variasi random tidak bergantung X disekitar nilai Y=α saja.

ANOVA – Pilihan Model Regresi Dengan H0 seperti ini dapat dibuktikan bahwa variabel-variabel berikut ini memiliki distribusi Chi-Squares (χ2) dengan derajat kebebasan yg terkait: Variabel Derajat Kebebasan

ANOVA – Pilihan Model Regresi Selanjutnya variabel f berikut ini : Telah dipakai: Variabel f ini Akan memiliki distribusi F dengan derajat kebebasan pembilang=1 dan penyebut n-2. H0 akan ditolak bilamana fhitung ini > fα (1,n-2). Jika H0 ditolak berarti jumlah variansi di Y yang bisa dijelaskan secara signifikan oleh model regresi yang dipilih.

ANOVA – Perbandingan Dengan Test t Sebelumnya statistik t berikut ini: Dipakai untuk memeriksa hipotesa: H0 : β= β0 H1 : β≠ β0 Bilamana β0 =0 (kasus khusus) maka variabel t menjadi: Atau dengan b=SXY/SXX, maka distribusi t = f(1,v):

ANOVA – Ringkasan SUmber Variansi ANOVA untuk testing β=0 TABEL ANOVA Sumber variasi Sum of Squares Derajat kebebasan Mean Squares Fhitung Regresi SSR k-1 MSR=SSR/1 MSR/MSE atau SSR/s2 Error SSE n-k MSE=SSE/(n-2)=σ2 Total SST n-1

ANALISA KORELASI - Definisi Analisa korelasi ini mempelajari hubungan atau asosiasi antara beberapa variabel. Bilamana regresi dilakukan hingga menyatakan hubungan eksplisit berupa persamaan matematika, maka pada analisa korelasi hanya diwujudkan pada kekuatan hubungan itu saja yg dinyatakan oleh koefisien korelasi. Koefisien korelasi (r) : ukuran kekuatan asosiasi linear antara dua variabel. Nilai r terbatas anstara -1 sd 1. Nilai r=1 atau -1 menyatakan hubungan korelasi sempurna antara X dan Y.

ANALISA KORELASI - Definisi APakah nilai korelasi 0.8 bagus atau tidak, tidak ada ukuran absolut. Tergantung pada kasusnya. Untuk ilmu sosial atau ekonomi dimana banyak sekali variabel yg berpengaruh, nilai tsb sudah bagus sekali menyatakan hubungan korelasi yg kuat. Akan tetapi di bidang engineering, dimana variabel bisa dikontrol sangat ketat sekali, nilai r=0.9 mungkin baru dipandang cukup bagus. Hal lain adalah kita tidak boleh menyatakan r=0.6 adalah 2x lebih bagus dibandingkan r=0.3

Contoh Kita pakai contoh sebelumnya, tentang hubungan antara sales mesin fotocopy (Y) dan frekuensi kunjungan (X)

Contoh Dari perhitungan manual tsb diperoleh: SXX = 760 SYY = 1850 SXY = 900 Sehingga koefisien korelasinya., r

Contoh Apa artinya r=0.7590? Nilainya positif, jadi ada hubungan langsung kenaikan frekuensi kunjungan (X) akan menaikkan juga volume sales (Y). Karena 0.759 lumayan dekat ke nilai 1 jadi agaknya memang hubungan antara frekuensi kunjungan dengan kenaikan sales cukup kuat.