Chapter 12 Simple Linear Regression

Presentasi berjudul: "Chapter 12 Simple Linear Regression"— Transcript presentasi:

1 Chapter 12 Simple Linear Regression

2 Tujuan Perkuliahan Yang akan dibahas pada bab ini:
Bagaimana menggunakan analisis regresi untuk melakukan prediksi terhadap variabel dependen (tergantung) berdasarkan variabel independen (bebas) Bagaimana mengartikan koefisien regresi b0 dan b1 Bagaimana mengevaluasi asumsi dari analisis regresi dan menguji apakah asumsi tersebut sudah sesuai atau tidak bagaimana mengevaluasi asumsi dari analisis regresi dan menguji apakah asumsi tersebut sesuai atau tidak

3 Korelasi vs. Regresi Diagram scatter dapat digunakan untuk menunjukkan hubungan antara dua variabel Analisis korelasi digunakan untuk mengukur kekuatan hubungan antara dua variabel (hubungan linier) Korelasi hanya mengukur kuat atau tidaknya hubungan antara dua variabel Tidak terdapat efek sebab akibat yang diterapkan melalui korelasi Tidak terdapat efek sebab akibat yang diterapkan dengan korelasi

4 Analisis Regresi Analisis Regresi digunakan untuk :
Memprediksi nilai variabel dependen berdasarkan nilai dari variabel independen Menjelaskan pengaruh perubahan yang terjadi pada variabel independen terhadap variabel dependen Variabel Dependen: variabel yang akan diprediksi atau dijelaskan Independent variable: variabel yang menjadi penyebab

5 Model Regresi Simpel Linier
Hanya terdiri dari satu variabel independen, X Hubungan antara variabel X dan Y digambarkan sebagai fungsi linier Perubahan pada Y diasumsikan disebabkan oleh perubahan pada X Hubungan antara x dan y digambarkan sebagai fungsi linier

6 Tipe – Tipe Hubungan Hubungan Linier Hubungan Curvilinier Y Y X X Y Y

7 Tipe – Tipe Hubungan (lanjutan) Hubungan Kuat Hubungan Lemah Y Y X X Y

8 Tipe – Tipe Hubungan (lanjutan) Tidak ada Hubungan Y X Y X

9 Model Regresi Simpel Linier
Random Error term Population Slope Coefficient Population Y intercept Independent Variable Dependent Variable Linear component Random Error component

10 Model Regresi Simpel Linier
(lanjutan) Y Observed Value of Y for Xi εi Slope = β1 Predicted Value of Y for Xi Random Error for this Xi value Intercept = β0 Xi X

11 Persamaan Regresi Simpel Linier (Garis Prediksi)
Persamaan regresi simpel linier mengandung estimasi garis regresi populasi Estimasi (atau prediksi) Y untuk observasi i Estimasi dari slope (kemiringan) regresi Estimasi dari intersep regresi Nilai X untuk observasi i Tingkat kesalahan individu secara acak ei memiliki nilai rata – rata 0

12 Metode Least Squares b0 dan b1 diperoleh dengan mencari terlebih dahulu nilai b0 dan b1 yang dapat meminimalkan perbedaan nilai sum of the squared antara Y dan :

13 Mencari Persamaan Least Square
Koefisien b0 dan b1, serta hasil lain dari model regresi didapat melalui software Excel atau SPSS

14 Interpretasi dari slope dan intercept
b0 adalah nilai estimasi rata – rata dari Y pada saat X bernilai nol b1 adalah estimasi perubahan rata – rata nilai Y yang disebabkan oleh perubahan satu unit X

15 Contoh Seorang agen penjualan rumah ingin mengetahui hubungan antara harga jual rumah dan ukuran rumah itu sendiri (diukur dengan square feet) Menggunakan 10 rumah sebagai sampel Variabel Dependen (Y) = harga rumah dalam $1000an Variabel Independen (X) = square feet

16 Data dari 10 rumah sampel Harga rumah $1000an (Y) Square Feet (X) 245
1400 312 1600 279 1700 308 1875 199 1100 219 1550 405 2350 324 2450 319 1425 255

17 Regression Statistics
Excel Output Regression Statistics Multiple R R Square Adjusted R Square Standard Error Observations 10 ANOVA df SS MS F Significance F Regression 1 Residual 8 Total 9 Coefficients t Stat P-value Lower 95% Upper 95% Intercept Square Feet Persamaan regresi yang diperoleh:

18 SPSS Output

19 Manual Output

20

21 Tampilan Grafis Model harga rumah: titik (scatter plot) dan garis regresi Slope = Intercept =

22 Interpretasi dari Intercept, b0
b0 merupakan estimasi rata – rata nilai Y ketika nilai X adalah nol Pada contoh ini, tidak ada rumah yang berukuran 0 square feet, jadi b0 = hanya mengindikasikan bahwa, untuk rumah dalam contoh ini, $98, merupakan harga rumah yang tidak dijelaskan oleh ukuran rumah

23 Interpretasi dari Koefisien Slope, b1
b1 mengukur estimasi perubahan nilai rata – rata dari Y atas perubahan setiap satu unit X Pada contoh ini, b1 = menunjukkan bahwa nilai rata-rata rumah akan meningkat sebesar ($1000) = $109.77, untuk setiap pertambahan ukuran satu square foot

24 Prediksi menggunakan Analisis Regresi
Prediksi harga untuk rumah dengan luas 2000 square feet: Maka prediksi harga rumah dengan luas 2000 square feet adalah ($1,000s) = $317,850

25 Alat Ukur Variasi Total variasi dibagi menjadi dua bagian:
Total Sum of Squares Regression Sum of Squares Error Sum of Squares dimana: = nilai rata – rata dari variabel dependen Yi = nilai observasi dari variabel dependen = nilai prediksi dari Y untuk nilai X yang given

26 Alat Ukur Variasi (lanjutan) SST = total sum of squares Mengukur variasi nilai Yi diseputar nilai rata-rata Y SSR = regression sum of squares Menjelaskan variasi hubungan dari variabel X dan variabel Y SSE = error sum of squares Variasi dari faktor – faktor lain yang diluar hubungan regresi antara variabel X dan variabel Y

27 Alat Ukur Variasi _ Y Yi SSE = (Yi - Yi )2 _ SST = (Yi - Y)2 _
(lanjutan) Y Yi   Y SSE = (Yi - Yi )2 _ SST = (Yi - Y)2  _ Y  _ SSR = (Yi - Y)2 _ Y Y X Xi

28 Koefisien Determinasi, r2
Koefisien Determinasi merupakan angka variasi total dari variabel dependen yang dijelaskan oleh variasi dari variabel independen Koefisien Determinasi juga sering disebut sebagai r-squared dengan notasinya r2 catatan:

29 SST = SSR

30 Contoh Perkiraan Nilai r2
Y r2 = 1 Hubungan linier sempurna dari variabel X dan Y: 100% dari variasi variabel Y dijelaskan oleh variasi variabel X X r2 = 1 Y X r2 = 1

31 Contoh Perkiraan Nilai r2
Y 0 < r2 < 1 Hubungan linier yang lemah antara variabel X dan Y : Sebagian tapi tidak semua variasi variabel Y dijelaskan oleh variasi dari variabel X X Y X

32 Contoh Perkiraan Nilai r2
Y Tidak terdapat hubungan linier antara variabel X dan Y : Nilai variabel Y tidak berpengaruh dengan variabel X. (tidak ada variasi variabel Y yang dijelaskan oleh variasi variabel X) X r2 = 0

33 Regression Statistics
Excel Output Regression Statistics Multiple R R Square Adjusted R Square Standard Error Observations 10 ANOVA df SS MS F Significance F Regression 1 Residual 8 Total 9 Coefficients t Stat P-value Lower 95% Upper 95% Intercept Square Feet 58.08% harga rumah dijelaskan oleh ukuran luas rumah, selebihnya oleh faktor lain yang tidak dijelaskan pada model ini

34 t Test for a Correlation Coefficient
Hypotheses H0: ρ = 0 (no correlation between X and Y) H1: ρ ≠ 0 (correlation exists) Test statistic (with n – 2 degrees of freedom) Business Statistics, A First Course (4e) © 2006 Prentice-Hall, Inc.

35 Example: House Prices H0: ρ = 0 (No correlation)
Is there evidence of a linear relationship between square feet and house price at the .05 level of significance? H0: ρ = 0 (No correlation) H1: ρ ≠ 0 (correlation exists)  =.05 , df = = 8 Business Statistics, A First Course (4e) © 2006 Prentice-Hall, Inc.

36 Example: Test Solution
Decision: Reject H0 Conclusion: There is evidence of a linear association at the 5% level of significance d.f. = 10-2 = 8 a/2=.025 a/2=.025 Reject H0 Do not reject H0 Reject H0 -tα/2 tα/2 2.3060 3.329 Business Statistics, A First Course (4e) © 2006 Prentice-Hall, Inc.

37 Estimasi Standar Error
Deviasi standar dari variasi variabel yang diobservasi seputar garis regresi dapat diestimasi sebagai berikut: dimana SSE = error sum of squares n = ukuran sampel

38 Regression Statistics
Excel Output Regression Statistics Multiple R R Square Adjusted R Square Standard Error Observations 10 ANOVA df SS MS F Significance F Regression 1 Residual 8 Total 9 Coefficients t Stat P-value Lower 95% Upper 95% Intercept Square Feet

39 Penarikan Kesimpulan Melalui Kemiringan Kurva
Tingkat kesalahan (standard error) dari koefisien kemiringan regresi (b1) diuji dengan dimana: = Estimate of the standard error of the least squares slope = Standard error of the estimate

40 Regression Statistics
Excel Output Regression Statistics Multiple R R Square Adjusted R Square Standard Error Observations 10 ANOVA df SS MS F Significance F Regression 1 Residual 8 Total 9 Coefficients t Stat P-value Lower 95% Upper 95% Intercept Square Feet

41 Membandingkan Tingkat Kesalahan Standar (standard error) melalui Kemiringan Kurva
mengukur variasi dari kemiringan garis regresi dengan sampel yang berbeda Y Y Mengukur variasi dari kemiringan garis regresi dengan sampel yang berbeda X X

42 Kesimpulan dari Uji Kemiringan Kurva: Uji t
Uji t untuk kemiringan populasi Apakah terdapat hubungan linier antara X dan Y? Hipotesis: H0: β1 = 0 (tidak ada hubungan linier) H1: β1  0 (terdapat hubungan linier) Uji statistik: dimana: b1 = regression slope coefficient β1 = hypothesized slope Sb = standard error of the slope 1

43 Kesimpulan dari Uji Kemiringan Kurva: Uji t
(lanjutan) Persamaan Regresi Simpel Linier: House Price in $1000s (y) Square Feet (x) 245 1400 312 1600 279 1700 308 1875 199 1100 219 1550 405 2350 324 2450 319 1425 255 Nilai tingkat kemiringan Apakah ukuran luas rumah mempengaruhi harga jual?

44 Kesimpulan dari Uji Kemiringan Kurva: Contoh penggunaan Uji t
b1 H0: β1 = 0 H1: β1  0 Berdasarkan hasil Excel: Coefficients Standard Error t Stat P-value Intercept Square Feet t

45 Kesimpulan dari Uji Kemiringan Kurva: Contoh penggunaan Uji t
(lanjutan) Uji Statistik: t = 3.329 b1 t H0: β1 = 0 H1: β1  0 Berdasarkan hasil Excel: Coefficients Standard Error t Stat P-value Intercept Square Feet d.f. = 10-2 = 8 Keputusan: Kesimpulan: Tolak H0 a/2=.025 a/2=.025 Terdapat bukti yang cukup untuk membuktikan bahwa ukuran rumah mempengaruhi harga jual Reject H0 Do not reject H0 Reject H0 -tα/2 tα/2 2.3060 3.329

46 Uji Signifikansi F Uji Statistik F: dimana
Jumlah variabel independen pada model regresi Dengan mengikuti distribusi F dengan degrees of freedom numerator k dan denominator ( n – k - 1) (k = jumlah variabel independen pada model regresi)

47 Regression Statistics
Excel Output Regression Statistics Multiple R R Square Adjusted R Square Standard Error Observations 10 ANOVA df SS MS F Significance F Regression 1 Residual 8 Total 9 Coefficients t Stat P-value Lower 95% Upper 95% Intercept Square Feet With 1 and 8 degrees of freedom P-value for the F Test

48 Uji Signifikansi F Uji Statistik: Keputusan: Kesimpulan:
(lanjutan) Uji Statistik: Keputusan: Kesimpulan: H0: β1 = 0 H1: β1 ≠ 0  = .05 df1= df2 = 8 Nilai Kritis: F = 5.32 Reject H0 at  = 0.05  = .05 Terdapat bukti yang cukup bahwa ukuran rumah mempengaruhi harga jual F Do not reject H0 Reject H0 F.05 = 5.32