ANALISIS REGRESI (REGRESSION ANALYSIS)

Presentasi berjudul: "ANALISIS REGRESI (REGRESSION ANALYSIS)"— Transcript presentasi:

1 ANALISIS REGRESI (REGRESSION ANALYSIS)
Oleh: Erni Tri Astuti Sekolah Tinggi Ilmu Statistik Jakarta 2004

2 HUBUNGAN ANTAR VARIABEL
Transformasi

3 REGRESI DAN KORELASI (Keduanya mempelajari hubungan antar variabel)
Mempelajari bentuk hubungan antar variabel melalui persamaan matematis (RLS, RLB, Regresi non Linear). Hubungan bisa berupa hubungan sebab akibat. Dapat mengukur seberapa besar suatu variabel mempengaruhi variabel lain Dapat digunakan untuk melakukan peramalan nilai suatu variabel berdasarkan variabel lain

4 REGRESI DAN KORELASI (Keduanya mempelajari hubungan antar variabel)
Mempelajari keeratan hubungan antar 2 variabel kuantitatif yang bisa dilihat dari besarnya angka, bukan tandanya Dapat mengetahui arah hubungan yang terjadi (berbanding lurus jika tandanya positif, dan berbanding terbalik jika tandanya negatif) Nilainya berkisar -1 sampai dengan 1 Tidak bisa menyatakan hubungan sebab akibat

5 (1) # kematian karena kekeringan di musim panas
Korelasi yang tinggi tidak selalu berarti bahwa suatu variabel menyebabkan/mempengaruhi variabel yang lain Contoh: (1) # kematian karena kekeringan di musim panas # soft drink yang dikonsumsi di musin panas High positive correlation Apakah soft drink menyebabkan kematian? (2) Gaji guru dan jumlah $ yang diperoleh dalam penjualan minuman keras. Apakah guru membelanjakan uangnya untuk membeli minuman keras?

6 Regression Line and Regression Equation
Dependent and Independent Variable Dependent Variable/Variabel Tak Bebas (Y): Variabel yang nilainya ditentukan oleh variabel lain. Diasumsikan bersifat random/stochastic Independent Variable/Variabel Bebas (X): Variabel yang nilainya ditentukan secara bebas (variabel yang diduga mempengaruhi variabel tak bebas). Diasumsikan bersifat fixed/non stochastic. Regression Line and Regression Equation

7 An Example Effect of Car Age on its Price (to what degree can Car Age predict Its Price) Effect of Woman Age on Her Fertility (to what degree can Woman Age predict Her Fertility level) Effect of A Person Height on His/Her Weight (to what degree can A Person Height predict His/Her Weight) Effect of Household Income to Their Consumption Expenditure (to what degree can Household Income predict Their Consumption Expenditure) Effect of Dow Jones Performance on Darts performance (to what degree can Dow Jones predict Dart performance) etc.

8 Contoh Ploting Data Dow vs Dart
Relationship can be represented by line of best fit

9 Keterangan Ternyata titik-titik (plotting data) tersebut terlihat mengelompok di sekitar garis lurus Pada scatter plot tersebut, sebenarnya bisa ditarik beberapa garis yang dekat terhadap titik-titik tersebut Tujuan kita di sini adalah 1. Mencari garis yang paling tepat 2. Melakukan Peramalan 3. Ingin mengetahui hubungan yang terjadi (seberapa cepat Darts berubah pada saat Dow Jones berubah sebesar satu unit)

10 Beberapa Model Regresi Linear
Models in which the parameters (0, 1, ..., k ) all have exponents of one are called linear models. First-Order Model with One Predictor Variable Second-Order Model with One Predictor Variable Second-Order Model with Two Predictor Variables with Interaction etc.

11 Persamaan Regresi Linear Sederhana
Model : Y|X = 0 + 1X = E(Y|X) Jika (Xi,Yi) merupakan data berpasangan, maka titik tersebut akan menyimpang terhadap garis regresinya, sehingga persamaan regresinya menjadi Yi = 0 + 1 Xi + i Untuk sampel berukuran n, maka akan terdapat pasangan {(xi, yi); i = 1, 2, …, n} sehingga 0 dan 1 harus diestimasi menjadi b0 dan b1 Persamaan regresi sampelnya adalah yi = b0 + b1 xi + ei

12 Beberapa Asumsi Yi (Variabel Tak Bebas/Dependent Variable) merupakan random variable/bersifat stochastic Xi (Variabel bebas/Independent Variable) bersifat fixed/non stochastic (bukan merupakan random variable) E(i) = 0 E(i j) = 2 untuk i = j (Homoscedastic) E(i j) = 0 untuk i  j (Non autocorrelation)

13 Beberapa Asumsi (Lanjutan)
i merupakan random variable yang terdistribusi secara bebas dan indentik mengikuti distribusi normal dengan rata-rata 0 dan varian 2 atau biasa dituliskan sebagai i ~ NID(0, 2) Yi terdistribusi normal dengan varian sama seperti pada i (BUKTIKAN!) iid BAGAIMANA JIKA ADA ASUMSI YANG TIDAK TERPENUHI? BAGAIMANA MENDETEKSINYA? BAGAIMANA MENGUJI? BAGAIMANA ALTERNATIF SOLUSINYA?

14 Pendugaan/Estimasi Parameter

15 Least Squares Criterion
Prinsipnya: Min Pada model regresi linear sederhana dengan asumsi yang telah diberlakukan, maka dipakai Metode Ordinary Least Squares (OLS) untuk mengestimasi parameter model Dengan OLS akan diperoleh

16 Pada Kasus Dow vs Dart diperoleh hasil
b1 = 1.032 b0 = Suppose that we want to predict Darts score for a new Dow Score of 25 We predict that Darts will be at when Dow is at 25 Check with data: what is real value of Darts when Dow is 25

17 Prediction Residual

18 Example: Relationship between Car Age (X) and its Price (Y)

19 Prosedur Penghitungan untuk Estimasi Parameter

20

21 Regression line and data points for Car Age and Price Data

22 Sifat-sifat Estimator Least Squares
Jika semua asumsi yang diberlakukan terhadap model regresi terpenuhi, maka menurut suatu teorema (Gauss Markov theorem) estimator tersebut akan bersifat BLUE (Best Linear Unbiased Estimator). Best = Terbaik, mempunyai varian yang minimum Linear = Linear dalam Variabel Random Y Unbiased = Tak bias Artinya estimator tersebut akan unbiased dan mempunyai varian yang minimum diantara semua estimator unbiased yang lain. BUKTIKAN!

23 Residual

24 Inferensi dalam Analisis Regresi
Model Regresi Linear Sederhana Yi = 0 + 1Xi + i Dimana i merupakan random variabel yang terdistribusi NID(0,2) Contoh: Sebuah Perusahaan, Westwood Company, sedang meneliti tentang hubungan antara jumlah sparepart yang diproduksi (X) dengan jumlah jam kerja yang diperlukan (Y) dari 10 proses produksi terakhir. (Data ada di buku Neter and Wasserman, halaman 40)

25 Inferensi Tentang 1 Confidence Interval dan Uji Hipotesis
Distribusi Sampling 1 Teorema : Kombinasi Linear dari r.v. normal akan terdistribusi normal. BUKTIKAN! Estimasi Varian =

26 Distribusi Sampling untuk
BUKTIKAN! CI (1-) untuk Pada contoh Westwood Company, diperoleh n = 10 SSE = 60 MSE = 7.5 Sehingga CI 95 % untuk 1 adalah P(1.89 ≤ 1 ≤ 2.11) = 95 %

27 Uji Hipotesis Tentang 1
a. H0: 1 = 0 b. H0: 1 ≤ 0 c. H0: 1 ≥ 0 H1: 1 ≠ 0 H1: 1 > 0 H1: 1 < 0 Statistik Uji: Keputusan pada tingkat sign.  : Tolak H0 jika a. b. c. Pada contoh Westwood Co., diperoleh t* = 42.58 t(0.975,8) = dan t(0.95,8) = 1.860 Keputusan? Kesimpulan?

28 Inferensi Tentang 0 Akan mempunyai arti jika cakupan model memuat X = 0 Distribusi Sampling 0 BUKTIKAN! Est. Varian = Distribusi Sampling Untuk CI (1-) untuk 0

29 Pendekatan ANOVA dalam Analisis Regresi
Dasar: Partisi dari Sum Squares Total (SST) dan derajat bebas SST SSE SSR df n – 1 n – Rumus untuk penghitungan

30 Ilustrasi Geometris Partisi Jumlah Kuadrat
Yi

31 Mean Squares (MS): SS dibagi dengan derajat bebasnya
Pada Westwood Co., diperoleh SSR = dan SSE = 60, sehingga Tabel ANOVA untuk Regresi Linear Sederhana Source of Variation SS df MS E{MS} F* Regression 1 MSR Error n–2 MSE Total n–1

32 Anova tersebut dapat digunakan untuk menguji H0: 1 = 0 vs H1: 1 ≠ 0
Tabel ANOVA untuk Kasus Westwood Company Keputusan: Tolak H0 jika F* > F(1-;1, n-2) Dari tabel F, diperoleh F(0.95;1, 8) = 5,32 Kesimpulan? Source of Variation SS df MS F* Regression 13600 1 1813 Error 60 8 7.5 Total 13660 9

33 Equivalence of F Test and t Test
Untuk  tertentu, Statistik Uji F untuk H0: 1 = 0 vs H1: 1 ≠ 0 adalah equivalent dengan statistik uji t dua arah. Bukti: Koefisien Determinasi (r2) Mengukur proporsi keragaman total dari nilai observasi Y di sekitar rataannya yang dapat diterangkan oleh garis regresinya. Nilainya: 0 ≤ r2 ≤ 1

34 Linear Correlation Coefficient - Measure of strength of linear relationship
The linear correlation coefficient ranges between –1 and 1.

35 Various degrees of linear correlation

36 Various degrees of linear correlation

37 Example: linear correlation coefficient for Car Age and Price Data

38 SPSS Printout for one Predictor
R2, Percentage of Variance

39 Error of prediction Is regression Significant? Intercept Slope