Asumsi Model Regresi Pemeriksaan Pola Sisaan (Residual) Kutner, Ch. 3

Presentasi berjudul: "Asumsi Model Regresi Pemeriksaan Pola Sisaan (Residual) Kutner, Ch. 3"— Transcript presentasi:

1 Asumsi Model Regresi Pemeriksaan Pola Sisaan (Residual) Kutner, Ch. 3
Kuliah 10 Time Series Usman Bustaman, M.Sc.

2 Review Linear regression assumes that…
Asumsi Model Regresi: Linear regression assumes that… 1. The relationship between X and Y is linear 2. Y is distributed normally at each value of X 3. The variance of Y at every value of X is the same (homogeneity of variances) 4. The observations are independent Bagaimana mengetahui/mendeteksi bahwa asumsi tsb terpenuhi atau tidak?

3 Diagnosa Langkah awal: deteksi pola sebaran variabel bebas X
No special pattern Terdapat perulangan Data berakhiran nol M = median, H = Q1, Q3 Sebaran data simetris

4 Diagnosa  Residual analysis Deteksi pola sebaran variabel tak bebas Y
Problem: Y = f(X) Solver: Gunakan Sisaan (Residual)  observed error  true error 𝜀 𝑖 ~ iid N(0, 𝜎 2 )  jika model cocok, 𝑒 𝑖 refleksi dari 𝜀 𝑖  Residual analysis

5 Tak kenal maka tak sayang
Karakteristik Residual Rata-2 Varians Nonindependence: 𝑒 𝑖 = 0, 𝑋 𝑖 𝑒 𝑖 = 0 Standardized residual Maksud- nya?

6 6 pelanggaran penting 𝜀 𝑖 ~ iid N(0, 𝜎 2 )  heteroskedasticity
 Multicollinearity or Serial correlation  outlier  Non normality  Omitted variable bias

7 Non linearity problem Graphicle check: Plot residual vs predictor or residual vs fitted value Why? ... menghasilkan pola residual non linear (curvilinear) Pola non linier diprediksi menggunakan model linier ...

8 Non linearity problem Graphicle check: Plot residual vs predictor or residual vs fitted value Karakteristik pola linier Rata-2 = 0, varians konstan (stabil)  Null plot

9 Non linearity problem Berbagai macam pola non linier Non linier
Kombinasi Non linier & varians yg tidak konstan

10 Descriptive measure Mengukur “derajat kelinieran” dari hubungan antara variabel bebas dan tak bebas Koefisien determinasi R2:  mengukur proporsi dari variasi nilai Y yang dapat diterangkan oleh variabel X secara linier. Ingat, salah paham ttg R2: R2 tinggi  prediksi semakin baik …. R2 tinggi  model regresi cocok dgn datanya … R2 rendah (mendekati nol)  tidak ada hubungan antara variabel X dan Y …

11 REPRESENTASI GRAFIS R2

12 Linearity test Koefisien korelasi (r)  mengukur hubungan linier antara variabel Y dan X, Dalam RLS : r = 𝑅 2 Dalam RLB : Korelasi Pearson untuk melihat hubungan linier antar dua variabel. F test (ANOVA), untuk melihat apakah variabel X secara bersama-sama dapat menjelaskan hubungan linier antara variabe Y dan variabel-2 X. H0: 𝛽 1 = 𝛽 2 =…= 𝛽 𝑘 =0 H1: sedikitnya ada satu 𝛽 𝑖 ≠ 0, i = 1,2,…,k

13 Pencilan (outlier) Secara grafis dapat dilihat dari plot X vs 𝑌 , box plot, steam & leaf, dot plot, standardized residual Rule of thumb: |std residual| > 4  large Bisa diabaikan jika betul-2 berasal dari kesalahan pengukuran/pencatatan, salah hitung, rusaknya alat ukur, dll

14 Apa komentar anda terhadap gambar berikut?

15 Mendeteksi Outlier Pencilan dapat muncul dari variabel Y atau X atau dari kedua-2nya. Perhatikan pencilan 1-4 pada gambar ini: Pencilan karena nilai Y|X : …… Pencilan karena nilai X : ……

16 Mendeteksi Outlier Pencilan kadang mempengaruhi estimasi model regresi kadang tidak juga… Pencilan 1  berpengaruh / tidak berpengaruh Pencilan 2  berpengaruh / tidak berpengaruh Pencilan 3  berpengaruh / tidak berpengaruh Pencilan 4  berpengaruh / tidak berpengaruh

17 Mendeteksi Outlier Permasalahan timbul jika variabel bebas X tdd > 1 variabel. Plot residual seperti sebelumnya tidak begitu membantu mendeteksi variabel mana yang menyebabkan pencilan yg mempengaruhi hasil estimasi regresi.  menggunakan statistik: Komponen hii dari Hat matrix Studentized residual Cook’s Distance DFFFits … DFBetas …

18 Leverage outliers Komponen hii dari hat matrix
Variance ei = 0 jika hii = 1  artinya y obs = y prediksi (y observed tepat berada di garis regresi)

19 p = banyaknya parameter dlm model
Leverage outliers p = banyaknya parameter dlm model

20 N = 77

21 Distance outlier Studentized residual: Ciri-2:
Jika  obs. ke-i adalah distance outlier

22 Cook’s Distance, Di Ciri-2

23 Bagaimana mengatasinya?
Lakukan transformasi data: Akar Logaritma Fungsi trigonometri Dll Box Cox transformation…

24 KULIAH 11 Heteroskedasticity Serial correlation Multicollinerity
Normality Omitted variables

25 Heteroskedasticity

26 Varians residual tdk konstan
Prototype

27 Penyebab Error learning  misal: belajar mengetik
Sampel yang beragam  rumahtangga dgn pendptn, perusahaan berbagai level Adanya outlier Omitting variables Sebaran data tidak normal incorrect data transformation (e.g., ratio or first difference transformations) and incorrect functional form (e.g., linear versus log–linear models)  lebih sering terjadi pada data cross section

28 Efek thd estimasi BLUE? Linear Unbiased but not efficient

29 KOnsekuensi Bagaimana estimasi yg diperoleh terkait varians yg tidak konstan? - Signifikansi ? - CI ?  misleading …

30 Mendeteksi heteroskedasticity
Nature of problem (functional form review ) Periksa Grafik residual Tes statistik

31 Tes Statistik Bahwa residual berkorelasi dengan varians Park Test
 𝛽 signifikan  heteroskedastic  weakness: may not satisfy the OLS assumptions and may itself be heteroscedastic Glejser Test  weakness: the error term vi has some problems in that its expected value is nonzero, it is serially correlated and ironically it is heteroscedastic, some models are non linear.

32 Ex: Park & Glejser test

33 H0: homoskedastic H1: heteroskedastic

34

35 Goldfeld-Quandt Test: the heteroscedastic variance, σ2i , is positively related to one of the explanatory variables in the regression model, ex:   σ2i would be larger, the larger the values of Xi Weakness: - depend on which c is arbitrary, - for X > 1 Var, which X is correct to be ordered?

36

37 Ex: Y = Income, X = Consumption, n = 30, c = 4

38 Ex: Y = Income, X = Consumption, n = 30, c = 4

39 Breusch–Pagan–Godfrey Test
Weakness: - large sample needed  for small sample, depend much on normality assumption Ex:  So, H0:  Homoskedastic

40 ESS = SSR

41 Ex: 𝜒 2 1,5% =3,8414

42 White’s General Heteroscedasticity Test.
Weakness: more variables will consume more df. H0: homoskedastic Or H0:  , df = # parameter -1

43

44 Koenker–Bassett (KB) test.
H0: homoskedastic Or H0: 𝛼 2 =0 Tes hipotesis using t-test Obtain residual, then estimate

45 Other tests…..

46 Remedial Perhatikan 𝛽1 & 𝛽2 Reparameterize before analize !

47 Reparameterize before analize !

48 Practically, run OLS first, then run:
 consistent estimator  large sample needed

49  𝛽 measure the elasticity

50 Other Remedial Procedure

51

52 Apa perbedaan kedua model ini?
Run the following (weighted) regression: Compare with the unweighted Apa perbedaan kedua model ini?

53 White suggests: For RLB:

54

55 Important notes

56 Tugas Bonus Pelajari Gujarati, Basic Econometrics, 14th edition,
Ch. 11, section 11.7