REGRESI LINIER SEDERHANA

PENDAHULUAN Apa yang disebut Regresi? Apa Kegunaan Regresi? Regresi merupakan teknik menganalisis hubungan antar variabel terdiri atas: satu variabel terikat dengan satu variabel bebas (Regresi Sederhana) satu variabel terikat dengan beberapa variabel bebas(Regresi Berganda)

Ciri Regresi Linier Sederhana: Hubungan satu arah: Dari Regressor ke Regressand atau Dari Variabel Bebas ke Variabel Terikat Sederhana: 1 Variabel Bebas dan 1 Variabel Terikat Linier Hubungan parameternya linier

Model Regresi Linier Sederhana : Yi = 1 + 2Xi + ui Misalkan Y: Konsumsi dan X Pendapatan, maka persamaan ditulis: Konsumsi = 1 + 2 Pendapatan + I

Pengamatan 10.000 penduduk Jakarta untuk melihat hubungan antara pendapatan dan konsumsi.

Bagaimana membentuk suatu garis yang dapat mencerminkan kondisi umum?

Garis mana yang benar? Tidak semua titik berada pada garis. Hal ini menunjukan bahwa hubungan antara variabel konsumsi, dan pendapatan tidak eksak. Secara substansi, kondisi ini disebabkan masih adanya variabel lain yang mempengaruhi konsumsi, seperti jumlah anggota keluarga, umur anggota keluarga, selera pribadi, dan sebagainya.

Error Jarak antara Garis dan titik observasi disebut error (Beda nilai sesungguhnya dengan nilai prediksi). Konsumsi  = error/kesalahan . Pendapatan

Tekhnik Estimasi Idealnya: seluruh titik berada pada garis. Kenyataan: Hampir tidak mungkin. Solusi? Carilah garis dengan error paling kecil. Tekhnik Estimasi: Ordinary Least Square (OLS)

Langkah-langkah Estimasi Model Regresi dapat ditulis dengan: ui = Yi - 1 - 2Xi Jumlah penyimpangan kuadrat ( ui2), dicari dengan: ui2 = (Yi - 1 - 2Xi)2  ui2 =  (Yi - 1 - 2Xi)2 Kalau masing-masing ui2 terkecil, maka  ui2 akan terkecil. Prinsip Ordinary Least Square (OLS) Mengestimasi 1 dan 2 sehingga  ui2 minimum, secara matematis dapat ditulis:  ui2 =  (Yi - 1 - 2Xi)2

Langkah-langkah Estimasi  ui2 akan minimum bila :  2  (Yi - 1 - 2Xi) = 0  2  Xi (Yi - 1 - 2Xi) = 0 Setelah disederhanakan, 1 dan 2 yang memenuhi syarat adalah :

Estimator:

Pemeriksaan Persamaan Regresi Standard Error Prinsip OLS: meminimalkan error. Oleh karena itu, ketepatan dari nilai dugaan sangat ditentukan oleh standard error dari masing-masing penduga. Adapun standard error dirumuskan sebagai berikut:

Pemeriksaan Persamaan Regresi Oleh karena  merupakan penyimpangan yang terjadi dalam populasi, yang nilainya tidak diketahui, maka  biasanya diduga berdasarkan data sampel. Adapun penduganya adalah sebagai berikut : ui2 = Berdasar formula: error yang minimal akan mengakibatkan standar error koefisien yang minimal pula. Berapa batasannya standar error disebut besar atau kecil? ui2 =

Pemeriksaan Persamaan Regresi Sulit ditentukan secara absolut. Data jutaan rupiah tentunya akan memiliki standar error yang lebih besar dibanding ratusan rupiah. Digunakan dengan membuat rasio dengan koefisien regresi. Bila rasio tersebut bernilai 2 atau lebih, dapat dinyatakan bahwa nilai standar error relatif besar dibanding Parameternya. Rasio inilah yang menjadi acuan pada Uji-t.

Interval Kepercayaan Untuk j Apa yang dimaksud Interval kepercayaan? Untuk apa? Formulasi: bj  t/2 s.e(bj) atau P(bj - t/2 s.e(bj) ≤ βj ≤ bj + t/2 s.e(bj))= 1-  Apa yang dimaksud ?

Interval Kepercayaan Untuk j b1 = 0,1022 dan s.e (b1) = 0,0092. Banyaknya observasi (n) = 10; Banyaknya parameter yang diestimasi (k) = 2; Dengan demikian derajat bebas = 10 – 2 = 8; dan tingkat signifikansi 1- = 95 %. Dari tabel t0,025 dengan derajat bebas = 8, diperoleh nilai t = 2,306. Maka interval kepercayaan untuk β1 adalah : ( 0,1022  2,306 (0,0092) ) atau (0,0810 ; 0,1234) Artinya: Nilai β1 terletak antara 0,0810 dan 0,1234 dengan peluang sebesar 95%.

Uji Hipotesis Uji-F Diperuntukkan guna melakukan uji hipotesis koefisien (slop) regresi secara bersamaan. H0 : 2 = 3 = 4 =............= k = 0 H1 : Tidak demikian (paling tidak ada satu slop yang  0) Dimana: k adalah banyaknya variabel bebas. Regresi sederhana: H0 : 1 = 0 H1 : 1  0 Pengujian: Tabel ANOVA (Analysis of Variance).

Uji-F Observasi: Yi = 0 + 1 Xi + ei Regresi: Ŷi = b1 + b2 Xi (catatan: Ŷi merupakan estimasi dari Yi). Bila kedua sisi dikurangi maka: Selanjutnya kedua sisi dikomulatifkan: SST SSR SSE SST : Sum of Squared Total SSR : Sum of Squared Regression SSE : Sum of Squared Error/Residual

Uji F Tabel ANOVA Sumber Sum of Square df Mean Squares F Hitung Regresi SSR k MSR = SSR/k F = MSR Error SSE n-k-1 MSE= SSE/(n-k-1) MSE Total SST n-1 Dimana df adalah degree of freedom, k adalah jumlah variabel bebas (koefisien slop), dan n jumlah observasi (sampel). Bandingkan F Hit dengan Fα(k,n-k-1)

Uji-t Pengujian koefisien regresi secara individu. H0 : j = 0 H1 : j  0; j = 0, 1, 2........, k k adalah koefisien slop. Untuk regresi sederhana: (1) H0 : 0 = 0 (2) H0 : 1 = 0 H1 : 0  0 H1 : 1  0; Uji-t didefinisikan sebagai berikut: j akan diuji apakah sama dengan 0

Uji-t Nilai t dibandingkan dengan nilai t tabel. Bila ternyata, setelah dihitung t > t/2, maka nilai t berada dalam daerah penolakan, sehingga hipotesis nol (j = 0) ditolak pada tingkat kepercayaan (1-) x100%. Dalam hal ini dapat dikatakan bahwa j statistically significance. Khusus untuk Uji-t ini dapat dibuat batasan daerah penolakan secara praktis, yaitu: Bila derajat bebas = 20 atau lebih dan  = 5%, maka hipotesis j = 0 akan ditolak jika

Koefisien Determinasi Koefisien Determinasi (Goodness of Fit), yang dinotasikan dengan R2,menginformasikan baik atau tidaknya model regresi yang terestimasi. Atau dengan kata lain, angka tersebut dapat mengukur seberapa dekatkah garis regresi yang terestimasi dengan data sesungguhnya. Nilai Koefisien Determinasi ini mencerminkan seberapa besar variasi dari variabel terikat Y dapat diterangkan oleh variabel bebas X. Bila nilai Koefisien Determinasi sama dengan 0 (R2 = 0), artinya variasi dari Y tidak dapat diterangkan oleh X sama sekali. Sementara bila R2 = 1, artinya variasi dari Y secara keseluruhan dapat diterangkan oleh X. Dengan kata lain bila R2 = 1, maka semua titik-titik pengamatan berada tepat pada garis regresi. Dengan demikian baik atau buruknya suatu persamaan regresi ditentukan oleh R2-nya yang mempunyai nilai antara nol dan satu.

Koefisien Determinasi R2 didefinisikan atau dirumuskan berdasarkan langkah-langkah sebagaimana yang dilakukan pada Tabel ANOVA. Adapun rumusannya adalah: Bila tidak ada penyimpangan tentunya tidak akan ada error. Maka SSE = 0, yang berarti SSR = SST atau R2 = 1. Atau dengan kata lain, semua titik-titik observasi berada tepat di garis regresi. Jadi, SST sesungguhnya adalah variasi dari data, sedang SSR adalah variasi dari garis regresi yang dibuat.

Nilai Ekstrim (Outlier) Kenapa perlu diperhatikan? Regresi didasarkan pada rata-rata Nilai berapa yang disebut ekstrim? adalah standar error estimasi atau akar dari Mean Square of Error