EVALUASI PERENCANAAN JOHANNES PARLINDUNGAN, ST., MT. Blog : JURUSAN PERENCANAAN.

Presentasi berjudul: "EVALUASI PERENCANAAN JOHANNES PARLINDUNGAN, ST., MT. Blog : JURUSAN PERENCANAAN."— Transcript presentasi:

1 EVALUASI PERENCANAAN JOHANNES PARLINDUNGAN, ST., MT. E-mail : johannes@ub.ac.idjohannes@ub.ac.id Blog : http://johannes.lecture.ub.ac.id/ JURUSAN PERENCANAAN WILAYAH dan KOTA FAKULTAS TEKNIK UNIVERSITAS BRAWIJAYA PENDEKATAN KUALITATIF dan KUANTITATIF DALAM EVALUASI PERENCANAAN 02 VALIDITAS KUANTITATIF

2 EVALUASI PERENCANAAN - JP VALIDITAS INSTRUMEN 2 KESESUAIAN ALAT UKUR ?

3 EVALUASI PERENCANAAN - JP 3 KONSISTENSI HASIL PENGUKURAN ??

4 EVALUASI PERENCANAAN - JP BEBERAPA KASUS … 4 PERMASALAHAN VALIDITAS ATAU RELIABILITAS ? AKURASI SOAL UJIAN SEBAGAI ALAT UKUR SESUAI INDIKATOR PENCAPAIAN KEBERHASILAN KURIKULUM AKURASI SOAL UJIAN SEBAGAI ALAT UKUR SESUAI INDIKATOR PENCAPAIAN KEBERHASILAN KURIKULUM SOAL-SOAL SEC KONSISTEN MENGUKUR KEMAMPUAN SISWA (Asumsinya ujian dilaksanakan sec. jujur) KASUS VALIDITAS KASUS RELIABILITAS

5 EVALUASI PERENCANAAN - JP 5 PERMASALAHAN VALIDITAS

6 EVALUASI PERENCANAAN - JP External VALIDITY 6 TERKAIT PADA GENERALISASI HASIL PENELITIAN – DAPAT DIULANG PADA TEMPAT DAN WAKTU YANG BERBEDA PROBLEMS : 1. SELECTED SAMPLE THAT IS NOT REPRESENTATIVE THE UNIT OF ANALYSIS IS WHAT IS SAMPLED AND WHAT IS COUNTED

7 EVALUASI PERENCANAAN - JP 7 TERLALU BESAR TERLALU KECIL NOT REPRESENT ATIVE NOT EFFICIENT, COSTLY SAMPLE SMALL RANDOM SAMPLE IS NOT REPRESENTATIVE !! CONTOH : SAMPLE = 30 (TIDAK REPRESENTATIF) POPULASI = 100, SAMPLE = 10 (TIDAK REPRESENTATIF) TIDAK REPRESENTATIFNYA SAMPLE DI ATAS TERKAIT TEORI PROBABILITAS…

8 EVALUASI PERENCANAAN - JP 8 TIDAK REPRESENTATIFNYA SAMPLE DI ATAS TERKAIT TEORI PROBABILITAS… SAMPLING DILAKUKAN DENGAN CARA : MENGAMBIL OBJEK DENGAN TIDAK MENGEMBALIKAN KE UNIT SAMPLENYA SAMPLING DILAKUKAN DENGAN CARA : MENGAMBIL OBJEK DENGAN TIDAK MENGEMBALIKAN KE UNIT SAMPLENYA JUMLAH POPULASI = 50 JUMLAH POPULASI = 200 JLH POPULASI KEMUNGKINAN PENGAMBILAN SAMPLE 501/50 = 0.0200 491/49 = 0.0204 480.0208 470.0213 460.0217 450.0222 440.0227 430.0233 420.0238 JLH POPULASI KEMUNGKINAN PENGAMBILAN SAMPLE 2001/200 = 0.0050 1991/199 = 0.0050 1980.0051 1970.0051 1960.0051 1950.0051 1940.0052 1930.0052 1920.0052

9 EVALUASI PERENCANAAN - JP 9 2. STUDYING “SENSITIZED” UNIT of ANALYSIS 3. STUDYING VOLUNTEERS or SURVEY RESPONDENTS APABILA UNIT SAMPLE ADALAH MANUSIA DAN MEREKA MENGETAHUI SEDANG DIANALISIS MAKA KESADARAN INI CENDERUNG MENYEBABKAN SUBJEK MEMBERI INFORMASI YANG DISTORSI MELAKUKAN SURVEY TERHADAP INDIVIDU YANG INGIN UNTUK DIANALISIS. SAMPLE YG MEMBERI RESPONS BERASAL DARI KALANGAN TERTENTU SAJA. DIBUTUHKAN METODE SURVEI PRIMER (WAWANCARA) YANG MAMPU MENJARING INFORMASI DARI KELOMPOK YANG HETEROGEN

10 EVALUASI PERENCANAAN - JP 10 4. STATISTICAL INTERACTION X X Y Y Z Z - Z X X Y Y Z Z + Z GROUP. AGROUP. B TIDAK BISA DILAKUKAN GENERALISASI !! KECILNYA UKURAN SAMPLE MENYEBABKAN RESIKO TERJADINYA “STATISTICAL INTERACTION” SEMAKIN BESAR.

11 EVALUASI PERENCANAAN - JP Statistical VALIDITY 11 1. RANDOMNESS IN SAMPLING LARGER SAMPLES HAVE LESS SAMPLING ERROR THAN SMALLER ONES. THE USE of DATA. Kajian yg mendalam terhadap sebuah variabel akan butuh data dan sampel yg lebih banyak.

12 EVALUASI PERENCANAAN - JP 12 2. RANDOMNESS IN MEASUREMENT MULTIPLE MEASUREMENTS or MULTIPLE INDICATORS REDUCES RANDOM MEASUREMENT ERRORS, ESPECIALLY WHEN WHAT IT IS BEING MEASURED IS AN ABSTRACT CONCEPT 3. RANDOMNESS IN BEHAVIOUR DIPENGARUHI OLEH DINAMIKA PERILAKU RESPONDEN

13 EVALUASI PERENCANAAN - JP Internal VALIDITY 13 BEBERAPA PERMASALAHAN TERKAIT INTERNAL VALIDITY INTERVENING EVENTS & TRENDS. OUTPUT SUATU PROGRAM TERCAPAI BUKAN KARENA KEBERHASILAN BERJALANNYA PROGRAM TERSEBUT, TETAPI KARENA TERJADINYA SUATU KONDISI YG TIDAK DIPERHITUNGKAN ATAU TREND TERTENTU. INTERVENING EVENTS & TRENDS. OUTPUT SUATU PROGRAM TERCAPAI BUKAN KARENA KEBERHASILAN BERJALANNYA PROGRAM TERSEBUT, TETAPI KARENA TERJADINYA SUATU KONDISI YG TIDAK DIPERHITUNGKAN ATAU TREND TERTENTU. TESTING. ADANYA SUATU KEGIATAN PENGUJIAN AKAN MEMBERIKAN KESADARAN RESPONDEN BAHWA MEREKA SEDANG DIEVALUASI, HAL INI DAPAT MENGUBAH SIKAP MEREKA SEHINGGA KINERJA PROGRAM SULIT DIUKUR. TESTING. ADANYA SUATU KEGIATAN PENGUJIAN AKAN MEMBERIKAN KESADARAN RESPONDEN BAHWA MEREKA SEDANG DIEVALUASI, HAL INI DAPAT MENGUBAH SIKAP MEREKA SEHINGGA KINERJA PROGRAM SULIT DIUKUR.

14 EVALUASI PERENCANAAN - JP 14 INSTRUMENTATION. ADANYA PERUBAHAN STANDARISASI / INSTRUMEN PENGUKURAN AKAN MENGGANGGU PROSES EVALUASI. INSTRUMENTATION. ADANYA PERUBAHAN STANDARISASI / INSTRUMEN PENGUKURAN AKAN MENGGANGGU PROSES EVALUASI. BEBERAPA PERMASALAHAN TERKAIT INTERNAL VALIDITY REGRESSION ARTIFACTS. ADANYA NILAI EVALUASI YANG EKSTREM MEMILIKI KECENDERUNGAN SECARA ALAMI UNTUK KEMBALI KE NILAI RATA2 NORMAL. REGRESSION ARTIFACTS. ADANYA NILAI EVALUASI YANG EKSTREM MEMILIKI KECENDERUNGAN SECARA ALAMI UNTUK KEMBALI KE NILAI RATA2 NORMAL. UNCONTROLLED SELECTION. ADANYA VARIABEL YANG TIDAK DIPERHITUNGKAN (Z) TAPI TERNYATA SANGAT MEMPENGARUHI OUTPUT (Y). SETIAP LOKASI STUDI YG BERBEDA AKAN MEMILIKI KONDISI YG BERBEDA PULA. UNCONTROLLED SELECTION. ADANYA VARIABEL YANG TIDAK DIPERHITUNGKAN (Z) TAPI TERNYATA SANGAT MEMPENGARUHI OUTPUT (Y). SETIAP LOKASI STUDI YG BERBEDA AKAN MEMILIKI KONDISI YG BERBEDA PULA. X X Y Y X X Y Y Z Z LINGKUNGAN A. LINGKUNGAN B.

15 EVALUASI PERENCANAAN - JP 15 ATTRITION. UMUMNYA TERJADI PADA PENELITIAN EKSPERIMENTAL, DIMANA ADA PERUBAHAN RESPONDEN SETELAH DILAKSANAKAN TREATMENT, SEHINGGA PENGUKURAN DAMPAK TIDAK VALID. ATTRITION. UMUMNYA TERJADI PADA PENELITIAN EKSPERIMENTAL, DIMANA ADA PERUBAHAN RESPONDEN SETELAH DILAKSANAKAN TREATMENT, SEHINGGA PENGUKURAN DAMPAK TIDAK VALID. BEBERAPA PERMASALAHAN TERKAIT INTERNAL VALIDITY MULTIPLE TREATMENT INTERFERENCE (MULTICOLLINIEARITY). CONTAMINATION. UMUMNYA TERJADI PADA PENELITIAN EKSPERIMENTAL, DIMANA SAMPEL MENGALAMI KONTAMINASI OLEH PIHAK2 DENGAN KARAKTERISTIK DI LUAR PENGENDALIAN EKSPERIMEN. CONTAMINATION. UMUMNYA TERJADI PADA PENELITIAN EKSPERIMENTAL, DIMANA SAMPEL MENGALAMI KONTAMINASI OLEH PIHAK2 DENGAN KARAKTERISTIK DI LUAR PENGENDALIAN EKSPERIMEN.

16 EVALUASI PERENCANAAN - JP 16 DENGAN DEMIKIAN, DAPAT DISIMPULKAN : VALIDITAS INTERNAL TERKAIT AKURASI DESAIN PENELITIAN DALAM KAITANNYA SESUAI DENGAN TEORI DAN PENGALAMAN DALAM MEMAHAMI KONSTRUK YANG TERLIBAT DALAM PENELITIAN Z (Extraneous Variables) X (Treatment) Y (Output) µ (Random Component)

17 EVALUASI PERENCANAAN - JP UJI VALIDITAS KUANTATIF 17 VALIDITAS KONSTRUK PENDAPAT AHLI (EXPERT JUDGEMENT), Minimal 3 Orang. DIUJICOBA PADA SAMPEL (Min. 30 Orang) ANALISIS FAKTOR

18 EVALUASI PERENCANAAN - JP 18 VALIDITAS ISI MEMBANDINGKAN ISI INSTRUMEN DENGAN MATERI PENGUJIAN. DIBANTU KISI2 INSTRUMEN BERUPA : VARIABEL dan INDIKATOR serta NOMOR BUTIR2 PERTANYAAN DARI yang BERASAL DARI PENJABARAN INDIKATOR. DIBANTU KISI2 INSTRUMEN BERUPA : VARIABEL dan INDIKATOR serta NOMOR BUTIR2 PERTANYAAN DARI yang BERASAL DARI PENJABARAN INDIKATOR. ANALISIS BUTIR

19 EVALUASI PERENCANAAN - JP 19 VALIDITAS EKSTERNAL MEMBANDINGKAN (MENCARI KESAMAAN) ANTARA KRITERIA PADA INSTRUMEN DENGAN FAKTA-FAKTA EMPIRIS DI LAPANGAN

20 EVALUASI PERENCANAAN - JP 20 DALAM MENYUSUN DESAIN PENELITIAN, TINDAKAN PRAKTIS APA YANG DAPAT DILAKUKAN UNTUK MENGHINDARI SAMPLING ERROR PADA EXTERNAL VALIDITY DAN MENGHINDARI METHODOLOGICAL ERROR PADA INTERNAL VALIDITY, SEHINGGA PELAKSANAAN PENGUJIAN VALIDITAS DAPAT BERJALAN EFISIEN ?

21 EVALUASI PERENCANAAN - JP DAFTAR PUSTAKA 21 FAISAL. 1989. FORMAT-FORMAT PENELITIAN SOSIAL. PT RAJAGRAFINDO PERSADA. JAKARTA. LANGBEIN dan FELBINGER. 2006. PUBLIC PROGRAM EVALUATION. SUGIYONO. 2011. METODE PENELITIAN KOMBINASI (MIXED METHODS). PENERBIT ALFABETA BANDUNG. WHOLEY, et al. 2004. HANDBOOK OF PRACTICAL PROGRAM EVALUATION.