STMIK Pradnya Paramita Malang 2018 Perkuliahan Metode Penelitian DIII & S1 Sistem Informasi, S1 Teknologi Informasi Pertemuan VII Membangun Experimental Work yang Fair Apa kriteria “Fairness”? Case Studies: tiga kasus umum Dr. Tb. M. Akhriza, S.Si., MMSI STMIK Pradnya Paramita Malang 2018

Dugaan (hipotesis)  Teori (tesis) Experimental Work Tujuan Eksperimen: Menguji Hipotesis sehingga dapat menjadi Tesis Dugaan (hipotesis)  Teori (tesis) contoh: Hipotesis: algoritme X secara matematik lebih efisien dari algoritme Y, sehingga seharusnya juga efisien secara praktik Eksperimen: tunjukkan efisiensi X dan Y dalam eksperimen Tesis: algoritme X lebih efisien dari Y baik secara matematis maupun praktik Hipotesis: model AR dalam metode pembelajaran dapat menurukan tingkat kebosanan siswa Eksperimen: lakukan pengujian secara statistik Tesis: Secara statistik model AR menurunkan tingkat kebosanan siswa dalam proses pembelajaran

Experimental Work Tujuan Eksperimen (2): Menguji performa metode baru atas metode tradisional Apapun hasilnya, ungkapkan! Eksperimen harus fair! contoh: Hipotesis: sistem informasi baru dapat meningkatkan efisiensi manajemen data dan informasi di perusahaan XYZ, khususnya dalam proses perekaman data (mengeliminasi redudansi data), pemrosesan data dan pembuatan laporan, serta mengeliminasi redudansi data di dalam proses perekaman. Eksperimen: tunjukkan efisiensi SI dan hilangnya redudansi data di dalam eksperimen, bandingkan dengan manajemen data dan informasi yang tradisional Tesis: SI baru meningkatkan efisiensi dalam manajemen data dan informasi di perusahaan XYZ.

Experimental Work Tujuan Eksperimen (2): Menguji performa metode baru atas metode tradisional Apapun hasilnya, ungkapkan! Eksperimen harus fair! contoh: Hipotesis: metode AR meningkatkan keinteraktifan dalam proses belajar rambu-rambu lalu lintas Eksperimen: tunjukkan keinteraktifan AR di dalam eksperimen, bandingkan dengan proses belajar yang tradisional Tesis: metode AR meningkatkan keinteraktifan dalam proses belajar rambu lalu lintas

Experimental Work Tujuan Eksperimen (2): Menguji performa metode baru atas metode tradisional Apapun hasilnya, ungkapkan! Eksperimen harus fair! contoh: Hipotesis: metode AR meningkatkan pemahaman siswa dalam proses belajar rambu-rambu lalu lintas Eksperimen: tunjukkan adanya peningkatan tingkat pemahaman siswa di dalam eksperimen menggunakan AR, bandingkan dengan tingkat pemahaman menggunakan metode belajar yang tradisional Tesis: metode AR meningkatkan tingkat pemahaman siswa dalam proses belajar rambu lalu lintas

Experimental Work Tujuan Eksperimen (2): Menguji performa metode baru atas metode tradisional Apapun hasilnya, ungkapkan! Eksperimen harus fair! contoh: Hipotesis: metode AR berpengaruh positif dalam meningkatkan pemahaman siswa dalam proses belajar rambu-rambu lalu lintas Eksperimen: tunjukkan adanya pengaruh positif dari penggunaan AR dalam meningkatkan pemahaman siswa. Tesis: metode AR berpengaruh positif dalam meningkatkan tingkat pemahaman siswa dalam proses belajar rambu lalu lintas Warning!! Bukan Skripsinya anak DIII dan S1 bidang IT

Experimental Work Eksperimen harus fair di dalam instrumen uji yang digunakan! Instrumen uji yaitu : Program/aplikasi: buat/bangun program/aplikasi yang setara baik untuk metode tradisional dan metode baru yang diusulkan Alat: gunakan spesifikasi komputer yang setara pada metode-metode yang dibandingkan. Bahan: Gunakan bahan yang sama, biasanya data, pada metode-metode yang dibandingkan

Experimental Work Eksperimen harus fair! Fairness / setara dalam hal: Parameter: Gunakan parameter yang sama pada metode-metode yang dibandingkan Jumlah data Jumlah iterasi Jenis data Lingkungan pengujian: uji metode-metode yang dibandingkan di lingkungan yang sama Apakah di lab? Di user yang relevan? Di company ? Harus SAMA! Penyebaran kuisioner: kuisioner, responden, jumlah responden harus SAMA! Pengujian black box, white box harus SAMA! Sama!!

Experimental Work Eksperimen harus fair! Fairness / setara dalam hal: Indikator Performa: Uji metode-metode yang dibandingkan dengan indikator performa yang sama Efisiensi waktu dalam memproses dokumen Efisien memori dalam memproses data Akurasi hasil prediksi/peramalan/klasifikasi Keinteraktifan metode Tingkat pemahaman INGAT!: Indikator Performa yang diuji adalah indikator performa yang dipermasalahkan / dirumuskan masalahnya di Bab I, Sub bab Rumusan Masalah. Jangan menambahkan pembahasan mengenai indikator performa lain yang tidak menjadi masalah, KECUALI sebatas pada pembahasan mengenai kontribusi Sama!!

Experimental Work Pertanyaan: Apa perbedaan antara Parameter Uji dan Indikator Performa?? Apa kaitannya antara Parameter Uji dan Indikator Performa?? Indikator performa: Efisiensi waktu dalam pemrosesan data  Parameter uji: jumlah data, dan waktu proses Indikator performa: Akurasi dalam memprediksi kelas2 penerima beasiswa  Parameter uji: data calon penerima beasiswa: data training (data yang real) dan data testing (data yang diujikan) Indikator performa: Kecepatan dalam memprediksi kelas2 penerima beasiswa  Parameter uji: data calon penerima beasiswa, jumlah data, waktu proses

Case Studies Tiga kasus yang mungkin muncul dalam membangun eksperimen: Metode baru punya pembanding, (yaitu metode tradisional), yang setara yang dapat dibandingkan secara fair Metode baru tidak punya pembanding yang setara Tapi metode tradisional tacit dan dapat disimulasi Tidak dapat disimulasi karena Metode tradisional memang belum ada  new invention! (setidaknya di objek penelitian) Metode tradisional tidak dapat/sulit diperbandingkan atau dihadirkan

Case Studies Kasus 1 Metode baru punya pembanding, (yaitu metode tradisional), yang setara yang dapat dibandingkan secara fair Contoh: Mengembangkan metode penentuan skala prioritas dalam pengambilan keputusan menggunakan analytics network process (ANP), yang dibandingkan dengan metode tradisional menggunakan Simple Additive Weight (SAW). Mengembangkan AR dengan Heptics, dalam rangka meng-improve metode lama yang hanya menggunakan AR (tanpa heptics) Mengembangkan SI perpustakaan dengan sistem rekomendasi, dalam rangka mengimprove proses rekomendasi pembelian buku baru, dimana metode lama hanya ada SI tanpa sistem rekomendasi Buat contoh lain!

Case Studies Kasus 2 Metode baru tidak punya pembanding yang setara Tapi metode tradisional tacit dan dapat disimulasi Contoh: Membangun aplikasi SI berbasis komputer di perusahan XYZ yang sebelumnya hanya menggunakan SI berbasis kertas Membangun aplikasi AR untuk metode pembelajaran di SD/TK yang sebelumnya hanya menggunakan buku teks atau alat peraga Mengusulkan keamanan jaringan berbasis Mikrotik di kampus ABC untuk mengurangi jumlah serangan hacker ke server web, yang sebelumnya tidak menerapkan metode apapun.

Case Studies Kasus 3 Contoh: Metode baru tidak punya pembanding yang setara Tapi Tidak dapat disimulasi karena Metode tradisional memang belum ada  new invention! (setidaknya di objek penelitian) Metode tradisional tidak dapat dibandingkan atau dihadirkan Contoh: Membangun model/prototipe smart house dengan sensor gerak, dimana metode tradisional-nya belum memiliki model smart house Membangun model visualisasi kesenjangan antara skillset yang dikuasai mahasiswa dengan yang dibutuhkan industri, dimana metode belum ada metode tradisional yang melakukan hal tersebut sebelumnya. Membuat alat untuk keamanan ganda berbasis finger print dan bluetooth yang sebelumnya hanya berbasis kunci ganda

Case Studies Contoh1: Mengembangkan metode pengambilan keputusan untuk penentuan skala prioritas menggunakan SAW vs Metode Manual Indikator performa yang diuji: Keakuratan pengambilan keputusan antara metode SAW vs Metode manual Kecepatan pengambilan keputusan antara SAW dan metode manual dikaitkan dengan banyaknya data yang tersedia

Case Studies Framework Tradisional Framework baru Yang Diusulkan: Contoh 1: Mengembangkan metode penentuan skala prioritas dalam pengambilan keputusan menggunakan SAW vs Metode Tradisional yang serba Manual Masalah: (1) prosesnya lambat, apalagi data +banyak (2) yang “dipertimbangkan” bisa jadi tidak akurat Framework Tradisional Valid InValid Diberikan N = 20000 data Manual (Admin): Periksa semua N data Memilih M < N Data untuk “Dipertimbangkan” Kevalidannya Manual (Expert): Memvalidasi M data Framework baru Yang Diusulkan: Manual (Admin): Memilih P < M data Komputer SAW: Pilih M < N data yang prioritas Menghasilkan M Data yang Berpotensi Valid Menghasilkan P Data Untuk “Dipertimbangkan” Tujuan: yang “dipertimbangkan” menjadi lebih akurat Prosesnya lebih cepat dari yang manual Kasus 2a: Metode SAW dibandingkan dengan metode manual yang tacit (ada dan diterapkan, namun belum didefinisikan). Perhatikan eksperimen yang dibuat supaya perbandingan kedua metode ini fair.

Case Studies Framework Tradisional Framework baru Yang Diusulkan: Contoh 1: Mengembangkan metode penentuan skala prioritas dalam pengambilan keputusan menggunakan SAW vs Metode Tradisional yang serba Manual Metode Baru Lebih akurat Y > X Sama akurat Y = X Kalah akurat  Y < X Framework Tradisional Data Vallid Menurut Metode Manual Data Vallid Menurut Expert X% Masalah: yang “dipertimbangkan” sering kurang akurat prosesnya lambat, apalagi data +banyak Framework baru Yang Diusulkan: Data Valid Menurut Metode SAW Y% Tujuan: yang “dipertimbangkan” menjadi lebih akurat Prosesnya lebih cepat dari yang manual    

Uji Kecepatan (efisien waktu) Case Studies Contoh 1: Mengembangkan metode penentuan skala prioritas dalam pengambilan keputusan menggunakan SAW vs Metode Tradisional yang serba Manual Framework Tradisional (metode manual) Masalah: yang “dipertimbangkan” sering kurang akurat prosesnya lambat, apalagi data +banyak Framework baru Yang Diusulkan (SAW): Tujuan: yang “dipertimbangkan” menjadi lebih akurat Prosesnya lebih cepat dari yang manual Eksperimen: Bagilah N data menjadi beberapa bagian, misal n , atau {N1, N2, N3, ….Nn} Menggunakan kedua metode, proseslah data sebanyak masing-masing bagian Catat waktu proses yang diperlukan untuk tiap bagian Ni Buat chart untuk membandingkan jumlah data vs waktu proses Uji Kecepatan (efisien waktu) Secara deskriptif dari Chart dapat terlihat metode mana Yang lebih cepat/lambat dalam memproses data

Case Studies Contoh 2: Mengembangkan metode pengambilan keputusan untuk penentuan skala prioritas dengan ANP vs SAW Indikator performa yang diuji: Keakuratan pengambilan keputusan antara kedua metode Kecepatan pengambilan keputusan antara ANP vs SAW dikaitkan dengan banyaknya data yang tersedia

Case Studies Framework Tradisional (SAW) Framework baru Contoh 2: Mengembangkan metode penentuan skala prioritas dalam pengambilan keputusan menggunakan ANP vs SAW Masalah: Masih banyak data yang kurang valid Prosesnya cepat sampai 10,000 data, tapi > 10,000 juga dirasakan masih lambat Framework Tradisional (SAW) Diberikan N = 20000 data Komputer SAW: Pilih M < N data yang prioritas Menghasilkan M Data yang Berpotensi Valid Manual (Admin): Memilih P < M data Menghasilkan P Data Untuk “Dipertimbangkan” ANP: Pilih M < N data yang prioritas Manual (Expert): Memvalidasi M data Framework baru Yang Diusulkan (ANP): Tujuan: Lebih banyak yang valid Prosesnya lebih cepat dari yang SAW Valid InValid Kasus 1: Metode ANP diperbandingkan dengan SAW yang saat ini menjadi metode tradisional. Dua metode ini setara, sehingga dapat diperbandingkan dengan lebih mudah dan fair.

Case Studies Framework Tradisional Menggunakan SAW Framework baru Contoh 2: Mengembangkan metode penentuan skala prioritas dalam pengambilan keputusan menggunakan ANP vs SAW Metode Baru Lebih akurat Y > X Sama akurat Y = X Kalah akurat  Y < X Framework Tradisional Menggunakan SAW Data Vallid Menurut Metode SAW Data Vallid Menurut Expert X% Masalah: Masih banyak data yang kurang valid Proses > 10000 menjadi lambat Framework baru Yang Diusulkan menggunakan ANP: Data Valid Menurut Metode ANP Y% Tujuan: Lebih banyak data yang valid Prosesnya lebih cepat/efisien waktu dari SAW    

Uji Kecepatan (efisien waktu) Case Studies Contoh 2: Mengembangkan metode penentuan skala prioritas dalam pengambilan keputusan menggunakan ANP vs SAW Framework Tradisional (metode SAW) Masalah: Masih banyak data yang kurang valid Proses > 10000 menjadi lambat Framework baru Yang Diusulkan (ANP): Tujuan: Lebih banyak data yang valid Prosesnya lebih cepat/efisien waktu dari SAW Eksperimen: Bagilah N data menjadi beberapa bagian, misal n , atau {N1, N2, N3, ….Nn} Menggunakan kedua metode, proseslah data sebanyak masing-masing bagian Catat waktu proses yang diperlukan untuk tiap bagian Ni Buat chart untuk membandingkan jumlah data vs waktu proses Uji Kecepatan (efisien waktu) Secara deskriptif dari Chart dapat terlihat metode mana Yang lebih cepat/lambat dalam memproses data

Case Studies Contoh 3: Mengembangkan metode pembelajaran instrumen musik menggunakan AR dengan heptic vs AR tanpa heptic Indikator performa yang diuji: Keefektifan dan Keinteraktifan kedua metode dalam mengoperasikan instrumen Tingkat pemahaman siswa dalam proses belajar mengajar

Case Studies Framework Tradisional AR tanpa Heptic Framework baru Contoh 3: Mengembangkan metode Pembelajaran AR menggunakan heptic vs AR tanpa heptic Masalah: Metode AR tradisional kurang efektif dan interaktif dalam mengoperasikan instrumen Tingkat pemahaman siswa kurang memuaskan Diberikan Marker Objek AR Tradisional: Pembaca Marker AR Display AR Framework Tradisional AR tanpa Heptic Framework baru AR dengan Heptic Pembaca Marker AR + Heptic Tujuan: Lebih efektif dan interaktif Terjadi peningkatan tingkat pemahaman Kasus 1: Metode AR dengan Heptic diperbandingkan AR tanpa Heptic yang saat ini menjadi metode tradisional. Dua metode ini setara, sehingga dapat diperbandingkan dengan lebih mudah dan fair.

Case Studies Framework Tradisional AR tanpa Heptic Framework baru Contoh 3: Mengembangkan metode Pembelajaran Instrumen musik menggunakan AR dengan heptic vs AR tanpa heptic Masalah: Metode AR tradisional kurang efektif dan interaktif Tingkat pemahaman siswa kurang memuaskan Fitur AR AR + Heptic Zoom in Ada dengan button Ada dengan interaksi jejari Zoom out Rotate Ada dengan putaran tangan Memainkan instrumen dengan jari Tidak ada Ada dengan dua tangan Men-stem instrumen Dengan button Dengan tangan Dst Framework Tradisional AR tanpa Heptic Framework baru AR dengan Heptic Tujuan: Lebih efektif dan interaktif Terjadi peningkatan tingkat pemahaman Kasus 1: Metode AR dengan Heptic diperbandingkan AR tanpa Heptic yang saat ini menjadi metode tradisional. Dua metode ini setara, sehingga dapat diperbandingkan dengan lebih mudah dan fair.

Case Studies Framework Tradisional AR tanpa Heptic Framework baru Contoh 3: Mengembangkan metode Pembelajaran Instrumen musik menggunakan AR dengan heptic vs AR tanpa heptic Masalah: Metode AR tradisional kurang efektif dan interaktif Tingkat pemahaman siswa kurang memuaskan Kuisioner Tingkat Pemahaman Instrumen, Keefektifan dan Keinteraktifan Metode AR Framework Tradisional AR tanpa Heptic Ujian Tingkat Pemahaman Framework baru AR dengan Heptic Tujuan: Lebih efektif dan interaktif Terjadi peningkatan tingkat pemahaman Menguji tingkat pemahaman: Kuisioner dan/atau ujian Menguji keinteraktifan dan keefektifan: Kuisioner

Case Studies Framework Tradisional AR tanpa Heptic Framework baru Contoh 3: Mengembangkan metode Pembelajaran Instrumen musik menggunakan AR dengan heptic vs AR tanpa heptic Masalah: Metode AR tradisional kurang efektif dan interaktif Tingkat pemahaman siswa kurang memuaskan Framework Tradisional AR tanpa Heptic Framework baru AR dengan Heptic Tujuan: Lebih efektif dan interaktif Terjadi peningkatan tingkat pemahaman Sajikan hasil kuisioner dan ujian dalam bentuk Chart

Case Studies Contoh 4: Mengembangkan Prototipe Smart Home berbasis Internet of Things di perumahan XYZ, dimana saat ini tidak berbasis smart home Indikator performa yang diuji: Mengawasi keamanan rumah secara lebih mobile, remote dan real-time Mobile: bergerak, dinamis Remote: jarak jauh, tidak perlu berada di lokasi kejadian Real-time: waktu nyata (terjadi saat ini)

Case Studies Framework Tradisional Perumahan tanpa Smart Home IoT Contoh 3: Mengembangkan Prototipe Smart Home berbasis Internet of Things di perumahan XYZ, dimana saat ini tidak berbasis smart home Framework Tradisional Perumahan tanpa Smart Home IoT Masalah: Mengawasi keamanan rumah tidak mobile, remote dan real-time Internet Framework baru Perumahan dengan Smart Home IoT AC Micro Computer Penerangan Kirim Pesan Terima Pesan Sensor Suhu Sensor Cahaya Tujuan: Pengawasan rumah secara mobile, remote dan real-time Sensor Gerak Kasus 2b: Model/Prototipe Smart Home IoT tidak dapat diperbandingkan dengan metode tradisional karena ketiadaan dari model yang tradisional

Case Studies Framework Tradisional Perumahan tanpa Smart Home IoT Contoh 3: Mengembangkan Prototipe Smart Home berbasis Internet of Things di perumahan XYZ, dimana saat ini tidak berbasis smart home Framework Tradisional Perumahan tanpa Smart Home IoT Masalah: Mengawasi keamanan rumah tidak mobile, remote dan real-time Fitur Smart Home IoT Tradisional Sensor Gerak Ada, terkoneksi IoT Tidak ada Sensor Suhu Sensor cahaya Remote Terkoneksi dengan Micro computer dan internet ke Mobile Phone Real time Ya, karena sensor terkoneksi dengan IoT dan Mobile phone Mobile Ya, situasi rumah dikirim ke mobile phone Framework baru Perumahan dengan Smart Home IoT Tujuan: Pengawasan rumah secara mobile, remote dan real-time Kasus 2b: Karena model tradisional tidak dapat dihadirkan dan diperbandingkan, maka tabel perbandingan FITUR dapat digunakan untuk menyajikan eksperimen yang fair

Case Studies Framework Tradisional AR tanpa Heptic Framework baru Contoh 3: Mengembangkan metode Pembelajaran Instrumen musik menggunakan AR dengan heptic vs AR tanpa heptic Masalah: Metode AR tradisional kurang efektif dan interaktif Tingkat pemahaman siswa kurang memuaskan Kuisioner Tingkat Pemahaman Instrumen, Keefektifan dan Keinteraktifan Metode AR Framework Tradisional AR tanpa Heptic Ujian Tingkat Pemahaman Framework baru AR dengan Heptic Tujuan: Lebih efektif dan interaktif Terjadi peningkatan tingkat pemahaman Menguji tingkat pemahaman: Kuisioner dan/atau ujian Menguji keinteraktifan dan keefektifan: Kuisioner

Case Studies Framework Tradisional AR tanpa Heptic Framework baru Contoh 3: Mengembangkan metode Pembelajaran Instrumen musik menggunakan AR dengan heptic vs AR tanpa heptic Masalah: Metode AR tradisional kurang efektif dan interaktif Tingkat pemahaman siswa kurang memuaskan Framework Tradisional AR tanpa Heptic Framework baru AR dengan Heptic Tujuan: Lebih efektif dan interaktif Terjadi peningkatan tingkat pemahaman Sajikan hasil kuisioner dan ujian dalam bentuk Chart