Interaksi Manusia & Komputer Evaluasi Pertemuan 11 Khairul Anwar Hafizd khairul.anwarhafizd@gmail.com

Pengertian Evaluasi Evaluasi merupakan tes atas tingkat penggunaan dan fungsionalitas sistem. Evaluasi dilakukan untuk memastikan kecocokan dengan permintaan pengguna/tujuan pengguna dan untuk melihat apakah hasil rancangan dengan proses uji coba sistem yang telah dibuat sesuai dengan user. Proses evaluasi ini dikerjakan dalam satu fase proses perancangan tetapi melalui perancangan dengan prinsip life cycle dengan hasil dikembalikan untuk memodifikasi perancangan.

Tujuan Evaluasi Melihat seberapa jauh sistem berfungsi. Melihat efek interface bagi pengguna. Mengidentifikasi problem khusus yang terjadi pada sistem.

Jenis evaluasi dibedakan menjadi 2 yaitu: Summative evaluation. Evaluasi yang dilakukan untuk menguji kesuksesan suatu produk yang sudah selesai yaitu mencapai standar yang ditentukan sebelumnya (ISO). Formative evaluation. Evaluasi yang dilakukan selama desain untuk memastikan produk sesuai dengan yang diinginkan pengguna. Tempat untuk melakukan evaluasi dilakukan di laboratorium dan di lapangan/lokasi kerja pengguna sistem. Waktu evaluasi dilakukan ketika muncul produk baru atau perbaikan dari produk sebelumnya.

Mengevaluasi Perancangan Evaluasi ini terjadi setelah proses perancangan. Secara ideal, evaluasi pertama dilakukan sebelum implementasi dimulai. Jika perancangan dievaluasi, kesalahan dapat dihindari karena perancangan dapat diperbaiki sebelumnya.

Cognitive Walkthrough Tujuan evaluasi ini untuk melihat seberapa besar dukungan yang diberikan pada pengguna untuk mempelajari beberapa tugas yang diberikan. Dalam pendekatan ini ada beberapa issue yang timbul yaitu: Pengaruh apa yang timbul setelah tugas ini diberikan ke pengguna? Proses cognitive apa yang tersedia? Masalah pembelajaran apa yang seharusnya timbul? Analisis difokuskan pada tujuan user dan pengetahuan.

Cognitive Walkthrough cont… Untuk melakukan evaluasi cognitive walkthrough membutuhkan informasi sebagai berikut: Deskripsi dari suatu interface yang dibutuhkan itu sendiri. Deskripsi dari tugas termasuk usaha yang benar untuk melakukannya dan struktur tujuan untuk mendukungnya. Dengan informasi yang sudah didapatkan maka evaluator dapat melakukan langkah dari walkthrough yaitu: Pilih tugas Deskripsikan tujuan awal dari user Lakukan kegiatan/aksi yang tepat Analisa proses keputusan untuk setiap kegiatan

Heuristic Evaluation Dikemukan oleh Neilsen dan Molich, hampir sama dengan cognitive walkthrough tetapi sedikit terarah dan terstruktur. Pada evaluasi ini, sekumpulan kriteria usability atau heuristic diidentifikasi dan perancangan dilaksanakan. Dalam system ini terdapat beberapa kriteria yaitu: Perilaku sistem dapat dipastikan Perilaku sistem konsisten Feedback tersedia Kemampuan memori user tidak melebihi batas Dialog merupakan orientasi tugas

Heuristic Evaluation cont… Tujuan heuristic evaluation adalah untuk memperbaiki rancangan secara efektif. Evaluator melakukan evaluasi melalui kinerja dari serangkaian tugas dengan perancangan dan disesuaikan dengan kriteria setiap tingkatan. Jika kesalahan terdeteksi dapat ditinjau ulang untuk diperbaiki sebelum tahap implementasi. Pendekatan ini tidak seluruhnya subyektif dengan menggunakan kriteria khusus untuk merujuk evaluasi.

Review Based Evaluation Evaluasi antara psikologi eksperimen dengan Interaksi Manusia dan Komputer menghasilkan hasil-hasil eksperimen yang baik dan pengalaman yang nyata. Misalnya pada usability dari tipe menu yang berbeda, pemanggilan nama perintah dan pemilihan icon. Dalam kenyataannya, hasil eksperimen ini tidak dapat dipastikan mempertahankan keadaan yang tetap. Evaluator harus memilih data secara hati-hati, menunjuk rancangan eksperimen yang dipilih, subyek masyarakat yang digunakan, analisa pelaksanaan dan asumsi yang dibuat.

Model Based Evaluation Pendekatan evaluasi ini berguna untuk mengevaluasi perancangan dengan kombinasi spesifikasi perancangan dan evaluasi ke dalam kerangka kerja yang sama. Contohnya: GOMS Model, Keystroke level model dan design rationale.

Mengevaluasi Implementasi Evaluasi Eksperimen Teknik Observasi Teknik Query

Evaluasi Eksperimen Evaluasi eksperimen merupakan evaluasi dengan pendekatan statistik dengan memilih hipotesis yang akan dicoba dan jumlah kondisi eksperimen. Faktor-faktor yang perlu dipertimbangkan dalam mendukung evaluasi eksperimen yaitu: Subjek, siapa yang merepresentasikan. Variabel, sesuatu untuk dimodifikasi dan ukuran. Variabel independen. Variabel dependen. Hipotesis, apa yang ingin ditunjukkan. Desain eksperimental, bagaimana cara melakukannya.

Dalam perancangan eksperimen terdiri dari: Between-Groups (Randomized) Tiap subjek diberikan kondisi yang berbeda yakni kondisi eksperimen dan control. Keuntungan perancangan ini adalah setiap user menghasilkan satu kondisi. Kerugiannya adalah dengan semakin banyak jumlah subyek yang tersedia akan menyebabkan hasilnya akan berkurang dan perbedaan antar setiap individu akan membuat bias hasil. Hal ini dapat diatasi dengan memilih dengan hati-hati subyek yang dipilih dan menjamin setiap kelompok di masyarakat terwakili. Within-Groups Setiap user akan menampilkan kondisi yang berbeda. Jumlah user yang tersedia lebih sedikit. Pengaruh dari subyek lebih sedikit.

Teknik Observasi Fungsi perangkat lunak yang digunakan pada teknik observasi yaitu: Untuk memonitor test. Membuat catatan kejadian penting yang diobservasi dari video proses testing. Membantu membuat umpan balik diagnostic mengenai masalah penggunaan sistem. Jenis-jenis teknik observasi yaitu: Think Aloud. Analisa Protokol. Automatic protocol analysis tools. Post-task walkthroughs.

Teknik Query Wawancara/interview. Kuesioner. Beberapa jenis kuesioer yaitu: General. Open-ended. Scalar. Multi-choice. Ranked.

Pendekatan Evaluasi Pendekatan evaluasi dibedakan menjadi 3 yaitu: Usability testing. Field study. Analytical evaluation.

Memilih Metode Evaluasi Ada 8 faktor yang membedakan teknik evaluasi yang berbeda yang membantu kita dalam memilih teknik evaluasi yang sesuai yaitu: Tingkat Siklus. Tingkat obyektivitas dan subyektivitas. Jenis ukuran yang tersedia. Informasi yang tersedia Kesiapan dari suatu respon. Tingkat gangguan yang tidak secara langsung. Sumber yang tersedia.

Kesimpulan Evaluasi merupakan tes atas tingkat penggunaan dan fungsionalitas sistem. Jenis evaluasi dibedakan menjadi 2 yaitu summative evaluation dan formative evaluation Faktor-faktor eksperimen yaitu subjek, variabel, hipotesis dan desain eksperimental. Pengumpulan data dibedakan menjadi 2 tipe yaitu wawancara dan kuesioner. Pendekatan evaluasi dibedakan menjadi 3 yaitu usability testing, field study dan analytical evaluation.