Pengujian dan Permodelan Pengguna Bab 12 Pengujian dan Permodelan Pengguna

Objektif Menerangkan bagaimana melakukan ujian pengguna Membincangkan perbezaan di antara ujian pengguna, ujian kebolehgunaan dan ujikaji dalam penyelidikan Membincangkan peranan ujian pengguna dalam ujian kebolehgunaan Membincangkan bagaimana merekabentuk ujikaji mudah Menerangkan tentang GOMS, model paras keystroke, dan petua Fitts, dan bagaimana teknik-teknik ini berguna Menerangkan tentang bagaimana melakukan analisa paras keystroke

Ujikaji, Ujian Pengguna & Ujian Kebolehgunaan Ujikaji menguji hipotesis untuk meneroka pengetahuan baru dengan mengkaji tentang hubungan di antara 2 atau lebih perkara – pembolehubah Ujian pengguna digunakan dalam ujikaji yang bertujuan untuk menyemak samada sistem yang sedang dibangunkan ‘bolehguna’ Ujian kebolehgunaan menggunakan gabungan teknik-teknik, termasuk ujian pengguna dan soalselidik kepuasan pengguna (user satisfaction questionnaire)

Ujian Pengguna vs Ujikaji Objektif: memperbaiki produk Peserta yang sedikit Hasil digunakan sebagai cadangan pembaikan Tidak boleh direplika secara tepat Keadaan terkawal Prosedur yang dirancang Hasil dilaporkan kepada pembangun Objektif: meneroka pengetahuan Peserta yang ramai Hasil disahkan/buktikan secara statistik Boleh direplika Keadaan sangat terkawal Rekabentuk ujikaji Laporan/jurnal saintifik kepada komuniti

Ujian Pengguna Matlamat dan persoalan memfokus kepada berapa bagus pengguna menggunakan produk Perbandingan di antara produk atau prototaip Komponen utama dalam ujian kebolehgunaan Ukuran yang biasa digunakan: masa untuk melaksanakan suatu tugas dan jenis ralat Dibantu oleh rakaman video dan log interaksi (interaction logging) Soalselidik kepuasan pengguna digunakan untuk mendapatkan pandangan pengguna

Isu Praktikal 1 Ujian Pengguna– Merekabentuk Tugas Tipikal Proses yang kritikal Bergantung kepada jenis prototaip selain daripada matlamat dan persoalan Contoh tugas tipikal: Mencari suatu laman web Menulis sebuah dokumen Mencipta suatu spreadsheet Setiap tugas mengambil masa sekitar 5-20 minit

Isu praktikal 1 Ujian Pengguna– Jenis Data Masa untuk menyempurnakan tugas Masa untuk menyempurnakan tugas selepas selang masa tertentu produk tidak digunakan Bilangan dan jenis ralat bagi setiap tugas Bilangan ralat bagi setiap unit masa Bilangan navigasi untuk mencapai bantuan on-line atau manual Bilangan pengguna yang melakukan ralat tertentu Bilangan pengguna yang berjaya menyempurnakan tugas

Orientasi Kejuruteraan Kebolehgunaan Tahap persembahan(performance) semasa Tahap minimum persembahan yang boleh diterima Tahap sasaran persembahan

Isu Praktikal 2 Ujian Pengguna – Memilih Pengguna Tipikal Pengetahuan tentang karektur pengguna membantu Contoh karektur yang penting – pengalaman lepas pengguna dengan sistem yang sama atau serupa Siapa pengguna tipikal? Adakalanya suatu produk dikhaskan untuk suatu golongan tertentu Baik sekiranya boleh mendapatkan bilangan peserta lelaki dan perempuan sama

Isu Praktikal 2 Ujian Pengguna – Bilangan Peserta Bergantung kepada : Jadual (schedule) ujian Peserta yang ada Kos untuk melaksanakan ujian Biasanya melibatkan 5-10 peserta Ada pakar yang menyarankan bahawa ujian patut diteruskan sehingga tiada lagi masalah baru yang dikenalpasti

Isu Praktikal 3 Ujian Pengguna – Menyediakan Ruang Persekitaran ujian mestilah terkawal untuk mengelak pengaruh luaran yang tidak dikehendaki Makmal kebolehgunaan digunakan, terdiri dari: Ruang makmal ujian utama – dilengkapi peralatan rakaman dan komputer Ruang pemerhatian – tempat penilai memerhati dan menganalisa data Ruang reception – tandas dan kemudahan lain Ruang pemerhatian dan ujian dipisahkan oleh cermin satu-hala Makmal kebolehgunaan melibatkan kos yang tinggi – alternatifnya, sewa, atau gunakan peralatan mudahalih

Isu Praktikal 4 Ujian Pengguna – Prosedur Ujian Perlu ada jadual dan skrip untuk penilai Adakan pilot test untuk memastikan peralatan, arahan dan skrip sesuai Mulakan sesi ujian dengan sesi pengenalan untuk membiasakan pengguna dengan sistem Mulakan tugas dengan tugas yang senang supaya peserta merasa yakin (confident) Akhiri tugas dengan tugas yang senang supaya peserta merasa senang hati Pastikan ada rancangan kontigensi Elakkan prosedur dan tugas yang terlalu panjang

Ujikaji Meramal hubungan di antara dua atau lebih pembolehubah Pembolehubah tak bersandar (independent variables) dimanipulasi oleh penyelidik Pembolehubah bersandar (dependent variables) bergantung kepada p/ubah tak bersandar Rekabentuk ujikaji tipikal mempunyai satu atau dua pembolehubah tak bersandar

Rekabentuk Ujikaji Peserta berbeza – setiap kumpulan peserta diumpuk secara rawak, satu kumpulan untuk satu keadaan Peserta sama – kesemua peserta diberi kedua-dua keadaan Peserta berpasangan – peserta akan dipasangkan, cthnya: berdasarkan pengalaman, jantina

Kelebihan dan Kelemahan Rekabentuk Kelebihan Kelemahan Berbeza Tiada kesan susunan (order effects) Melibatkan ramai peserta, dan wujud masalah perbezaan individu Sama Bilangan peserta yang sedikit, tiada perbezaan individu Memerlukan penyeimbangan (counter-balancing) kerana kesan susunan Berpasangan Sama seperti ‘rekabentuk berbeza’, tetapi perbezaan individu dikurangkan Tidak semua perbezaan individu dapat di’pasangkan’

Model Ramalan Satu cara untuk menilai produk atau rekabentuk tanpa melibatkan pengguna Model psikologi pengguna digunakan Lebih murah berbanding dengan ujian pengguna Lebih sesuai digunakan untuk sistem yang mempunyai tugas yang boleh diramal – cth: sistem menjawab telefon, telefon bimbit, dll. Bergantung kepada perlakuan pakar

GOMS (Card et al., 1983) Goals (matlamat) – apa yang ingin dicapai oleh pengguna, cth: mencari laman web Operators (pengoperasi) – proses kognitif & tindakan fizikal yang dilakukan untuk mencapai matlamat, cth: memilih enjin carian yang akan digunakan Methods (Kaedah) – prosedur untuk mencapai matlamat, cth: heret tetikus ke ruang teks, taipkan katakunci, tekan butang, dll Selection rules (Petua pilihan) – menentukan kaedah mana yang akan dipilih jika terdapat lebih dari satu

Model Keystroke Level Hasil perkembangan GOMS Model ini membolehkan ramalan tentang berapa lama masa yang diambil oleh seorang pakar untuk menyempurnakan sesuatu tugas

Masa Tindakbalas Operator Penerangan Masa(saat) K Menekan satu kekunci atau butang Purata seorang typist yang mahir (55psm) Purata seorang typist yang tidak mahir (40psm) Menekan kekunci ‘Shift’ atau ‘Control’ Seorang typist yang tidak biasa dengan papan kunci 0.22 0.28 0.08 1.20 P P1 Menunjuk dengan tetikus atau sebarang peranti tunjuk pada paparan untuk memilih satu objek Menekan butang pada tetikus atau peranti serupa 0.40 0.20 H Membawa tangan ke kedudukan papan kunci atau peranti input lain M Persediaan mental untuk bertindakbalas 1.35 R(t) Masa tindakbalas sistem – dikira hanya sekiranya pengguna perlu menunggu t

Petua Fitts (Paul Fitts 1954) Petua ini meramal bahawa masa yang digunakan untuk menunjuk pada suatu objek menggunakan suatu peranti adalah suatu fungsi yang bergantung kepada jarak objek sasaran dan saiz objek Lebih jauh dan lebih kecil suatu objek itu, lebih lama masa yang diambil untuk mengesan kedudukannya dan menunjuk padanya Petua ini berguna untuk menilai sistem yang mementingkan masa untuk mengesan objek dalam antaramuka seperti telefon mudahalih.

Poin Utama Ujian pengguna adalah komponen utama dalam ujian kebolehgunaan Ujian dilakukan dalam keadaan terkawal Ujian pengguna diadaptasi daripada ujikaji dalam penyelidikan Ujikaji dilakukan untuk menguji hipotesis dengan memanipulasi sesetengah p/ubah dan menetapkan p/ubah yang lain Pengujikaji mengawal p/ubah tidak bersandar Ada tiga jenis rekabentuk ujikaji: peserta-berbeza, peserta-sama, & peserta-berpasangan GOMS, model paras keystroke, & petua Fitts meramal persembahan pakar (error-free) Model ramalan digunakan untuk menilai sistem yang mempunyai tugas yang boleh diramal