Teknik evaluasi dan groupware / cscw

Teknik evaluasi

Mengapa evaluasi dibutuhkan ? Desainer tidak dapat berasumsi bahwa orang lain seperti dirinya, dan mengikuti design guidlines menjamin bahwa karyanya pasti bagus. Evaluasi dibutuhkan untuk memeriksa apakah user dapat menggunakan produk tersebut dan menyukainya. Evaluasi kepuasan penggunaan terhadap sebuah produk dapat dilakukan menggunakan kuesioner dan atau interview.

Kapan evaluasi dilakukan ? Evaluasi dapat dilakukan pada : Selama proses pembuatan produk tersebut supaya selalu sama dengan yang diminta atau dibutuhkan oleh user. Proses ini biasa disebut formative evaluations. Saat produk tersebut telah jadi yaitu melalui prototype. Saat produk dipasarkan, melalui update version. Evaluasi produk dapat dilakukan melalui riset pasar, baik melalui perorangan atau sekelompok user.

Tujuan Evaluasi Ada 3 tujuan utama dari evaluasi Melihat seberapa jauh sistem berfungsi Melihat efek interface dari pengguna Mengidentifikasi problem khusus yang terjadi pada sistem.

Paradigma Evaluasi “Quick and dirty” evaluatuion Usability testing (pengujian usability) Field studies (studi lapangan) Predictive evaluation (evaluasi prediktif)

Paradigma Evaluasi “Quick and dirty” evaluatuion Adalah umpan balik berupa keinginan dan yang disukai dari user atau konsultan yang disampaikan secara informal kepada desainer tentang produk yang dibuatnya. Evaluasi ini bisa dilakukan pada semua tahapan pembuatan produk, dimana penekanannya pada masukan yang cepat dan sesingkat mungkin.

Paradigma Evaluasi Usability testing (pengujian usability) Evaluasi ini cukup domain digunakan pada tahun 1980-an Melibatkan pengukuran kinerja user dalam mempersiapkan tugasnya secara hati-hati, dari proses inilah maka dibuatkan desain sistemnya. Kinerja user diukur dari jumlah kesalahan yang dilakukan dan waktu yang digunakan untuk menyelesaikan tugas.

Paradigma Evaluasi Usability testing (pengujian usability) Cara yang paling umum digunakan adalah dengan melihat secara langsung dan merekam ke video. Menggunakan kuesioner dan wawancara kepada user tentang kepuasan terhadap sistem. Dilakukan di dalam laboratorium, dengan memberi treatment kepada user, atau tanpa treatment.

Paradigma Evaluasi Field studies (studi lapangan) Dilakukan di lingkungan dimana user bekerja, hal ini bertujuan untuk meningkatkan pemahaman tentang kerja user secara alami dan bagaimana teknologi tersebut berdampak padanya Evaluasi ini dapat digunakan untuk : Membantu mengidentifikasi kesempatan sebuah teknologi baru Menentukan kebutuhan-kebutuhan untuk melakukan desain Memfasilitasi pengenalan sebuah teknologi Evaluasi teknologi

Paradigma Evaluasi Field studies (studi lapangan) Teknik yang digunakan : Interview Observasi (pengamatan) Partisipatory (user yang dilibatkan dalam pembuatan desain) Ethnography (penilaian berdasar budaya)

Paradigma Evaluasi Predictive evaluation (evaluasi prediktif) Didasarkan pada pengalaman seorang ahli dalam menghadapi user, dan biasanya hal ini dijadikan patokan untuk memprediksi masalah-masalah penggunaan sebuah produk. Keuntungan evaluasi ini : User yang diinginkan tidak perlu dihadirkan. Proses pembuatannya relatif cepat, murah, dan cukup disukai oleh perusahaan.

Teknik-teknik evaluasi Observing users Asking users their opinions Asking expert their opinions Testing user’s performance Modeling user’s task performance to predict efficacy of user

Hubungan antara paradigma dan teknik evaluasi “Quick and Dirty” Observing users Penting untuk melihat bagaimana user berperilaku dalam lingkungan aslinya Asking users Diskusi dengan user yang potensial dalam suatu group atau group khusus Asking experts Untuk mendapatkan kritik tentang kegunaan sebuah prototype User testing ======== Modelling user task performance

Hubungan antara paradigma dan teknik evaluasi Usability Testing Observing users Melalui video dan catatan, dilakukan analisa identifikasi masalah, investigasi cara kerja software atau menghitung kinerja waktu Asking users Dengan menggunakan kuesioner kepuasan sebagai pengumpulan opini user, kadang menggunakan interview untuk opini yang lebih detail. Asking experts ======== User testing Dilakukan di laboratorium Modelling user task performance

Hubungan antara paradigma dan teknik evaluasi Field Studies Observing users Dilakukan dilokasi manapun juga. Dalam studi ethnografi, evaluator turut serta dalam lingkungan user Asking users Evaluator dapat melakukan interview atau mendiskusikan apa yang dilihatnya kepada peserta. Asking experts ======== User testing Modelling user task performance

Hubungan antara paradigma dan teknik evaluasi Predictive Observing users ======== Asking users Asking experts Seseorang menggunakan patokannya dalam pembuatan desain untuk memprediksi interface User testing Modelling user task performance Model yang digunakan untuk memprediksi interface atau membandingkan kinerja waktu dengan versinya.

Skala Likert Merupakan skala yang cukup banyak digunakan untuk melakukan evaluasi Ukuran skala mulai dari 4 sampai 7 Ukuran 4 (1=sangat buruk, 2= buruk, 3=bagus, 4=sangat bagus) Ukuran 5 (1=sangat buruk, 2= buruk, 3=netral, 4=bagus, 5=sangat bagus) Ukuran 7 (1=sangat buruk, 2= buruk, 3=agak buruk, 4=netral, 5=agak bagus, 6=bagus, 7=sangat bagus) Pada umumnya penelitian menggunakan 5 skala.

Contoh Evaluasi Kriteria Evaluator Rata-rata 1 2 3 4 5 Layout Kecepatan Akses 3.4 Prosedur Akses Perpaduan Warna 3.2 Informasi Up To Date 4.2 3.76 Secara keseluruhan pendapat para evaluator adalah netral karena nilai rata-rata=3.76 Kriteria yang paling bagus adalah Informasi UpToDate, sedangkan yang perlu mendapat perhatian adalah Perpaduan Warna.

CSCW (Computer Supported Cooperative Work) groupware CSCW (Computer Supported Cooperative Work)

Apa itu Groupware? Software yang khusus dirancang untuk mendukung pekerjaan kelompok yang membutuhkan kerjasama. Fungsinya tidak hanya alat untuk komunikasi. Groupware dapat diklasifikasikan dengan kapan dan di mana para partisipan bekerja fungsi itu melakukan kerja kooperatif Terdapat berbagai masalah yang spesifik dan sulit dengan adanya implementasi groupware.

The Time/Space Matrix Mengklasifikasikan groupware dengan: Ketika (when) partisipan bekerja , pada waktu yang sama atau tidak Dimana (where) para partisipan bekerja , di tempat yang sama atau tidak Nama untuk sumbu matrix: time (waktu): synchronous/asynchronous place (tempat): co-located/remote different place same place same time different time

face-to-face conversation Time/Space Matrix Co-Located Remote different place same place same time face-to-face conversation Synchronous telephone different time Asynchronous post-it note letter

Classification by Function Cooperative work involves: Participants who are working Artefacts upon which they work participants artefacts of work control and feedback P A communication understanding direct Artefact : tempat bekerja

What interactions does a tool support? computer-mediated communication direct communication between participants meeting and decision support systems common understanding shared applications and artefacts control and feedback with shared work objects meeting and decision support systems common understanding participants artefacts of work control and feedback P A communication understanding direct computer-mediated communication direct communication between participants shared applications and artefacts control and feedback with shared work objects

Time/space matrix revisited co-located remote video conferences, video-wall, etc. meeting rooms synchronous shared work surfaces and editors shared PCs and windows email and electronic conferences argumentation tools asynchronous co-authoring systems, shared calendars

Computer-Mediated Communication email and bulletin boards structured message systems text messaging -sms video, virtual environments

Email and bulletin boards asynchronous/remote Paling familiar dan groupware yang tersukses Recipients of email: direct in To: field copies in Cc: field Pengiriman identik-berbeda dalam hal tujuan sosialnya

Email vs. bulletin boards fan out one-to-one – email, direct communication one-to-many – email, distribution lists BBs, broadcast distribution control sender – email, private distribution list administrator – email, shared distribution list recipient – BBs, subscription to topics

Structured message systems (ctd) Type: Seminar announcement To: all From: Alan Dix Subject: departmental seminar Time: 2:15 Wednesday Place: D014 Speaker: W.T. Pooh Title: The Honey Pot Text: Recent research on socially constructed meaning has focused on the image of the Honey Pot and its dialectic interpretation within an encultured hermeneutic. This talk …

Meeting And Decision Support Systems argumentation tools (alat bantu argumentasi) meeting rooms (ruang pertemuan) shared drawing surfaces (berbagi bidang gambar)

Meeting and Decision Support System Dalam desain, manajemen dan penelitian, kita ingin: menghasilkan ide-ide mengembangkan ide-ide merekam ide-ide “ penekanan utama” pemahaman umum

Three types of system argumentation tools meeting rooms asynchronous co-located Mencatat argumen-argumen untuk keputusan desain meeting rooms synchronous co-located Dukungan elektronik untuk pertemuan tatap muka shared drawing surfaces synchronous remote Saling berbagi papan gambar yang dalam jangkauan

argumentation tools asynchronous co-located Seperti hipertext untuk menyimpan design rationale (dasar pemikiran desain) Tujuan : Mengingatkan desainer mengenai alasan-alasan atas pengambilan keputusan Dasar pemikiran komunikasi di antara team desain.

Meeting rooms synchronous co-located Ruang pertemuan yang dirancang menggunakan peralatan elektronik untuk pertemuan tatap muka Terminal individu Layar lebar yang bisa berbagi Software khusus Kursi-kursi yang ditata berbentuk huruf U atau C di sekitar layar Mode-mode yang bervariasi: brainstorming, penggunaan pribadi, WYSIWIS WYSIWIS – ‘what you see is what I see’ Semua layar menunjukkan citra yang sama Semua partisipan dapat menulis dan menggambar ke layar.

Typical meeting room shared screen

Shared Applications And Artefacts shared PCs and windows shared editors, co-authoring tools shared diaries communication through the artefact

Frameworks For Groupware time/space matrix shared information communication and work awareness (kesadaran)

Implementasi Groupware umpan balik dan delay pada jaringan arsitektur groupware feedthrough and network traffic graphical toolkits, robustness and scaling