Evidence Evaluation Process CDG4I3 / Audit Sistem Informasi Angelina Prima K | Gede Ary W. KK SIDE - 2015

Overview 1 2 3 Evaluating asset safeguarding and data integrity Evaluating system effectiveness 3 Evaluating system efficiency

1. Evaluating asset safeguarding and data integrity

Introduction Evaluasi dapat dilakukan: Setelah melakukan tahap awal audit dan mengetahui struktur kontrolnya Setelah melakukan pengujian kontrol Setelah melakukan substantive tests Faktor-faktor penentu kualitas hasil evaluasi: Kemampuan kognitif auditor Pengetahuan auditor Lingkungan tempat audit dilaksanakan Motivasi auditor

Measures of asset safeguarding and data integrity Untuk menentukan seberapa baik pengamanan aset telah dilakukan, auditor dapat mengukur expected loss yang terjadi jika aset rusak, dicuri, atau digunakan oleh pihak tidak berwenang. Contoh: Jika ada peluang 0.3 kehilangan $900,000 jika aset rusak, peluang 0.6 kehilangan $1,000,000 dan peluang 0.1 kehilangan 1,200,000 EL = (900,000 * 0.3) + (1,000,000 * 0.6) + (1,200,000 * 0.1) = 990,000 Ukuran yang digunakan dapat berupa ukuran dollar error, ukuran quantity error, maupun jumlah error yang muncul.

Audit technology to assist the evaluation decision Control matrices Deterministic models Software reliability models Engineering reliability models Bayesian models Simulation models Expert systems

a. Control matrices (example) Error Controls Unauthorised customer Unauthorised terms and credit Incorrect quantity price Untimely processing Order-entry operator well trained M Input screen layout (quality) screen organization field captions and entry fields field alignment, justification, spacing headings and messages Input program valid customer check authorised credit inventory available H Sales manager override report L Note: H = high reliability, M = moderate reliability, L = low reliability

b. Deterministic models Model ini melakukan estimasi berdasarkan Ukuran tiap error * jumlah kemunculan error Model ini cukup sederhana, biasanya dilakukan oleh auditor pada analisis pencil-and-paper tentang seberapa baik sistem mengamankan aset dan mengelola integritas data

c. Software reliability models Model ini menggunakan teknik statistik untuk estimasi kemungkinan ditemukannya error pada periode tertentu berdasarkan pola error yang telah terjadi dalam sistem. Jenis-jenis model: Jenis Karakteristik Time-between failures models Asumsi, waktu antar error akan semakin panjang setiap kali sebuah error diperbaiki. Failure-counts models Prediksi jumlah error dalam interval waktu tertentu. Asumsi, jumlah error akan menurun pada interval berikutnya Fault-seeding models Sistem diberi sejumlah error dan dihitung jumlah error yang ditemukan. Asumsi, kemampuan sistem dalam menemukan error akan terus meningkat

d. Engineering reliability models Model ini membantu auditor mengestimasi keseluruhan reliabilitas sistem dalam bentuk fungsi dari komponen-komponen individual dan kontrol internal individual yang membentuk sistem. Parameter-parameter dasar: Probabilitas gagalnya sebuah proses dalam sistem Probabilitas bahwa sebuah proses akan memberikan sinyal error saat terjadi kesalahan Probabilitas bahwa error yang terjadi dapat diperbaiki

e. Bayesian models (1) Metode formal untuk memperbaiki estimasi awal tentang reliabilitas sistem kontrol internal berdasarkan informasi baru yang diperoleh dalam aktivitas pengumpulan bukti. Contoh: Diasumsikan ada peluang 0.9 bahwa kontrol reliable, dan 0.1 bahwa kontrol unreliable Estimasi biaya Menerima unreliable control $1,000,000 Menolak reliable control $50,000 Maka, expected loss dari setiap keputusan EL(accept)= (0.9*0)+(0.1*1,000,000)= $100,000 EL(reject)= (0.9*50,000)+(0.1*0)= $45,000

e. Bayesian models (2) Misalnya sekarang kontrol dieksekusi dan sudah didapat hasilnya. Ada resiko bahwa hasil tes favorable padahal kontrol unreliable. Dengan Bayesian, dapat diestimasi probabilitas Mendapat hasil favorable dari sistem yang reliable P(F|R) = 0.8 Mendapat hasil favorable dari sistem yang unreliable P(F|U) = 0.2 Selanjutnya dapat dihitung peluang sistem reliable dengan hasil favorable dan peluang sistem unreliable dengan hasil favorable P(R|F) = 𝑃 𝐹 𝑅 𝑃(𝑅) 𝑃(𝐹) = 𝑃 𝐹 𝑅 𝑃(𝑅) 𝑃 𝐹 𝑅 𝑃 𝑅 +𝑃 𝐹 𝑈 𝑃(𝑈) = 0.8∗0.9 0.8∗0.9+0.2∗0.1 =0.97 P(U|F) = 1 – P(R|F) = 1 – 0.97 = 0.03 Sehingga dapat dihitung EL yang baru: EL(accept) = (0.97*0)+ (0.03*1,000,000) = $30,000 EL(reject) = (0.97*50,000)+ (0.03*0) = $48,500

f. Simulation models Dengan model simulasi, auditor dapat mengevaluasi perilaku sistem dari waktu ke waktu. Contoh:

g. Expert Systems Sistem pakar dapat membantu auditor melakukan penilaian global tentang kemampuan sistem dalam mengamankan aset dan mengelola integritas data. Membantu auditor: Menampilkan kelebihan dan kekurangan sistem secara menyeluruh Menyediakan pembanding untuk menilai akurasi penilaian manual auditor Hal penting: auditor harus memastikan bahwa sistem pakar yang digunakan sesuai dengan domain persoalan yang sedang diaudit

2. Evaluating system effectiveness

Introduction Tujuan evaluasi efektivitas sistem adalah untuk menentukan seberapa baik sebuah sistem terhadap sasarannya. Meliputi: Identifikasi sasaran SI Memilih ukuran yang digunakan Identifikasi sumber-sumber data Memperoleh nilai sebelum pengukuran Memperoleh nilai setelah pengukuran Menilai pengaruh sistem berdasarkan perbandingan nilai sebelum dan sesudah pengukuran

A model of IS effectiveness

a. Evaluating system quality Karakteristik kualitas sistem Response time (online) Turnaround time (batch) System reliability/ stability Ease of interaction Functionality usefulness Ease of learning Quality of documentation and help facilities Extent of integration with other systems Atribut PL yang dapat mempengaruhi penilaian efektivitas PL: History of repair maintenance History of adaptive maintenance History of perfective maintenance Run-time resource consumption

b. Evaluating information quality Beberapa atribut kualitas informasi yang diukur oleh auditor: Authenticity Accuracy Completeness Uniqueness (nonredundancy) Timeliness Relevance Comprehensibility Precision Conciseness Informativeness Fokusnya adalah untuk menilai kemampuan IS merepresentasikan fenomena di real-world

c. Evaluating perceived usefulness Perceived usefulness = probabilitas subjektif dari calon pengguna bahwa penggunaan sistem aplikasi tertentu dapat meningkatkan performansi kerjanya dalam konteks organisasional Auditor harus menguji apakah pengguna menganggap SI: Membantu mereka bekerja lebih cepat Membantu mereka meningkatkan kinerja Membantu meningkatkan produktivitas Membantu meningkatkan efektivitas kerja Memudahkan pekerjaan Bermanfaat dalam pekerjaan Auditor dapat mengajukan pertanyaan-pertanyaan dalam bentuk kuesioner atau melalui wawancara

d. Evaluating perceived ease of use Perceived ease of use = tingkat penilaian pengguna bahwa sistem dapat digunakan tanpa banyak usaha Auditor harus menguji apakah pengguna menganggap: Mudah dalam mempelajari pengoperasian SI Mudah dalam memerintahkan SI melakukan sesuatu Interaksi dengan sistem jelas dan mudah dipahami Interaksi dengan SI cukup fleksibel Dapat segera menguasai SI SI mudah digunakan

e. Evaluating computer self-efficacy Computer self-efficacy = penilaian kemampuan seseorang dalam menggunakan komputer Ukuran ini mempengaruhi persepsi pengguna terhadap manfaat dan kemudahan penggunaan SI. Auditor dapat menguji ukuran ini dengan memberikan pertanyaan tentang kemampuan pengguna dalam menyelesaikan pekerjaan berbantuan komputer. Jika pengguna mampu melakukannya, auditor dapat memberikan pertanyaan tambahan tentang seberapa yakin mereka terhadap kualitas pekerjaan tersebut.

f. Evaluating IS use Beberapa hal yang harus diuji: Apakah pengguna menggunakan sistem dengan sukarela/ tidak Jika pengguna tidak dengan sukarela, pertimbangkan perbedaan waktu penggunaan aktual dengan waktu terhubung ke sistem Jumlah dan frekuensi penggunaan Detail: durasi koneksi, jumlah transaksi, jumlah fungsi yang dipanggil, jumlah data yang diakses, jumlah laporan yang dihasilkan, dll Karakteristik penggunaan Mis. Penggunaan manajerial VS operasional Pengguna aktual Mis: pemilik wewenang, atau asisten

g. Evaluating individual impact Task accomplishment impacts SI yang efektif dapat meningkatkan penyelesaian tugas pengguna. Mis. Akurasi keputusan, waktu untuk menghasilkan keputusan, keyakinan terhadap keputusan, efektivitas keputusan, kualitas produk/ layanan yang dihasilkan, kepuasan pelanggan, waktu untuk menyelesaikan pekerjaan Quality of working life impacts Kualitas hidup dan kepuasan kerja memiliki relasi yang sangat kuat Contoh ukuran: tingkat ketidakhadiran, tingkat kecelakaan kerja, rasio jumlah hari sakit dibanding jumlah hari kerja

h. Evaluating IS satisfaction Contoh ukurannya adalah kepuasan terhadap: Relasi antar staf SI Pemrosesan permintaan perubahan sistem Timeliness dari informasi Tingkat pelatihan SI yang disediakan bagi pengguna Relevansi dan jumlah keluaran Kualitas dokumentasi Ketergantungan pada SI

i. Evaluating organizational impact

3. Evaluating system efficiency

Introduction Mengapa auditor terlibat dalam mengevaluasi efisiensi sistem: Untuk mengevaluasi sistem untuk menentukan apakah performansinya dapat ditingkatkan Untuk mengevaluasi sistem alternatif yang akan dibeli, disewa, atau dikembangkan Tahap-tahap evaluasi efisiensi sistem: Formulasikan sasaran Persiapkan anggaran evaluasi Tentukan indeks performansi Kembangkan workload model Kembangkan system (configuration) model Jalankan eksperimen Analisis hasil Berikan rekomendasi

Performance Indices Indeks performansi adalah ukuran efisiensi sistem, yang menunjukkan apakah sistem sudah memenuhi kriteria efisiensi. Beberapa indeks yang dapat digunakan: Timeliness: seberapa cepat sistem dapat menghasilkan output Throughput: berapa banyak kerja yang dilakukan sistem pada periode tertentu Utilization: proporsi waktu sistem sibuk dibanding jalannya sistem Reliability: persentase waktu uptime

Workload models Sekumpulan permintaan sumberdaya/ layanan sistem dalam sekumpulan pekerjaan yang muncul pada periode tertentu. Auditor seringkali harus membangun workload model saat mengevaluasi sistem, karena penggunaan real workload sangat mahal, atau bahkan real workload tidak tersedia karena sistem yang dievaluasi belum beroperasi. Sasaran auditor saat membangun workload model: Keterwakilan terhadap real workload Ketepatan permintaan sumber daya dalam sistem/ komponen sistem

System models Untuk menentukan apakah sebuah sistem dapat diubah untuk meningkatkan efisiensinya, sistem juga harus dimodelkan. Proses pemodelan meliputi penentuan: Komponen-komponen sistem Antarmuka antar komponen Bagaimana sistem beroperasi Relasi fungsional antara output dan input Tipe-tipe system models: Analytical model: dengan rumus matematika Simulation model: biasanya untuk memvalidasi analytical model Empirical model: dengan pendekatan statistik

[reminder] Tugas Individu Berikan contoh implementasi teknik pengumpulan data berikut ini pada tugas besar kelompok Anda: 0. generalized/ industry-specific/ specialized audit software 1. SQL (Structured Query Language) 2. QBE (Query by Example) 3. SPSS (Statistical Package for the Social Sciences) 4. SAS (Statistical Analysis System) 5. utility software 6. expert system 7. concurrent auditing techniques 8. control flowchart 9. performance measurement tools (sesuai digit terakhir NIM Anda) Tuliskan dalam paper singkat 2-3 halaman, 2 kolom Calibri 11 spasi 1.15 margin 3-3-3-3 Format: Abstrak Pendahuluan Teori Implementasi dan Analisis Kesimpulan Referensi Kumpulkan hardcopy pada pertemuan tgl 12 November 2015.

[reminder] Laporan Progress #2 Tugas Besar Pendahuluan Kondisi strategis organisasi Visi, misi, struktur organisasi Tugas pokok dan fungsi terkait kualitas Riwayat audit/ Pemilihan standar audit Lingkup dan kriteria audit Prosedur audit Daftar auditee, daftar pertanyaan Daftar dokumen yang dibutuhkan Bagaimana pengarsipan dan evaluasi bukti Progress pengerjaan Kegiatan yang sudah dilakukan Rencana kegiatan berikutnya Dikumpulkan hardcopy dan di-presentasi-kan pada pertemuan tanggal 12 November 2015

Tes Akhir Siapkan selembar kertas, tulis Nama dan NIM. Kumpulkan pukul 12.00 Jawablah pertanyaan2 berikut dengan singkat dan jelas! Sebutkan 4 faktor penentu kualitas hasil audit! Apakah yang dimaksud dengan perceived usefulness? Jelaskan! Apa yang dimaksud dengan workload model? Sebutkan dua sasaran auditor saat membangun workload model! Sebutkan dua alasan auditor mengevaluasi efisiensi sistem!