AUDITOR MUTU INTERNAL (AMI) PELATIHAN AUDITOR MUTU INTERNAL (AMI) Bab Teknik Audit Mutu Internal Dalam Pendidikan Ref. ISO 19011:2011

Tujuan Pelatihan Setelah mengikuti pelatihan ini, peserta diharapkan dapat: memperbaiki sistem mutu dan implementasinya pada kegiatan akademik mengetahui peluang untuk perbaikan standar mutu akademik agar lebih efektif dalam implementasinya dan mampu: melaksanakan audit mutu internal secara profesional, independen, dan objektif mengidentifikasi kesesuaian, kecukupan dan efektivitas sistem mutu terkait kegiatan akademik mengidentifikasi lingkup perbaikan dan mengembangkan secara berkelanjutan 2

TOPIK BAHASAN Audit Mutu Klasifikasi Audit Peristilahan dalam Audit Perencanaan Audit Pelaksanaan Audit Tinjauan Manajemen

1. AUDIT MUTU Definisi Audit Mutu : Audit Mutu adalah pengujian sistematik dan mandiri untuk menetapkan apakah kegiatan mutu dan hasil yang berkaitan sesuai dengan pengaturan yang direncanakan dan apakah pengaturan-pengaturan yang disebutkan diterapkan secara efektif dan sesuai untuk mencapai tujuan

Sistem Mutu (SM)‏ Sistem yang mencakup struktur organisasi, tanggungjawab, prosedur, proses dan sumber daya untuk melaksanakan manajemen mutu. 5

Mutu Akademik Mutu pendidikan (SNPT  8 aspek) Mutu penelitian (SNPT  8 aspek) Mutu pengabdian kepada masyarakat (SNPT  8 aspek) Contoh: Mutu kurikulum Mutu sivitas akademika Mutu modul/ perangkat pembelajaran Mutu metode pembelajaran Mutu evaluasi pembelajaran Mutu layanan pendukung pembelajaran Mutu lulusan

Lingkup (cakupan) audit Lingkup audit meliputi semua persyaratan sistem yang berpengaruh terhadap mutu layanan, yaitu: Dokumen sistem mutu Organisasi Komitmen (tanggungjawab) manajemen Sumber daya, meliputi: Sumber daya manusia Infrastruktur Proses dan pengendaliannya Evaluasi dan perbaikan

Auditor dan teraudit menentukan lingkup audit (yang akan di-sampling) sebelum proses audit dilakukan Pelatihan SPMI-PT AMI November 2010 8

Tujuan Audit Mengetahui kesesuaian atau ketidaksesuaian dari persyaratan sistem manajemen mutu dan peraturan yang berlaku Mengevaluasi kapabilitas dari sistem manajemen mutu Mengevaluasi efektifitas penerapan sistem manajemen mutu Mengidentifikasi peluang perbaikan sistem manajemen mutu

Prinsip Dasar Audit Sikap dasar : mempunyai sifat profesional Penyajian yang wajar : wajib memberikan laporan yang benar berdasar fakta Ketelitian : kecermatan dalam menggali informasi sehingga menghasilkan kesimpulan audit yang valid Independen : mempunyai sikap netral dan obyektif saat membuat kesimpulan audit Bukti : penjelasan yang rasional dalam menghasilkan kesimpulan yang dapat dipercaya

2. Klasifikasi Audit

Klasifikasi audit Tipe audit : Audit internal Audit Eksternal Tingkatan audit : Audit sistem Audit Produk Audit proses

Tipe Audit Audit Internal Adalah audit yang dilakukan untuk menentukan tingkat kesesuaian terhadap persyaratan sistem manajemen organisasi sendiri oleh auditor internal dari organisasi tersebut, sehingga dapat dilakukan analisis kekuatan, kelemahan, ancaman, dan peluang penyempurnaan

Audit Eksternal Audit pihak kedua: Adalah audit yang dilakukan terhadap pihak di luar organisasi, misalnya: audit terhadap supplier/ sub-kontrak Audit pihak ketiga Adalah audit yang dilakukan oleh pihak eksternal/ badan audit independen. Misal: audit untuk mendapatkan sertifikat ISO

Tingkatan Audit a. Audit Sistem Merupakan pemeriksaan yang mendalam terhadap sistem mutu untuk menentukan efektivitas dan kesesuaian terhadap standar Pemeriksaan ini didesain untuk memastikan: Bahwa dokumentasi sistem mutu telah memenuhi kebutuhan proses layanan secara memadai Bahwa prosedur-prosedur yang terdokumentasi adalah mudah dimengerti dan diimplementasikan Bahwa sumber daya cukup dan SDM kompeten

b. Audit Produk Pemeriksaan terhadap semua elemen dari produk dan elemen sistem mutunya untuk mengevaluasi terhadap standar atau spesifikasi produk Produk : (i) Produk dalam proses; (ii) Produk Akhir; (iii) Produk di pasar Audit produk dilakukan untuk memastikan: Proses produksi dilakukan efektif Ukuran-ukuran pengendalian mutu adalah memadai Produk sesuai dengan spesifikasi atau standar

Audit produk bukan alat untuk verifikasi “aseptabilitas produk” tetapi verifikasi terhadap efektifitas kemampuan proses untuk menghasilkan produk yang “dapat diterima”

c. Audit Proses Merupakan pemeriksaan terhadap proses untuk menentukan apakah proses sesuai dengan persyaratan Proses adalah Serangkaian tindakan yang dilakukan, sebagai hasil dari menerima input dalam bentuk material/ informasi, untuk menghasilkan suatu output dalam bentuk material/ informasi INPUT OUTPUT PROSES

3. Peristilahan dalam Audit

Klien (Client) Klien adalah organisasi yang mempunyai hak untuk mengatur atau hak kontrak untuk meminta audit Auditee Organisasi/ unit kerja/ orang yang diaudit Auditor Orang yang memiliki kemampuan untuk mengadakan audit Lead Auditor Lead Auditor adalah orang yang ditunjuk untuk mengelola audit dan memimpin pelaksanaan audit dengan dibantu beberapa auditor

Kriteria Audit (Audit Criteria) Kebijakan, prosedur atau persyaratan yang digunakan sebagai referensi Bukti Audit (Audit Evidence) Catatan, pernyataan, fakta atau informasi lainnya yang relevan dengan kriteria audit dan dapat diperiksa Catatan: Bukti audit dapat bersifat kualitas atau kuantitas

Temuan Audit (Audit Findings) Hasil dari evaluasi bukti audit yang dikumpulkan yang berlawanan dengan kriteria audit Catatan: Temuan audit bisa pada kesesuaian atau ketidaksesuaian dengan kriteria audit atau peluang untuk perbaikan Kesimpulan Audit Hasil gabungan dari proses audit yang dibuat oleh tim audit, berdasarkan pertimbangan tujuan audit dan semua temuan audit

Tugas (Test) I

PERENCANAAN AUDIT Penentuan Auditor Penentuan Jadwal Audit Pembuatan Daftar Pengecekan Persiapan Rencana Audit Pemeriksaan Hasil Audit Sebelumnya

Siklus AMI 1) Menetapkan tujuan audit 2) Merencanakan audit tahunan 3) Menetapkan sasaran dan lingkup audit 4) Membentuk tim audit 5) Mengkaji ulang dokumen dan menyiapkan daftar pengecekan (Audit Kecukupan/Desk Evaluation)‏ 6) Menyelenggarakan rapat tim audit 7) Menetapkan jadwal audit 8) Melaksanakan audit di tempat obyek audit (Audit kepatuhan)‏ 9) Menyusun laporan audit [Temuan (KTS,OB) & PTK] 10) Melakukan kajiulang oleh manajemen 25

Audit Kecukupan Audit Kepatuhan (Desk Evaluation) Pemilihan Pelatihan MANAJEMEN 1 Menentukan kebijakan AMI MPAMI Kualifikasi AMI Perencanaan Audit 3 Menentukan kajiulang kebijakan Tentukan Tujuan Audit Kelompok Auditor 10 Membentuk Tim Audit 2 4 LAPORAN AUDIT 9 Tim Audit 5 Audit Kecukupan (Desk Evaluation) Audit Kepatuhan 8 Melaksanakan Audit Lapangan Kajiulang Dokumen dan Persiapan checklist 7 6 Jadwal Audit (Visitasi)‏ Rapat Tim Audit Siklus Audit Mutu Internal 26

4A. Penentuan jadwal audit Jadwal Audit mencakup : Area/ bagian/ unit yang diaudit Tanggal dan hari pelaksanaan audit Ruang lingkup audit Auditor yang bertugas

Area/ bagian/ unit yang diaudit Pendekatan Unit: Program Studi Laboratorium Unit Kerja Pendukung (Kepegawaian, Keuangan, Perlengkapan, dll) Perpustakaan Unit Teknologi Informasi Dll

4B. PEMBUATAN DAFTAR PENGECEKAN (CHECKLIST) Merupakan alat audit Disusun berdasarkan standar Disusun di sekitar proses layanan Disusun berdasarkan persyaratan produk/ lulusan

Syarat Checklist Lengkap Akurat Informatif Checklist harus dibuat dengan mengacu pada persyaratan standar mutu, persyaratan sistem operasi, persyaratan pelanggan dan persyaratan lain yang relevan Akurat Checklist tidak boleh mengalami distorsi dari sumbernya Informatif Maksud yang dikandung mudah dimengerti

Format Checklist Nomor Audit Tanggal Audit Nama Auditor Kolom “Sesuai (S)” atau “Tidak Sesuai (TS)” Kolom catatan Kolom tinjauan

4C. PENENTUAN AUDITOR Auditor Harus: Memiliki pengetahuan tentang area yang diaudit Menguasai teknik-teknik audit Memiliki karakteristik positif sebagai auditor Mampu bekerja sama dalam tim Memenuhi persyaratan sebagai auditor

Persyaratan Auditor Personil terlatih Independen Penguasaan standar Penguasaan teknik audit (examining, questioning, evaluating, reporting) Komunikasi (oral) Kemampuan menulis Kemampuan tambahan (planning, organizing, communicating and directing)

PEMILIHAN TIM AUDIT Berdasarkan: Kecakapan/ pengetahuan tentang audit Pengalaman audit Keakraban dengan proses/ teknologi yang akan dihadapi Kemampuan bekerjasama

4D. PERSIAPAN RENCANA AUDIT Pastikan persyaratan yang relevan untuk area sasaran telah lengkap Tentukan bagaimana hubungan persyaratan tersebut dengan aktivitas yang dijalankan oleh departemen yang diaudit Pastikan apa yang harus ditetapkan auditor dan dipenuhi oleh auditee Pastikan checklist telah lengkap dan akurat Putuskan rencana tindakan (Kepada siapa harus bicara? Apa yang akan ditanyakan? Dokumen apa yang ingin dilihat? Dll)

4E. PEMERIKSAAN HASIL AUDIT SEBELUMNYA Pastikan: Apakah tindakan efektif? Bukti-bukti penerapan lengkap? Masalah yang sama tidak berulang?

Tugas (Test) II

5. Pelaksanaan Audit Teknik Bertanya Teknik Audit Teknik Telusur Mencatat Hasil Membuat Temuan Tindakan Koreksi Laporan Audit Rapat Penutupan

5A. TEKNIK BERTANYA MENCARI BUKTI Bukti-Bukti penunjang dikumpulkan dari: Wawancara Pemeriksaan dokumen atau rekaman Pemeriksaan produk Pengamatan terhadap aktivitas (observasi lapangan) Pengamatan terhadap kondisi Lakukan verifikasi terhadap bukti-buti penunjang tersebut

Mencari bukti Gunakan 4 pertanyaan bertingkat dibawah ini untuk setiap obyek audit yang diamati : - Ada ? - Lengkap ? - Akurat ? - Mampu telusur ?

AUDIT DILAKUKAN TERHADAP: Dokumentasi (prosedur, spesifikasi, gambar, dll) Apakah semua dokumen yang dibutuhkan tersedia? Apakah dokumen lengkap dan mengandung informasi yang dibutuhkan? Apakah dokumen diidentifikasi dan diberi status Apakah dokumen dikendalikan Peralatan Apakah tepat? Apakah dikalibrasi? Apakah dipergunakan dengan benar? Apakah diidentifikasi dengan benar

Bahan Material Apakah tepat tipe, grade-nya? Apakah identifikasi/ dapat ditelusur? Apakah statusnya diketahui Apakah memenuhi persyaratan standar Orang Apakah kompeten untuk melaksanakan tugas? Apakah mendapatkan pelatihan dengan memadai? Apakah tanggung jawabnya jelas? Apakah sikapnya dapat diterima

Proses Apakah dikendalikan dengan benar? Apakah didokumentasikan? Apakah dalam lingkungan yang tepat?

Faktor Keberhasilan dalam Wawancara Wawancara orang yang tepat Persiapan yang baik Usahakan agar wawancara dalam keadaan santai Sesuaikan gaya wawancara Hal penting yang perlu dilakukan Datang tepat waktu Memperkenalkan diri Mengutarakan kembali tujuan anda Mengajukan pertanyaan-pertanyaan untuk mendapatkan informasi

KATA KUNCI DALAM WAWANCARA Mengapa Dimana Kapan Apa Siapa Bagaimana Contoh: Memeriksa Sistem Apa yang terjadi jika …….? Bagaimana tanggapan bapak jika ………?

Beberapa tips pada saat wawancara Lakukan wawancara terpisah antara kepala bagian dan bawahannya/ staf Hindari memverifikasi/ cross-check pernyataan para auditee yang berbeda Hindari kesan membaca checklist Hindari menyodorkan opini dan corrective action Buatlah pertanyaan yang spesifik/ tidak bermakna ganda

Hal-Hal yang harus diingat Bicara pada pelaku proses Bicara dengan bahasa auditee Bicara dengan jelas Jangan menyuruh diam Perjelas pertanyaan Ajukan pertanyaan satu persatu Ulangi pertanyaan yang sulit

TEKNIK BERTANYA Mengembangkan pertanyaan dengan prinsip diagram pohon

5B. TEKNIK AUDIT Horisontal auditing Memeriksa setiap area fungsional dari organisasi untuk melihat kelayakan dan penerapan dari persyaratan sistem mutu Silabus & SAP Kaprodi Sub Bag Pendidikan Laboratorium

RPKPS & SAP Perencanaan Vertical Auditing Memeriksa area-area fungsional dari organisasi yang berkontribusi secara aktif terhadap suatu kegiatan tertentu atau terhadap suatu persyaratan/peraturan Kaprodi Sub Bag Pendidikan Laboratorium

Random Auditing Memeriksa secara acak aspek-aspek dari suatu operasi perusahaan karena alasan perlu menguji secara dekat suatu aktivitas tertentu INPUT DATA TELUSUR TELUSUR TELUSUR Kaprodi Sub Bag Pendidikan Laboratorium

5C. TEKNIK TELUSUR Tujuan Pengujian jaringan Mengungkap fakta-fakta Identifikasi perbaikan Dasar Sistem adalah input-proses-output Sistem adalah sebab-akibat Sistem adalah suatu jaringan

MENELUSURI JEJAK (TRAIL FOLLOWING) Berdasarkan suatu temuan tertentu auditor bergerak (maju atau mundur) untuk mengumpulkan informasi dan menyelidiki lebih dalam suatu gejala atau pola tertentu

Forward And Backward Tracing Auditor dapat bergerak dari sisi input hingga rangkaian-rangkaian kegiatan dan output atau sebaliknya bekerja dari sisi output mundur ke input Kaprodi Sub Bag Pendidikan Evaluasi Forward trace Backward trace Komisi Pembelajaran

BAGAIMANA MENGAMBIL SAMPEL? Jangan meminta sampel kepada Auditee, tapi tentukan sendiri sampel yang diinginkan Ambil sampel dari daftar-daftar yang tersedia Ambil sampel dari file yang ditemukan, satu sampel dari depan dan satu lainnya dari belakang (minimal) Ambil sampel di lokasi proses kerja

Tugas III (Test)

5D. MENCATAT HASIL Yang Harus Dicatat Contoh-contoh ketidaksesuaian terhadap standar Contoh-contoh ketidaksesuaian terhadap dokumentasi Aspek dari operasi/ proses yang cenderung mengarah kepada ketidaksesuaian

Catatlah yang perlu dicatat Seksi/ area yang diaudit Orang yang diwawancarai Nomor dokumen dan issue status Identifikasi peralatan Kondisi organisasi/unit secara umum Identifikasi prduk/ bahan

Cara Mencatat Hasil Apa yang ditemukan Dimana ditemukan Mengapa dianggap sebagai ketidaksesuaian Siapa yang hadir/ ada pada saat ditemukan

CATATAN AUDIT menunjukkan: Kekurangan yang ditemukan Tindakan koreksi yang dibutuhkan Target waktu pelaksanaan Penanggung Jawab

5E. MEMBUAT TEMUAN (FINDINGS) Segala sesuatu yang menyimpang terhadap standar Segala sesuatu yang potensial untuk menyimpang terhadap standar Segala sesuatu yang potensial mempengaruhi mutu produk/ jasa

Klasifikasi Temuan MINOR MAJOR Ketidaksesuaian yang memiliki dampak terbatas terhadap sistem mutu Contoh: Ketidaksempurnaan Ketidakkonsistenan MAJOR Ketidaksesuaian yang memiliki dampak luas terhadap sistem mutu Pelanggaran terhadap sistem mutu Tidak dipenuhinya persyaratan

OBSERVASI Temuan bukan ketidaksesuaian yang dimaksudkan untuk penyempurnaan sistem mutu Dapat bersifat mengarah kepada ketidaksesuaian TEMUAN YANG DILAPORKAN Harus disetujui process owner (auditee) Berdasarkan bukti

CONTOH TEMUAN MAJOR Contoh problem: Hampir semua perkuliahan berjalan : tidak sesuai jadwal/ RPKPS / SAP Jumlah tatap muka kurang 50 % (persyaratan, misal, 75 %) tidak ada rekaman daftar hadir perkuliahan tidak dilakukan evaluasi kompetensi dosen tidak sesuai Tidak dilakukan verifikasi soal Sehingga temuannya: kategori Major “Perkuliahan di Prodi X tidak terkendali, contohnya…”

CONTOH TEMUAN MINOR Contoh problem: Ditemukan 3 mata kuliah A, B, dan C: tidak sesuai jadwal/ RPKPS / SAP tidak ada rekaman daftar hadir perkuliahan tidak dilakukan evaluasi Tidak dilakukan verifikasi soal Sehingga temuannya: kategori Minor “Pengendalian perkuliahan di Prodi X belum berjalan secara konsisten, contohnya …..”.

CONTOH TEMUAN OBSERVASI Contoh problem: Semua perkuliahan berjalan dengan baik dan tercatat rapi, sesuai SAP, semua dosen datang ≥ 13 kali tatap muka, dan selalu dilakukan evaluasi baik terhadap soal maupun dosennya. Semua dikerjakan oleh karyawan yang sangat rajin dan penuh dedikasi, walaupun tidak ada prosedur yang mengaturnya. Sehingga temuannya : kategori Observasi “Belum ditemukan prosedur yang mengatur perkuliahan di Prodi X”.

PENULISAN TEMUAN Spesifik Jelas (dimana, mengapa) Contoh bukti Sehingga dalam menulis temuan audit: Harus berdasarkan fakta Harus ringkas dan jelas Tidak memasukkan opini Tidak memasukkan sebab-sebab ketidaksesuaian

Problem (masalah yang ditemukan)‏ Location (lokasi ditemukan problem)‏ Pernyataan temuan mengikuti kaidah PLOR Problem (masalah yang ditemukan)‏ Location (lokasi ditemukan problem)‏ Objective (bukti temuan)‏ Reference (dokumen yang mendasari) 68 Pelatihan SPMI-PT AMI November 2010 68 68

Tugas IV (Test)

5F. TINDAKAN KOREKSI Tindakan koreksi adalah tindakan untuk meniadakan sebab-sebab ketidaksesuaian terhadap standar/rencana dan mencegah pengulangan ketidak sesuaian dikemudian hari dalam rangka peningkatan mutu secara berkelanjutan

5G. LAPORAN AUDIT Audit Team Meeting Sebelum membuat laporan audit dilakukan pertemuan tim auditor. Audit Team Meeting Dipimpin oleh Lead Auditor Melengkapi formulir ketidaksesuaian Meninjau semua ketidaksesuaian Tinjauan secara kolektif terhadap ketidaksesuaian untuk mengidentifikasi temuan major Mempersiapkan kesimpulan audit Mempersiapkan agenda exit (closing) meeting

Pelajari semua temuan Kelompokkan temuan Adakah hal utama yang perlu diperhatikan (mengarah ke temuan major)

LAPORAN AUDIT memuat: Identifikasi laporan Maksud, tujuan dan ruang lingkup audit Rincian program audit, auditor, tanggal dan area audit Identifikasi dokumen referensi (standar, quality, manual, prosedur, kontrak, dll) Ringkasan temuan Pengamatan ketidaksesuaian dan bukti pendukung Rekomendasi tindak lanjut, tindakan perbaikan dan audit selanjutnya Daftar distribusi laporan

LAPORAN AUDIT: Harus berdasarkan fakta Harus ringkas dan jelas Tidak memasukkan opini Tidak memasukkan sebab-sebab ketidaksesuaian

5H. RAPAT PENUTUPAN (CLOSING MEETING) Mendiskusikan temuan dan observasi Status hasil audit Klarifikasi kesalahpahaman Persetujuan hasil audit Deadline penyelesaian temuan Penyerahan hasil audit Saran tindakan perbaikan

6. TINJAUAN Manajemen

PENGERTIAN Tinjauan Manajemen adalah suatu rapat dengan periode waktu tertentu yang bertujuan untuk membahas tindak lanjut temuan, dipimpin langsung oleh pimpinan, dan dihadiri oleh seluruh jajaran manajemen. Pelatihan SPMI-PT AMI November 2010 77

PELAKSANAAN TINJAUAN MANAJEMEN Tinjauan Manajemen dilakukan untuk memastikan kelanjutan kesesuaian, kecukupan dan efektivitas sistem mutu Tinjauan ini harus mencakup penilaian untuk peningkatan dan perubahan sistem mutu, termasuk kebijakan mutu dan sasaran mutu. Setiap kegiatan Tinjauan Manajemen harus direkam dan rekamannya harus dipelihara Pelatihan SPMI-PT AMI November 2010 78

Materi Tinjauan Manajemen Materi Tinjauan Manajemen berupa: Hasil/temuan audit Umpan balik pelanggan (keluhan pelanggan, survei kepuasan pelanggan)‏ Kinerja layanan/ kinerja dosen Analisa kesesuaian kompetensi, atau kesesuaian layanan lainnya) Status tindak lanjut PTK Tindak lanjut dari Tinjauan Manajemen sebelumnya, Perubahan sistem mutu Usulan peningkatan sistem mutu Pelatihan SPMI-PT AMI November 2010 79

Hasil Tinjauan Manajemen Hasil Tinjauan Manajemen yang diharapkan dapat berupa: Peningkatan efektivitas sistem mutu dan prosesnya peningkatan hasil layanan yang menuju terpenuhinya persyaratan pelanggan, Pemenuhan kebutuhan sumber daya. Pelatihan SPMI-PT AMI November 2010 80

Tanggungjawab Pihak yang bertanggungjawab terhadap pengumpulan materi rapat adalah Ketua Gugus Penjaminan Mutu Pelatihan SPMI-PT AMI November 2010 81

PRAKTIK AUDIT I Audit Kecukupan (Desk Evaluation): pembuatan check list untuk keperluan visitasi dan pembagian tugas dalam Audit Praktek : Opening Meeting

PRAKTIK AUDIT II Praktek Audit (Audit kepatuhan/ visitasi) Presentasikan hasil Audit

Continuous Quality Improvement Mutu, Mutu, Mutu GinÖng Prati Dino Continuous Quality Improvement TERIMA KASIH