Recognition & Interpretation Prof.Dr. Aniati Murni (R 1202) Dina Chahyati, MKom, (R 1226) Fakultas Ilmu Komputer Universitas Indonesia

Perancangan Sistem Pengenalan Pola Domain-specific knowledge Acquisition and Representation Data acquisition TV camera, Ultrasound, Multispectral scanner, X-Ray, MRI Preprocessing 1-D (signal processing), 2-D (image processing, multidimensional signal Decision Making Template matching, statistical PR, syntactic PR, artificial neural network, fuzzy logic, expert system, knowledge- based system

Pattern Recognition and Applications Problem Input Output 1. Speech recognition Speech waveform Spoken words, Speaker identity 2. Non-destructive Ultrasound, Acoustic Type and location of testing emission waveform flaw 3. Natural resources Multispectral images, Type of land-cover identification SAR radar images objects 4. Character recognition Optical scanner images Alphanumeric char 5. Blood-cell identification and Slides of blood sample, Types of cells counting microsection of tissue 6. Detection of flaws (PC Visible & Infrared Acceptable / Unaccep- boards, IC masks, textile) images table flaws 7. Robotics 3-D scenes Object identification

Tiga pendekatan proses pengenalan dan interpretasi yang dibahas Clustering (unsupervised classification): Memasukkan suatu pola yang diamati ke suatu kelas pola yang belum diketahui dan disebut sebagai kluster pola Classification (supervised classification) Melakukan identifikasi suatu pola yang diamati sebagai anggota dari suatu kelas pola yang sudah diketahui Pattern Matching: Mencocokkan atau membandingkan obyek-obyek yang dikandung dalam suatu citra dengan template / deskriptor obyek yang telah diketahui

Metode Pengambilan Keputusan Bila adalah suatu n-D vektor pola dan M adalah jumlah kelas pola , maka masalah utama pada teori keputusan di bidang pengenalan pola adalah mendapatkan sejumlah M aturan keputusan dengan suatu sifat : Bahwa bila suatu pola merupakan anggota suatu kelas pola , maka: Garis batas keputusan (decision boundary) antara kelas dan dapat dinyatakan dengan:

Clustering - Unsupervised Classification (1) Pengertian pendekatan unsupervised (tanpa pengarahan): tidak ada bantuan dari expert (tanpa pelatihan) Informasi yang tersedia: jumlah kluster Pengelompokan dilakukan sepenuhnya berdasarkan karakteristik data

Clustering – Feature Space Diagram (2) Penggambaran kluster pada diagram ruang ciri

Clustering – Obyek berbagai warna (3) Penggambaran kluster obyek berbeda warna

Clustering – Obyek Monokrom (4) Penggambaran kluster obyek monokrom

Clustering – Chernoff’s Faces (5) Penggambaran kluster dengan representasi Chernoff’s faces of wood, cloud, sand, and snake skin based on average texture measures Wood Cloud Sand Snake Skin

Clustering – K-Mean Method (6) K-Mean Clustering: Menentukan jumlah kluster yang diingini Memberikan nilai awal pusat-pusat kluster secara acak Untuk seluruh piksel citra lakukan proses berikut: Masukkan piksel ke kluster dengan pusat terdekat Hitung pusat-pusat kluster yang baru Cek stopping criteria (jumlah iterasi, beda pusat kluster lama dan baru, tidak ada piksel pindah kluster lagi – sudah stabil) Bila stopping criteria belum dipenuhi, kembali ke butir (3); bila criteria sudah dipenuhi ke butir (7). Stop

Classification – Pendekatan Supervised Pengertian pendekatan supervised (dengan pengarahan): disediakan pakar untuk mengarahkan atau memberi informasi atau pengetahuan tentang obyek-obyek yang ada Bantuan pakar dimanifestasikan dalam bentuk pemilihan sampel untuk pelatihan (training sample set) Training sample set terdiri dari contoh-contoh pola dengan kategori / kelas obyeknya yang akan digunakan untuk melatih sistem Dari training sample set dapat diestimasi ukuran-ukuran karakteristik / ciri obyek yang akan membantu proses pengenalan obyek

Classification – Pendekatan Geometrik (1) Plot training sample set pada diagram ruang ciri: Pola X

Classification – Pendekatan Geometrik (2) Disebut dengan pendekatan geometrik karena menggunakan aturan keputusan berdasarkan jarak Euclidean Distance =

Classification – Pendekatan Geometrik (3) Klasifikasi Citra dengan Pendekatan Geometrik: Minimum-distance Classifier Suatu pola X akan dimasukkan ke kelas obyek 3, padahal secara visual jelas bahwa pola tersebut harusnya masuk ke kelas obyek 1. Kelemahan tersebut terjadi karena aturan pengambilan keputusan tidak memperhatikan parameter varian dari distribusi sebaran X . Hal ini bisa diperbaiki dengan menggunakan Mahalanobis distance atau menggunakan klasifikasi citra dengan pendekatan statistik (Gaussian Maximum-likelihood Classifier).

Klasifikasi Citra – Pendekatan Statistik (1) Pengertian posterior dan prior probability serta probability density function pada statistik: Aturan keputusan pada klasifikasi citra berdasarkan pendekatan statistik posterior prior probability nilai tetap probability probability density untuk suatu (bobot) function X yang diamati

Klasifikasi Citra – Loss Function (2) Menggambarkan besarnya kerugian (loss) bila terjadi kesalahan memasukkan suatu pola yang diamati ke kelas obyek yang benar Bila suatu pola X yang sebenarnya termasuk obyek kelas tapi dinyatakan menjadi anggota kelas obyek , maka = loss dan = average loss = conditional average loss (kesalahan memasukkan ke kelas obyek ) Dengan rumus dinyatakan sebagai: nilai sama untuk semua j

Klasifikasi Citra – 0-1 Loss Function (3) Bayes Classifier: keputusan diambil berdasarkan minimum loss, yaitu dengan meminimumkan total average loss Untuk mempermudah perumusan diambil fungsi 0-1 loss function: bila (artinya ) bila (artinya ) Sehingga Meminimumkan dapat dilakukan dengan memaksimumkan

Klasifikasi Citra – Bayes Classifier Aturan keputusan Bayes Classifier menjadi: Masukkan suatu pola X ke kelas obyek bila dipenuhi syarat: dengan dan

Gaussian Maximum-Likelihood Classifier (1) Merupakan Bayes Classifier untuk Gaussian pattern classification, dimana diasumsikan bahwa distribusi nilai piksel pola X pada setiap kelas obyek memenuhi model densitas Gaussian Dibandingkan dengan Minimum-Distance Classifier berdasarkan jarak Euclidean, kesalahan klasifikasi dapat diperbaiki karena menggunakan parameter estimasi tidak hanya mean tapi juga varian yang dihitung dari training sample set (set sampel pembelajaran)

Gaussian Maximum-Likelihood Classifier (2) Konsep ini dapat digambarkan dengan diagram densitas probabilitas versus nilai intensitas pola X Dengan Minimum-Distance Classifier, Xo akan dikategorikan ke kelas sedangkan dengan Gaussian Maximum-Likelihood secara benar akan dimasukkan ke kelas

Langkah-Langkah Supervised Classification (1) Interpretasi citra secara visual oleh expert, biasanya dibantu dengan peta ground truth Diketahui adanya 5 kelas obyek: H=hutan, A=air, T=pertanian, K=perkebunan, dan M=permukiman

Langkah-Langkah Supervised Classification (2) Contoh Proses Pemilihan Training Sample Set Sampel daerah hutan Sampel daerah air Sampel daerah awan

Langkah-Langkah Supervised Classification (3) Contoh berkas training sample set yang diperoleh: Posisi piksel Nilai intensitas Kode kategori x y piksel obyek 30 45 10 A 31 45 12 A . . . . 120 60 40 H 119 60 45 H 90 95 180 M dan seterusnya

Langkah-Langkah Supervised Classification (4) Menghitung statistik kelas obyek berdasarkan informasi training sample set yang selanjutnya akan digunakan sebagai estimator dalam proses pengenalan Dihitung mean ( ) dan standard deviation ( ) untuk setiap kelas obyek ( ). Dari contoh akan diperoleh pasangan estimator :

Langkah-Langkah Supervised Classification (5) Penentuan aturan keputusan (decision rules) Pemilihan metode-nya dan penghitungan nilainya untuk setiap kelas obyek Berdasarkan nilai fungsi aturan keputusan untuk setiap kelas obyek suatu keputusan akan diambil, dimana suatu piksel akan dimasukkan ke kategori kelas obyek yang mana

Langkah-Langkah Supervised Classification (6) Bila aturan keputusan yang akan diambil adalah berdasarkan jarak Euclidean Untuk citra 1-D (hanya satu citra) maka jarak Euclidean antara suatu piksel x dengan mean ( ) kelas obyek ( ) merupakan suatu harga selisih antara intensitas piksel tersebut dengan intensitas rata-rata setiap kelas obyek Akan diperoleh 5 harga , masing-masing jaraknya terhadap kelas obyek A, H, K, T, dan M Piksel x akan dimasukkan ke kelas obyek dengan terkecil.

Langkah-Langkah Supervised Classification (7) Bila aturan keputusan yang akan diambil adalah berdasarkan probabilitas densitas Gaussian Untuk citra 1-D (hanya satu citra) maka untuk setiap kelas dapat dihitung fungsi probabilitas densitasnya, yaitu: Untuk suatu piksel x akan diperoleh M nilai dimana M adalah jumlah kelas obyek Piksel x akan dimasukkan ke kelas obyek dengan terbesar

Confusion-Table (Classification Accuracy) Baris merupakan hasil klasifikasi menurut metode yang digunakan Kolom merupakan hasil klasifikasi menurut ground-truth atau citra acuan Contoh: Obyek-1 Obyek-2 Obyek-3 Obyek-1 87 5 0 Obyek-2 0 40 0 Obyek-3 13 5 100 33333

Object Recognition Yang akan dibahas: Berdasarkan template matching dengan metode cross correlation (sudah dibahas) Berdasarkan bentuk region – regional descriptor (sudah dibahas) Berdasarkan ciri bentuk obyek dengan metode Hough transform

Object Recognition – Shape Matching (1) Shape matching dengan Hough transform untuk mendeteksi obyek-obyek berbentuk lingkaran Circle Equation: Circle center: (r0,c0) Circle radius: d d (r0,c0) (r,c)

Object Recognition – Shape Matching (2) Voting Algorithm Menggunakan array accumulator A[r0.c0.d] Informasi edge yang berada pada lingkaran (r0.c0.d) akan diakumulasikan pada akumulator yang sama Diperlukan suatu nilai ambang pendukung akumulator (akumulator dengan pendukung yang kecil dapat dikatakan tidak cukup untuk membentuk suatu bentuk lingkaran) Akumulator dengan anggota yang cukup banyak (diatas nilai ambang) dianggap merupakan lokasi lingkaran yang terdeteksi dengan (r0.c0.d)

Object Recognition – Shape Matching (3) Voting Algorithm for all edge pixels at (r,c) do { for each possible value of d do { }

Object Recognition – Shape Matching (4) Voting Algorithm: Obyek lingkaran yang betul ada pada citra adalah lingkaran dengan garis solid, sedangkan lingkaran-lingkaran dengan garis dash adalah possible lingkaran yang melalui edge dengan (r0.c0.d) . Bila bukan obyek lingkaran yang ada pada citra, maka voting pada A[r0.c0.d] bersang-kutan jumlahnya akan kecil semua lingkaran melalui piksel edge (r,c)

Object Recognition – Shape Matching (5) Hasil pada citra studi kasus: Ada satu obyek lingkaran kecil yang tidak berhasil terdeteksi. Hal ini disebabkan karena jumlah voting masih dibawah nilai ambang yang diambil. Kalau nilai ambang diperlunak, kemungkinan lingkaran kecil tersebut terdeteksi tapi lingkaran palsu lainnya juga akan muncul sebagai obyek. 33333