REKOGNISI CITRA Konsep Dasar Rekognisi Muhammad Attamimi

Materi Rekognisi visual: ≈Manusia Rekognisi visual: Analogi Rekognisi visual: Mesin Paradigma dalam rekognisi visual Rekognisi visual berbasis fitur Fitur Classifier Simple Object Identification (SOI)

Rekognisi visual: ≈Manusia Visual: dapat dilihat dengan indra penglihatan Manusia menggunakan mata untuk melihat lingkungan; seperti: wajah, tanaman, sekop, dll. melihat := mengenal := rekognisi Mata Lingkungan: orang, benda, … Melihat Gambar diambil dari Google

Rekognisi visual: Analogi Mesin baik itu PC, robot, dll; menggunakan sensor untuk melihat Sensor untuk melihat yang paling umum adalah kamera Melihat r b g Contoh: kamera RGB menghasilkan Citra RGB Citra RGB ini selanjutnya diproses … REKOGNISI untuk melihat Robot memakai kamera untuk melihat Gambar diambil dari Google

Rekognisi visual: Mesin Pengenalan lingkungan dengan sensor visual (contoh: kamera RGB) Pengenalan (untuk mesin) := mengenal label dari sesuatu Khususnya untuk benda dapat dibedakan menjadi: Rekognisi kategori Rekognisi instan Honda MOBIL Kawasaki Nissan SEPEDA MOTOR kategori instan Yamaha Gambar diambil dari Google

Paradigma dalam rekognisi visual Desain fitur Flow: citra  ekstraksi fitur  fitur  klasifikasi  luaran (Di desain manual) (Machine learning) Contoh: k-NN, SVM, dll Seleksi fitur diperlukan untuk mendapatkan hasil yang baik Pembelajaran fitur Flow: citra  ekstraksi fitur dan klasifikasi  luaran (fitur dan pembelajaran classifier dilakukan bersama) Contoh: Deep learning Diperlukan pengalaman untuk mendesain network

Rekognisi visual berbasis fitur Alur rekognisi secara umum Fase pembelajaran  membuat classifier +) Input data  ekstraksi fitur  (fitur data, label)  classifier +) (fitur data, label)  database Fase rekognisi  menentukan label Input data Ekstraksi fitur Rekognisi Luaran Label: 1. Sepeda motor (90%) 2. Mobil (10%) Citra RGB Fitur data Classifier Label := kategori ID Gambar diambil dari Google

Fitur Fitur adalah “besaran” untuk menyatakan karakteristik dari sesuatu Secara umum dibedakan menjadi: Fitur global  warna, shape, … Fitur lokal  tekstur Ekspresi dalam bentuk histogram lebih mudah digunakan Histogram := kumpulan frekuensi suatu pola (diwakili oleh bin) Contoh Fitur Global: Piksel dari citra RGB Contoh hitungan histogram r b g Histogram warna r g b Gambar diambil dari Google

Fitur Fitur global Fitur lokal codebook Sederhana tapi kurang deskriptif *) khususnya warna tidak bisa dipakai untuk kategori rekognisi (KENAPA ?) Fitur lokal Merupakan kumpulan respon dari filter visual Umumnya terdiri dari detektor dan deskriptor Khusus untuk kategori rekognisi diperlukan generalisasi (pemakaian codebook) detektor  menetukan posisi titik di gambar deskriptor  mengekspresikan titik (berupa vektor) codebook Gambar diambil dari Google

Classifier Output: ID ? 1: Sepeda motor (merah) 2: Mobil (biru) Dibuat pada fase pembelajaran Tujuan utama pembelajaran adalah untuk mencari parameter yang tepat  Parameter yang mampu menggeneralisasikan database Rekognisi dengan classifier := membandingkan dengan database  APA YANG DIBANDINGKAN ? := jarak  contoh: “Euclidean distance” Contoh sederhana k-NN (k-nearest neighbor) k := jumlah database terdekat Distances: 1) 0.004 untuk 1 2) 0.006 untuk 1 3) 0.007 untuk 2 4) 0.008 untuk 2 5) 0.009 untuk 1 Output: ID ? 1: Sepeda motor (merah) 2: Mobil (biru)

Simple Object Identification (SOI) Input data Preprocessing Ekstraksi fitur Rekognisi Luaran Misalnya: deteksi benda Classifier 000 r g b Citra RGB Target benda Fitur data DB Matching Object ID Proses diatas dibedakan menjadi fase pembelajaran dan fase rekognisi

SOI: Fase pembelajaran Fase pembelajaran: proses membuat database (DB) DATABASE r g b 002 001 000 000 001 002 DATABASE＝Kumpulan FITUR

SOI: Fase rekognisi Fase rekognisi: proses membandingkan input dengan DB untuk mencari OUTPUT Distance measure DATABASE r g b 002 001 000 ??? 0.000 0.094 0.153 000 Output Citra RGB Target benda 𝑫= 𝒓− 𝒓 ′ 𝟐 + 𝒃− 𝒃 ′ 𝟐 + 𝒈− 𝒈 ′ 𝟐 Classifier