Mengenal Teknologi Real-Sense Putu Yuwono Kusmawan 2016.03.13

Pengantar Perceptual Computing Interaksi manusia dgn computer Kemampuan computer utk mengetahui apa yg terjadi disekitarnya. Interaksi manusia dgn computer Masa silam: mouse – keyboard, sentuhan, suara. Masa datang: natural: tubuh manusia (wajah, tangan, bola mata).

Teknologi Real-Sense Teknologi perceptual computing buatan Intel. Komponen: Hardware: Kamera 3D Mic Software: Perceptual library Sumber: https://en.wikipedia.org/wiki/Intel_RealSense

Hardware Real-Sense Color Sensor IR Sensor IR Laser Projector Imaging Processor Microphone

Jenis-jenis Kamera (1/3) Kamera seri F200 & SR300 Serupa dengan PC webcam konvensional. Short-range laser projector.

Jenis-jenis Kamera (2/3) Kamera seri R200 Back-facing camera. Long-range laser projector.

Jenis-jenis Kamera (3/3) Kamera versi snapshot Built-in camera: terpasang langsung dibadan tablet, smartphone, laptop & desktop. Dell Venue 8 7000

Software Real-Sense (SDK) Tujuan Memudahkan developer utk berinovasi dgn teknologi Intel RealSense. Bahasa Pemograman C++, C#, Java, Processing Download https://software.intel.com/en-us/intel-realsense-sdk/download

SDK System Requirements Hardware CPU: Intel 4th Gen (Haswell) or later. HDD: 8GB USB 3.0 Software OS: Win 8.1 / 10 (64-bit) Visual Studio 2010-2015 .NET 4.0 framework (min) JDK 1.7.0_11 (min) Processing 2.1.2 (min) Unity Pro 4.1 (min) Sumber: https://software.intel.com/en-us/intel-realsense-sdk#specs

Arsitektur Perangkat Lunak Sumber: https://software.intel.com/en-us/articles/intel-realsense-sdk-architecture

Class Hierarcy Sumber: https://software.intel.com/en-us/articles/intel-realsense-sdk-architecture

Fitur-fitur SDK 3D Scan Background Removal Depth Photo Scene Perception Gesture Recognition Face Recognition Sumber: https://software.intel.com/en-us/intel-realsense-sdk

Fitur-fitur Real-Sense SDK 3D Scan Face Tracking and Recognition Hand Tracking and Gesture Recog (F200/SR300) Scene Perception (R200) Speech Recognition User Segmentation (F200/SR300) Depth Photography and Videography (R200)

Proses scan 3 dimensi (sumber) 3D Scan Pemindaian objek secara 3 dimensi. Objek Asli Model 3D Proses scan 3 dimensi (sumber)

Aplikasi 3D Scan Permainan Museum Replikasi wajah atau tubuh pemain. Restorasi objek-objek bersejarah (3D printing). Patung bersejarah karya Tullio Lombardo yang rusak dapat direstorasi dgn teknologi 3D scanning and printing. Sumber

Face Tracking and Recognition Mampu untuk mendeteksi Fitur wajah (78 titik) Orientasi wajah (pitch, yaw, rool) Ekspresi wajah (mata tertutup, mulut terbuka) Orientasi wajah Fitur wajah

Fitur-fitur khusus Pengenalan wajah Pulse detection Gaze tracking Online face registration and recognition. Robust terhadap berbagai pose dan ekspresi wajah. Jarak wajah dgn kamera 0.3 – 1.5 meter. 20 wajah yg berbeda. Pulse detection Deteksi denyut nadi berdasarkan perubahan warna wajah. Gaze tracking Tracking arah gerakan mata.

Aplikasi Face Tracking & Recog. Sistem Keamanan Biometric security system (notebook) Deteksi emosi wajah Marah, senang, sedih, dll.

Hand Tracking Pelacakan posisi tangan secara real-time dgn menggunakan depth camera. Batasan 22 titik pada telapak tangan. Ukuran tangan: min. 5,5 cm. Jarak tangan: 20 – 85 cm. Kecepatan: 2 m/s.

Aplikasi Hand Tracking Touchless Controller Gaming Hand gesture recognition

Hasil process virtual-reality Scene Perception Membuat representasi digital dari lingkungan yg diobservasi secara real-time. Kondisi asli 1 Hasil scanning 2 Hasil process virtual-reality 3

Fitur lain Scene Perception Pengukuran dimensi objek secara otomatis (panjang, lebar, tinggi)

Speech Recognition Fitur Dictation: mengubah ucapan menjadi teks. Synthesis: mengubah teks menjadi ucapan. Command and control Input: sekumpulan kata perintah. Output: notifikasi bila kata perintah terucap.

User Segmentation Memisahkan bagian tubuh user dgn background secara real-time.

Aplikasi User Segmentation Proses pemisahan objek dgn background menggunakan latar berwarna hijau (green-screen). Teknologi green screen akan dapat tergantikan dengan teknologi kamera 3 dimensi.

Depth Photography &Videography Teknik fotografi & videografi yang dapat menangkap gambar secara 3 dimensi. Gambar Asli Gambar Rekayasa Artificial Bokeh

Contoh-contoh Aplikasi

Kagura: Motion Perform Instrument

Personify: Live Video Conference

Z Vector Touch: Sound Reactive

IRFaceRig: Real-time Avatars

Kesimpulan Teknologi RealSense adalah Seperangkat sensor Gambar (3D): Color & depth camera Suara: microphone Teknologi ini memudahkan kita untuk: Merekam objek 3 dimensi Berinteraksi lebih natural dgn komputer

Kontak Diskusi Bagi yang ingin sharing dan diskusi lebih lanjut, silakan hubungi: Twitter: @SocaResearch Email: soca.research@gmail.com Bagi yang ingin bergabung dengan mailing list kami (SOCA-research@googlegroups.com), silakan hubungi admin kami di: soca.research@gmail.com Dengan Subject Email ”[Permohonan Subscribe Milis]“

Seeing is believing. Listening is understanding. Sharing is inspiring. © 2015 Seeing is believing. Listening is understanding. Sharing is inspiring.