Universitas Gunadarma

Presentasi berjudul: "Universitas Gunadarma"— Transcript presentasi:

1 Universitas Gunadarma
KONSEP DATA MINING Disusun Oleh : Dr Lily Wulandari Universitas Gunadarma Logo Seminar

2 DATA

3 Ukuran Kesamaan dan Ketidaksamaan
Ukuran numerik tentang seberapa mirip dua objek data. Lebih tinggi ketika benda lebih mirip. Kisaran nilai [0,1] Ukuran ketidaksamaan Ukuran numerik tentang seberapa berbedanya dua objek data Nilai turun saat objek lebih mirip Ketidaksamaan minimum seringkali 0 Batas atas bervariasi Kedekatan mengacu pada kesamaan atau ketidaksamaan

4 Kesamaan / Ketidaksamaan untuk Atribut Sederhana
Tabel berikut ini menunjukkan kesamaan dan ketidaksamaan antara dua objek, x dan y, sehubungan dengan atribut tunggal yang sederhana.

5 Vector Space Model Kalimat memainkan peran penting pada berbagai penelitian yang berhubungan dengan teks dan aplikasi. Vector Space Model (VSM) digunakan sebagai representasi dari kumpulan dataset dokumen teks. Dokumen dalam Vector Space Model (VSM) berupa matriks yang berisi bobot seluruh kata pada tiap dokumen. Bobot tersebut menyatakan kepentingan atau kontribusi kata terhadap suatu dokumen dan kumpulan dokumen. Kepentingan suatu kata dalam dokumen dapat dilihat dari frekuensi kemunculannya terhadap dokumen.

6 Vector Space Model Gambar di sebelah kanan menunjukkan pemodelan dokumen teks di ruang dimensi dimana (D) adalah kalimat dokumen sedangkan (T) adalah term atau kata. Vector Space Model

7 Vector Space Model Misalkan terdapat sejumlah n kata yang berbeda sebagai kamus kata (vocabulary) atau indeks kata (terms-index). Kata- kata ini akan membentuk ruang vektor yang memiliki dimensi sebesar n. Setiap kata i dalam dokumen atau query diberikan bobot sebesar wi. Baik dokumen maupun query direpresentasikan sebagai vektor berdimensi n. Matrix Term Document

8 Vector Space Model Untuk mendapatkan nilai jarak atau kemiripan dokumen, dapat menggunakan berbagai macam varian rumus perhitungan jarak diantaranya adalah : Cosine (5) Manhattan Jaccard (6) Minkowski Dice (7) Mahalanobis Euclidean (8) Weighted.

9 Cosine Koefisien Cosine merupakan metode ukuran kesamaan yang paling popular, yaitu dengan menghitung sudut antara vektor dokumen dengan vektor kueri. Jika vektor adalah satuan panjang, cosinus dari sudut antara mereka hanyalah dot product dari vektor, persamaannya sebagai berikut: Karena berdasarkan cosinus sudut antara dua vektor, maka nilainya berkisar pada 0 sampai dengan 1, dimana 0 menandakan bahwa kedua dokumen tidak mirip sama sekali, dan 1 menandakan bahwa antar dokumen benar- benar identik. Dimana : D : vektor D Q : vektor Q |D| : besar dari vektor D |Q| : besar dari vektor Q

10 Jaccard Koefisien Jaccard adalah salah satu metode yang dipakai untuk menghitung similarity antara dua obyek. Ditemukan oleh Paul Jaccard yang merupakan metode ukuran kesamaan yang digunakan untuk membandingkan kesamaan dan keragaman 2 set sampel. Persamaannya sebagai berikut: Dimana : J(D,Q) : nilai similaritas antara set D dan set Q |D n Q| : banyaknya elemen yang sama antara set D dan set Q. “Elemen yang sama” yang dimaksud adalah elemen yang terdapat baik pada set D maupun pada set Q. |D u Q| : banyak seluruh elemen yang ada pada set D dan set Q |D| : banyak elemen yang terdapat pada set D |Q| : banyak elemen yang terdapat pada set Q

11 Jaccard

12 Dice

13 Dice

14 Euclidean Euclidean distance adalah perhitungan jarak dari 2 buah titik dalam euclidean space. Euclidean berkaitan dengan teorema phytagoras, dan dapat diterapkan biasanya pada ruang 1, 2 dan 3 dimensi, Euclidean juga tetap sederhana jika diterapkan pada dimensi yang lebih tinggi. Dimana D adalah jarak kedua titik, b adalah koordinat titik akhir dan a adalah koordinat titik awal.

15 Manhattan

16 Minkowski

17 Mahalanobis

18 Weighted

19 Contoh Kasus Sebagai contoh terdapat 3 buah kata (T1, T2 dan T3), 2 buah dokumen (D1 dan D2) serta sebuah query (Q). Masing-masing bernilai : D1 = 2T1 + 6T2 + 5T3 D2 = 5T1 + 5T2 + 2T3 Q = 0T1 + 0T2 + 2T3

20 Contoh Kasus

21 Contoh Kasus

22 Contoh Kasus

23 Latihan Jika diketahui A={1,2,3,4}, B={1,2,4}, dan C={1,2,4,5}, berapakah Jaccard (A,B), Jaccard(B,C), dan Jaccard(A,C)? Berikutnya untuk kasus query dan document. Misalnya kita punya: query: ideas of march doc1: caesar died in march doc2: the long march Cari Koefisien Jaccard antara query dengan doc1 dan doc2.

24 Latihan Diketahui 3 dokumen : d1: “Jack London traveled to Oakland”
d2: “Jack London traveled to the city of Oakland” d3: “Jack traveled from Oakland to London” Nilai dari Koefisian Jaccard J(d1,d2) dan J(d1,d3) jika dilakukan dengan n-gram analisis dengan n=2 (bigram) adalah:

25