Naive Bayes Classifier

Konsep Dasar

Teorema bayes menjelaskan mengenai peluang suatu kejadian berdasarkan pengetahuan awal (prior) dari kondisi yang mungkin berhubungan dengan kejadian tersebut. Contohnya, jika penyakit diabetes berhubungan dengan umur, maka peluang seseorang terjangkit diabetes akan lebih akurat jika dimasukkan faktor umur di dalamnya. Secara matematis, teorema bayes dituliskan sebagai berikut

P(A|B) = Peluang terjadinya A jika B terjadi
P(B|A) = Peluang B terjadi saat A muncul
P(A) = Peluang terjadinya A tanpa memandang kejadian apapun.
P(B) = Peluang terjadinya B tanpa memandang kejadian apapun.

Penerapan

Penerapan teorema bayes di bidang statistika salah satunya diterapkan pada pendugaan parameter. Kita bisa menggunakan metode Bayesian MCMC untuk melakukan pendugaan parameter selain metode popular lainnya seperti OLS dan MLE. Metode OLS dan MLE memandang parameter sebagai konstanta sehingga dia tidak memiliki distribusi, sedangkan Bayesian menganggap parameter sebagai peubah acak sehingga dia memiliki distribusi.

Selain itu, teorema bayes juga digunakan untuk melakukan klasifikasi objek. Metode ini sering dikenal sebagai Naive bayes Classifier. Dan kali ini akan dibahas penerapan teorema bayes untuk tujuan klasifikasi. Prinsip kerja metode ini adalah mengklasifikasikan objek berdasarkan peluang yang tertinggi diantara kelas lainnya.

Contoh Kasus

Misalkan kita ingin menentukan apakah kita akan bermain golf berdasarkan beberapa keadaan berikut

Outlook Temperature Kelembapan Berangin Bemain Golf
Hujan Panas Tinggi Tidak Tidak
Hujan Panas Tinggi Ya Tidak
Mendung Panas Tinggi Tidak Ya
Cerah Hangat Tinggi Tidak Ya
Cerah Dingin Normal Tidak Ya
Cerah Dingin Normal Ya Tidak
Mendung Dingin Normal Ya Ya
Hujan Hangat Tinggi Tidak Tidak
Hujan Dingin Normal Tidak Ya
Cerah Hangat Normal Tidak Ya
Hujan Hangat Normal Ya Ya
Mendung Hangat Tinggi Ya Ya
Mendung Panas Normal Tidak Ya
Cerah Dingin Tinggi Ya Tidak

Misalkan ada data baru muncul, apakah kita seharusnya bermain golf apa tidak ?

Outlook Temperature Kelembapan Berangin Bermain Golf
Hujan Hangat Normal Tidak
Mendung Hangat Normal Tidak
Mendung Panas Normal Ya
Cerah Panas Tinggi Ya

jika kita menggunakan naive bayes classifier, maka kita akan menghitung

P(Bermain Golf | Hujan, Hangat, Normal, Tidak)    -> misal 0.2
P(Bermain Golf | Mendung, Hangat, Normal, Tidak)   -> misal 0.3
P(Bermain Golf | Mendung, Panas, Normal, Ya) -> misal 0.7
P(Bermain Golf | Cerah, Panas, Tinggi, Ya) ->  misal 0.8

dan juga kita akan menghitung

P(Tidak Bermain Golf | Hujan, Hangat, Normal, Tidak)    -> 0.8
P(Tidak Bermain Golf | Mendung, Hangat, Normal, Tidak)   -> 0.7
P(Tidak Bermain Golf | Mendung, Panas, Normal, Ya) -> 0.3
P(Tidak Bermain Golf | Cerah, Panas, Tinggi, Ya) ->  0.2

Hasil Prediksi

Berdasarkan nilai peluang yang tertinggi, hasilnya akan sebagai berikut

Outlook Temperature Kelembapan Berangin Bermain Golf
Hujan Hangat Normal Tidak Tidak
Mendung Hangat Normal Tidak Tidak
Mendung Panas Normal Ya Ya
Cerah Panas Tinggi Ya Ya

How it Works ?

Lalu bagaimana cara kita mendapatkan nilai peluang 0.2, 0.3, 0.7 atau 0.8 ? Berikut merupakan cara kerja algoritma naive bayes classifier

Berdasarkan formula di atas, nilai \[  \hat{y} \] didapat dari nilai yang memaksimalkan fungsi likelihood. Metode pendugaan parameter yang bisa digunakan adalah MLE (Maximum Likelihood Estimation).

Baca Juga : Ide dibali MLE

Refference:

Leave a Reply

Your email address will not be published.

Related posts