Decision tree merupakan salah satu metode non parametrik supervised learning yang digunakan untuk klasifikasi dan regresi. Decision Tree seolah-olah mengubah dataset menjadi suatu aturan keputusan. Konsep metode ini adalah memprediksi objek berdasarkan aturan keputusan yang dibuat yang menyerupai pohon keputusan. Beberapa algoritma yang populer digunakan adalah Iterative Dychotomyzer versi 3 (ID3), C4.5 dan ASSISTANT.
Metode ID3
Entropy
Secara istilah, entropy adalah keberbedaan atau keberagaman. Dalam data mining, entropy didefinisikan sebagai suatu parameter untuk mengukur heterogenitas dalam suatu himpunan data. Semakin heterogen, maka semakin besar pula nilai entropy-nya. Secara matematis, entropy didefinisikan sebagai
k = banyaknya sampel tiap kelas
n = banyaknya sampel
c = banyaknya kelas
Information Gain
Didefinisikan sebagai ukuran efektivitas suatu atribut untuk mengklasifikasikan data. Information Gain dari suatu atribut A dapat dinyatakan sebagai
SOURCE :
- https://scikit-learn.org/stable/modules/tree.html
- Data Mining : Untuk Klasifikasi dan Klasterisasi
