ID3 알고리즘 / 결정트리

Information gain ratio의 정의

선택할 때 가지의 수와 크기를 고려하여 다중 값 속성에 대한 편향을 줄이기 위해 제안했습니다.

어떤 자료를 구분할 때 옳바른 기준을 잡기 위하여 사용됩니다. 

 

Gain- G(S,A)로 사용합니다.

 

G(S,A)=H(s)-∑Sv/S * Entropy(Sv)