ID3算法应用举例InFeverDream的博客-

利用ID3算法实现从数据集归纳出决策树。 

背景：
张三想要买一套房，可能左右他是否愿意购买这套房主要有四个方面的因素，这四种因素及可能出现的值如下表所示：

张三看了14套房子，以下是这些房子具备的属性以及张三对于购买这些房子的意愿：

在这14套房中，张三愿意购买的有10套，不愿意购买的有4套。由此可得原表格的熵为：

$H(S)=-frac{4}{14} log_{2}frac{4}{14}-frac{10}{14} log_{2}frac{10}{14}$

H(S)=−144​log2​144​−1410​log2​1410​
每个因素的信息增益：

$G(S,院子)=H(S)-frac{|S_{大}|}{|S|}H(S_{大})-frac{|S_{小}|}{|S|}H(S_{小})=0.072$

G(S,院子)=H(S)−∣S∣∣S大​∣​H(S大​)−∣S∣∣S小​∣​H(S小​)=0.072

$G(S,车库数)=H(S)-frac{|S_{1}|}{|S|}H(S_{1})-frac{|S_{2}|}{|S|}H(S_{2})-frac{|S_{3}|}{|S|}H(S_{3})=0.166$

G(S,车库数)=H(S)−∣S∣∣S1​∣​H(S1​)−∣S∣∣S2​∣​H(S2​)−∣S∣∣S3​∣​H(S3​)=0.166

$G(S,楼层数)=H(S)-frac{|S_{2}|}{|S|}H(S_{2})-frac{|S_{3}|}{|S|}H(S_{3})=0.072$

G(S,楼层数)=H(S)−∣S∣∣S2​∣​H(S2​)−∣S∣∣S3​∣​H(S3​)=0.072

$G(S,地理位置)=H(S)-frac{|S_{市中心}|}{|S|}H(S_{市中心})-frac{|S_{郊区}|}{|S|}H(S_{郊区})=0.003$

G(S,地理位置)=H(S)−∣S∣∣S市中心​∣​H(S市中心​)−∣S∣∣S郊区​∣​H(S郊区​)=0.003
显然，车库数的信息增益远大于其他三项，且当车库数为3时所有结果均为愿意，因此初始决策树如下图所示：