信息增益描述了一個特征帶來的信息量的多少，往往用于特征選擇
信息增益 = 信息熵 - 條件熵
一個特征往往會使一個隨機變量Y的信息量減少，減少的部分就是信息增益
如圖所示，目標(biāo)值是：playtennis，也就是是否打球
有四個特征：天氣、溫度、濕度、風(fēng)
信息熵的公式：
H(X)=?∑i=1np(xi)logp(xi)
以上圖為例，設(shè)是否打球這一隨機變量為Y，則
p(y=yes)=514
p(y=no)=914
所以H(Y)=?514?log(514)?914?log(914)=0.6518
條件熵表示在條件X下Y的信息熵。公式如下：
H(Y|X)=∑x∈Xp(x)H(Y|X=x)
在上圖的例子中，設(shè)humidity濕度為隨機變量X
則，p(x=high)=7/14=1/2=p1
p(x=normal)=7/14=1/2=p2
所以，H(Y|X)=p1*H(Y|X=high)+p2*H(Y|X=normal)
而接下來就是計算H(Y|X=high)和H(Y|X=normal)
根據(jù)信息熵的計算方法可以得出：
H(Y|X=high)=-4/7*log(4/7)-3/7*log(3/7) = 0.6829
H(Y|X=normal)=-1/7*log(1/7)-6/7*log(6/7) = 0.4101
因此，條件熵為：1/2*0.6829+1/2*0.4101=0.5465
信息增益 = 信息熵 - 條件熵=0.6518-0.5465=0.1053
也就是說，引入了濕度humidity這個變量之后，就使得是否打球這個變量的信息量就從0.6518減小到了0.5465
信息量是描述變量的不確定性的，值越大，就表示這個事件越不確定
因此，濕度這個變量的引進，使得這種不確定性降低了，有利于做決定
信息增益常用于決策樹的構(gòu)建，和特征選擇
