概率分布，熵，指數(shù)，相關(guān)性分析，loss等

前提：
二維隨機(jī)變量(x,y)，所有可能的取值為(x_i,y_j)，其中i = \lbrace{1,...,n \rbrace},j = \lbrace{1,...,m \rbrace}，且\sum_i \sum_j p_{i,j}=1, p_{i,j} \geq0。

概率分布

類型 表達(dá)式
聯(lián)合概率分布 p(x,y) = p(x|y)p(y), p(x_i,y_j) = p(y_j|x_i)p(x_i) = p(x_i|y_j)p(y_j)
條件概率分布 p(x|y) = \frac {p(xy)}{p(y)}
全概率公式 p(x) =p(y_1)p(x|y_1) +p(y_2) p(x|y_2) + ... + p(y_m)p(x|y_m) = \sum_j^m p(y_j)p(x|y_j)
x和y條件獨(dú)立 p(x,y) = p(x)p(y)
x和y有相關(guān)性 p(x,y) > p(x)p(y)

熵

H(x) = E[I(x_i)] = -\sum_ip(x_i)log\ p(x_i)

條件熵：
\begin{align} H(y|x) &= \sum_ip(x_i)H(y|x_i) \\ &= -\sum_ip(x_i)\sum_jp(y_j|x_i)log\ p(y_j|x_i) \\ &= H(x,y)-H(x) \ \end{align}

聯(lián)合熵：
\begin{align} H(x,y) & = -\sum_i\sum_jp(x_i,y_j)log\ p(x_i,y_j) \\ & = -\sum_i\sum_j p(x_i,y_j) log (\frac {p(y_j|x_i ) }{p(x_i)}) \\ & = -\sum_{i,j}p(x_i,y_j)logp(y_j|x_i) -\sum_{i,j}p(x_i,y_j)logp(x_i) \\ & = H(y|x) + H(x) \end{align}

交叉熵：
二分類：H(y,\hat y) =-\frac{1}{m}\sum_i^m(y_ilog(\hat y_i) + (1-y_i)log(1-\hat y_i))
多分類：H(y,\hat y) = -\frac{1}{m} \sum_i^m y_ilogp(\hat y_i)

Perplexity：
PP(p) = b^{H(p)} = b^{-\sum_i p(x_i)log_b p(x_i)}

各種指數(shù)

點(diǎn)互信息PMI, pointwise mutual info or point mutual info:
PMI(x,y) = PMI(y,x) = log \frac{p(x,y)}{p(x)p(y)} = log \frac {p(x|y)}{p(x)} = log \frac {p(y|x)}{p(y)}
PMI為0，則隨機(jī)變量x和y之間相互獨(dú)立。

互信息MI, mutual info:
I(x,y) = \sum_i\sum_jp(x_i,y_j)log \frac{p(x_i,y_j)}{p(x_i)p(y_j)} = \sum_i\sum_jp(x_i,y_j)PMI(x_i,y_j)
I(x,y) = H(x) - H(x|y) = H(y) - H(y|x) = H(x) + H(y) - H(x,y)

MI是非負(fù)的，為0時(shí)，則隨機(jī)變量x和y之間相互獨(dú)立。

信息增益Info Gain：
Gain(x) = H(x)-\sum_i\frac{|x_i|}{|x|}H(x_i)

基尼指數(shù)Gini Index：
Gini(x) = \sum_i\sum_{j,i!=j}p_ip_j
樹模型分裂時(shí)： Gini(x) = \sum_i p_i(1-p_i)= 1-\sum_i p_i^2

KLD：
\begin{align} D_{KL} (p||q) &=\sum_xp(x)log(\frac{p(x)}{q(x)}) \\ & = \sum_xp(x)log p(x) - \sum_x p(x)log q(x) \\ & = H(p,q)-H(p) \\ \end{align}
2個(gè)分布的dissimilarity，越小越好。

JSD Jensen-Shannon(JS) Divergence：
JS(P||Q) = JS(Q||P)
JS(P||Q) = 1/2 KL(P||M) + 1/2 KL(Q||M)
M = 1/2 * (P+Q)

def kl_divergence(p, q):
#  same as scipy.special.rel_entr
    return np.sum(np.where(p[i]!=0, p[i]*log2(p[i]/q[i]),0) for p[i],q[i] in zip(p,q))

def js_divergence(p,q):
    m = 0.5*(p+q)
    return 0.5 * kl_divergence(p,m) + 0.5*kl_divergence(q,m)

Loss Function

MSE: 回歸模型使用，對(duì)outlier敏感，收斂更快
L_{MSE} = \frac{1}{m}\sum_i^m(y_i-\hat y_i)^2

MAE: GBDT的損失函數(shù)，對(duì)outlier沒那么敏感
L_{MAE} = \frac{1}{m}\sum_i^m |y_i-\hat y_i|

Hinge Loss (SVM)
L_{hinge} = max(0, 1-y*\hat y)

Huber Loss
L_{Huber-loss} = \ \begin{cases} \frac{1}{2}(y-\hat y)^2, \ if & |y-\hat y| <= \delta \\ \delta|y-\hat y|-\frac{1}{2} \delta ^2, &otherwise \end{cases}

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容