熵的本質(zhì)是香農(nóng)信息量，被用于描述一個系統(tǒng)中的不確定性。 在決策樹算法中的信息熵: 在反向傳播算法中衡量兩個分布和差異的交叉熵： KL散度(相對熵)：
IP屬地：廣東
-
信息熵+交叉熵+KL散度
-
矩陣和向量的乘法---點乘、叉乘、內(nèi)積、外積、數(shù)乘、哈達(dá)瑪積、克羅內(nèi)克積向量的數(shù)乘：用一個數(shù)乘以向量中的每個元素 向量的內(nèi)積：等于對應(yīng)位置相乘再相加，兩個向量的內(nèi)積的結(jié)果是變成一個標(biāo)量（也叫點乘） 向量的外積：叉乘的運算結(jié)果是一個向量而不是一個標(biāo)...
-
向量的范數(shù)
向量的范數(shù)是一個標(biāo)量范數(shù)為： 特別地： 0范數(shù)為向量中非零元素的個數(shù) 1范數(shù)為向量元素的絕對值相加 2范數(shù)為向量元素的平方和再開方，即高中數(shù)學(xué)中向量的模 機(jī)器學(xué)習(xí)中的L2懲罰...
-
logistic 回歸基本理論 logistic回歸的總體思路：線性回歸→(激活函數(shù))→線性分類 激活函數(shù)即sigmoid函數(shù)，即 logistic回歸模型表達(dá)式： logistic回歸模型只做二...
-
卷積神經(jīng)網(wǎng)絡(luò)的反向傳播1.DNN的反向傳播 首先回顧深度神經(jīng)網(wǎng)絡(luò)（DNN）的反向傳播 forward： Loss Function: backward: w的梯度： b的梯度： 令： 已知，推導(dǎo)上...
-
Glove 原理詳細(xì)解讀本文主要對《GloVe: Global Vectors for Word Representation》進(jìn)行解讀。 盡管word2vector在學(xué)習(xí)詞與詞間的關(guān)系上有了大進(jìn)步...
-
Word2vec原理詳細(xì)解讀0. 預(yù)備知識 Softmax函數(shù)： 哈夫曼樹(Huffman Tree) 1.Skip-gram 從圖1可以看出Skip-gram就是用當(dāng)前中心詞(banking)預(yù)測...
-
BatchNormalization和LayerNormalization神經(jīng)網(wǎng)絡(luò)中有各種歸一化算法：Batch Normalization (BN)、Layer Normalization (LN)、Instance Normalization ...