發(fā)簡(jiǎn)信
IP屬地：廣東
-
ubuntu16.04 + tensorflow1.14 + CUDA10.1 安裝指南寫(xiě)在前面 先上一張tensorflow版本與CUDA版本的對(duì)應(yīng)表： GPU版本的tensorflow在1.13.0版本就已經(jīng)需要CUDA10才能...
-
Softmax反向傳播推導(dǎo)
Softmax公式及作用 Softmax函數(shù)，或稱(chēng)歸一化指數(shù)函數(shù)，通常在機(jī)器學(xué)習(xí)的分類(lèi)器中做輸出層用。它可以將一個(gè)含任意實(shí)數(shù)的K維向量 “壓縮...
-
Layer Normalization反向傳播推導(dǎo)
Layer Normalization作用及公式 Layer Normalization來(lái)源于這篇文章： 《Layer Normalizatio...
-
L2 Normalization（L2歸一化）反向傳播推導(dǎo)
L2 Normalization公式及作用 我們知道對(duì)于一行向量，其L2歸一化公式入下所示，其中為向量長(zhǎng)度： 在深度神經(jīng)網(wǎng)絡(luò)中，偶爾會(huì)出現(xiàn)多個(gè)量...
-
Tensorflow中的AttentionCellWrapper：一種更通用的Attention機(jī)制AttentionCellWrapper的疑問(wèn) 關(guān)注Attention機(jī)制的同學(xué)們都知道，Attention最初是在Encoder-Decode...