1 resnet簡介 ??關(guān)于resnet，網(wǎng)上有大量的文章講解其原理和思路，簡單來說，resnet巧妙地利用了shortcut連接，解決了深度網(wǎng)絡(luò)中模型退化的問題。 2 論...
發(fā)簡信
IP屬地：上海
-
resnet18 50網(wǎng)絡(luò)結(jié)構(gòu)以及pytorch實(shí)現(xiàn)代碼 -
【原創(chuàng)】復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)的反向傳播算法，及pytorch實(shí)現(xiàn)方法復(fù)函數(shù)的可導(dǎo)性 復(fù)變函數(shù)按照是否可導(dǎo)，分為全純函數(shù)holomothic和nonholomophic，判斷條件為Cauchy-Riemann方程。 對于不可導(dǎo)的nonholom...
-
AI的輸出
當(dāng)一個(gè)AI系統(tǒng)能產(chǎn)生有物理意義的輸出（分類，文字，音視，動(dòng)作）時(shí)，該系統(tǒng)性能才是可衡量的。 若系統(tǒng)無物理輸出，而只有隱變量的輸出，由于隱變量沒有明確的物理含義，所以我們無從判...
-
時(shí)序數(shù)據(jù)預(yù)測模型
給定無窮時(shí)序數(shù)據(jù)x...0,1...， 已知過去x...,0，任一總結(jié)函數(shù)s0=f(x...,0)，可以得到狀態(tài)表象s...0,1,...。 提出問題：求最優(yōu)總結(jié)函數(shù)f0，使...
-
一種新的rnn：NRU 非飽和循環(huán)網(wǎng)絡(luò)
RNN目標(biāo)是解決序列數(shù)據(jù)的學(xué)習(xí)問題，方法是每一刻給所有歷史一個(gè)總結(jié)：Si = f(xi, Si_1);這就是一種狀態(tài)機(jī)。 對RNN唯一的約束就是長程相關(guān)性：當(dāng)前Sn狀態(tài)允許對...
-
why機(jī)制=信息收集機(jī)制
當(dāng)數(shù)據(jù)以序列輸入時(shí)，長期信息記憶和收集能力就是必須的。 當(dāng)d(y,y~)較大時(shí)，人就會感到奇怪，尋因的過程就是why也就是收集信息。 長期記憶存儲方式k->v，也是以方便檢索...
-
注意力機(jī)制與鏈?zhǔn)綏l件幾率
我們的目標(biāo)是給定X，求Y的分布：P(Y|X)，其中X，Y是多維向量。 實(shí)際情況中，y1可能和x1關(guān)系更大，y2和x3,x5更相關(guān)... 所以我們改寫P(Y|X) = p(y1...
-
深度學(xué)習(xí)環(huán)境搭建 - 1 攢機(jī)
在2個(gè)網(wǎng)站上模擬攢機(jī)，配了臺機(jī)器：http://zj.zol.com.cn/https://pcpartpicker.com/（會自動(dòng)幫你查兼容性） 一個(gè)國內(nèi)一個(gè)國外，參照著...