1 resnet簡介 ??關(guān)于resnet，網(wǎng)上有大量的文章講解其原理和思路，簡單來說，resnet巧妙地利用了shortcut連接，解決了深度網(wǎng)絡(luò)中模型退化的問題。 2 論...
發(fā)簡信
IP屬地：上海
-
resnet18 50網(wǎng)絡(luò)結(jié)構(gòu)以及pytorch實(shí)現(xiàn)代碼 -
兇手是C的話, A說"我離開醫(yī)生家的時(shí)候，他還活著。"就不是謊話了.
所以兇手應(yīng)該是A誰殺害了醫(yī)生?
在我心中，醫(yī)生是神圣的職業(yè)，一個(gè)是迎接新的生命，救死扶傷，所以才有天使之說。一名醫(yī)生在家里被人殺害，抓到了4名嫌疑犯。警方根據(jù)目擊者的證詞得知，在醫(yī)生死亡那天，只有這4個(gè)病人...
-
2個(gè)性質(zhì)和1個(gè)結(jié)論
做個(gè)記錄， 1,Isx,y -Ix,y=I(s,y)|x 討論： 1) x~粗粒度時(shí)，求證分段I(s,y)|x~最大 => I(s,y)|x最大，（反之不一定成立。） 2) ...
-
IBN能促進(jìn)條件獨(dú)立嗎
已知分布P(x,y1)*P(x,y2)，混合為P(x,z1,z2)后，IBN能還原嗎？ ibn保證了y的合并，聚塊貌似沒用 ibn對(duì)P(x,y1)*P(x,y2)*P(y3)...
-
邊緣獨(dú)立于條件獨(dú)立互無關(guān)系
Marginal independence does NOT imply conditional independence. Conditional independence...
-
小波分析的物理意義，及基于神經(jīng)網(wǎng)絡(luò)的自適應(yīng)基選擇
給定時(shí)間序列{xt}，我們對(duì)其做時(shí)頻分析： 其中f表示尺度參數(shù)（一般是頻率），t是時(shí)間。 尺度因子f是序列內(nèi)在的分析指標(biāo)，因?yàn)閷?duì)于時(shí)間序列x(t)，我們...
-
【原創(chuàng)】復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)的反向傳播算法，及pytorch實(shí)現(xiàn)方法復(fù)函數(shù)的可導(dǎo)性 復(fù)變函數(shù)按照是否可導(dǎo)，分為全純函數(shù)holomothic和nonholomophic，判斷條件為Cauchy-Riemann方程。 對(duì)于不可導(dǎo)的nonholom...
-
【轉(zhuǎn)】隨機(jī)過程的自相關(guān)函數(shù)與功率譜轉(zhuǎn)自http://www.360doc.com/content/16/0905/20/26322521_588652168.shtml 說說自相關(guān)函數(shù)，功率譜與白噪聲 所以，...
-
思想是唯一能照亮歷史和未來方向的光，人要有光。
-
AI的輸出
當(dāng)一個(gè)AI系統(tǒng)能產(chǎn)生有物理意義的輸出（分類，文字，音視，動(dòng)作）時(shí)，該系統(tǒng)性能才是可衡量的。 若系統(tǒng)無物理輸出，而只有隱變量的輸出，由于隱變量沒有明確的物理含義，所以我們無從判...
-
s0|s1應(yīng)改成x0|x1
時(shí)序數(shù)據(jù)預(yù)測(cè)模型
給定無窮時(shí)序數(shù)據(jù)x...0,1...， 已知過去x...,0，任一總結(jié)函數(shù)s0=f(x...,0)，可以得到狀態(tài)表象s...0,1,...。 提出問題：求最優(yōu)總結(jié)函數(shù)f0，使...
-
時(shí)序數(shù)據(jù)預(yù)測(cè)模型
給定無窮時(shí)序數(shù)據(jù)x...0,1...， 已知過去x...,0，任一總結(jié)函數(shù)s0=f(x...,0)，可以得到狀態(tài)表象s...0,1,...。 提出問題：求最優(yōu)總結(jié)函數(shù)f0，使...
-
神經(jīng)網(wǎng)絡(luò)的計(jì)算圖如何發(fā)現(xiàn)？
神經(jīng)網(wǎng)絡(luò)可以看作是一個(gè)大的變分優(yōu)化器： 給定 y=f(x1, x2..., w)，求w使L(y, x..)最小 x是輸入，y輸出，w是網(wǎng)絡(luò)參數(shù)，L是損失函數(shù)。 而任一函數(shù)y...
-
構(gòu)建計(jì)算圖（computational graph）的2個(gè)要求
1，反應(yīng)最精確的變量間關(guān)系圖（graph） 2，誤差（Error）回傳的長程有效性 TBC
-
5部電影問題
1，同時(shí)觀看5部電影，狀態(tài)S與規(guī)律O互不相關(guān)。 2，5部電影交替播放，每次5分鐘 相當(dāng)于5個(gè)子系統(tǒng)的預(yù)測(cè)，在why機(jī)制研究其規(guī)律時(shí)，會(huì)發(fā)現(xiàn)需要獨(dú)立處理 這里的問題是規(guī)律形成過...
-
包容度和怪異度
正態(tài)分布p對(duì)正態(tài)分布q的相似度C(p,q)定義為： C(p,q) = Exp[ (1+ln2pi- vq^2)/( (vq^2 +(mp-mq)^2 )/vp^2 +ln2p...
-
why機(jī)制=信息收集機(jī)制
當(dāng)數(shù)據(jù)以序列輸入時(shí)，長期信息記憶和收集能力就是必須的。 當(dāng)d(y,y~)較大時(shí)，人就會(huì)感到奇怪，尋因的過程就是why也就是收集信息。 長期記憶存儲(chǔ)方式k->v，也是以方便檢索...
-
pyTorch上的TimeDistributed
Keras有個(gè)TimeDistributed包裝器，pytorch上用nn.Linear就能實(shí)現(xiàn)。老是忘在這里記錄下： 給定輸入in[batch, steps, in_dim...
-
一種新的rnn：NRU 非飽和循環(huán)網(wǎng)絡(luò)
RNN目標(biāo)是解決序列數(shù)據(jù)的學(xué)習(xí)問題，方法是每一刻給所有歷史一個(gè)總結(jié)：Si = f(xi, Si_1);這就是一種狀態(tài)機(jī)。 對(duì)RNN唯一的約束就是長程相關(guān)性：當(dāng)前Sn狀態(tài)允許對(duì)...
