我在想，如果各通道的卷積核共享參數(shù)，是不是也行的通，比如輸入為RGB三通道，我只使用多個(gè)單通道的卷積核，這樣參數(shù)量大大降低了，會(huì)有什么問題呢？
多通道的多個(gè)卷積核下圖展示了在四個(gè)通道上的卷積操作，有兩個(gè)卷積核，生成兩個(gè)通道。其中需要注意的是，四個(gè)通道上每個(gè)通道對(duì)應(yīng)一個(gè)卷積核，先將w2忽略，只看w1，那么在w1的某位置（i,j）處的值，...
未經(jīng)允許，不得轉(zhuǎn)載，謝謝~~ autograd包是PyTorch中神經(jīng)網(wǎng)絡(luò)的核心部分,簡(jiǎn)單學(xué)習(xí)一下. autograd提供了所有張量操作的自動(dòng)求微分功能. 它的靈活性體現(xiàn)在可...
還有有個(gè)疑問，多頭機(jī)制中，Q,K,V在每個(gè)head中的線性變換矩陣是否是共享的呢，即WQ,WK,WV這三個(gè)權(quán)重矩陣是否是相等的。如果不相等，比如會(huì)隨著訓(xùn)練各自更新，那么這樣能帶來什么好處呢
Attention Is All You Need簡(jiǎn)記(多頭注意力、自注意力、層歸一化、位置嵌入)首先注意力模型可以宏觀上理解為一個(gè)查詢（query）到一系列（鍵key-值value）對(duì)的映射。將Source（源）中的構(gòu)成元素想象成是由一系列的<Key,Value>數(shù)據(jù)對(duì)...
寫在前面 這一節(jié)的內(nèi)容比較多，仔細(xì)理解以及整理起來也著實(shí)相較之前多費(fèi)了些力氣，但這些力氣都花得值得。 像這節(jié)中提到的“過擬合”和“正則化”，其實(shí)是非常常見而且基礎(chǔ)的問題，但像...
寫得很用心吶，很不錯(cuò)。
【DL筆記6】從此明白了卷積神經(jīng)網(wǎng)絡(luò)（CNN）初識(shí)卷積神經(jīng)網(wǎng)絡(luò)（CNN） 從今天起，正式開始講解卷積神經(jīng)網(wǎng)絡(luò)。這是一種曾經(jīng)讓我無論如何也無法弄明白的東西，主要是名字就太“高級(jí)”了，網(wǎng)上的各種各樣的文章來介紹“什么是卷積”...
初識(shí)卷積神經(jīng)網(wǎng)絡(luò)（CNN） 從今天起，正式開始講解卷積神經(jīng)網(wǎng)絡(luò)。這是一種曾經(jīng)讓我無論如何也無法弄明白的東西，主要是名字就太“高級(jí)”了，網(wǎng)上的各種各樣的文章來介紹“什么是卷積”...
