Convolution:
「1」 Spatial Convolution
「2」 Spectral Convolution
Convolution in spatial space:
In terms of spectral space: , where
means **Fourier Transform
**.
In other words, convolution in spatial space could be translated as:
「1」Convert function and
into spectral space (
),
「2」Multiple two converted function element-wisely (),
「3」Convert it back to spatial space ().
以上就是一些卷積的相關(guān)信息知識(shí)。
從上可以發(fā)現(xiàn)如果要將Spatial和Spectral上的卷積聯(lián)系在一起,很重要的部分就是傅里葉變換,傅里葉變換的公式如下所示:
對(duì)于上述公式,重要的部分就是,其中
表示的復(fù)數(shù)里的標(biāo)志,t表示的是時(shí)間(如果是時(shí)域轉(zhuǎn)化為頻域),x表示的就是頻率(角頻率)(
表示的就是時(shí)間t里面旋轉(zhuǎn)的角度),它在傅里葉變換中起到了比較重要的作用,其實(shí)
是拉普拉斯算子
的廣義特征函數(shù)(就是線性代數(shù)中的特征向量的那種東西),具體的理解可以看參考。對(duì)于一幅圖片來說,它的拉普拉斯算子其實(shí)就是一個(gè)拉普拉斯矩陣
,該矩陣對(duì)應(yīng)的特征 向量
,表示的就是
。具體的,拉普拉斯矩陣則可以表示成
,即度矩陣(每個(gè)點(diǎn)的度)減去鄰接矩陣(兩點(diǎn)之間的二元值或者是權(quán)重)。
通過上述的介紹,就可以將傳統(tǒng)的傅里葉公式轉(zhuǎn)化為基于圖的傅里葉公式:
其中,即特征矩陣。
所以傳統(tǒng)的卷積操作(不一定是位于圖上的卷積操作)就可以轉(zhuǎn)化成位于圖上的卷積操作公式:
而將當(dāng)作一個(gè)可學(xué)習(xí)的卷積核
,那么最終的卷積公式就是
從上面的整個(gè)推導(dǎo)過程中可以看到,從傳統(tǒng)的卷積(不是基于圖的卷積)通過與Spectral的連接,變換成了圖上的卷積,整個(gè)過程都有比較嚴(yán)密的推導(dǎo)。
相比之下可以提一提Spatial Graph Convolution Network
相比于上述的譜圖卷積,空間域上的卷積更加的intuitive一些。
GCN的每一層其實(shí)就是將neighborhood中的neighbors通過消息傳遞函數(shù),聚合起來,然后通過狀態(tài)更新函數(shù)完成對(duì)點(diǎn)的更新,從公式中可以比較直觀的感受到這個(gè)過程。
其中表示的就是消息傳遞函數(shù),它將每個(gè)neighbor的相關(guān)信息,自己的信息,以及邊信息
綜合進(jìn)行考慮,然后傳遞到central上,然后再結(jié)合自身的信息update。整個(gè)過程其實(shí)就是模仿傳統(tǒng)CNN,將周圍的信息aggregate到一個(gè)點(diǎn)上。