Spectral Graph Convolution Network「1」


Convolution:
「1」 Spatial Convolution
「2」 Spectral Convolution

Convolution in spatial space: (f*g)(t)=\int_{-\infty}^{\infty}f(\tau)g(t-\tau)
In terms of spectral space: (f*g)(t)=F^{-1}[F[f(t)]\odot F[g(t)]], where F[\cdot] means **Fourier Transform
**.

In other words, convolution in spatial space could be translated as:
「1」Convert function f and g into spectral space (F[f(t)] / F[g(t)]),
「2」Multiple two converted function element-wisely (F[f(t)]\odot F[g(t)),
「3」Convert it back to spatial space (F^{-1}[F[f(t)]\odot F[g(t)]]).


以上就是一些卷積的相關(guān)信息知識(shí)。
從上可以發(fā)現(xiàn)如果要將SpatialSpectral上的卷積聯(lián)系在一起,很重要的部分就是傅里葉變換,傅里葉變換的公式如下所示:
\hat{f}(x)=\int f(t)e^{-i2\pi xt}dt

對(duì)于上述公式,重要的部分就是e^{-i2\pi xt},其中i表示的復(fù)數(shù)里的標(biāo)志,t表示的是時(shí)間(如果是時(shí)域轉(zhuǎn)化為頻域),x表示的就是頻率(角頻率)(2\pi xt表示的就是時(shí)間t里面旋轉(zhuǎn)的角度),它在傅里葉變換中起到了比較重要的作用,其實(shí)e^{-i2\pi xt}是拉普拉斯算子\Delta的廣義特征函數(shù)(就是線性代數(shù)中的特征向量的那種東西),具體的理解可以看參考。對(duì)于一幅圖片來說,它的拉普拉斯算子其實(shí)就是一個(gè)拉普拉斯矩陣L,該矩陣對(duì)應(yīng)的特征 向量u,表示的就是e^{-i2\pi xt}。具體的,拉普拉斯矩陣則可以表示成L=D-A,即度矩陣(每個(gè)點(diǎn)的度)減去鄰接矩陣(兩點(diǎn)之間的二元值或者是權(quán)重)。

通過上述的介紹,就可以將傳統(tǒng)的傅里葉公式轉(zhuǎn)化為基于圖的傅里葉公式:
\hat{f}(x)=\int f(t)e^{-i2\pi xt}dt\\=\sum^N_{n=1}f(n)u_t(n)\\=U^Tf
其中U=(u_1, u_2, ..., u_n),即特征矩陣。

所以傳統(tǒng)的卷積操作(不一定是位于圖上的卷積操作)就可以轉(zhuǎn)化成位于圖上的卷積操作公式:
(f*g)(t)=F^{-1}[F[f(t)]\odot F[g(t)]]=U(U^Tf\odot U^Tg)
而將U^Tg當(dāng)作一個(gè)可學(xué)習(xí)的卷積核g_\theta,那么最終的卷積公式就是
Ug_\theta U^Tf
從上面的整個(gè)推導(dǎo)過程中可以看到,從傳統(tǒng)的卷積(不是基于圖的卷積)通過與Spectral的連接,變換成了圖上的卷積,整個(gè)過程都有比較嚴(yán)密的推導(dǎo)。


相比之下可以提一提Spatial Graph Convolution Network

相比于上述的譜圖卷積,空間域上的卷積更加的intuitive一些。
GCN的每一層其實(shí)就是將neighborhood中的neighbors通過消息傳遞函數(shù),聚合起來,然后通過狀態(tài)更新函數(shù)完成對(duì)點(diǎn)的更新,從公式中可以比較直觀的感受到這個(gè)過程。
h_v^{l+1}=U_{l+1}(h_v, \sum_{u\in ne[v]}M_{l+1}(h_v^l, h_u^l, x_{vu}))

其中M_{l+1}表示的就是消息傳遞函數(shù),它將每個(gè)neighbor的相關(guān)信息,自己的信息,以及邊信息h_v^l, h_u^l, x_{vu}綜合進(jìn)行考慮,然后傳遞到central上,然后再結(jié)合自身的信息update。整個(gè)過程其實(shí)就是模仿傳統(tǒng)CNN,將周圍的信息aggregate到一個(gè)點(diǎn)上。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 為什么研究GCN CNN無法處理Non Euclidean Structure的數(shù)據(jù),學(xué)術(shù)上的表達(dá)是傳統(tǒng)的離散卷積...
    機(jī)器不會(huì)學(xué)習(xí)閱讀 1,757評(píng)論 0 1
  • 一、傅立葉變換的由來 關(guān)于傅立葉變換,無論是書本還是在網(wǎng)上可以很容易找到關(guān)于傅立葉變換的描述,但是大都是些故弄玄虛...
    constant007閱讀 4,685評(píng)論 1 10
  • 文章作者:Tyan博客:noahsnail.com | CSDN | 簡(jiǎn)書 聲明:作者翻譯論文僅為學(xué)習(xí),如有侵權(quán)請(qǐng)...
    SnailTyan閱讀 6,906評(píng)論 0 4
  • 育珍君,大學(xué)同學(xué),北京青年政治學(xué)院對(duì)外漢語教師,平時(shí)時(shí)有微信互動(dòng)。2017年端午假前一天尚能外出吃櫻桃,一夕之后,...
    鶑鵅閱讀 739評(píng)論 2 0
  • 一、思維導(dǎo)圖 造句NightMy brother often goes to work at night Noct...
    且聽風(fēng)吟_cd29閱讀 533評(píng)論 0 0

友情鏈接更多精彩內(nèi)容