文 | 全世界最乖巧的小豬

Adaptive Graph Convolutional Neural Networks

這是一篇研究自適應(yīng)圖卷積神經(jīng)網(wǎng)絡(luò)的論文，由來自德州大學(xué)阿靈頓分校和騰訊的作者發(fā)表于AAAI2018，下載地址：Adaptive Graph Convolutional Neural Networks

摘要

圖卷積網(wǎng)絡(luò)（Graph CNNs）是可以作用在圖結(jié)構(gòu)數(shù)據(jù)（如分子，點(diǎn)云，社交網(wǎng)絡(luò)等）上的卷積神經(jīng)網(wǎng)絡(luò)。目前圖卷積網(wǎng)絡(luò)中的卷積核適用于固定且共享的圖結(jié)構(gòu)。然而，對(duì)于大多數(shù)實(shí)際數(shù)據(jù)而言，圖結(jié)構(gòu)在尺寸大小和連接方式上都是不一樣的。本文提出了一種廣義并且靈活的圖卷積網(wǎng)絡(luò)，可以將任意圖結(jié)構(gòu)數(shù)據(jù)作為輸入。如此一來，一種任務(wù)驅(qū)動(dòng)的適應(yīng)性圖就會(huì)在訓(xùn)練過程中被學(xué)習(xí)到。為了有效地學(xué)習(xí)圖，本文提出了一種距離度量學(xué)習(xí)。實(shí)驗(yàn)做得不錯(cuò)！

1 文章簡(jiǎn)介

在許多實(shí)際問題中，數(shù)據(jù)是在非歐域中的，比如化學(xué)分子，點(diǎn)云，社交網(wǎng)絡(luò)等。這些數(shù)據(jù)用圖來表示比張量表示更為合適。所以需要可作用在圖結(jié)構(gòu)上的卷積神經(jīng)網(wǎng)絡(luò)。

前人工作的不足之處：

1. 早期圖CNN的缺點(diǎn)：數(shù)據(jù)低維，卷積核過于局部化，無法從復(fù)雜圖中學(xué)習(xí)層次表示。

2. 某些情況下，比如點(diǎn)云分類，圖的拓?fù)浣Y(jié)構(gòu)比結(jié)點(diǎn)特征包含更大的信息量?，F(xiàn)存圖CNN的缺點(diǎn)：無法充分利用圖的幾何性質(zhì)，因?yàn)楹茈y設(shè)計(jì)能夠匹配不同數(shù)量鄰居的參數(shù)化空間核。此外，考慮到圖的靈活性和參數(shù)的規(guī)模，為每一個(gè)獨(dú)特的圖學(xué)習(xí)一個(gè)定制的保留拓?fù)浣Y(jié)構(gòu)的空間核是不切實(shí)際的。

3. 現(xiàn)存圖CNN的缺點(diǎn)：共享卷積核。為了保證層輸出的統(tǒng)一維數(shù)，必須調(diào)整輸入的大小。然而，這種對(duì)圖數(shù)據(jù)的預(yù)處理可能會(huì)破壞信息的完整性。如果圖CNN能夠接受不同圖結(jié)構(gòu)的原始數(shù)據(jù)樣本就好了。

4. 輸入到圖CNN的數(shù)據(jù)要么有固有的圖結(jié)構(gòu)，要么通過聚類人為構(gòu)建。在之前的圖CNN中，初始圖結(jié)構(gòu)在整個(gè)訓(xùn)練過程中是被固定的。然而，很難去評(píng)估這個(gè)通過無監(jiān)督聚類（或領(lǐng)域知識(shí)）得到的圖結(jié)構(gòu)對(duì)于監(jiān)督學(xué)習(xí)任務(wù)是否是最優(yōu)的。盡管利用全連接網(wǎng)絡(luò)的有監(jiān)督圖構(gòu)建已經(jīng)被提出，他們的密集訓(xùn)練權(quán)重限制了圖只能是小圖。此外，由另一個(gè)獨(dú)立網(wǎng)絡(luò)學(xué)習(xí)得到的圖結(jié)構(gòu)并不能保證最適合圖卷積。

總結(jié)，目前graph CNN的瓶頸包括：

1. 限制圖的度；

2. 無法從拓?fù)浣Y(jié)構(gòu)中學(xué)習(xí)；

3. 要求輸入之間共享相同的圖結(jié)構(gòu)；

4. 不訓(xùn)練的固定圖構(gòu)建。

本文提出了一個(gè)新的譜圖卷積網(wǎng)絡(luò)，可以接收不同圖結(jié)構(gòu)的原數(shù)據(jù)，比如由不同數(shù)量的苯環(huán)組成的有機(jī)分子。給batch里每個(gè)樣本一個(gè)定制的圖Laplacian?來客觀地描述它獨(dú)有的拓?fù)浣Y(jié)構(gòu)。定制的圖Laplacian將引出一個(gè)定制的譜卷積核，根據(jù)獨(dú)有的圖拓?fù)浣Y(jié)構(gòu)來綜合鄰居特征。

到底什么樣的圖結(jié)構(gòu)最適合一個(gè)監(jiān)督學(xué)習(xí)任務(wù)呢？比如，化合物中的化學(xué)鍵自然地構(gòu)成一個(gè)固有圖。然而，沒人保證在固有圖中工作的卷積核提取出了所有有意義的信息。因此，本文訓(xùn)練了殘差圖（residual graph）來探索固有圖中沒有包括的剩余子結(jié)構(gòu)。此外，為了保證殘差圖是對(duì)特定任務(wù)的最佳補(bǔ)充，本文設(shè)計(jì)了一種方案來學(xué)習(xí)殘差圖。

直接學(xué)習(xí)圖Laplacian花費(fèi)O（N^2）復(fù)雜度，N個(gè)結(jié)點(diǎn)。實(shí)現(xiàn)M個(gè)訓(xùn)練樣本獨(dú)有的圖拓?fù)浣Y(jié)構(gòu)表示學(xué)習(xí)M個(gè)獨(dú)有的圖Laplacian，太費(fèi)勁了！如果利用Mahalanobis距離作為一個(gè)監(jiān)督度量學(xué)習(xí)，就可以減少參數(shù)量，假定度量的參數(shù)是樣本之間共享的。作為結(jié)果，學(xué)習(xí)復(fù)雜度就會(huì)和圖大小N無關(guān)。在傳統(tǒng)CNN中，反向傳播逐漸更新卷積核權(quán)重，分別調(diào)整每個(gè)特征維度上相鄰節(jié)點(diǎn)之間的關(guān)系。然后將所有卷積核的信號(hào)相加來構(gòu)造隱藏層激活。為了讓圖CNN也能實(shí)現(xiàn)相同的能力，本文提出了重參數(shù)化，在特征域上加個(gè)轉(zhuǎn)換權(quán)重和偏置。最后，卷積層里全部的訓(xùn)練參數(shù)包括：距離度量，結(jié)點(diǎn)特征轉(zhuǎn)換權(quán)重和偏置。給定了訓(xùn)練好的度量和轉(zhuǎn)換好的特征空間，更新的殘差圖就可以構(gòu)建了。

本文圖CNN的創(chuàng)新點(diǎn)：

1. 構(gòu)建獨(dú)有的圖Laplacian：構(gòu)建并學(xué)習(xí)batch中每個(gè)獨(dú)立樣本獨(dú)有的殘差Laplacian?矩陣，學(xué)習(xí)到的殘差圖Laplacian?將會(huì)被加到初始圖中（聚類得到的或固有圖）。

2. 學(xué)習(xí)圖更新的距離度量：通過學(xué)習(xí)數(shù)據(jù)共享的最優(yōu)距離度量參數(shù)，隨著預(yù)測(cè)網(wǎng)絡(luò)的訓(xùn)練，拓?fù)浣Y(jié)構(gòu)被更新。學(xué)習(xí)復(fù)雜度O（d^2）和尺寸無關(guān)。

3. 卷積中的特征嵌入：結(jié)點(diǎn)特征的轉(zhuǎn)換是在卷積連接intra-(類內(nèi))和inter-(類間)結(jié)點(diǎn)特征之前完成的。

4. 接受靈活的圖輸入：由于1和2，本網(wǎng)絡(luò)可以輸入不同的圖結(jié)構(gòu)和尺寸，解鎖了圖的度。

2 相關(guān)工作

2.1 譜圖卷積

2.2 分子圖神經(jīng)網(wǎng)絡(luò)

3 方法

3.1 SGC-LL層

為了使譜卷積核在不同的圖拓?fù)渲姓嬲尚?，本文?duì)距離度量進(jìn)行參數(shù)化，使圖Laplacian函數(shù)本身成為可訓(xùn)練的。利用訓(xùn)練后的度量，動(dòng)態(tài)地構(gòu)造不同形狀和大小的輸入樣本的獨(dú)有圖。一種新的層利用自適應(yīng)圖構(gòu)造的K-局域卷積核進(jìn)行卷積。同時(shí)，對(duì)樣本的圖拓?fù)浣Y(jié)構(gòu)進(jìn)行了更新，使訓(xùn)練損失最小化。新的具有圖Laplacian學(xué)習(xí)的譜圖卷積層稱為SGC-LL。本節(jié)將介紹SGC-LL層的創(chuàng)新點(diǎn)。

3.1.1 學(xué)習(xí)圖Laplacian

此處跳過我們都知道的圖卷積的介紹，直接來到譜卷積核的k階多項(xiàng)式：

$g_\theta(\Lambda )=\sum_{k=0}^{K-1}\theta_k\Lambda^k$

這限制了卷積核的靈活性。更重要的是，兩個(gè)結(jié)點(diǎn)之間的相似度是由所采取的距離度量和特征域決定的。因此，很有可能兩個(gè)相連結(jié)點(diǎn)之間的相似度比不相連的相似度要低，因此圖結(jié)構(gòu)不是最優(yōu)的。可能有兩個(gè)原因：

1. 圖是在特征提取和轉(zhuǎn)換之前的原始特征域上構(gòu)建的。

2. 圖拓?fù)浣Y(jié)構(gòu)是固有的，它僅僅表示物理連接，如分子中的化學(xué)鍵。

為了打破這些限制，提出新的譜核，參數(shù)化Laplacian L來代替系數(shù)。給定原始Laplacian L，特征X和參數(shù) $\Gamma$ ，函數(shù) $F(L,X,\Gamma)$ 輸出更新后的L譜，卷積核表示為：

$g_\theta(\Lambda)=\sum_{k=0}^{K-1}(F(L,X,\Gamma))^k$

*這里的函數(shù)F就是后面那些步驟的抽象表示。

最后，SGC-LL層表示為：

$Y=Ug_\theta(\Lambda)U^TX=U\sum_{k=0}^{K-1}(F(L,X,\Gamma))^kU^TX$ ? ? ?（5）

用切比雪夫展開來計(jì)算k階多項(xiàng)式 $T_k(\tilde{L})X$ .

3.1.2 訓(xùn)練圖更新的度量

在圖結(jié)構(gòu)數(shù)據(jù)中，歐式距離就不好用了。這里的距離度量應(yīng)該在訓(xùn)練中根據(jù)任務(wù)和特征可以隨機(jī)應(yīng)變。在度量學(xué)習(xí)文章中，算法分為有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。由無監(jiān)督方法獲得的最好的度量能夠最小化類內(nèi)距，最大化類間距。對(duì)于有監(jiān)督學(xué)習(xí)，目標(biāo)是要找到能夠最小化損失函數(shù)的度量。

此時(shí)，廣義mahalanobis距離隆重登場(chǎng)。 $x_i$ 和 $x_j$ 之間的廣義mahalanobis距離表示為：

$D(x_i,x_j)=\sqrt{(x_i-x_j)^TM(x_i-x_j)}$ ? ? ?（6）

如果M=I，則退化為歐式距離。在本文模型中，對(duì)稱半正定矩陣 $M=W_dW_d^T$ ，其中W_d是SGCLL層中可訓(xùn)練的權(quán)重之一（SGCLL層只有三個(gè)可訓(xùn)練權(quán)重：這里的M(W_d),重參數(shù)化里的W,b），相當(dāng)于轉(zhuǎn)換到了可以計(jì)算 $x_i,x_j$ 歐式距離的空間。然后，用距離計(jì)算高斯核：

$G_{x_i,x_j}=\exp{(-D(x_i,x_j)/(2\sigma^2))}$ ? ? ?（7）

歸一化G之后，得到密集鄰接矩陣 $\hat{A}$ 。在模型中，最優(yōu)度量 $\hat{W}_d$ 能夠建立最優(yōu)的圖Laplacian集 $\hat{L}$ ，使得預(yù)測(cè)損失最小化。

3.1.3 特征轉(zhuǎn)換重參數(shù)化

為了建立類內(nèi)和類間結(jié)點(diǎn)特征映射，在SGC-LL層中，引入轉(zhuǎn)換矩陣和轉(zhuǎn)置向量應(yīng)用到輸出特征上。基于式5，輸出特征重參數(shù)化表示為：

$Y=(Ug_\theta(\Lambda)U^TX)W+b$ ? ? ? (8)

總之，在每個(gè)SGC-LL層，參數(shù){ $M_i,W_i,b_i$ }具有 $O(d_id_{i-1})$ 的學(xué)習(xí)復(fù)雜度，與圖的大小和度無關(guān)。在下一個(gè)SGC-LL層，譜卷積核將會(huì)在不同度量的另一個(gè)特征域上建立。

3.1.4 殘差圖Laplacian

大多數(shù)數(shù)據(jù)沒有天然的圖結(jié)構(gòu)，所以在送入網(wǎng)絡(luò)之前要給他們構(gòu)造一個(gè)圖結(jié)構(gòu)，最常見的情況就是圖是用無監(jiān)督方法構(gòu)造的，不能有效地對(duì)特定任務(wù)表達(dá)全部有意義的拓?fù)浣Y(jié)構(gòu)。以化合物為例，由SMILES序列給出的固有圖無法表達(dá)出與其毒性有關(guān)的任何信息，僅靠固有圖，很難學(xué)到關(guān)于毒性的有意義的表達(dá)。

由于沒有距離度量的先驗(yàn)知識(shí)，M隨機(jī)初始化，可能收斂很慢。為了加速訓(xùn)練過程并且提高學(xué)習(xí)到的圖結(jié)構(gòu)的穩(wěn)定性，本文提出合理的假設(shè)，最優(yōu)圖Laplacian $\hat{L}$ 是最初L的一個(gè)小變換： $\hat{L} =L+\alpha L_{res}$ .

換句話說，最初的L已經(jīng)包括了大量的有用圖結(jié)構(gòu)信息，但不包括那些由虛擬結(jié)點(diǎn)連接組成的子結(jié)構(gòu)，這些虛擬結(jié)點(diǎn)連接不能直接從固有圖中學(xué)習(xí)到。因此，本文就學(xué)殘差圖Laplacian $L_{res}(i)=L(M_i,X)$ ?(i表示第i個(gè)sample).SGC-LL層完整操作如算法1所示：

3.2 AGCN網(wǎng)絡(luò)

該網(wǎng)絡(luò)被稱為自適應(yīng)圖卷積網(wǎng)絡(luò)（AGCN），因?yàn)镾GC-LL層能夠根據(jù)數(shù)據(jù)和學(xué)習(xí)任務(wù)的上下文有效地學(xué)習(xí)自適應(yīng)圖拓?fù)浣Y(jié)構(gòu)。除SGC-LL層外，AGCN還具有Graph Max Pooling層和Graph Gather層。

3.2.1 Graph Max Pooling層

對(duì)于第v個(gè)結(jié)點(diǎn)特征 $x_v$ ，pooling將第j維特征 $x_v(j)$ 替換成它的鄰居結(jié)點(diǎn)和它自己的第j維特征中的最大值。N(v)是v的鄰居結(jié)點(diǎn)，則v的新特征為

$\hat{x}_v(j)=\max (\{x_v(j),x_i(j),\forall i\in N(v)\})$

3.2.2 Graph Gather層

將所有結(jié)點(diǎn)特征逐元素相加作為圖表示，用作graph-level的預(yù)測(cè)。不加Graph Gather層可作vertex-wise預(yù)測(cè)。

3.2.3 雙邊卷積核

作用是防止過擬合。通過增強(qiáng)L的空間局部性，正則化SGC-LL的激活。還用了BN層加速訓(xùn)練。

*空間局部性（Spatial Locality）：在最近的將來將用到的信息很可能與現(xiàn)在正在使用的信息在空間地址上是臨近的。（如果一個(gè)存儲(chǔ)器的位置被引用，那么將來他附近的位置也會(huì)被引用。）

3.2.4 網(wǎng)絡(luò)配置

AGCN包含了很多連續(xù)的組合層，其中的核心層就是SGC-LL.?一個(gè)組合層由一個(gè)SGC-LL層、一個(gè)BN層、一個(gè)Graph Max Pooling?層構(gòu)成。殘差圖Laplacian就是在每個(gè)SGC_LL中被訓(xùn)練，在Max Pooling中，適應(yīng)圖（固有圖+殘差圖）被再次使用直到下一個(gè)SGC-LL，因?yàn)镾GC-LL會(huì)做特征變換，所以下一個(gè)SGC-LL需要重新訓(xùn)練一個(gè)新的殘差圖。

經(jīng)過一個(gè)組合層，圖結(jié)構(gòu)就被更新了，但圖大小保持不變。任何的圖粗燥化或者特征平均都會(huì)破壞具有有用信息的圖局部結(jié)構(gòu)的完整性，所以用了Max Pooling并且不在卷積中跳過任何結(jié)點(diǎn)。測(cè)試是graph-wise?預(yù)測(cè)任務(wù)。

圖3 AGCN網(wǎng)絡(luò)結(jié)構(gòu)配置

3.3 不同圖的batch訓(xùn)練

將卷積運(yùn)用到圖結(jié)構(gòu)數(shù)據(jù)中的一個(gè)巨大挑戰(zhàn)就是要匹配訓(xùn)練樣本的不同局部拓?fù)浣Y(jié)構(gòu)：1）造成了設(shè)計(jì)卷積核的額外困難，因?yàn)榫矸e核的不變性不適用于圖，結(jié)點(diǎn)索引（node indexing）有時(shí)很重要；2）調(diào)整圖的大小或重塑圖對(duì)一些數(shù)據(jù)來說不合理，比如分子。不同于圖像和視頻在張量上運(yùn)用傳統(tǒng)卷積，不同拓?fù)浣Y(jié)構(gòu)的兼容性對(duì)于圖卷積而言非常有必要。這里提出的SGC-LL層訓(xùn)練獨(dú)立的圖Laplacian，可以適應(yīng)所有數(shù)據(jù)的局部拓?fù)浣Y(jié)構(gòu)。由于作者發(fā)現(xiàn)，正是特征空間和距離度量在構(gòu)建圖結(jié)構(gòu)中起到重要作用，SGC-LL層僅需要batch里的所有樣本去共享相同的轉(zhuǎn)換矩陣和距離矩陣。此外，訓(xùn)練參數(shù)僅取決于特征維數(shù)。因此，AGCN接受訓(xùn)練batch包含不同的拓?fù)浣Y(jié)構(gòu)和大小的原圖結(jié)構(gòu)數(shù)據(jù)樣本。注意，附加內(nèi)存消耗會(huì)被初始圖Laplacian所帶來，需要在訓(xùn)練之前構(gòu)建，并且仍然需要保留它們來更新核，然而，這是可接受的因?yàn)閳DLaplacian通常是稀疏的。

4 實(shí)驗(yàn)

實(shí)驗(yàn)比較了AGCN網(wǎng)絡(luò)和一些state-of-the-art的圖CNN：graphconv, NFP, GCN.?實(shí)驗(yàn)結(jié)果表明，AGCN比所有現(xiàn)存的圖CNN表現(xiàn)的都好，并且解釋了SGC-LL層是如何增強(qiáng)效果的。

4.1 SGC-LL層增強(qiáng)效果

圖4?C20N2O5S（丙硫克百威）結(jié)點(diǎn)28×28相似矩陣的兩個(gè)熱圖

SGC-LL層中的譜卷積核建立在自適應(yīng)圖上，包括個(gè)體圖（individual graph）和殘差圖（residual graph），個(gè)體圖是由數(shù)據(jù)本身直接得到的固有圖，或是由聚類得到的，個(gè)體圖使得網(wǎng)絡(luò)能夠讀取不同結(jié)構(gòu)的數(shù)據(jù)。此外，圖將在訓(xùn)練過程中被更新，因此網(wǎng)絡(luò)被訓(xùn)練來對(duì)訓(xùn)練數(shù)據(jù)優(yōu)化距離度量和特征轉(zhuǎn)換。實(shí)驗(yàn)表明，更新圖和網(wǎng)絡(luò)表現(xiàn)密切相關(guān)。圖4中，如果放大來看，很容易發(fā)現(xiàn)20個(gè)epoch之后結(jié)點(diǎn)相似度的明顯不同。這意味著化合物經(jīng)過訓(xùn)練后圖結(jié)構(gòu)的距離度量被更新了。同時(shí)，加權(quán)l(xiāng)2損失在前20個(gè)epoch中驟然下降，平均RMSE也一樣。此外，RMSE和loss曲線證明了AGCN（紅線）在收斂速度和預(yù)測(cè)準(zhǔn)確度方面都力壓其他圖CNN（圖5）。這主要?dú)w功于適應(yīng)性圖和SGC-LL層中殘差Laplacian?的學(xué)習(xí)。

圖5 (1)訓(xùn)練損失；(2)Delaney數(shù)據(jù)集上溶解度值預(yù)測(cè)的RMSE評(píng)分

4.2?分子數(shù)據(jù)集的多任務(wù)預(yù)測(cè)

Delany數(shù)據(jù)集包括1144種低分子化合物的水溶性數(shù)據(jù)。數(shù)據(jù)集中最大的化合物有492個(gè)原子，最小的僅有3個(gè)原子。NCI數(shù)據(jù)集包括20000種化合物和60個(gè)預(yù)測(cè)任務(wù)，從藥物反應(yīng)試驗(yàn)到臨床藥理學(xué)研究。Az-logD數(shù)據(jù)集提供4200種化合物滲透性的logD測(cè)量。此外，還有一個(gè)包括642種化合物的小數(shù)據(jù)集用來進(jìn)行水化自由能研究。所提出的任務(wù)平均RMSE評(píng)分和標(biāo)準(zhǔn)差在5倍交叉驗(yàn)證后得到。

Tox21數(shù)據(jù)集包括7950種化學(xué)化合物和12次實(shí)驗(yàn)的毒性分類標(biāo)簽。然而，額外的困難來自于這12次任務(wù)中有部分標(biāo)簽遺失，對(duì)于遺失標(biāo)簽的數(shù)據(jù)，不對(duì)它們計(jì)算loss，但仍放在訓(xùn)練集中。ClinTox是一個(gè)公開數(shù)據(jù)集，包括1451種用于臨床毒理學(xué)研究的化合物以及兩個(gè)任務(wù)的標(biāo)簽。Sider數(shù)據(jù)集記錄了1392種藥物和它們27種不同的副作用或不良反應(yīng)。Toxcast是另一個(gè)毒理學(xué)研究數(shù)據(jù)集，包含8599簡(jiǎn)化分子線性輸入規(guī)范SMILES和617個(gè)預(yù)測(cè)任務(wù)的標(biāo)簽。對(duì)于N任務(wù)預(yù)測(cè)，網(wǎng)絡(luò)圖模型將成為具有n個(gè)葉節(jié)點(diǎn)的k元樹的模擬模型，每個(gè)葉節(jié)點(diǎn)由一個(gè)全連接層和一個(gè)邏輯回歸組成。

為證明AGCN的優(yōu)勢(shì)，實(shí)驗(yàn)比較了它和其他三個(gè)state-of-the-art圖CNN模型：第一個(gè)譜圖CNN（graphconv）（基于樣條插值），K-局域譜核的擴(kuò)展（GCN），神經(jīng)指紋——分子的尖端神經(jīng)網(wǎng)絡(luò)（NFP）。表1中，AGCN在Delaney數(shù)據(jù)集上將平均RMSE降低了31%-40%，在az_logd上平均降低了15%，在NCI測(cè)試集上平均降低了2%-4%。在數(shù)據(jù)較短（short）的情況下，對(duì)隱藏結(jié)構(gòu)的自適應(yīng)圖和剩余Laplacian學(xué)習(xí)更有用。根據(jù)表2中的多任務(wù)分類結(jié)果，注意到，AGCN顯著提高了小數(shù)據(jù)集和大數(shù)據(jù)集的準(zhǔn)確性。對(duì)于617個(gè)toxcast任務(wù)，與現(xiàn)有技術(shù)相比，分級(jí)機(jī)的性能平均提高了3%（0.03）。

表1 各數(shù)據(jù)集RMSE均值與標(biāo)準(zhǔn)差

表2 任務(wù)平均ROC-AUC分?jǐn)?shù)

分子圖，直接由化學(xué)式給出，是化合物數(shù)據(jù)的固有圖。它們?cè)谕負(fù)浣Y(jié)構(gòu)和圖的大小方面都高度不一致。（這里跳過解釋graphconv和GCN不足之處……）

這里夸一夸本文的AGCN：AGCN可以更好地處理分子數(shù)據(jù)。自適應(yīng)圖允許輸入樣本有獨(dú)特的圖Laplacian，所以每種化合物實(shí)際上都有根據(jù)其拓?fù)浣Y(jié)構(gòu)來定制的獨(dú)特卷積核。有了這種能力，我們可以喂給網(wǎng)絡(luò)原始數(shù)據(jù)（原子/邊特征，分子圖），沒有任何的信息丟失。此外，SGC-LL層訓(xùn)練距離度量，和其他轉(zhuǎn)換參數(shù)一起最小化指定任務(wù)的預(yù)測(cè)損失。因此，收斂時(shí)，在每層SGC-LL，我們可以找到最優(yōu)特征空間和距離度量去建立最合適該任務(wù)的圖結(jié)構(gòu)，這種學(xué)習(xí)到的圖可能包括原來分子圖中不存在的新的邊。

4.3 點(diǎn)云物體分類

悉尼城市點(diǎn)云數(shù)據(jù)集包含了631個(gè)街景掃描物體，共26個(gè)種類。由于物體的實(shí)際尺寸和形狀不同，掃描物體的接收點(diǎn)個(gè)數(shù)也不同。（自行車：124個(gè)點(diǎn)，卡車：615個(gè)點(diǎn)，行人：78個(gè)點(diǎn)）

以前的CNN模型在輸入點(diǎn)集之前需要通過下采樣來統(tǒng)一尺寸，這會(huì)損失部分結(jié)構(gòu)信息。而AGCN克服了這種缺點(diǎn)，可以接受不同尺寸的原始點(diǎn)集。以前的圖卷積共享一個(gè)卷積核，但是它可能會(huì)混合點(diǎn)上的特征，無視實(shí)際距離。而AGCN可以根據(jù)空間關(guān)系準(zhǔn)確地做卷積。點(diǎn)云的初始圖由層次聚類方法建立，目前點(diǎn)云識(shí)別最前沿的方法PointNet也無法處理不同尺寸的點(diǎn)云數(shù)據(jù)。

5次交叉驗(yàn)證后，在包含200個(gè)樣本的測(cè)試集上計(jì)算平均AUC-ROC得分，從表3中可以看出AGCN在所有樣本平均得分上比其他圖CNN高3-6%。對(duì)于大物體如建筑，AUC得分接近1，其他網(wǎng)絡(luò)表現(xiàn)差因此他們首先把圖結(jié)構(gòu)變粗糙了。對(duì)于重要的道路物體比如信號(hào)燈，AGCN也提升了10%的ROC-AUC分類準(zhǔn)確率。這有效說明AGCN能夠提取到更有意義的特征。輸入到AGCN的數(shù)據(jù)的信息完整性也有助于提高性能，這歸功于在SGC-LL層上構(gòu)造和學(xué)習(xí)的自適應(yīng)圖。

表3 測(cè)試集平均AUC-ROC得分

5 結(jié)論

本文提出了一種新的頻譜圖卷積器（SGC-LL）與自適應(yīng)圖一起工作。SGC-LL通過學(xué)習(xí)最優(yōu)度量和特征轉(zhuǎn)換形式來學(xué)習(xí)殘差圖Laplacian。據(jù)我們所知，AGCN是第一個(gè)接受任意圖結(jié)構(gòu)和大小的數(shù)據(jù)的圖CNN。殘差Laplacian函數(shù)的監(jiān)督訓(xùn)練驅(qū)動(dòng)模型更好地適應(yīng)預(yù)測(cè)任務(wù)。對(duì)各種圖形結(jié)構(gòu)數(shù)據(jù)進(jìn)行的大量多任務(wù)學(xué)習(xí)實(shí)驗(yàn)表明，在各種預(yù)測(cè)任務(wù)上，AGCN優(yōu)于最先進(jìn)的圖CNN模型。

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

論文 | 圖網(wǎng)絡(luò)理論之AGCN

論文 | 圖網(wǎng)絡(luò)理論之AGCN

Adaptive Graph Convolutional Neural Networks

摘要

1 文章簡(jiǎn)介

2 相關(guān)工作