2021-02-14 (Twitter大規(guī)模圖學(xué)習框架)

Twitter提出大規(guī)模圖上學(xué)習框架-SIGN
https://zhuanlan.zhihu.com/p/267815920
SIGN是一種摒棄采樣策略的方法,受Wu 等人的論文「Simplifying Graph Convolutional Networks」的啟發(fā),只擁有一個多跳信息傳播層的 GCN 模型可以擁有與具有多個信息傳播層的模型相當?shù)男阅堋?br>

SIGN 架構(gòu)包含一個類似于 GCN 的層,它帶有多個線性傳播算子,這些算子可能作用于多跳鄰居節(jié)點。在這個層后面,會連接著一個面向節(jié)點級別應(yīng)用的多層感知機。該架構(gòu)之所以具有較高的計算效率,是由于對被傳播的特征的預(yù)計算(如圖中紅色部分所示),面向的是節(jié)點分類級任務(wù)。

這種做法(主要操作還是得看論文的公式)有效地將整體模型的計算復(fù)雜度降低到了與多層感知機相同的水平上。此外,通過將信息傳播過程轉(zhuǎn)移到預(yù)計算步驟中,我們可以聚合來自所有鄰居節(jié)點的信息,從而避免采樣過程及其可能帶來的信息損失與偏置。

SIGN 主要的優(yōu)點在于其可擴展性與效率,我們可以使用標準的 mini-batch 梯度下降方法訓(xùn)練它。最終的實驗結(jié)果比ClusterGCN好,與GraphSAINT相當。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容