干美女视屏,大香蕉久久伊人AV,中文字幕精品人妻一区

原文：https://arxiv.org/abs/2410.01401

知識(shí)圖譜問(wèn)答（KGQA）通常先從大規(guī)模的知識(shí)圖譜中檢索出一個(gè)與目標(biāo)問(wèn)題相關(guān)的子圖作為處理查詢的基礎(chǔ)。然而這個(gè)子圖往往包含不相關(guān)的噪聲信息。本文提出了一種知識(shí)圖譜重評(píng)分（Q-KGR）的方法，旨在消除噪聲路徑，使模型能夠更加專注于相關(guān)的知識(shí)。除此之外，本文還引入了一種參數(shù)高效的方法Knowformer，用于將重評(píng)分后的知識(shí)圖譜注入到大模型中，以增強(qiáng)其事實(shí)推理能力。

1 方法

1.1 問(wèn)題導(dǎo)向的知識(shí)圖譜重評(píng)分

評(píng)分主要計(jì)算子圖每條邊和問(wèn)題的相似度，方法如下：

對(duì)子圖的節(jié)點(diǎn)對(duì)通過(guò)PLM（pre-trained language model）編碼成 $e_s$ ， $e_o$ 。
將問(wèn)題通過(guò)同一個(gè)PLM進(jìn)行編碼，然后通過(guò)一個(gè)平均池化層聚合成 $e_q$ 。
最后通過(guò)一個(gè)雙線性層輸出每條邊的相關(guān)性分?jǐn)?shù)
$\eta=Normalize(Bilinear([e_x,e_o],e_q))$

1.2 重評(píng)分知識(shí)圖譜建模

增加了一個(gè)連接所有主題節(jié)點(diǎn)的全局節(jié)點(diǎn)（global node），以此拓展了圖注意力網(wǎng)絡(luò)（GAT）。節(jié)點(diǎn) $\mathcal{V}_t$ 層間更新公式如下：
$h^{(l+1)}_t=f_m(\sum_{s\in N_t \cup\{t\}}\alpha_{st}m_{st})+h^{l}_t$

$f_m$ ：兩層MLP。
$N_t$ ： $\mathcal{V}_t$ 的鄰居節(jié)點(diǎn)。
$\alpha_{st}$ ：權(quán)重，實(shí)際計(jì)算方式為注意力分?jǐn)?shù)和前面計(jì)算的邊相關(guān)性分?jǐn)?shù)的乘積。
$m_{st}$ ：節(jié)點(diǎn)信息。

其中，全局節(jié)點(diǎn)的初始化表示為0。

1.3 Knowformer

用Knowformer層替換最接近LLM輸出的 $M$ 個(gè)Transformer層，將結(jié)構(gòu)化知識(shí)信息注入到LLM中。注入方法是將圖結(jié)構(gòu)信息拼接到key-value矩陣上：
$FFN(x)=(x ·[key:\phi_k])·[value:\phi_v]$
其中 $\phi_k=Pr_kh$ ， $\phi_v=Pr_vh$ ， $Pr_k$ ， $Pr_v$ 是兩個(gè)參數(shù)矩陣。