發(fā)簡(jiǎn)信
IP屬地：新疆
-
大模型算法面試筆記——多頭潛在注意力（MLA）
注意力機(jī)制解決的問(wèn)題：傳統(tǒng)序列處理模型如RNN和LSTM，捕捉長(zhǎng)距離依賴關(guān)系的難題。注意力機(jī)制允許模型在序列的不同位置之間建立直接聯(lián)系，有效捕捉...
-
tkgqa/gnn1 ARI（ACL2024） 主要分為兩個(gè)階段：基于知識(shí)的交互和知識(shí)無(wú)關(guān)推理。 基于知識(shí)的交互：提取子圖，建立候選動(dòng)作集，過(guò)濾得到與問(wèn)題相似度高...
-
Q-KGR精讀筆記原文：https://arxiv.org/abs/2410.01401[https://arxiv.org/abs/2410.01401] 知識(shí)...
-
QA論文泛讀筆記@[toc] 使用WebQSP結(jié)果較好：ChatKBQA、GoG使用多跳推理數(shù)據(jù)集HotpotQA等：KGP-T5，LongRAG，GNN-Re...
-
大模型基礎(chǔ)知識(shí)學(xué)習(xí)筆記之Tokenizer1 Tokenizer的作用 將文本序列轉(zhuǎn)化為數(shù)字序列，作為transformer輸入 是訓(xùn)練和微調(diào)LLM必不可少的一部分 2 三種不同分詞粒度...
-
POP-3D（NeurIPS 2023）精讀筆記1 介紹 輸入：同一相機(jī)位置的環(huán)視圖像組輸出：密集的3D語(yǔ)言嵌入體素圖，該圖能夠支持一系列開放詞匯量的任務(wù)。 主要分為三步： 2D-3D編碼器從...
-
QA論文精讀筆記RAG-KG 1 概述 傳統(tǒng)的大模型（LLMs）檢索增強(qiáng)生成（RAG）法將大量過(guò)去的問(wèn)題作為純文本處理，忽略了內(nèi)部結(jié)構(gòu)和聯(lián)系，本文介紹一種新的客...
-
節(jié)點(diǎn)分類論文筆記1 Disambiguated Node Classification with Graph Neural Networks （待續(xù)） 2 LA...
-
QA/推理/節(jié)點(diǎn)分類方法概覽數(shù)據(jù)集對(duì)比 QA不同方法以及實(shí)驗(yàn)結(jié)果 KAPING KAPING：從KG中獲取相關(guān)信息放到輸入中，再通過(guò)LLMs進(jìn)行檢索。挑戰(zhàn)：從KG中獲取到的...