發(fā)簡信
IP屬地：安徽
-
大模型算法面試筆記——多頭潛在注意力（MLA）
注意力機制解決的問題：傳統(tǒng)序列處理模型如RNN和LSTM，捕捉長距離依賴關(guān)系的難題。注意力機制允許模型在序列的不同位置之間建立直接聯(lián)系，有效捕捉...
-
tkgqa/gnn1 ARI（ACL2024） 主要分為兩個階段：基于知識的交互和知識無關(guān)推理。 基于知識的交互：提取子圖，建立候選動作集，過濾得到與問題相似度高...
-
Q-KGR精讀筆記原文：https://arxiv.org/abs/2410.01401[https://arxiv.org/abs/2410.01401] 知識...
-
QA論文泛讀筆記@[toc] 使用WebQSP結(jié)果較好：ChatKBQA、GoG使用多跳推理數(shù)據(jù)集HotpotQA等：KGP-T5，LongRAG，GNN-Re...
-
大模型基礎(chǔ)知識學(xué)習(xí)筆記之Tokenizer1 Tokenizer的作用 將文本序列轉(zhuǎn)化為數(shù)字序列，作為transformer輸入 是訓(xùn)練和微調(diào)LLM必不可少的一部分 2 三種不同分詞粒度...
-
POP-3D（NeurIPS 2023）精讀筆記1 介紹 輸入：同一相機位置的環(huán)視圖像組輸出：密集的3D語言嵌入體素圖，該圖能夠支持一系列開放詞匯量的任務(wù)。 主要分為三步： 2D-3D編碼器從...
-
QA論文精讀筆記RAG-KG 1 概述 傳統(tǒng)的大模型（LLMs）檢索增強生成（RAG）法將大量過去的問題作為純文本處理，忽略了內(nèi)部結(jié)構(gòu)和聯(lián)系，本文介紹一種新的客...
-
節(jié)點分類論文筆記1 Disambiguated Node Classification with Graph Neural Networks （待續(xù)） 2 LA...
-
QA/推理/節(jié)點分類方法概覽數(shù)據(jù)集對比 QA不同方法以及實驗結(jié)果 KAPING KAPING：從KG中獲取相關(guān)信息放到輸入中，再通過LLMs進行檢索。挑戰(zhàn)：從KG中獲取到的...