論文是專門為了解決自洽性 在生成式 LLM(Generative LLM) 模型中對(duì)百科 知識(shí)回憶 效果不夠明確的問(wèn)題。在該片論文之前還未有專門探討該問(wèn)題的論文。文章給出的解決的方案如下：在已經(jīng)擁有研究的數(shù)據(jù)驅(qū)動(dòng)的啟發(fā)式方案之上與廣泛受到歡迎的 MMLU 的基本標(biāo)準(zhǔn)之上，設(shè)計(jì)了一個(gè)專門用于知識(shí)回憶的部分，并通過(guò)驗(yàn)證該子集在符號(hào)推理和知識(shí)回憶任務(wù)上的性能模式分別與 MedMCQA 和 GSM8K 一致來(lái)解決上述的問(wèn)題。在這個(gè)基礎(chǔ)上，研究主要發(fā)現(xiàn)的自洽性問(wèn)題即使主要依賴于思維鏈（CoT）的提示機(jī)制，仍然能夠?qū)崿F(xiàn)了 GPT-4o （OpenAI的知名模型）在 MMLU 上 89% 的準(zhǔn)確率，同時(shí)持續(xù)優(yōu)化了大語(yǔ)言模型在知識(shí)回憶和符號(hào)推理兩個(gè)問(wèn)題處理方向的表現(xiàn)，所以成為了當(dāng)前的最優(yōu)結(jié)果……

論文標(biāo)題: Does Self-Consistency Improve the Recall of Encyclopedic Knowledge?

鏈接: https://arxiv.org/abs/2604.19395

作者: Sho Hoshino,Ukyo Honda,Peinan Zhang