1 文本Embedding
將整個(gè)文本轉(zhuǎn)化為實(shí)數(shù)向量的技術(shù)。
Embedding優(yōu)點(diǎn)是可將離散的詞語(yǔ)或句子轉(zhuǎn)化為連續(xù)的向量，就可用數(shù)學(xué)方法來(lái)處理詞語(yǔ)或句子，捕捉到文本的語(yǔ)義信息，文本和文本的關(guān)系信息。
? 優(yōu)質(zhì)的Embedding通常會(huì)讓語(yǔ)義相似的文本在空間中彼此接近：
? 優(yōu)質(zhì)的Embedding相似的語(yǔ)義關(guān)系可以通過(guò)向量的算術(shù)運(yùn)算來(lái)表示：
2 文本Embedding模型的演進(jìn)與選型
目前的向量模型從單純的基于 NLI 數(shù)據(jù)集（對(duì)稱(chēng)數(shù)據(jù)集）發(fā)展到基于混合數(shù)據(jù)（對(duì)稱(chēng)+非對(duì)稱(chēng)）進(jìn)行訓(xùn)練，即可以做 QQ召回任務(wù)也能夠做 QD 召回任務(wù)，通過(guò)添加 Instruction 來(lái)區(qū)分這兩類(lèi)任務(wù)，只有在進(jìn)行 QD 召回的時(shí)候，需要對(duì)用戶 query 添加上 Instruction 前綴。
3 VDB通用Embedding模型
模型選擇：
GPU資源：
4 VDB垂類(lèi)Embedding模型
用戶提供垂類(lèi)文檔數(shù)據(jù)，VDB對(duì)模型進(jìn)行微調(diào)，助力垂類(lèi)應(yīng)用效果更進(jìn)一步。
優(yōu)化1
對(duì)比學(xué)習(xí)拉近同義文本的距離，推遠(yuǎn)不同文本的距離
優(yōu)化2
短文本匹配和長(zhǎng)文本匹配使用不同prompt，提升非對(duì)稱(chēng)類(lèi)文本效果
優(yōu)化3
預(yù)訓(xùn)練階段提升基座模型面向檢索的能力，對(duì)比學(xué)習(xí)階段提高負(fù)樣本數(shù)
5 存儲(chǔ)、檢索向量數(shù)據(jù)
5.1 為啥需要一個(gè)專(zhuān)用的向量數(shù)據(jù)庫(kù)
- 查詢方式與傳統(tǒng)數(shù)據(jù)庫(kù)存在區(qū)別
- 簡(jiǎn)單易用，無(wú)需關(guān)心細(xì)節(jié)
- 為相似性檢索設(shè)計(jì)，天生性能優(yōu)勢(shì)
5.2 騰訊云向量數(shù)據(jù)庫(kù)的優(yōu)勢(shì)
“首家”：
- 通過(guò)信通院的標(biāo)準(zhǔn)化性能和規(guī)模測(cè)試
- 支持千億級(jí)向量規(guī)模和最高500W QPS
自研：
- 內(nèi)核源自集團(tuán)自研OLAMA引擎
- 內(nèi)部已有40+業(yè)務(wù)接入
性價(jià)比：
- 性能領(lǐng)先業(yè)內(nèi)平均水平1.5倍
- 同時(shí)客戶成本降低20%
6 VDB優(yōu)勢(shì)
流程簡(jiǎn)化
模型簡(jiǎn)化：
共享GPU集群：
7 商用向量數(shù)據(jù)庫(kù)
消除大模型幻覺(jué)，加速大模型在企業(yè)落地，如騰訊云：
7.1 端到端AI套件，AGI時(shí)代的知識(shí)庫(kù)解決方案
提供一站式知識(shí)檢索方案，實(shí)現(xiàn)業(yè)界內(nèi)最高召回率、大幅降低開(kāi)發(fā)門(mén)檻，幫助企業(yè)快速搭建RAG應(yīng)用，解決大模型幻覺(jué)問(wèn)題。
7.2 源自集團(tuán)多年積累，產(chǎn)品能力行業(yè)領(lǐng)先
源自騰訊自研向量檢索引擎OLAMA，集團(tuán)內(nèi)部40+業(yè)務(wù)線上使用，日均處理1600億次檢索請(qǐng)求。
- 『首家』通過(guò)中國(guó)信通院向量數(shù)據(jù)庫(kù)標(biāo)準(zhǔn)測(cè)試
- 單索引支持最高千億級(jí)超大數(shù)據(jù)規(guī)模
- 單實(shí)例最高可達(dá)500萬(wàn) QPS
關(guān)注我，緊跟本系列專(zhuān)欄文章，咱們下篇再續(xù)！
作者簡(jiǎn)介：魔都架構(gòu)師，多家大廠后端一線研發(fā)經(jīng)驗(yàn)，在分布式系統(tǒng)設(shè)計(jì)、數(shù)據(jù)平臺(tái)架構(gòu)和AI應(yīng)用開(kāi)發(fā)等領(lǐng)域都有豐富實(shí)踐經(jīng)驗(yàn)。
各大技術(shù)社區(qū)頭部專(zhuān)家博主。具有豐富的引領(lǐng)團(tuán)隊(duì)經(jīng)驗(yàn)，深厚業(yè)務(wù)架構(gòu)和解決方案的積累。
負(fù)責(zé)：
- 中央/分銷(xiāo)預(yù)訂系統(tǒng)性能優(yōu)化
- 活動(dòng)&券等營(yíng)銷(xiāo)中臺(tái)建設(shè)
- 交易平臺(tái)及數(shù)據(jù)中臺(tái)等架構(gòu)和開(kāi)發(fā)設(shè)計(jì)
- 車(chē)聯(lián)網(wǎng)核心平臺(tái)-物聯(lián)網(wǎng)連接平臺(tái)、大數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)及優(yōu)化
- LLM應(yīng)用開(kāi)發(fā)
目前主攻降低軟件復(fù)雜性設(shè)計(jì)、構(gòu)建高可用系統(tǒng)方向。
參考：
本文由博客一文多發(fā)平臺(tái) OpenWrite 發(fā)布！
