Ubuntu+Dify+Ollama+DeepSeek R1+知識(shí)庫(kù)(本地部署)

1、安裝docker環(huán)境

??? 可以自行搜索docker安裝教程

2、下載dify代碼倉(cāng)庫(kù),運(yùn)行docker-compose

??? git clone https://github.com/langgenius/dify.git

??? docker compose up -d

3、安裝ollama

??? curl-fsSL https://ollama.com/install.sh | sh

??? export OLLAMA_HOST="0.0.0.0:11434"

??? ollama server &

4、運(yùn)行deepseek R1模型

??? ollama run deepseek-r1:1.5b

5、ollama拉取text embedding模型

??? ollama pull nomic-embed-text

6、dify設(shè)置模型提供商

6.1、設(shè)置ollama deepseek r1模型接口

??? 在dify設(shè)置中,設(shè)置模型圖提供商,選擇ollama。

??? 然后根據(jù)硬件條件選擇部署模型,本文使用個(gè)人pc(12核32G內(nèi)存),無(wú)gpu,純cpu推理環(huán)境,選擇最小的參數(shù)版本:1.5B


ollama deepseek r1模型

6.2、設(shè)置ollama text embedding模型接口

??? 同樣,在模型提供商設(shè)置界面,選擇ollama,設(shè)置文本向量嵌入模型,用于后續(xù)知識(shí)庫(kù)的高級(jí)檢索。


設(shè)置向量模型

7、創(chuàng)建知識(shí)庫(kù)

??? 在dify導(dǎo)航欄選擇知識(shí)庫(kù),按照界面提示新建知識(shí)庫(kù)


創(chuàng)建知識(shí)庫(kù)

??? 如果按照上文拉取了text embedding模型,在知識(shí)庫(kù)設(shè)置中,就可以選擇embedding模型、高精度檢索,否則只能選擇默認(rèn)的關(guān)鍵字檢索??商岣咧R(shí)庫(kù)檢索準(zhǔn)確性,提升效果。


知識(shí)庫(kù)設(shè)置

8、創(chuàng)建應(yīng)用

??? 創(chuàng)建簡(jiǎn)單的知識(shí)庫(kù)搜索,模型問(wèn)答應(yīng)用,選擇新建空白應(yīng)用即可,在應(yīng)用設(shè)置界面選擇關(guān)聯(lián)的知識(shí)庫(kù)。


新建應(yīng)用

應(yīng)用設(shè)置,關(guān)聯(lián)知識(shí)庫(kù)


聊天應(yīng)用關(guān)聯(lián)知識(shí)庫(kù)

如果有復(fù)雜需求,可新建工作流應(yīng)用,編輯工作流,完成復(fù)雜工作。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容