前言
當(dāng)前人工智能發(fā)展勢(shì)頭迅猛，繼OpenAI問世以來，國內(nèi)外相繼出現(xiàn)了許多的AI大數(shù)據(jù)模型，隨著DeepSeek（深度求索）正式發(fā)布DeepSeek-R1大模型，2025年1月26日起，蘋果App Store中國區(qū)免費(fèi)榜顯示DeepSeek站上了首位，同時(shí)在美區(qū)蘋果App Store 免費(fèi)榜從26日的第6位飆升至第一位。DeepSeek-R1在數(shù)學(xué)、代碼、自然語言推理等任務(wù)上，其性能已堪比比肩。
OpenAI o1正式版。人工智能的發(fā)展儼然已成大勢(shì)之所趨。
集成DeepSeek到本地私有化環(huán)境，可以為企業(yè)或個(gè)人帶來多方面的優(yōu)勢(shì)，尤其是在數(shù)據(jù)安全、定制化需求以及性能優(yōu)化等方面。在此，對(duì)其以下的優(yōu)點(diǎn)不做過多的贅述，當(dāng)前文檔圍繞著DeepSeek的私有化本地部署及模型進(jìn)行詳細(xì)的闡述。
1、安裝ollama
1.1.首先我們需要在我們本地安裝ollama，其官網(wǎng)鏈接為https://ollama.com/, 如果官網(wǎng)下載較慢可以訪問我個(gè)人的百度網(wǎng)盤：安裝文件
鏈接: https://pan.baidu.com/s/1L8IeyOuU6GyqXakmHk63PA?pwd=GSKJ 提取碼: GSKJ
--來自百度網(wǎng)盤超級(jí)會(huì)員v5的分享
直接獲取并下載OllamaSetup.exe的安裝包。
此處下載以Windows版本為例：
下載完成后會(huì)得到OllamaSetup.exe的文件。
此處需要合理安排電腦硬盤的存儲(chǔ)空間。
1.2.安裝過程中，Ollama會(huì)默認(rèn)安裝在C盤的特定路徑下，例如C:\Users%username%\AppData\Local\Programs\Ollama
安裝完成后輸入Win + R，輸入cmd進(jìn)入，輸入ollama并回車，顯示如下：
此時(shí)如果輸入ollama list 則會(huì)顯示空，原因是沒有安裝大模型，所以接下來第二步：安裝大模型。
2、安裝DeepSeek-R1 XXB的大模型
2.1.配置環(huán)境變量：我的電腦->高級(jí)系統(tǒng)設(shè)置（兩處配置）
第一步配置好系統(tǒng)變量：
第二步配置用戶變量新建用戶變量，注意變量名以及模型的存放位置，設(shè)置好路徑，路徑由當(dāng)前電腦的用戶自行安排
設(shè)置好后需要點(diǎn)擊確認(rèn)保存環(huán)境變量，一定要重啟ollama，不然依然會(huì)安裝到C盤，占用較大的C盤的存儲(chǔ)空間，會(huì)影響電腦的響應(yīng)速度。
重啟方法：在右下角找到羊駝圖標(biāo)，右鍵或者單擊，在彈出的下拉框選擇Quit Ollama，然后Win+R打開cmd，輸入ollama回車即可
等后面下載了大模型后，直接ollama run 模型名字便可直接打開模型。
2.2. 模型下載
初學(xué)者建議以7b（7億訓(xùn)練參數(shù)）或者8b（8億訓(xùn)練參數(shù)）為基礎(chǔ)
此處我們以7b為例，需要考慮到我們電腦的內(nèi)存大小以及顯卡內(nèi)存等。
不想下載或者出現(xiàn)下載時(shí)出現(xiàn)Error: pull model manifest: Get “https://registry.ollama.ai/v2/library/xxxx” 的可以直接從我百度網(wǎng)盤中獲取大模型版本：
通過網(wǎng)盤分享的文件：
鏈接: https://pan.baidu.com/s/1OArULcEtrISP-bk717qdLA?pwd=GSKJ 提取碼: GSKJ
--來自百度網(wǎng)盤超級(jí)會(huì)員v5的分享
安裝好之后運(yùn)行ollama list則會(huì)出現(xiàn)列表Send a message
然后你就可以在>>> 發(fā)送你提出的問題了。
恭喜你，說明你的deepseek安裝成功了！就可以跟它對(duì)話了，我提問了“你是誰”：
但是一直在命令行里溝通是不是不夠友好和方便，接下來我們安裝可視化工具chatBox。
2.3. 安裝可視化工具: chatbox 官網(wǎng)：<u>https://chatboxai.app</u>
如果不想下載可以訪問：
鏈接: https://pan.baidu.com/s/1L8IeyOuU6GyqXakmHk63PA?pwd=GSKJ 提取碼: GSKJ
獲取安裝包；
安裝成功后：
此時(shí)我們還需要配置設(shè)置，設(shè)置使用自己的API Key或者本地模型：
跳出頁面選擇模型，我們選擇Ollama API, 最后我們選擇我們已經(jīng)安裝好的deepseek模型就OK了。
現(xiàn)在我們來使用大模型進(jìn)行對(duì)話：
至此，基礎(chǔ)版的Deepseek本地私有化已經(jīng)部署好了。
3、基于MaxKB+DeepSeek搭建知識(shí)庫問答系統(tǒng)
3.1. MaxKB部署 MaxKB是一款基于LLM大語言模型的知識(shí)庫問答系統(tǒng)，其主要特點(diǎn)：支持多模型、開箱即用、支持零代碼快速嵌入到第三方系統(tǒng)
MaxKB可以通過Docker進(jìn)行部署
安裝Docker Desktop：
下載方式 <u>https://www.docker.com/products/docker-desktop/</u> （官網(wǎng)下載）
如果不想下載可以訪問：
鏈接: https://pan.baidu.com/s/1L8IeyOuU6GyqXakmHk63PA?pwd=GSKJ 提取碼: GSKJ 獲取安裝包；
避坑配置：如果Docker Desktop本地安裝好之后，打開后出現(xiàn)Docker Engine stopped，說明此時(shí)你的docker并沒有正常啟動(dòng)。
此時(shí)解決辦法有如下：
3.1.1. 檢查Docker服務(wù)是否開啟
3.1.2.檢查Hyper-V是否安裝并勾選
3.1.3.檢查 bcdedit的hypervisorlaunchtype是否為Auto
cmd進(jìn)入到終端后輸入bcdedit 查看hypervisorlaunchtype屬性
3.1.4.檢查CPU是否開始虛擬化
3.1.5.檢查wsl 是否開啟，勾選適用于Linux的Windows子系統(tǒng)檢查更新
cd C:\WINDOWS\system32下執(zhí)行 wsl --update
wsl更新后重啟電腦，可能需要配置幾分鐘，然后進(jìn)入到桌面上再打開
docker Desktop 如下
3.2.在線安裝：
3.3.部署完成后我們可以看到在docker Desktop界面出現(xiàn)了container和images里存在了MaxKB.
此時(shí)，打開本地ip （當(dāng)然如果裝在服務(wù)器上，這里就用的是服務(wù)器的ip或者映射ip）,端口
可以用8080也可以用其他已開放的端口。
登錄進(jìn)入后：
3.4.MaxKB配置及使用
添加模型選擇ollama：
再提供一種除了用自己私有的ollama外還可以引用外部的大模型 例如阿里的通義千問、文心一言、豆包、智譜AI等
如果想要使用的話，先看下Maxkb支持哪些，然后自己可以網(wǎng)上去查對(duì)應(yīng)的語言模型進(jìn)行開通并設(shè)置其API Key等.
3.4.知識(shí)庫的創(chuàng)建
未創(chuàng)建你之前空白的
根據(jù)自身的需要導(dǎo)入的信息庫大類進(jìn)行取名
上傳文檔時(shí)也會(huì)對(duì)導(dǎo)入的文檔進(jìn)行拆分，這里我們可以對(duì)拆分的數(shù)據(jù)進(jìn)行管理。點(diǎn)擊開始導(dǎo)入
創(chuàng)建問題（信息投喂）：
命中測(cè)試：
3.5創(chuàng)建應(yīng)用
進(jìn)入概覽，復(fù)制公開訪問鏈接，并拷貝到瀏覽器中打開
至此，已完成DeepSeek私有化本地部署及搭建本地語言問答知識(shí)庫體系，可根據(jù)所需要使用的信息情況按照企業(yè)的需求對(duì)知識(shí)庫內(nèi)的問答進(jìn)行添加。添加完成后刷新知識(shí)庫，并重新打開鏈接輸入問題，即可按照問題給出響應(yīng)的回答。
注：我們也可以通過python3+open-webui以及其他等方式私有化部署管理大模型實(shí)現(xiàn)Deepseek ri的AI對(duì)話。
