相關(guān)鏈接
B站教程視頻 1700多種開源大模型隨意部署！一鍵本地搭建大模型+知識庫，不挑環(huán)境、不挑配置
部署過程
ollama安裝
ollama 官網(wǎng)下載一鍵安裝
命令行 輸入 ollama 校驗是否安裝成功
成功會顯示 Usage、 Available Commands 以及 Flags 信息
模型下載運行
打開 Ollama 官網(wǎng)，右上角搜索框輸入需要的模型。
如搜索 “通義千問開源版” qwen
找到 pull 次數(shù)最多的，點擊進入詳情頁面
選擇對應(yīng)版本，復(fù)制使用命令 ollama run qwen ，粘貼到命令行 ，按下回車，ollama 會自動下載并運行模型
命令行顯示 success 并 出現(xiàn) “send a message” 表示運行成功
管理模型
命令行輸入 ollama list, 顯示已安裝模型
ollama run 模型名字 運行模型
rm 模型名字 刪除模型
MaxKB
安裝Docker
Windows：開啟 Hyper - V，點擊安裝包安裝
macOS：點擊安裝包安裝
Linux： 使用包管理器或源碼編譯
運行Docker
Docker 安裝完成后，命令行輸入以下命令，數(shù)據(jù)持久化至D盤。實際部署根據(jù)情況修改位置。
docker run -d --name=maxkb -p 8080:8080 -v D:/maxkb/data:/var/lib/postgresql/data 1panel/maxkb
訪問MaxKB
在瀏覽器訪問 設(shè)備IP:8080, 可以看到 MaxKB 的服務(wù)界面
默認密碼
admin
MaxKB@123.
添加模型
【系統(tǒng)設(shè)置】- 【模型設(shè)置】-【添加模型】
選擇 Ollama ，輸入模型名字、模型類型，選擇基礎(chǔ)模型。
若選項中沒有需要的模型
- 在命令行內(nèi)執(zhí)行命令
ollama list，復(fù)制模型名字
- ollama 官網(wǎng)內(nèi)查詢模型，復(fù)制 run 命令后的模型名字
粘貼到輸入框內(nèi)
輸入 Ollama 的 API 域名 http://設(shè)備IP:11434, 輸入之前可以在瀏覽器輸入“IP:11434” 試一下，如果能正常打開并看見“Ollama is running” 就說明沒問題。
若 Ollama 和 MaxKB 安裝在不同的設(shè)備 ，一定要保證 MaxKB 所在設(shè)備可以訪問到 Ollma 的地址
( docker 部署則輸入 http://host.docker.internal:11434)
API Key 默認是沒有的，隨便輸入 123 即可。
添加應(yīng)用
【應(yīng)用】- 【創(chuàng)建應(yīng)用】
填寫名稱， 選擇剛剛創(chuàng)建的模型類型，配置一下其他設(shè)置，點擊創(chuàng)建即可。
演示
點擊應(yīng)用圖標(biāo)上的 【演示】按鈕
知識庫
【知識庫】- 【創(chuàng)建知識庫】
填寫名稱和描述，選擇對應(yīng)的知識庫類型，上傳文檔， 點擊 【創(chuàng)建并導(dǎo)入】
然后對文檔內(nèi)容進行分段處理 點擊【開始導(dǎo)入】，知識庫創(chuàng)建完成
【應(yīng)用】- 【設(shè)置】-【關(guān)聯(lián)知識庫】
還可以根據(jù)需要設(shè)置提示詞和開場白
選擇【概覽】
點擊【演示】，可以直接訪問并聊天
點擊【嵌入第三方】，可以把它用不同的形式嵌入到需要的網(wǎng)站中
選擇【命中測試】，測試問題是否能正確關(guān)聯(lián)到知識庫的內(nèi)容。
如果文檔中有相關(guān)內(nèi)容但關(guān)聯(lián)不到，可以通過【參數(shù)調(diào)整】來優(yōu)化
參數(shù)調(diào)整完，到設(shè)置中的【關(guān)聯(lián)知識庫】-【參數(shù)設(shè)置】同步修改即可
