一、操作系統(tǒng)安裝

選用 Ubuntu 22.04 LTS Server 版 ，安裝過程略

自行配置連上互聯(lián)網(wǎng)

機(jī)器IP： 192.168.128.104

二、安裝nvidia顯卡

2.1 查找顯卡硬件

$ lspci | grep -i nvidia
01:00.0 VGA compatible controller: NVIDIA Corporation Device 2882 (rev a1)
01:00.1 Audio device: NVIDIA Corporation Device 22be (rev a1)

從上面結(jié)果中可以看到，系統(tǒng)中有一塊nvidia顯卡（Device 2882 = RTX 4070）
2.2 安裝顯卡驅(qū)動(dòng)

$ sudo ubuntu-drivers autoinstall
# 這會(huì)自動(dòng)安裝推薦版本（580）。裝完后重啟電腦
$ sudo reboot
# 重啟后驗(yàn)證驅(qū)動(dòng)是否安裝成功：
$ nvidia-smi

1776838938757.png

三、部署ollama

3.1 部署ollama

$ curl -fsSL https://ollama.com/install.sh | sh
# 時(shí)間較長(zhǎng)，須耐心等待

3.2 運(yùn)行模型
根據(jù)顯卡型號(hào)，選擇qwen7B 4-bit 量化

$ ollama run qwen2.5:7b

3.3 web界面【可選】
安裝一個(gè)開源前端 Open WebUI：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data --name open-webui \
  --restart always ghcr.io/open-webui/open-webui:main

然后瀏覽器打開 http://192.168.128.104:3000，就能看到一個(gè)類似 ChatGPT 的界面，直接選 Qwen 模型聊天。
3.4 查看ollama

$ ollama ps
NAME          ID              SIZE      PROCESSOR    CONTEXT    UNTIL
qwen2.5:7b    845dbda0ea48    4.9 GB    100% GPU     4096       4 minutes from now

$ nvidia-smi

1776843682927.png

可以看到，ollama已經(jīng)自動(dòng)地跑在RTX 4060上了
四、安裝docker

# 1. 下載并執(zhí)行官方安裝腳本
curl -fsSL https://get.docker.com | sudo sh

# 2. 把當(dāng)前用戶加入 docker 組（免 sudo 運(yùn)行 docker）
sudo usermod -aG docker $USER

# 3. 重新登錄生效（或者直接運(yùn)行下面的）
newgrp docker

# 4. 驗(yàn)證安裝成功
docker --version

# 5. 配置國(guó)內(nèi)鏡像源：
$ sudo vi /etc/docker/daemon.json
{
  "registry-mirrors": [
    "https://docker.mirrors.ustc.edu.cn",
    "https://hub-mirror.c.163.com",
    "https://mirror.baidubce.com"
  ]
}
$ sudo systemctl daemon-reload
$ sudo systemctl restart docker

五、安裝Maxkb

5.1 安裝

# 準(zhǔn)備持久化目錄
$ sudo mkdir /maxkb     &&   sudo chmod 777 /maxkb
$ sudo docker run -d --name=maxkb --restart=always -u root -p 8080:8080 -v /maxkb:/opt/maxkb cr2.fit2cloud.com/1panel/maxkb

訪問： admin/MaxKB@123..

首次登錄，會(huì)要求修改密碼

5.2 下載向量模型M3E

MaxKb自帶向量數(shù)據(jù)庫(kù)：maxkb-embedding ，如果想要更嘗試其它的向量模型，可以試試M3E
PS: 安裝時(shí)要將其目錄掛載到MaxKb容器的相同目錄下，這樣MaxKb才能訪問到它！

# 下載鏡像
$ docker pull registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api

# 準(zhǔn)備掛載目錄（與maxkb共享）
$ sudo mkdir /maxkb/model  &&  sudo chmod 777 /maxkb/model

# 臨時(shí)運(yùn)行一個(gè)容器，讓它下載模型到內(nèi)部
$ sudo docker run --name=m3e -d -p 6008:6008   registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api

# 先要把模型目錄復(fù)制出來，否則后面帶目錄掛載時(shí)會(huì)報(bào)找不到文件
$  sudo docker cp m3e:/app/moka-ai_m3e-large /maxkb/model/
Successfully copied 1.47GB to /maxkb/model/

$ sudo docker stop m3e  && sudo docker rm m3e

# 帶目錄掛載
$ sudo docker run --name=m3e -d --restart=always -p 6008:6008 -v /maxkb/model/moka-ai_m3e-large:/app/moka-ai_m3e-large registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api

5.3 配置向量數(shù)據(jù)庫(kù)
在MaxKb頁(yè)面，添加模型--本地模型，模型類型選擇：向量模型，基礎(chǔ)模型與模型目錄填寫：/opt/maxkb/model/moka-ai_m3e-large

1776905014631.png

PS：這里的模型目錄批的是maxkb容器內(nèi)的目錄，而非宿主機(jī)的目錄

配置完成后的模型列表：

1776932572718.png

之后，在配置知識(shí)庫(kù)時(shí)，可以修改向量模型為m3e。