AI 正在進入本地時代,我開源了一個推理平臺—— 支持多模型 / Agent / Workflow 的工程實現(xiàn)

2022起始,伴隨著 ChatGPT 的熱潮,大語言模型(LLM)從科學(xué)殿堂走向商業(yè)應(yīng)用,伴隨著大模型的能力越來越強,大模型逐漸從個人與企業(yè)的“嘗鮮工具”正演變成個人與企業(yè)真正的生產(chǎn)力倍增器與工作效率提升引擎。怎么更好的使用好大模型這樣的生產(chǎn)力基礎(chǔ)設(shè)施,已經(jīng)成為擺在個人與企業(yè)面前一道必答題,越來越多大模型開發(fā)者、企業(yè)、個人用戶開始思考大模型應(yīng)用中幾個關(guān)鍵痛點:

  • 個人與企業(yè)數(shù)據(jù)怎么隱私保護?
  • 推理成本是否可以完全可控?
  • 如何打通企業(yè)現(xiàn)有信息系統(tǒng)與大模型賦能的壁壘?
  • 大模型應(yīng)用是否可以像傳統(tǒng)信息化系統(tǒng)一樣工程化構(gòu)建?
  • 是否存在一個真正“平臺級”的本地大模型模型解決方案?

"痛定思痛、痛何如哉",在不斷實踐大模型與智能體應(yīng)用開發(fā)的實踐過程中,我們越來越強烈地感受到企業(yè)對構(gòu)建本地大模型與智能體的迫切需求:

我們擁有越來越多大模型與智能體工具,但缺少真正的大模型部署與智能體平臺。

于是,我跟我的團隊深度挖掘企業(yè)大模型與智能體應(yīng)用的真實痛點,從2025年下半年開始,我們花了超過半年多的時間,從零開始,基于開源架構(gòu)自主研發(fā)一套本地大模型部署與智能體管理平臺。

我們決定讓技術(shù)回歸技術(shù),為讓更多的開發(fā)者、個人、企業(yè)從中受益,我們正式開源這個平臺,它有一個很酷的名字:OpenVitamin(大模型與智能體應(yīng)用平臺)

為什么是 OpenVitamin

在做 AI 項目的過程中,我們嘗試過很多工具鏈組合:

  • 用 Ollama / LM Studio 管理模型
  • 用不同 UI 工具測試對話
  • 用各類 Agent 框架做自動化實驗
  • 用腳本拼裝 Workflow

這些工具都很優(yōu)秀,但它們更多是:

?? 單點能力工具,而不是平臺。

當項目逐漸從 Demo 走向工程系統(tǒng)時,問題開始出現(xiàn):

  • 本地模型管理分散
  • 推理接口不統(tǒng)一
  • Agent 能力難以復(fù)用
  • Workflow 無法系統(tǒng)化編排
  • 多模型協(xié)作復(fù)雜
  • 很難構(gòu)建長期可維護的 LLM應(yīng)用架構(gòu)

我們意識到:

企業(yè)需要的不是更多工具,而是一套 LLM Runtime + Control Plane。

OpenVitamin 正是在這樣的背景下誕生。

OpenVitamin 可以做什么

OpenVitamin 的目標非常明確:
?? 讓開發(fā)者與中小企業(yè)能夠零成本的構(gòu)建本地可擴展的大模型應(yīng)用系統(tǒng)。
圍繞這個目標,目前已經(jīng)實現(xiàn)了幾個核心能力。

多模型統(tǒng)一推理平臺

  • 支持多模型本地接入
  • 提供統(tǒng)一推理接口
  • 可作為推理后端被其他系統(tǒng)調(diào)用
  • 支持模型配置與推理參數(shù)控制
  • 支持與 OpenClaw 集成

開發(fā)者無需為每個模型重復(fù)造輪子。


chat.png
models.png

Agent 能力工程化落地

平臺內(nèi)置基礎(chǔ) Agent 框架:

  • Skill 機制
  • Plan / Step 執(zhí)行模型
  • Tool 調(diào)用
  • 本地模型驅(qū)動決策

可以用于構(gòu)建:

  • 編程 Agent
  • 辦公 Agent
  • 自動化任務(wù) Agent
  • AI 實驗原型
agents.png

Workflow 編排系統(tǒng)(可視化)

OpenVitamin 提供 DAG 式 Workflow Runtime:

  • 節(jié)點編排
  • 條件分支
  • 并行執(zhí)行(規(guī)劃中)
  • Retry / Timeout 控制
  • 可視化運行狀態(tài)

這使 AI 能力可以真正變成“流程系統(tǒng)”,而不是一次對話。

workflow.png

面向工程系統(tǒng)的設(shè)計

OpenVitamin 并不是一個聊天工具或 Demo UI,而是一套平臺型架構(gòu):

  • 插件式能力擴展
  • 可擴展推理后端
  • 多模型協(xié)作
  • 本地部署友好
  • 支持跨平臺運行(macOS / Windows / Linux)

它更接近:

?? 本地 AI Runtime + AI Control Plane

整體架構(gòu)

整體架構(gòu)圖.jpg

推理路徑

推理路徑圖.jpg

智能體執(zhí)行路徑

智能體執(zhí)行路徑圖.jpg

文生圖控制面

文生圖控制面.jpg

一些真實使用場景

目前 OpenVitamin 已被用于:

  • 本地 LLM應(yīng)用開發(fā)實驗環(huán)境
  • 編程智能體原型驗證
  • Workflow 自動化系統(tǒng)探索
  • 企業(yè)內(nèi)部 LLM部署算力平臺
  • 多模型推理調(diào)度實驗
  • 與 OpenClaw 集成作為推理后端

為什么選擇開源

我們越來越相信:

  • 本地 LLM會成為未來開發(fā)環(huán)境的重要組成部分
  • Agent 會成為新的軟件形態(tài)
  • Workflow 會成為 AI 應(yīng)用的基礎(chǔ)結(jié)構(gòu)
  • 推理平臺會像數(shù)據(jù)庫 / Web Server 一樣成為基礎(chǔ)設(shè)施

OpenVitamin 只是一個開始。

我們希望通過開源,讓更多開發(fā)者、企業(yè)參與進來,一起探索大模型與智能體工程化的無限可能。

項目地址

GitHub:https://github.com/fengzhizi715/OpenVitamin

如果你對這些方向感興趣:

  • 本地 AI 推理
  • Agent 架構(gòu)
  • Workflow 系統(tǒng)
  • AI 工程化
  • 插件式 AI 平臺

歡迎 Star / Issue / PR。

Roadmap

未來計劃包括:

  • 更多的 skill
  • 推理調(diào)度優(yōu)化
  • 更強的 Workflow Runtime
  • 企業(yè)級部署能力
  • 更多模型支持

最后

AI 正在從能力變成基礎(chǔ)設(shè)施。
而本地 AI,可能會成為下一代開發(fā)環(huán)境的一部分。
如果你也在構(gòu)建 AI 系統(tǒng),歡迎一起交流。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容