本地Hugging Face 模型導(dǎo)出為 ONNX 安裝依賴 optimum-cli ONNX模型加載驗(yàn)證
發(fā)簡(jiǎn)信
IP屬地：廣東
-
本地Hugging Face 模型導(dǎo)出為 ONNX
-
離線語(yǔ)音喚醒詞筆記
喚醒詞 相關(guān)資料 SnowboySnowboy 是 KITT.AI（后被百度收購(gòu)）2016 年推出的輕量級(jí)喚醒詞框架，基于DTW（動(dòng)態(tài)時(shí)間規(guī)整）+ 高斯混合模型（GMM），曾...
-
Linux搭建NFS記錄
環(huán)境信息 一臺(tái)Cent OS（release 7.8.2003），一臺(tái)Ubuntu（22.04.5 LTS） 服務(wù)端配置 1. 安裝 NFS 服務(wù)包 CentOS Ubunt...
-
weaviate使用筆記
參考鏈接 https://docs.weaviate.io/[https://docs.weaviate.io/] https://github.com/weaviate[h...
-
扣子平臺(tái)開(kāi)發(fā)筆記-- 插件開(kāi)發(fā)0. 官方文檔 智能體插件[https://www.coze.cn/open/docs/guides/agent_plugin]插件介紹[https://www.coze.c...
-
java進(jìn)程性能分析工具--在線篇
0. 概述 主要記錄Arthas，async-profiler兩個(gè)工具的基本信息 1. Arthas 官網(wǎng)https://arthas.aliyun.com/doc/[htt...
-
java服務(wù)jvm metric采集之jmx_prometheus_javaagent
簡(jiǎn)述 記錄java服務(wù)運(yùn)行時(shí)jvm的metric信息采集操作，本文使用的方案是通過(guò)jmx_prometheus采集服務(wù)數(shù)據(jù)。 相關(guān)依賴 jmx_exportergit : h...
-
Hadoop之Tez-UITEZ UI部署 參考官方Tez UI[https://tez.apache.org/tez-ui.html]部署文檔；修改集群相關(guān)配置，并在tomcat容器下運(yùn)行Tez U...
-
知識(shí)庫(kù)RAG應(yīng)用-Dify&RagFlow文檔處理整理Dify 默認(rèn)只解析文檔中的文本，對(duì)于表格、圖表類不做處理 文檔加載流程a.) 入口 api\core\indexing_runner.pyb.) 路由 api\core\...
-
知識(shí)庫(kù)RAG應(yīng)用--文檔轉(zhuǎn)換（Docs轉(zhuǎn)PDF）
Docs轉(zhuǎn)PDF 在構(gòu)建知識(shí)庫(kù)應(yīng)用時(shí)，發(fā)現(xiàn)在文檔解析步驟，PDF解析（使用pdfplumber）的效果（在處理表格方面）要強(qiáng)于Docs文檔（使用unstructured）；分...
-
常用推理引擎對(duì)比推理引擎概述性能表現(xiàn)易用性適用場(chǎng)景模型支持硬件需求部署方式系統(tǒng)支持其他說(shuō)明ollama本地化輕量級(jí)LLM運(yùn)行工具，旨在簡(jiǎn)化大語(yǔ)言模型的部署與管理流程，將LLMs的強(qiáng)大功能帶入...
-
大語(yǔ)言模型壓測(cè)工具探索 -- EvalScope
EvalScope[https://evalscope.readthedocs.io/zh-cn/latest/index.html] 安裝 驗(yàn)證 基本使用 簡(jiǎn)單測(cè)評(píng)模型 模...
-
推理引擎vLLM使用筆記 -- 0x0101 背景 在火山云下，運(yùn)行DS-70B模型；官方推薦的推薦引擎是vLLM，相關(guān)環(huán)境按火山文檔逐步安裝GPU-部署DeepSeek-R1-Distill模型[https://...
-
知識(shí)庫(kù)RAG應(yīng)用技術(shù)點(diǎn)整理--文檔加載
知識(shí)庫(kù)RAG應(yīng)用技術(shù)點(diǎn) -- 知識(shí)處理 文檔解析 關(guān)于知識(shí)庫(kù)應(yīng)用，第一步的操作都是需要加載解析相關(guān)文檔（doc，PFD，PPT等），再此基礎(chǔ)上才有后續(xù)的的分塊、向量化等操作；...
-
uv + vLLM使用筆記 -- 0x01
uv安裝 查看可用python版本 查找已安裝python版本 配置相關(guān)鏡像及參數(shù) 安裝指定版本python 創(chuàng)建項(xiàng)目并指定python版本 創(chuàng)建并激活環(huán)境 添加依賴(可指定...
-
Xinference使用筆記 -- 0x01參考鏈接 https://inference.readthedocs.io/[https://inference.readthedocs.io/] 基本環(huán)境搭建 安裝初始化p...
-
@啊啊啊11 量化后的模型文件為何要再轉(zhuǎn)回去咧？GGUF的量化結(jié)構(gòu)Safetensors應(yīng)該不支持……如果有解決方案記得分享下哈
模型文件(gguf,safetensors)轉(zhuǎn)換筆記
1. gguf 轉(zhuǎn) safetensors 以ollama下運(yùn)行的模型為例a.) 查看模型路徑ollama show 模型名稱 --modelfile返回的 FROM xx...
-
dify本地源碼啟動(dòng)實(shí)操&填坑0. dify本地源碼啟動(dòng)參考地址： https://docs.dify.ai/zh-hans/getting-started/install-self-hosted/loc...
-
模型文件(gguf,safetensors)轉(zhuǎn)換筆記
1. gguf 轉(zhuǎn) safetensors 以ollama下運(yùn)行的模型為例a.) 查看模型路徑ollama show 模型名稱 --modelfile返回的 FROM xx...