背景 當(dāng)前對DeepSeek-R1此類帶推理think思維鏈的模型進(jìn)行模型能力測評缺乏一個較準(zhǔn)確的方，MindIE當(dāng)前不能對DeepSeek報告中提到的幾個數(shù)據(jù)集（AIME ...
發(fā)簡信
IP屬地：青海
-
昇騰NPU上基于MindIE服務(wù)的AIME和MATH500測評方案 -
飛槳x昇騰生態(tài)適配方案：15_loop算子缺失（下）：for循環(huán)替換loop接上一章節(jié)內(nèi)容，將ONNX模型拆分成loop算子部分和非loop算子部分后，分別轉(zhuǎn)換成OM模型，并用for循環(huán)替換loop算子計算邏輯，比較OM模型和ONNX模型的推理結(jié)果是...
-
飛槳x昇騰生態(tài)適配方案：14_loop算子缺失（上）：ONNX模型拆分方案背景 當(dāng)在線推理的速度無法滿足客戶要求，使用atc工具將onnx轉(zhuǎn)為om模型走離線推理路徑時，遇到NPU不支持LOOP算子的問題，本文提供一種解決方案。本方案的設(shè)計思路是...
-
飛槳x昇騰生態(tài)適配方案：13_API離線推理ais_bench提供的python API可供使能基于昇騰硬件的離線模型(.om模型)推理。具體介紹可參考API_GUIDE[https://gitee.com/ascen...
-
飛槳x昇騰生態(tài)適配方案：12_動態(tài)OM推理動態(tài)BatchSize OM推理 以檔位1 2 4 8檔為例，設(shè)置檔位為2，本程序?qū)@取實際模型輸入組Batch，每2個輸入為一組，進(jìn)行組Batch。示例命令： 推理結(jié)果： ...
-
飛槳x昇騰生態(tài)適配方案：11_靜態(tài)OM推理推理環(huán)境準(zhǔn)備 ais_bench推理工具簡介 昇騰離線OM模型的推理后端是ACL（Ascend Computing Language），其底層采用C實現(xiàn)，后來在ACL基礎(chǔ)上又...
-
飛槳x昇騰生態(tài)適配方案：10_ONNX轉(zhuǎn)OM本章節(jié)介紹 ONNX 模型如何轉(zhuǎn)化為 OM 模型，并在昇騰AI處理器上做離線推理。 昇騰張量編譯器（Ascend Tensor Compiler，簡稱ATC）是異構(gòu)計算架構(gòu)C...
-
飛槳x昇騰生態(tài)適配方案：09_Paddle轉(zhuǎn)ONNX
本節(jié)介紹 PP-OCRv4 模型如何轉(zhuǎn)化為 ONNX 模型。 環(huán)境準(zhǔn)備 需要準(zhǔn)備 PaddleOCR、Paddle2ONNX 模型轉(zhuǎn)化環(huán)境，和 ONNXRuntime 推理環(huán)...
-
飛槳x昇騰生態(tài)適配方案：08_性能調(diào)優(yōu)方法性能優(yōu)化問題定界 在通過分析 profiling 文件找出性能瓶頸后，接下來將介紹相關(guān)的優(yōu)化方法。算子時長主要由計算時間和調(diào)度時間兩部分構(gòu)成，下面將分別對計算時間長和調(diào)度時間...
-
飛槳x昇騰生態(tài)適配方案：07_性能數(shù)據(jù)分析性能調(diào)優(yōu)思路 性能優(yōu)化是一項系統(tǒng)性工作，建議采用 "分析 - 定位 - 優(yōu)化" 的流程，通過性能分析工具定位瓶頸后實施針對性優(yōu)化。 通過 profiling 工具獲取算子級性...
-
飛槳x昇騰生態(tài)適配方案：06_算子適配舉例本節(jié)介紹aclnn算子的三種適配場景。 Paddle-API 與 CANN-Kernel 差異剖析及適配策略 對于Paddle-API與CANN-Kernel兩者中常見的差別...
-
飛槳x昇騰生態(tài)適配方案：05_算子適配流程適配代碼倉介紹 Paddle 針對除 CPU 和 Nvidia GPU 之外的其他硬件的適配代碼，均存于PaddleCustomDevice代碼倉[https://githu...
-
飛槳x昇騰生態(tài)適配方案：04_模型精度對齊精度對齊說明 精度對齊旨在確保模型在訓(xùn)練一定輪次后，其損失（LOSS）或評分能夠與原硬件訓(xùn)練的結(jié)果基本相符。 精度對齊標(biāo)準(zhǔn) 下圖所示為在原硬件GPU上的訓(xùn)練精度： 遷移到NP...
-
飛槳x昇騰生態(tài)適配方案：03_模型訓(xùn)練遷移本次案例以PaddleOCRv4的模型為例，介紹將模型遷移到NPU上的流程。遷移過程要保證原模型的功能在新的硬件上不會出現(xiàn)錯誤，可以借助各種日志輔助定位，此處尤其需要注意的是...
-
飛槳x昇騰生態(tài)適配方案：02_常用環(huán)境變量
訓(xùn)練常用環(huán)境變量 本節(jié)介紹的環(huán)境變量建議在訓(xùn)練前提前設(shè)置好。 NPU私有格式 0為關(guān)閉，建議關(guān)閉： NPU在線編譯 false為關(guān)閉，建議小模型關(guān)閉，大模型打開： aclnn...
-
飛槳x昇騰生態(tài)適配方案：01_基礎(chǔ)環(huán)境準(zhǔn)備CANN環(huán)境準(zhǔn)備 CANN鏡像下載 優(yōu)先下載cann8.0鏡像： X86架構(gòu)：https://paddle-ascend.bj.bcebos.com/cvmodel/dock...
-
飛槳x昇騰生態(tài)適配方案：00_整體方案介紹
前言 本文重點介紹Paddle與NPU的適配工作，PaddlePaddle是一個深度學(xué)習(xí)框架，類似于pytorch；PaddleCustomDeviece是適配層代碼，類似于...
-
GRIN-MOE模型適配昇騰NPU（二）：權(quán)重加載、前向?qū)R5. 精度調(diào)優(yōu) 上一篇文章中已經(jīng)成功完成權(quán)重轉(zhuǎn)換，本章通過加載轉(zhuǎn)換后的權(quán)重做推理進(jìn)行前向?qū)R 5.1 推理腳本 推理腳本可以參考Mixtral-8x7B的推理腳本：/home...
-
GRIN-MOE模型適配昇騰NPU（一）：模型結(jié)構(gòu)適配、權(quán)重轉(zhuǎn)換1. GRIN-MOE相關(guān)鏈接 1.1 HuggingFace GRIN-MOE鏈接 https://huggingface.co/microsoft/GRIN-MoE[ht...
-
昇騰服務(wù)器部署mxRAG + TEI + MindIE1. mxRag容器化部署 1.1 拉取鏡像 昇騰鏡像倉庫：https://www.hiascend.com/developer/ascendhub/detail/27c1c...