發(fā)簡(jiǎn)信
IP屬地：山東
-
昇騰NPU上基于MindIE服務(wù)的AIME和MATH500測(cè)評(píng)方案背景 當(dāng)前對(duì)DeepSeek-R1此類帶推理think思維鏈的模型進(jìn)行模型能力測(cè)評(píng)缺乏一個(gè)較準(zhǔn)確的方，MindIE當(dāng)前不能對(duì)DeepSeek報(bào)告...
-
飛槳x昇騰生態(tài)適配方案：15_loop算子缺失（下）：for循環(huán)替換loop接上一章節(jié)內(nèi)容，將ONNX模型拆分成loop算子部分和非loop算子部分后，分別轉(zhuǎn)換成OM模型，并用for循環(huán)替換loop算子計(jì)算邏輯，比較OM...
-
飛槳x昇騰生態(tài)適配方案：14_loop算子缺失（上）：ONNX模型拆分方案背景 當(dāng)在線推理的速度無(wú)法滿足客戶要求，使用atc工具將onnx轉(zhuǎn)為om模型走離線推理路徑時(shí)，遇到NPU不支持LOOP算子的問(wèn)題，本文提供一...
-
飛槳x昇騰生態(tài)適配方案：13_API離線推理ais_bench提供的python API可供使能基于昇騰硬件的離線模型(.om模型)推理。具體介紹可參考API_GUIDE[https://...
-
飛槳x昇騰生態(tài)適配方案：12_動(dòng)態(tài)OM推理動(dòng)態(tài)BatchSize OM推理 以檔位1 2 4 8檔為例，設(shè)置檔位為2，本程序?qū)@取實(shí)際模型輸入組Batch，每2個(gè)輸入為一組，進(jìn)行組Bat...
-
飛槳x昇騰生態(tài)適配方案：11_靜態(tài)OM推理推理環(huán)境準(zhǔn)備 ais_bench推理工具簡(jiǎn)介 昇騰離線OM模型的推理后端是ACL（Ascend Computing Language），其底層采...
-
飛槳x昇騰生態(tài)適配方案：10_ONNX轉(zhuǎn)OM本章節(jié)介紹 ONNX 模型如何轉(zhuǎn)化為 OM 模型，并在昇騰AI處理器上做離線推理。 昇騰張量編譯器（Ascend Tensor Compiler...
-
飛槳x昇騰生態(tài)適配方案：09_Paddle轉(zhuǎn)ONNX
本節(jié)介紹 PP-OCRv4 模型如何轉(zhuǎn)化為 ONNX 模型。 環(huán)境準(zhǔn)備 需要準(zhǔn)備 PaddleOCR、Paddle2ONNX 模型轉(zhuǎn)化環(huán)境，和 ...
-
飛槳x昇騰生態(tài)適配方案：08_性能調(diào)優(yōu)方法性能優(yōu)化問(wèn)題定界 在通過(guò)分析 profiling 文件找出性能瓶頸后，接下來(lái)將介紹相關(guān)的優(yōu)化方法。算子時(shí)長(zhǎng)主要由計(jì)算時(shí)間和調(diào)度時(shí)間兩部分構(gòu)成，下...