一、PFC產(chǎn)生原因 負(fù)責(zé)集群運維的同學(xué)可能都遇到過PFC現(xiàn)象，那么PFC到底是啥？產(chǎn)生原因是什么？這篇文章提供了一些分析。 首先，參考官網(wǎng)文檔[https://info.su...
發(fā)簡信
IP屬地：澳門
-
昇騰集群PFC現(xiàn)象分析 -
MindIE-LLM ATB模型推理全流程解析
最近，有很多小伙伴問我，如果他們想自己基于MindIE鏡像中的文件適配新模型，可以怎么做？ 為了實現(xiàn)這個目標(biāo)，首先需要了解MindIE-LLM模型在推理過程中的代碼調(diào)用流程，...
-
MindIE DeepSeek MTP特性定位策略
最近MindIE開始支持DeepSeek MTP（multi token prediction）特性了，用于推理加速。但是有些開發(fā)者打開MTP開關(guān)后，沒有發(fā)現(xiàn)明顯的性能提升。...
-
大模型推理顯存和計算量估計方法
最近做吞吐量調(diào)試涉及到輸入batch_size的設(shè)置，為了把算力和顯存用起來，同時不觸發(fā)out of memory，需要提前估計大模型推理過程中的顯存占用，我參考了MindI...
-
DeepSeek-R1源碼解讀
最近和開發(fā)者做了很多DeepSeek-R1模型相關(guān)的推理項目，這兩天抽時間把hugging face上面的源碼拉下來仔細(xì)看了一遍，在這里做一個分享。主要是解析MOE部分的代碼...
-
昇騰訓(xùn)練建鏈超時定位策略
使用torch+mindspeed訓(xùn)練時，可能出現(xiàn)類似“wait socket establish timeout, role[0] rank[1] timeout[120]...
-
《Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving》閱讀筆記
最近昇騰提供的大EP PD分離推理解決方案非?；?，很多開發(fā)者都開始使用了。正好這兩天也看了一篇PD分離的經(jīng)典論文，就是Kimi采用的PD分離架構(gòu)：Mooncake。 背景 傳...
-
MindIE PD分離部署Q&A
PD分離是一種近年來興起的推理加速部署方案，kimi、deepseek都進(jìn)行了工程落地。昇騰MindIE組件也支持了PD分離部署能力，參考鏈接為 https://www.hi...
-
attention計算過程的一些細(xì)節(jié)
最近，有粉絲問我，attention結(jié)構(gòu)中計算qkv的時候，為什么要做kvcache呢？他看了一些文章，沒看懂。 為什么要做kvcache？ 假設(shè)模型的輸入序列長度是2，隱藏...
-
qwen模型 MindIE PD分離部署問題定位
背景 使用MindIE提供的PD分離特性部署qwen2-7B模型，使用k8s拉起容器，參考這個文檔進(jìn)行部署：https://www.hiascend.com/document...
-
DeepSeek模型MOE結(jié)構(gòu)代碼詳解
其實在DeepSeek-R1爆火之前，DeepSeek V2在我們行業(yè)就已經(jīng)婦孺皆知了，它獨特的MOE結(jié)構(gòu)值得研究一下。這篇文章是基于 ZOMI醬 的2個視頻寫的，這2個視頻...
-
MindIE LLM場景快速上手實驗MindIE是昇騰自研推理框架，本實驗手冊可指導(dǎo)小白用戶快速掌握MindIE在LLM（large language model）場景的基本功能，包括：大模型推理功能測試、大模...
-
昇騰 msmodelslim w8a8量化代碼解析
最近有很多朋友都在部署deepseek模型，而且都用到了模型量化這個功能，目的是減少顯存占用、提升推理速度。pic上圖是w8a8量化算法流程，主要包含4步： ①，使用昇騰 m...
-
昇騰 msmodelslim w8a8量化代碼解析
最近有很多朋友都在部署deepseek模型，而且都用到了模型量化這個功能，目的是減少顯存占用、提升推理速度。 上圖是w8a8量化算法流程，主要包含4步： ①，使用昇騰 msm...
-
qwen2.5 7b w8a8量化推理
最近qwen2.5系列模型有點火，在昇騰上跑了一下，發(fā)現(xiàn)性能稍微有點弱，于是想采用量化推理來提升一下性能，在昇騰官網(wǎng)找到了這篇指導(dǎo)：https://www.hiascend....
-
qwen2.5 7b w8a8量化推理
最近qwen2.5系列模型有點火，在昇騰上跑了一下，發(fā)現(xiàn)性能稍微有點弱，于是想采用量化推理來提升一下性能，在昇騰官網(wǎng)找到了這篇指導(dǎo)：https://www.hiascend....
-
llama2 70B mindie推理開箱報錯問題
這周支撐了一個llama2 70B MindIE開箱推理報錯的問題，給大家分享一下。 1. 背景 事情是這樣，開發(fā)者搞了一臺昇騰800I A2服務(wù)器，這個服務(wù)器的配置是8卡，...
-
mindspeed-llm源碼解析（一）preprocess_data
mindspeed-llm是昇騰模型套件代碼倉，原來叫"modelLink"。這篇文章帶大家閱讀一下數(shù)據(jù)處理腳本preprocess_data.py（基于1.0.0分支），數(shù)...
-
Torch-npu報錯定位技巧1，訓(xùn)練功能問題定位思路 訓(xùn)練功能問題定位思路 Torch-npu錯誤碼[https://link.zhihu.com/?target=https%3A//www.hiasc...
-
昇騰AI行業(yè)案例（六）：基于 PraNet 的醫(yī)療影像分割
00 - 前言 歡迎學(xué)習(xí)《基于 PraNet 的醫(yī)療影像分割》實驗。在本實驗中，你將深入了解如何運用計算機(jī)視覺（CV）領(lǐng)域的 AI 模型，搭建一個高效精準(zhǔn)的醫(yī)療影像分割系統(tǒng)，...