發(fā)簡(jiǎn)信
IP屬地：甘肅
-
vllm+vllm-ascend本地部署QwQ-32B
1 模型下載 可按照此處方法下載預(yù)熱后的模型，速度較快（推薦artget方式） 或者從hugging face官方下載。 2 vllm-asce...
-
初識(shí)華為RazorAttention論文原文：https://openreview.net/pdf?id=tkiZQlL04w[https://openreview.net/pdf...
-
NPU上如何使能pytorch圖模式
1 Pytorch的compile技術(shù) PyTorch 的 torch.compile 是一個(gè)強(qiáng)大的功能，用于優(yōu)化 PyTorch 模型的性能。...
-
NPU上運(yùn)行onnxruntime
1 問(wèn)題背景 在Ascend環(huán)境上，使用onnxruntime推理時(shí)，報(bào)錯(cuò)： 顯示的是cuda的組件找不到。由于是Ascend環(huán)境，肯定是沒(méi)有G...
-
MindIE推理采樣后處理參數(shù)temperature和top_k的引發(fā)的精度問(wèn)題背景 MindIE跑Qwen系列模型推理，測(cè)試發(fā)現(xiàn)后處理參數(shù)top_k很大，temperature=2的場(chǎng)景，模型輸出有精度問(wèn)題。 現(xiàn)象 經(jīng)過(guò)進(jìn)...
-
Ascend+FastAPI+ Uvicorn 實(shí)現(xiàn)推理
1、FastAPI & Uvicorn FastAPI FastAPI 是一個(gè)用于構(gòu)建 API 的現(xiàn)代、快速（高性能）的 Python Web ...
-
解決Ascend上vllm運(yùn)行時(shí)出現(xiàn)urllib3.exceptions.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED]背景 嘗試使用vllm模型，腳本代碼如下： 運(yùn)行過(guò)程中出現(xiàn)： 問(wèn)題分析 問(wèn)題就出現(xiàn)在通過(guò)python去下載文件，然后SSL的安全校驗(yàn)出現(xiàn)了問(wèn)題。...
-
AscendC編程中的double buffer是什么？執(zhí)行于AI Core上的指令隊(duì)列主要包括如下幾類，即： Vector指令隊(duì)列（V） Matrix指令隊(duì)列（M） 存儲(chǔ)移動(dòng)指令隊(duì)列（MTE2、MT...
-
AscendC從入門到精通系列（五）調(diào)用基于工程開發(fā)AscendC算子單算子API調(diào)用方式，是指直接調(diào)用單算子API接口，基于C語(yǔ)言的API執(zhí)行算子。算子工程AscendC從入門到精通系列（三）基于自定義算子工程開...