阿里云GPU云服務(wù)器怎么樣？阿里云GPU結(jié)合了GPU計算力與CPU計算力，主要應(yīng)用于于深度學(xué)習(xí)、科學(xué)計算、圖形可視化、視頻處理多種應(yīng)用場景，現(xiàn)在購買有包月5折包年4折起活動，GPU 計算型 gn6i實例包月優(yōu)惠價1260.75元/1個月起，包年12106.35元/1年起；GPU 計算型 gn6v實例包月優(yōu)惠價2862.75元/1個月起，包年27485.55元/1年起。本文為您詳細(xì)介紹阿里云GPU云服務(wù)器產(chǎn)品優(yōu)勢、應(yīng)用場景以及最新活動價格。

阿里云gup云服務(wù)器.png

一、阿里云GPU云服務(wù)器產(chǎn)品優(yōu)勢

阿里云GPU云服務(wù)器具有廣闊的覆蓋范圍、超強(qiáng)的計算能力、出色的網(wǎng)絡(luò)性能和靈活的購買方式，神行工具包（DeepGPU）是專門為GPU云服務(wù)器搭配的具有GPU計算服務(wù)增強(qiáng)能力的免費(fèi)工具集。下面介紹GPU云服務(wù)器和神行工具包（DeepGPU）的優(yōu)勢。

附：什么是神行工具包（DeepGPU）
神行工具包（DeepGPU）是阿里云專門為GPU云服務(wù)器搭配的GPU計算服務(wù)增強(qiáng)工具集合，旨在幫助開發(fā)者在GPU云服務(wù)器上更快速地構(gòu)建企業(yè)級服務(wù)能力。GPU云服務(wù)器搭配神行工具包（DeepGPU）中的組件可以幫助您更方便地利用阿里云的云上GPU資源，高效完成深度學(xué)習(xí)、機(jī)器學(xué)習(xí)、大數(shù)據(jù)分析等任務(wù)。

1、GPU產(chǎn)品優(yōu)勢

1.1 覆蓋范圍廣闊：
阿里云GPU云服務(wù)器在全球多個地域?qū)崿F(xiàn)規(guī)模部署，覆蓋范圍廣，結(jié)合彈性供應(yīng)、彈性伸縮等交付方式，能夠很好地滿足您業(yè)務(wù)的突發(fā)需求。

1.2 計算能力超強(qiáng)：
阿里云GPU云服務(wù)器配備業(yè)界超強(qiáng)算力的GPU計算卡，結(jié)合高性能CPU平臺，單實例可提供高達(dá)1000 TFLOPS的混合精度計算性能。

1.3 網(wǎng)絡(luò)性能出色：
阿里云GPU云服務(wù)器實例的VPC網(wǎng)絡(luò)最大支持450萬的PPS及32 Gbit/s的內(nèi)網(wǎng)帶寬。在此基礎(chǔ)上，超級計算集群產(chǎn)品中，節(jié)點間額外提供高達(dá)50 Gbit/s的RDMA網(wǎng)絡(luò)，滿足節(jié)點間數(shù)據(jù)傳輸?shù)牡脱訒r高帶寬要求。

1.4 購買方式靈活：
支持靈活的資源付費(fèi)模式，包括包年包月、按量付費(fèi)、搶占式實例、預(yù)留實例券、存儲容量單位包。您可以按需要購買，避免資源浪費(fèi)。

2、神行工具包（DeepGPU）優(yōu)勢

神行工具包中的組件主要包括AI加速器Deepytorch、AI分布式訓(xùn)練通信優(yōu)化庫AIACC-ACSpeed、AI訓(xùn)練計算優(yōu)化編譯器AIACC-AGSpeed、集群極速部署工具FastGPU以及GPU容器共享技術(shù)cGPU，其各自具有以下核心優(yōu)勢。

2.1 AI加速器Deepytorch
Deepytorch是阿里云自研的AI加速器，為生成式AI和大模型場景提供訓(xùn)練和推理加速功能，在訓(xùn)練和推理方面，具有更好的性能優(yōu)勢和易用性。該AI加速器包含Deepytorch Training和Deepytorch Inference兩個軟件包。

• 訓(xùn)練和推理性能顯著提升
  Deepytorch Training通過整合分布式通信和計算圖編譯的性能特點，可以實現(xiàn)端到端訓(xùn)練性能的顯著提升，使得模型訓(xùn)練迭代速度更快，成本更低。
  Deepytorch Inference通過編譯加速的方式減少模型推理的延遲，從而提高模型的實時性和響應(yīng)速度，能顯著提升模型的推理加速性能。

• 易用性好
  Deepytorch Training具有充分兼容開源生態(tài)等特點，兼容PyTorch主流版本，支持主流分布式訓(xùn)練框架。例如DeepSpeed、PyTorch FSDP或Megatron-LM等。
  Deepytorch Inference無需您指定精度和輸入尺寸，通過即時編譯的方式，提供較好的易用性，代碼侵入量較少，從而降低代碼復(fù)雜度和維護(hù)成本。

2.2 AI通信加速庫DeepNCCL
DeepNCCL是為阿里云神龍異構(gòu)產(chǎn)品開發(fā)的一種用于多GPU互聯(lián)的AI通信加速庫，在AI分布式訓(xùn)練或多卡推理任務(wù)中用于提升通信效率。

• 通信優(yōu)化效果顯著
  支持單機(jī)優(yōu)化和多機(jī)優(yōu)化，相比NCCL原生在性能上提升了20%以上。

• 無感加速
  多GPU互聯(lián)通信，無感地加速分布式訓(xùn)練或多卡推理等任務(wù)。

**2.3 推理引擎DeepGPU-LLM
DeepGPU-LLM是阿里云研發(fā)的基于GPU云服務(wù)器的大語言模型（Large Language Model，LLM）的推理引擎，在處理大語言模型任務(wù)中，該推理引擎可以為您提供高性能的大模型推理服務(wù)。

• 高性能、低延遲
  支持多GPU并行（Tensor Parallel）和多卡之間的通信優(yōu)化，從而提高多GPU并行計算的效率和速度。

• 支持多種主流模型
  支持通義千問Qwen系列、Llama系列、ChatGLM系列以及Baichuan系列等主流模型，滿足不同場景下的模型推理。

2.4 AI分布式訓(xùn)練通信優(yōu)化庫AIACC-ACSpeed
AIACC-ACSpeed（AIACC 2.0-AIACC Communication Speeding）作為阿里云自研的AI訓(xùn)練加速器，專注于分布式訓(xùn)練場景的通信優(yōu)化功能，在訓(xùn)練場景下具有其顯著的性能優(yōu)勢，提高計算效率的同時能夠降低使用成本。

• 定制優(yōu)化
  提供針對PyTorch熱門框架的特定優(yōu)化，適用于所有模型的訓(xùn)練場景。

• 統(tǒng)一加速
  基于nccl-plugin組件功能，提供對TensorFlow、Caffe、MXNet多種人工智能框架的統(tǒng)一加速。

• 性能深度優(yōu)化
  基于阿里云IaaS基礎(chǔ)資源（GPU、CPU、網(wǎng)絡(luò)以及I/O等基礎(chǔ)設(shè)施）提供性能的深度優(yōu)化。

• 彈性伸縮
  基于阿里云IaaS基礎(chǔ)資源，兼容PyTorch原生特性，支持一鍵構(gòu)建和彈性伸縮功能。

• 開源兼容
  輕量便捷、開源兼容。您基于開源框架編寫的算法代碼或模型代碼，幾乎無需進(jìn)行修改。

2.5 AI訓(xùn)練計算優(yōu)化編譯器AIACC-AGSpeed
AIACC-AGSpeed（簡稱AGSpeed）作為阿里云自研的AI訓(xùn)練計算優(yōu)化編譯器，針對PyTorch熱門框架訓(xùn)練場景中存在的計算瓶頸進(jìn)行深度優(yōu)化，具有其顯著的性能優(yōu)勢，在提高訓(xùn)練效率的同時能夠降低使用成本。

• 定制優(yōu)化
  提供針對PyTorch熱門框架的特定優(yōu)化，適用于PyTorch框架的所有模型的訓(xùn)練場景。

• 無感加速
  通過TorchScript在PyTorch框架中獲取后端編譯器可優(yōu)化的靜態(tài)計算圖，屬于當(dāng)前較成熟的方案，但該方案仍無法做到完全的準(zhǔn)確與無感。相比PyTorch原生提供的TorchScript前端，AGSpeed具有無感加速的性能優(yōu)勢。

• 性能深度優(yōu)化
  基于阿里云IaaS基礎(chǔ)資源（GPU、CPU、網(wǎng)絡(luò)以及I/O等基礎(chǔ)設(shè)施）提供性能的深度優(yōu)化。

• 開源兼容
  輕量便捷、開源兼容。您基于開源框架編寫的算法代碼或模型代碼，幾乎無需進(jìn)行修改。

2.6 集群極速部署工具FastGPU
使用FastGPU構(gòu)建人工智能計算任務(wù)時，您無需關(guān)心IaaS層的計算、存儲、網(wǎng)絡(luò)等資源部署操作，簡單適配即可一鍵部署，幫助您節(jié)省時間成本以及經(jīng)濟(jì)成本。

• 節(jié)省時間
  一鍵部署集群。無需分別進(jìn)行IaaS層計算、存儲、網(wǎng)絡(luò)等資源的部署操作，將部署集群的時間縮短到5分鐘。
  通過接口和命令行管理任務(wù)和資源，方便快捷。

• 節(jié)省成本
  當(dāng)數(shù)據(jù)集完成準(zhǔn)備工作并觸發(fā)訓(xùn)練或推理任務(wù)后，才會觸發(fā)GPU實例資源的購買。當(dāng)訓(xùn)練或推理任務(wù)結(jié)束后，將自動釋放GPU實例資源。實現(xiàn)了資源生命周期與任務(wù)同步，幫助您節(jié)省成本。
  支持創(chuàng)建搶占式實例。

• 易用性好
  所有資源均為IaaS層，可訪問、可調(diào)試。
  滿足可視化和log管理需求，保證任務(wù)可回溯。

2.7 GPU容器共享技術(shù)cGPU
GPU容器共享技術(shù)cGPU擁有節(jié)約成本和靈活分配資源的優(yōu)勢，從而實現(xiàn)您業(yè)務(wù)的安全隔離。

• 節(jié)約成本
  隨著顯卡技術(shù)的不斷發(fā)展和半導(dǎo)體制造工藝的進(jìn)步，單張GPU卡的算力越來越強(qiáng)，同時價格也越來越高。但在很多的業(yè)務(wù)場景下，一個AI應(yīng)用并不需要一整張的GPU卡。cGPU的出現(xiàn)讓多個容器共享一張GPU卡，從而實現(xiàn)業(yè)務(wù)的安全隔離，提升GPU利用率，節(jié)約用戶成本。

• 可靈活分配資源
  cGPU實現(xiàn)了物理GPU的資源任意劃分，您可以按照不同比例靈活配置。
  支持按照顯存和算力兩個維度劃分，您可以根據(jù)需要靈活分配。

p241061.png

cGPU擁有靈活可配置的算力分配策略，支持三種調(diào)度策略的實時切換，滿足了AI負(fù)載的峰谷能力的要求。

p239619.png

二、阿里云GPU云服務(wù)器應(yīng)用場景

GPU云服務(wù)器適用于視頻轉(zhuǎn)碼、圖片渲染、AI訓(xùn)練、AI推理、云端圖形工作站等場景，神行工具包（DeepGPU）為了配合GPU云服務(wù)器的計算服務(wù)增強(qiáng)能力，也適用于所有AI訓(xùn)練場景和AI推理場景。下面介紹GPU云服務(wù)器和神行工具包（DeepGPU）的具體應(yīng)用場景。

1、GPU云服務(wù)器應(yīng)用場景

1.1 直播實時視頻轉(zhuǎn)碼
阿里云GPU云服務(wù)器重點支持2019年天貓雙11狂歡夜直播的實時視頻轉(zhuǎn)碼，以高畫質(zhì)、低帶寬、高分辨率、實時的綜合優(yōu)勢服務(wù)于天貓雙11狂歡夜當(dāng)天直播業(yè)務(wù)4K、2K、1080P等各個分辨率的轉(zhuǎn)碼。具體說明如下：

• GPU云服務(wù)器支持高并發(fā)實時視頻流5000路以上，并逐步上升到峰值6200路每分鐘，且順利度過流量洪峰。
• GPU云服務(wù)器參與實時家居渲染圖片生成等業(yè)務(wù)，首次提供了大量算力強(qiáng)勁的ebmgn6v裸金屬實例，支持淘寶渲染方提升幾十倍的渲染性能，第一次實現(xiàn)秒級實時渲染，完成總計超過5000張大型家居渲染圖。

1.2 AI訓(xùn)練
GPU計算型實例規(guī)格族gn6v和gn6e具有優(yōu)異的通用GPU計算加速能力，適合為深度學(xué)習(xí)提供加速引擎。具體說明如下：

• gn6v實例配備具有16 GB顯存的NVIDIA V100 GPU計算卡，gn6e實例配備具有32 GB顯存的NVIDIA V100 GPU計算卡，單節(jié)點可提供高達(dá)1000 TFlops的混合精度計算能力。
• 實例與彈性計算生態(tài)的完美結(jié)合，為在線和離線場景提供了通用的解決方案。
• 實例搭配容器服務(wù)使用，可以簡化部署和運(yùn)維的復(fù)雜度，提供資源調(diào)度服務(wù)。

1.3 AI推理
GPU計算型實例規(guī)格族gn6i具有優(yōu)異的AI推理能力，滿足了深度學(xué)習(xí)（尤其是推理）場景下的算力需求。具體說明如下：

• gn6i實例基于配備NVIDIA Tesla T4 GPU計算卡，單精度浮點計算能力最高可達(dá)8.1 TFlops，int8定點運(yùn)算處理能力最高可達(dá)130 TOPS，支持混合精度。
• 單卡功耗僅75 W，具有極高的性能功耗比。
• 實例與彈性計算生態(tài)的完美結(jié)合，為在線和離線場景提供了通用的解決方案。
• 實例搭配容器服務(wù)使用，可以簡化部署和運(yùn)維的復(fù)雜度，并提供資源調(diào)度服務(wù)。
• 鏡像市場提供預(yù)裝NVIDIA GPU驅(qū)動和深度學(xué)習(xí)框架的鏡像，簡化您的部署操作。

1.4 云端圖形工作站
GPU計算型實例規(guī)格族gn6i采用基于Turing架構(gòu)的NVIDIA Tesla T4 GPU加速器，具有極佳的圖形計算能力。gn6i實例可以結(jié)合云桌面產(chǎn)品提供云端圖形工作站服務(wù)，應(yīng)用于影視動畫設(shè)計、工業(yè)設(shè)計、醫(yī)療成像、高性能計算的結(jié)果呈現(xiàn)等場景。

2、神行工具包（DeepGPU）應(yīng)用場景

神行工具包中的組件主要包括神龍AI加速引擎AIACC（AIACC-Training和AIACC-Inference）、AI分布式訓(xùn)練通信優(yōu)化庫AIACC-ACSpeed、AI訓(xùn)練計算優(yōu)化編譯器AIACC-AGSpeed、集群極速部署工具FastGPU以及GPU容器共享技術(shù)cGPU，該工具主要適用于AI訓(xùn)練和AI推理場景。具體說明如下：

2.1 AI訓(xùn)練
AIACC適用于所有AI訓(xùn)練場景和AI推理場景。AIACC-ACSpeed和AIACC-AGSpeed適用于所有基于PyTorch框架的AI訓(xùn)練場景，并針對PyTorch框架可以實現(xiàn)定制化的深度優(yōu)化功能。
AIACC進(jìn)行AI訓(xùn)練的典型業(yè)務(wù)場景如下所示：

AIACC-ACSpeed進(jìn)行AI訓(xùn)練的典型業(yè)務(wù)場景如下所示：

AGSpeed進(jìn)行AI訓(xùn)練的典型業(yè)務(wù)場景如下所示：

2.2 AI推理
AIACC能夠適用于所有AI推理場景。該工具進(jìn)行AI推理的典型業(yè)務(wù)場景如下所示：

三、阿里云GPU云服務(wù)器最新價格

阿里云gpu云服務(wù)器活動圖.png

如上圖所示，阿里云推出了GPU云服務(wù)器首購活動和官網(wǎng)折扣活動：https://www.aliyun.com/product/ecs/gpu
首購活動包月5折，包年低至4折起。官網(wǎng)折扣包月低至6折起，包年低至5折起，還支持疊加使用折扣優(yōu)惠券，可在活動價格基礎(chǔ)上打7.5折，折扣券領(lǐng)取地址：https://www.aliyun.com/minisite/goods

折扣券最新圖.png

例如GPU 計算型 gn6i實例4核15G活動價格為1681.00元/1個月、10164.00元/6個月、16141.80元/1年，打完折之后優(yōu)惠價格為1260.75元/1個月、7623.00元/6個月、12106.35元/1年。具體活動價格及打完折之后的優(yōu)惠價格如下表所示：

綜上所述：阿里云GPU云服務(wù)器憑借其卓越的產(chǎn)品優(yōu)勢、廣泛的應(yīng)用場景以及極具競爭力的價格，成為了企業(yè)在AI時代轉(zhuǎn)型升級的首選。從深度學(xué)習(xí)到科學(xué)計算，從圖形可視化到視頻處理，阿里云GPU云服務(wù)器以其強(qiáng)大的計算能力和靈活的資源付費(fèi)模式，滿足了企業(yè)的多樣化需求。同時，神行工具包（DeepGPU）的加持，更是進(jìn)一步提升了AI訓(xùn)練和推理的效率。在優(yōu)惠活動的加持下，阿里云GPU云服務(wù)器無疑是企業(yè)擁抱AI、實現(xiàn)智能化轉(zhuǎn)型的明智之選。