倚天云服務(wù)器是阿里云目前非常熱門的云服務(wù)器產(chǎn)品，也是阿里云在2023年主推的系列云服務(wù)器，目前倚天云服務(wù)器包括計(jì)算型c8y、通用型g8y、內(nèi)存型r8y等實(shí)例規(guī)格，倚天云服務(wù)器采用阿里自研倚天710處理器，基于最新一代CIPU和Dragonfly ARM Hypervisor ，通過芯片快速路徑加速手段實(shí)現(xiàn)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)性能的大幅提升。本文介紹阿里云倚天云服務(wù)器推出的市場(chǎng)背景、倚天云服務(wù)器的產(chǎn)品技術(shù)如何以及倚天云服務(wù)器的各項(xiàng)指標(biāo)數(shù)據(jù)情況。

倚天云服務(wù)器.png

倚天云服務(wù)器產(chǎn)品詳情參考：https://www.aliyun.com/product/ecs/yitian

一、倚天云服務(wù)器推出的市場(chǎng)背景

當(dāng)前，企業(yè)云上業(yè)務(wù)需求趨勢(shì)正在大幅增長(zhǎng)，算力需求呈“爆炸式”遞增。
直播/短視頻行業(yè)每天有上億用戶產(chǎn)出UGC視頻內(nèi)容發(fā)布在不同平臺(tái)，產(chǎn)生百萬(wàn)核級(jí)視頻編碼算力需求和高業(yè)務(wù)成本。基因/制藥行業(yè)涉及到的分子動(dòng)力學(xué)模擬、基因序列對(duì)比、蛋白結(jié)構(gòu)分析，原來(lái)以實(shí)驗(yàn)為主，今天計(jì)算機(jī)模擬為主，從原子-分子單位的行為進(jìn)行計(jì)算，消耗大量的算力。電商行業(yè)從流量為主轉(zhuǎn)變?yōu)榫婊\(yùn)營(yíng)過程中所需的AI推理、大數(shù)據(jù)畫像，智能精準(zhǔn)推薦對(duì)算力需求也越來(lái)越旺盛。以AI為代表的算力規(guī)模每三個(gè)半月就會(huì)翻一倍。

倚天云服務(wù)器市場(chǎng)背景.png

如今，每迭代一代CPU，服務(wù)器和數(shù)據(jù)中心的功耗和成本攀升，每千瓦芯片功耗在生命周期內(nèi)帶來(lái)上萬(wàn)美金的成本；硬件和芯片的成本也在逐代上漲。
在云這類面向多租戶的場(chǎng)景下，超線程（HT）架構(gòu)的問題逐漸暴露出來(lái)，面對(duì)一些高密計(jì)算任務(wù)時(shí)很難滿足業(yè)務(wù)需求，共享內(nèi)存與物理核的機(jī)制導(dǎo)致租戶之間處理任務(wù)可能需要相互排隊(duì)，導(dǎo)致性能大幅下降；或者互相干擾的情況導(dǎo)致性能波動(dòng)。

技術(shù)挑戰(zhàn).png

如何能在實(shí)現(xiàn)高性能（減少干擾）的同時(shí)實(shí)現(xiàn)低功耗、低成本？我們認(rèn)為，以此前的技術(shù)方案，無(wú)法解決業(yè)務(wù)需求和痛點(diǎn)，需要設(shè)計(jì)一款云原生芯片，結(jié)合現(xiàn)有的阿里云軟硬件架構(gòu)，才能更好地解決客戶應(yīng)用的需求。

我們先來(lái)看下結(jié)果：在編解碼的場(chǎng)景下，ECS倚天實(shí)例和傳統(tǒng)實(shí)例相比，實(shí)現(xiàn)了80%的性價(jià)比提升，數(shù)據(jù)庫(kù)場(chǎng)景、AI推理場(chǎng)景、大數(shù)據(jù)場(chǎng)景也都分別有著30%、70%、50%的性價(jià)比有效提升。目前，ECS倚天實(shí)例已應(yīng)用于阿里巴巴集團(tuán)核心業(yè)務(wù)，并服務(wù)科學(xué)研究、智能手機(jī)行業(yè)和多家知名互聯(lián)網(wǎng)公司。2021 年雙 11 期間，天貓雙 11 核心交易系統(tǒng)平滑遷移至倚天 710 云實(shí)例，算力性價(jià)比提升30%；匯量科技廣告推理業(yè)務(wù)使用倚天 710 云實(shí)例，性能和網(wǎng)絡(luò)帶寬雙雙提升，性價(jià)比提升 40% 以上。

二、倚天實(shí)例是如何實(shí)現(xiàn)大幅的性價(jià)比提升的？

我們從不同ECS產(chǎn)品架構(gòu)層面，包括：云原生處理器倚天710、云計(jì)算基礎(chǔ)設(shè)施處理器CIPU、云原生應(yīng)用優(yōu)化方案ECS Booster 等不同層面，給大家分享。

1、倚天710：高性能、低功耗

我們先來(lái)看下倚天710處理器在設(shè)計(jì)上，是如何解決上述問題的。
從芯片層面看，主要影響應(yīng)用性能的四大要素包括ALU（邏輯計(jì)算單元）、Cache、主頻、加速指令。

倚天性能1.png

首先，倚天710 單顆CPU即實(shí)現(xiàn)了128核的高密度設(shè)計(jì)，高規(guī)格實(shí)例可以實(shí)現(xiàn)線性的性能增長(zhǎng)；同時(shí)處理器無(wú)超線程概念，避免了性能爭(zhēng)搶的問題：獨(dú)享物理核，性能更強(qiáng)勁；獨(dú)享Cache，應(yīng)用緩存更高效。

x86架構(gòu)是兩個(gè)vCPU/HT共享一個(gè)物理核，1份ALU（算術(shù)邏輯運(yùn)算單元）。ECS倚天實(shí)例采用的是獨(dú)享物理核心方式，這可以讓算力密集的計(jì)算指令不必排隊(duì)、不必爭(zhēng)搶，計(jì)算速度更快。

倚天性能2.png

在Cache維度，過去兩個(gè)vCPU/HT共享一二級(jí)緩存，相互爭(zhēng)搶，性能波動(dòng)較為嚴(yán)重。采用倚天CPU獨(dú)享Cache的設(shè)計(jì)，讓vCPU之間相互不影響，為重負(fù)載計(jì)算帶來(lái)更高性能。

倚天性能3.png

** 影響算力性能的關(guān)鍵因素，除了核的資源，還有主頻。**
大家知道為什么多數(shù)Web、App、DB的生產(chǎn)業(yè)務(wù)CPU使用率的安全水位線是50%，日常水位低于30%嗎？

以下圖中的視頻編碼為例，并發(fā)超過4路后，性能下降40%；再加上前面說(shuō)到的核爭(zhēng)搶問題，如果客戶的實(shí)際業(yè)務(wù)超過50-60%水位，關(guān)鍵生產(chǎn)應(yīng)用將響應(yīng)放慢，客戶感知卡頓甚至超時(shí)問題。因此需要將CPU使用率安全水位壓低，犧牲成本保證安全，浪費(fèi)了另外50%資源。

背后的原因是x86功耗大，高算力負(fù)載很容易造成功耗過大，溫度上升，因此采用降頻規(guī)避，進(jìn)而影響了性能。而倚天710的功耗是主流x86的1/6，沒有任何降頻問題。同時(shí)也推薦倚天的安全水位可以提高到70-80%，減少資源浪費(fèi)。

在云上多租戶共用平臺(tái)，即使用戶運(yùn)行低負(fù)載應(yīng)用，也存在相互影響的風(fēng)險(xiǎn)，倚天徹底解決了此問題。下圖展示的案例就可以看到，在視頻編解碼四路以上時(shí)，代表倚天的橙色部分基本保持恒定，x86則會(huì)降低幅度40%。

倚天性能4.jpg

值得一提的是，倚天710還針對(duì)特定算法場(chǎng)景進(jìn)行了加速與優(yōu)化。比如像NEON、SVE等矢量計(jì)算技術(shù)，可以讓單條指令處理更長(zhǎng)的數(shù)據(jù)，可以大幅提升機(jī)器學(xué)習(xí)、視頻編碼和高性能計(jì)算等場(chǎng)景性能；另外，倚天實(shí)例還支持BF16和INT8，在機(jī)器學(xué)習(xí)場(chǎng)景下，大幅提升計(jì)算效率，為客戶提供更多選擇。

2、以CIPU為中心的架構(gòu)：高密、穩(wěn)定、強(qiáng)勁

除了芯片本身能力，為了實(shí)現(xiàn)降本增效，倚天ECS實(shí)例基于云原生的硬件架構(gòu)設(shè)計(jì)。

傳統(tǒng)的服務(wù)器常常設(shè)計(jì)為2路或4路，通過多NUMA互連的方式提升整機(jī)CPU密度，讓一個(gè)OS調(diào)度更多CPU算力，卻也增加了復(fù)雜度。在這種架構(gòu)下，隨著核數(shù)增加，網(wǎng)絡(luò)和存儲(chǔ)IO也快速翻番，還要保持跨NUMA cache一致性，導(dǎo)致應(yīng)用性能下降；同時(shí)也帶來(lái)爆炸半徑過大的問題，在云計(jì)算場(chǎng)景下，多路的設(shè)計(jì)會(huì)讓局部硬件故障的影響范圍更大。

阿里云采用云原生的思想重新設(shè)計(jì)。倚天710 CPU單顆CPU即實(shí)現(xiàn)了128核的高密度設(shè)計(jì)，同時(shí)以CIPU為中心的硬件架構(gòu)，通過CIPU連接2顆或者更多倚天的芯片，去NUMA方案下實(shí)現(xiàn)整機(jī)核密度更高，避免了跨NUMA帶來(lái)的性能下降，同時(shí)由整機(jī)的高密度帶來(lái)了成本下降，使得倚天實(shí)例更有競(jìng)爭(zhēng)力。同時(shí)，多單路的硬件機(jī)型設(shè)計(jì)，爆炸半徑減半，產(chǎn)品更穩(wěn)定。

此外CIPU硬件本身也是創(chuàng)新性的設(shè)計(jì)，通過將虛擬化與IO轉(zhuǎn)發(fā)等數(shù)據(jù)面卸載到專用硬件上進(jìn)行加速，消除了原來(lái)虛擬化損耗與性能爭(zhēng)搶，并大幅加速了IO，也會(huì)使得整體性能更高；VPC環(huán)境下支持彈性RDMA加速能力，相比TCP時(shí)延降低70%以上。

倚天性能5.jpg

3、ECS Booster

ECS Booster是阿里云在倚天實(shí)例上提供的軟件性能優(yōu)化方案，通過網(wǎng)絡(luò)中斷優(yōu)化、操作系統(tǒng)優(yōu)化、應(yīng)用層優(yōu)化等技術(shù)，針對(duì)web、APP、數(shù)據(jù)庫(kù)等主流場(chǎng)景進(jìn)行優(yōu)化，運(yùn)行在倚天實(shí)例上阿里云PaaS產(chǎn)品的性能獲已經(jīng)實(shí)現(xiàn)得顯著性能收益，相信也能給客戶業(yè)務(wù)場(chǎng)景帶來(lái)明顯受益。

倚天性能6.jpg

三、倚天云服務(wù)器應(yīng)用場(chǎng)景產(chǎn)品性能表現(xiàn)

前文說(shuō)到的云原生處理器和創(chuàng)新的硬件架構(gòu)，最終在應(yīng)用上有哪些性能收益？我們從Web、App、Media、DB、大數(shù)據(jù)、科學(xué)計(jì)算、AI推理等七個(gè)最廣泛場(chǎng)景來(lái)看產(chǎn)品性能表現(xiàn)。

1、Web場(chǎng)景：綜合性能提升30%

Web場(chǎng)景是互聯(lián)網(wǎng)中應(yīng)用場(chǎng)景最多、消耗服務(wù)器資源最多的場(chǎng)景。為了解決移動(dòng)場(chǎng)景流量和體驗(yàn)問題，服務(wù)端常常采用網(wǎng)頁(yè)壓縮方案節(jié)約帶寬。但壓縮算法非常消耗CPU算力和時(shí)間，導(dǎo)致隊(duì)列中多客戶請(qǐng)求時(shí)延變長(zhǎng)。

倚天性能7.jpg

倚天擁有獨(dú)立CPU物理核，結(jié)合SVE指令加速，單vCPU數(shù)據(jù)壓縮性能翻倍，前面提到的體驗(yàn)影響減半。Web場(chǎng)景包括Nginx、Apache、NodeJS、PHP等排名靠前的應(yīng)用，倚天實(shí)例對(duì)比阿里云G7系列實(shí)例，綜合性能提升30%左右。

阿里云防火墻CFW已經(jīng)實(shí)現(xiàn)倚天ECS遷移。CFW為客戶業(yè)務(wù)提供安全防護(hù)，需進(jìn)行大量正則表達(dá)規(guī)則進(jìn)行掃描，消耗大量算力，影響業(yè)務(wù)性能。采用獨(dú)享物理核的ECS倚天實(shí)例，實(shí)現(xiàn)安全和體驗(yàn)收益兼得。在不同正則匹配性能優(yōu)勢(shì)分別為23%、40%、28%。

倚天性能8.jpg

2、App編程語(yǔ)言性能：多數(shù)性能提升40%

不管是編譯型語(yǔ)言C、Go等還是無(wú)需編譯的語(yǔ)言Java、Python等，都很好的平滑兼容ARM架構(gòu)，我們可以看到，使用開源的Benchmark進(jìn)行測(cè)試，應(yīng)用運(yùn)行在ECS倚天實(shí)例上獲得的性能提升多數(shù)有40%。

倚天性能9.jpg

3、編解碼場(chǎng)景：20-40%性能提升

短視頻和直播是如今最火熱的應(yīng)用，UGC時(shí)代內(nèi)容指數(shù)級(jí)增長(zhǎng)，編解碼算力消耗也隨之增長(zhǎng)。如今最流行的H.264算法速度快，節(jié)約算力，但是編碼后的文件更大，消耗更多存儲(chǔ)和帶寬。H.265可以很好解決此問題，使用比重快速增長(zhǎng)，但多消耗1倍算力成本。

無(wú)論是在哪種場(chǎng)景下，倚天的視頻編解碼性能均比x86實(shí)例更高，成本更低。

如下圖所示，上述兩類視頻編碼規(guī)范的編碼器X.264、X.265運(yùn)行在ECS倚天實(shí)例上，都收獲了20-40%性能提升；這個(gè)過程中我們進(jìn)行了大量矢量指令優(yōu)化，使性能大幅提高，優(yōu)化軟件可以向客戶輸出。

倚天性能10.jpg

4、數(shù)據(jù)庫(kù)場(chǎng)景：10-30%性能提升

數(shù)據(jù)庫(kù)場(chǎng)景下，運(yùn)行在ECS倚天實(shí)例上，相較與G7實(shí)例，開源軟件Redis、Memcached有30%性能優(yōu)勢(shì)，MySQL和PGSQL有10-20%性能優(yōu)勢(shì)。
阿里集團(tuán)電商業(yè)務(wù)所使用的Tair數(shù)據(jù)庫(kù)也已經(jīng)遷移到倚天平臺(tái)，協(xié)議上兼容Redis，性能是開源Redis數(shù)據(jù)庫(kù)的3倍。Tair支撐了多年天貓雙11大促，有強(qiáng)大的緩存能力，需要把數(shù)據(jù)緩存到內(nèi)存，消耗Memory資源。我們采用倚天強(qiáng)大的算力優(yōu)勢(shì)進(jìn)行數(shù)據(jù)壓縮，讓內(nèi)存成本降低60%，疊加倚天實(shí)例自帶的eRDMA加速能力，可以提升吞吐量80%，時(shí)延降低15%以上。目前基于ECS倚天實(shí)例的Tair產(chǎn)品已經(jīng)上線，大家可以在云上使用。

倚天性能11.jpg

5、大數(shù)據(jù)場(chǎng)景：20-60%性能提升

在需要消耗大量IO、大量計(jì)算以及高內(nèi)存帶寬的大數(shù)據(jù)場(chǎng)景中，ECS倚天實(shí)例由于擁有獨(dú)立物理核、Cache更大、網(wǎng)絡(luò)時(shí)延更低等特點(diǎn)，運(yùn)行Spark應(yīng)用性能收益20%以上，搜索Elastic Search和流計(jì)算Flink場(chǎng)景性能收益達(dá)到40%和60%。上述大數(shù)據(jù)開源軟件，直接編譯即可在倚天實(shí)例上運(yùn)行，歡迎大家試用。支持試用配置：就算型c8y 2核4GB 3個(gè)月，申請(qǐng)地址：https://free.aliyun.com

倚天性能12.jpg

6、科學(xué)計(jì)算：20%以上性能提升

在科學(xué)計(jì)算等場(chǎng)景下，相比于同規(guī)格x86云實(shí)例，運(yùn)行在倚天實(shí)例上的基因、制藥，汽車領(lǐng)域等方面的算法都有20%左右的收益，我們近期有兩個(gè)伙伴測(cè)試分子動(dòng)力學(xué)和EDA應(yīng)用，甚至實(shí)現(xiàn)了性能翻倍。這主要是由于科學(xué)計(jì)算場(chǎng)景使用的主要是物理核資源，倚天實(shí)例與同規(guī)格的x86實(shí)例相比，核物理核數(shù)量是后者的兩倍，計(jì)算性能更高。
阿里云彈性高性能計(jì)算平臺(tái)E-HPC、彈性伸縮等云上工具已經(jīng)支持ARM平臺(tái)，主要科學(xué)算法也都可以平滑兼容。

倚天性能13.jpg

7、AI推理：性能提升1倍

AI場(chǎng)景算力消耗增長(zhǎng)飛快，成本占比急劇上升。推理場(chǎng)景下典型的搜推廣客戶都無(wú)法接受下調(diào)精度（影響模型準(zhǔn)確度）降本。阿里云彈性計(jì)算團(tuán)隊(duì)和達(dá)摩院合作，推出了HIE-Engine動(dòng)態(tài)量化方案，利用倚天實(shí)例的INT8加速能力，可將RestNet和Bert場(chǎng)景性能提升1倍，且精度沒有損失。

倚天性能14.jpg

使用這款產(chǎn)品會(huì)獲得更好的性價(jià)比。在前面提到的七大主要應(yīng)用場(chǎng)景，平均性價(jià)比（性能÷價(jià)格）收益可達(dá)50-80%。目前在阿里云產(chǎn)品中，RDS、容器、PAI、視頻云等多款PaaS產(chǎn)品接入倚天ECS；阿里集團(tuán)電商業(yè)務(wù)也使用了倚天ECS，有效支撐阿里618、99大促以及雙11大促多個(gè)活動(dòng)。外部有短視頻、Web、游戲、廣告等客戶提前使用了新產(chǎn)品。

倚天性能15.jpg

以上內(nèi)容來(lái)源參考：阿里云架構(gòu)師張先國(guó)：揭秘ECS倚天實(shí)例背后的技術(shù)

四、倚天云服務(wù)器處理器及存儲(chǔ)、網(wǎng)絡(luò)等性能簡(jiǎn)介

上面介紹了倚天云服務(wù)器的時(shí)長(zhǎng)背景和技術(shù)實(shí)力，下面介紹一下倚天云服務(wù)器采用的處理器及存儲(chǔ)性能、網(wǎng)絡(luò)能力和產(chǎn)品優(yōu)勢(shì)。

處理器：采用2.75 GHz主頻的倚天710處理器，計(jì)算性能穩(wěn)定。

存儲(chǔ)性能：I/O優(yōu)化實(shí)例；僅支持ESSD云盤；實(shí)例存儲(chǔ)I/O性能與計(jì)算規(guī)格對(duì)應(yīng)（規(guī)格越高存儲(chǔ)I/O性能越強(qiáng)）；支持NVMe云盤，支持云盤多重掛載功能，滿足企業(yè)級(jí)核心業(yè)務(wù)的要求。

網(wǎng)絡(luò)：支持IPv6；超高網(wǎng)絡(luò)收發(fā)包PPS能力；小規(guī)格實(shí)例網(wǎng)絡(luò)帶寬具備突發(fā)能力；實(shí)例網(wǎng)絡(luò)性能與計(jì)算規(guī)格對(duì)應(yīng)（規(guī)格越高網(wǎng)絡(luò)性能越強(qiáng)）；支持eRDMA特性，每個(gè)規(guī)格可選支持開啟1個(gè)ERI（Elastic RDMA Interface）網(wǎng)卡。

適用場(chǎng)景：容器、微服務(wù)；網(wǎng)站和應(yīng)用服務(wù)器；視頻編解碼；高性能計(jì)算；基于CPU的機(jī)器學(xué)習(xí)和游戲服務(wù)等場(chǎng)景。

倚天云服務(wù)器優(yōu)勢(shì)

• 超高性價(jià)比
  采用ARM v9架構(gòu)處理器，支持SVE2指令集。適合視頻編解碼、AI推理、Web服務(wù)、大數(shù)據(jù)等各種計(jì)算密集型、通用型場(chǎng)景。

• 豐富的生態(tài)
  倚天云服務(wù)器支持AliLinux3、Anolis、Ubuntu等主流操作系統(tǒng)。同時(shí)支持百余款開源軟件以及多款阿里云主流PaaS產(chǎn)品，例如RDS、ACK等。

• 安全增強(qiáng)
  支持vTPM特性，依托TPM/TCM芯片，實(shí)現(xiàn)從服務(wù)器到實(shí)例的啟動(dòng)鏈可信度量。

五、倚天云服務(wù)器實(shí)例規(guī)格及指標(biāo)數(shù)據(jù)

下面是計(jì)算型c8y、通用型g8y、內(nèi)存型r8y實(shí)例的各項(xiàng)指標(biāo)數(shù)據(jù)。

1、c8y包括的實(shí)例規(guī)格及指標(biāo)數(shù)據(jù)如下表所示。

2、g8y包括的實(shí)例規(guī)格及指標(biāo)數(shù)據(jù)如下表所示。

3、r8y包括的實(shí)例規(guī)格及指標(biāo)數(shù)據(jù)如下表所示。

六、倚天云服務(wù)器最新價(jià)格參考

新老用戶現(xiàn)在同享c8y、g8y、r8y云服務(wù)器7.2折，購(gòu)買時(shí)長(zhǎng)為1年-5年，c8y實(shí)例可選1核2G、2核4G、4核8G配置，g8y實(shí)例可選1核4G、2核8G、4核16G配置，r8y實(shí)例可選1核8G、2核16G、4核32G配置，詳細(xì)價(jià)格查詢：https://www.aliyun.com/page-source/developer/important_features/plan/enterprise

以下價(jià)格為帶寬1M， 40G ESSD云盤時(shí)的默認(rèn)價(jià)格，僅供參考，實(shí)際選購(gòu)過程中，因?yàn)閹捙c云盤容量的不同，價(jià)格會(huì)有所差異，1年至5年參考價(jià)格如下表所示：

八代云服務(wù)器優(yōu)惠價(jià)格展示圖.png

另外，阿里云會(huì)不定期為用戶贈(zèng)送各種優(yōu)惠券與代金券，無(wú)論我們是購(gòu)買哪種實(shí)例規(guī)格的阿里云服務(wù)器，在購(gòu)買之前推薦先了解一下領(lǐng)券中心是否有優(yōu)惠券或代金券能領(lǐng)取，如果有的話，可先領(lǐng)券然后再購(gòu)買，我們結(jié)算訂單的時(shí)還能使用獲得滿減優(yōu)惠。

江蘇省滿減券圖.png