在近日舉行的2018全球閃存技術(shù)峰會上，優(yōu)云數(shù)智攜旗下具有“CBA”氣息的存儲系統(tǒng)——UMStor來到武漢東湖之濱的光谷科技會展中心，向參會者展示PB級數(shù)據(jù)湖存儲方案實力。

數(shù)據(jù)流沖擊日益凸顯

100多年前，“千湖之地”武漢湖泊星羅棋布，沙湖、東湖、白洋湖相通，因無人建防水堤，每每水患，所望及盡澤國。光緒二十五年，湖廣總督張之洞在長江與東湖之間修建了南北兩段堤防——武金堤和武青堤，至此東湖與沙湖分離，基于堅固地質(zhì)，面積經(jīng)幾十年不變，定于33平方公里，遂成今東湖。

探究東湖發(fā)展，人為分治起到很大作用。然而，今天人們開始承受另一種“水患之痛”，那就是高速發(fā)展的IoT使大數(shù)據(jù)面臨PB級海量數(shù)據(jù)存儲以及上千QPS級并發(fā)請求，大數(shù)據(jù)流正瘋狂沖擊著企業(yè)。

面對全業(yè)務(wù)數(shù)字化轉(zhuǎn)型大勢，傳統(tǒng)企業(yè)數(shù)據(jù)中心的數(shù)據(jù)存儲級別由原先數(shù)十TB向今天動輒PB級的數(shù)據(jù)存儲量級轉(zhuǎn)化。與此同時，圍繞企業(yè)多類型業(yè)務(wù)需求，如何解決海量大數(shù)據(jù)并發(fā)承載，如何結(jié)合AI對存儲大數(shù)據(jù)挖掘，并同步通過多協(xié)議訪問高效對外分享等一系列問題，就需建立統(tǒng)一的數(shù)據(jù)平臺化運營機制。

在數(shù)字化轉(zhuǎn)型的挑戰(zhàn)面前，各種新型技術(shù)滲透業(yè)務(wù)模式和流程，推動傳統(tǒng)企業(yè)數(shù)據(jù)存儲變革。UMStor不僅協(xié)助企業(yè)大數(shù)據(jù)上云端，支持大數(shù)據(jù)加速，還為人工智能提供快速處理數(shù)據(jù)接口。

至此，優(yōu)云數(shù)智UMStor已擁有諸多數(shù)十PB級的統(tǒng)一分布存儲、大數(shù)據(jù)湖實際案例落地。

image

PB級數(shù)據(jù)湖存儲方案

數(shù)據(jù)湖的核心關(guān)鍵依然在于數(shù)字化轉(zhuǎn)型，包含大數(shù)據(jù)存儲、處理、共享等數(shù)據(jù)平臺化運營機制。優(yōu)云數(shù)智UMStor多協(xié)議分布式存儲系統(tǒng)在諸多實際案例落地過程中，演化出一種新的大數(shù)據(jù)存儲架構(gòu)——數(shù)據(jù)湖存儲架構(gòu)。

image

（圖：UMStor PB級數(shù)據(jù)湖存儲方案示例）

結(jié)合其他軟件應(yīng)用服務(wù)啟示，優(yōu)云數(shù)智UMStor通過將計算存儲環(huán)境分離，采用Hadapter直接特定函數(shù)調(diào)用，完成數(shù)據(jù)訪問，避免增加網(wǎng)關(guān)IO訪問瓶頸，在保證大數(shù)據(jù)環(huán)境下的存儲訪問性能同時，打破環(huán)境分離帶來的數(shù)據(jù)調(diào)度壁壘。

UMStor協(xié)助企業(yè)存儲數(shù)據(jù)上云端

傳統(tǒng)大數(shù)據(jù)的物理機部署模式在應(yīng)對當(dāng)下企業(yè)多業(yè)務(wù)彈性計算資源需求，以及現(xiàn)有存儲容量擴容增長相差較大的情況下，計算、存儲兩者一體部署已無法滿足靈活業(yè)務(wù)需求，同時也并非是最優(yōu)性價比方案。而將存儲數(shù)據(jù)與計算分離，獨立上云端，實現(xiàn)兩者各自獨立擴展，正是當(dāng)下數(shù)據(jù)存儲的趨勢。

UMStor作為企業(yè)數(shù)據(jù)上云端方案，是真正的軟件定義存儲系統(tǒng)（SDS），采用領(lǐng)先的全分布式全冗余架構(gòu)，沒有單點故障，具有高彈性和高可靠性，性能和容量可以橫向擴展。UMStor可以靈活進(jìn)行軟件配置與硬件選型，協(xié)助企業(yè)自定義存儲系統(tǒng)的性能、容量、數(shù)據(jù)保護能力等，在基礎(chǔ)資源利用最大化的同時，也降低基礎(chǔ)成本投入，滿足企業(yè)當(dāng)前和未來數(shù)據(jù)存儲戰(zhàn)略需求。

UMStor助力企業(yè)大數(shù)據(jù)加速

伴隨數(shù)字化發(fā)展，傳統(tǒng)數(shù)據(jù)存儲部分問題日益突出。例如，傳統(tǒng)存儲數(shù)據(jù)的存取路徑須通過對象服務(wù)的網(wǎng)關(guān)，再由網(wǎng)關(guān)服務(wù)把IO請求遞交給底層的對象存儲設(shè)備，這就會導(dǎo)致一系列問題，不僅網(wǎng)關(guān)增加了IO訪問路徑的開銷，而且該網(wǎng)關(guān)比較容易成為系統(tǒng)的性能瓶頸。

image

（圖：Hadapter運行機制）

通過NFS-Ganesha軟件支持多種后臺存儲系統(tǒng)中Ceph對象存儲服務(wù)的啟示，優(yōu)云數(shù)智打造了一款基于自身存儲系統(tǒng)的Hadoop插件——Hadapter。UMStor通過將計算存儲環(huán)境分離，采用Hadapter直接調(diào)用librados函數(shù)庫來請求OSD的方式，避開了數(shù)據(jù)存取對網(wǎng)關(guān)的請求，在保證大數(shù)據(jù)環(huán)境下存儲訪問性能的同時，打破環(huán)境分離帶來的數(shù)據(jù)調(diào)度壁壘。

此外，圍繞大數(shù)據(jù)應(yīng)用對接，UMStor不僅提供標(biāo)準(zhǔn)S3和Swift對象存儲接口，用于存儲圖片、文件、視頻等非結(jié)構(gòu)化數(shù)據(jù)，而且還提供HDFS接口，大數(shù)據(jù)應(yīng)用Hadoop、Spark、Hive、HBase可以直接與存儲服務(wù)器進(jìn)行通信，不需要經(jīng)過存儲網(wǎng)關(guān)和元數(shù)據(jù)服務(wù)器，具有很強的橫向擴展能力和吞吐能力。

UMStor推動人工智能AI大數(shù)據(jù)挖掘

大數(shù)據(jù)時代，人工智能同步飛速發(fā)展。智能算法的訓(xùn)練與推理需要對超大數(shù)據(jù)集進(jìn)行處理與分析，而這些數(shù)據(jù)涵蓋視頻、圖片、文本等非結(jié)構(gòu)化數(shù)據(jù)。要對來源不同行業(yè)、組織、部門、項目的數(shù)據(jù)進(jìn)行采集、存儲、清洗、轉(zhuǎn)換、特征提取等工作，無疑是一項復(fù)雜、漫長的工程。

UMStor不僅可向人工智能程序提供數(shù)據(jù)快速收集、處理、分析平臺，還具備提供高速

帶寬、海量小文件存取、多協(xié)議互通、數(shù)據(jù)共享的能力，從而大大加速了數(shù)據(jù)挖掘、深度學(xué)習(xí)的過程。

曾經(jīng)水患肆虐的東湖，如今已成為武漢存儲產(chǎn)業(yè)高科技發(fā)展中心，未來將影響著中國，乃至世界科技產(chǎn)業(yè)的發(fā)展方向。UMStor作為優(yōu)云數(shù)智推出的具“CBA”氣息的存儲系統(tǒng)，也將為傳統(tǒng)企業(yè)的數(shù)字化轉(zhuǎn)型提供便捷、穩(wěn)定的數(shù)據(jù)云端存儲解決方案。