關(guān)于Alluxio 2.0,你要知道的都在這里了

2019-02-12,Alluxio團隊奮戰(zhàn)了快半年的一個重大的里程碑:2.0.0預(yù)覽版的第一個候選版本(Release Candidate 1或RC1)發(fā)布了!今天內(nèi)部測試跑完后,team里各位程序員小哥開心坐在了一起,就著肉吃起了Bagel(甜甜圈??),“真香”。
2019-02-26, 2.0.0 preview的第二個候選版本RC2也發(fā)布了。

文檔也跟著加入了2.0-preview:
http://www.alluxio.org/docs/2.0-preview/en/Getting-Started.html

功能千萬條,安全第一條;“升級”不規(guī)范,親人兩行淚!

2.0預(yù)覽版里,有哪些重要的新增功能?

  • 堆外元數(shù)據(jù)存儲:用戶可以通過配置alluxio.master.metastore = ROCKS以使用嵌入式RocksDB進(jìn)行堆外元數(shù)據(jù)存儲,從而避免JVM的堆內(nèi)內(nèi)存資源限制和GC帶來的性能下降,并使Alluxio文件系統(tǒng)可以擴展到管理超過10億個文件。

  • Alluxio POSIX API:POSIX兼容的API一直是一個被社區(qū)頻繁請求的功能,我們觀察到的情況是,即便是在大數(shù)據(jù)領(lǐng)域,POSIX API的流行僅次于Hadoop API。在Alluxio 2.0.0預(yù)覽版中,我們支持通過對FUSE的支持來啟用POSIX兼容API。

  • 無外部依賴的嵌入式文件系統(tǒng)Journal(相對于使用HDFS或S3等外部存儲來存儲Journal):Alluxio在2.0新添加的嵌入式Journal從原理上來說就是實現(xiàn)了一個完整的分布式狀態(tài)機,它使用RAFT一致性算法,允許用戶可以在高可用性模式下將文件系統(tǒng)的Journal寫入該狀態(tài)機而不用擔(dān)心有機器宕機時文件系統(tǒng)狀態(tài)的完整。此前Alluxio是通過將文件系統(tǒng)日志寫入HDFS或者S3等外部存儲來實現(xiàn)高可用,引入外部依賴的過程中會導(dǎo)致服務(wù)強依賴于外部的穩(wěn)定性。

  • Job Service:Alluxio 2.0中,實現(xiàn)了一個針對Alluxio操作的輕量級分布式計算框架,主要用于提升各種ETL的任務(wù),例如:

    • 主動的文件副本控制
    • 持久化文件和異步持久化文件
    • 跨越mount point的移動/復(fù)制
    • 分布式加載數(shù)據(jù)
  • 支持多個不同的HDFS版本:用戶可以連接到任意數(shù)量的HDFS版本,比如一個2.x一個3.x的HDFS服務(wù)。

  • UI也升級了,變得酷酷的了呢


    Screen Shot 2019-02-12 at 11.51.01 PM.png

Alluxio 2.0.0正式版什么時候發(fā)布?

大約幾個月以后,在2019年中期。

如何獲取Alluxio 2.0.0的預(yù)覽版

可以直接下載預(yù)編譯的二進(jìn)制文件(RC2為例):
http://downloads.alluxio.org/downloads/files/2.0.0-preview/alluxio-2.0.0-preview-RC2-bin.tar.gz

想要獲取源代碼, 可以在github上檢索v2.0.0-preview-RC2這個tag
https://github.com/Alluxio/alluxio/tree/v2.0.0-preview-RC2

要使用和測試此版本,可以參閱此候選版本對應(yīng)的文檔
https://www.alluxio.org/docs/2.0-preview/en/Getting-Started.html

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容