2019-02-12,Alluxio團隊奮戰(zhàn)了快半年的一個重大的里程碑:2.0.0預(yù)覽版的第一個候選版本(Release Candidate 1或RC1)發(fā)布了!今天內(nèi)部測試跑完后,team里各位程序員小哥開心坐在了一起,就著肉吃起了Bagel(甜甜圈??),“真香”。
2019-02-26, 2.0.0 preview的第二個候選版本RC2也發(fā)布了。
文檔也跟著加入了2.0-preview:
http://www.alluxio.org/docs/2.0-preview/en/Getting-Started.html
功能千萬條,安全第一條;“升級”不規(guī)范,親人兩行淚!
2.0預(yù)覽版里,有哪些重要的新增功能?
堆外元數(shù)據(jù)存儲:用戶可以通過配置
alluxio.master.metastore = ROCKS以使用嵌入式RocksDB進(jìn)行堆外元數(shù)據(jù)存儲,從而避免JVM的堆內(nèi)內(nèi)存資源限制和GC帶來的性能下降,并使Alluxio文件系統(tǒng)可以擴展到管理超過10億個文件。Alluxio POSIX API:POSIX兼容的API一直是一個被社區(qū)頻繁請求的功能,我們觀察到的情況是,即便是在大數(shù)據(jù)領(lǐng)域,POSIX API的流行僅次于Hadoop API。在Alluxio 2.0.0預(yù)覽版中,我們支持通過對FUSE的支持來啟用POSIX兼容API。
無外部依賴的嵌入式文件系統(tǒng)Journal(相對于使用HDFS或S3等外部存儲來存儲Journal):Alluxio在2.0新添加的嵌入式Journal從原理上來說就是實現(xiàn)了一個完整的分布式狀態(tài)機,它使用RAFT一致性算法,允許用戶可以在高可用性模式下將文件系統(tǒng)的Journal寫入該狀態(tài)機而不用擔(dān)心有機器宕機時文件系統(tǒng)狀態(tài)的完整。此前Alluxio是通過將文件系統(tǒng)日志寫入HDFS或者S3等外部存儲來實現(xiàn)高可用,引入外部依賴的過程中會導(dǎo)致服務(wù)強依賴于外部的穩(wěn)定性。
-
Job Service:Alluxio 2.0中,實現(xiàn)了一個針對Alluxio操作的輕量級分布式計算框架,主要用于提升各種ETL的任務(wù),例如:
- 主動的文件副本控制
- 持久化文件和異步持久化文件
- 跨越mount point的移動/復(fù)制
- 分布式加載數(shù)據(jù)
支持多個不同的HDFS版本:用戶可以連接到任意數(shù)量的HDFS版本,比如一個2.x一個3.x的HDFS服務(wù)。
-
UI也升級了,變得酷酷的了呢
Screen Shot 2019-02-12 at 11.51.01 PM.png
Alluxio 2.0.0正式版什么時候發(fā)布?
大約幾個月以后,在2019年中期。
如何獲取Alluxio 2.0.0的預(yù)覽版
可以直接下載預(yù)編譯的二進(jìn)制文件(RC2為例):
http://downloads.alluxio.org/downloads/files/2.0.0-preview/alluxio-2.0.0-preview-RC2-bin.tar.gz
想要獲取源代碼, 可以在github上檢索v2.0.0-preview-RC2這個tag
https://github.com/Alluxio/alluxio/tree/v2.0.0-preview-RC2
要使用和測試此版本,可以參閱此候選版本對應(yīng)的文檔
https://www.alluxio.org/docs/2.0-preview/en/Getting-Started.html
