1.備份和災(zāi)難恢復(fù)(BDR)

1).復(fù)制的時(shí)候刷新Impala的metadata

在復(fù)制數(shù)據(jù)的過(guò)程中，可以在CM中配置BDR從而在目標(biāo)集群可以自動(dòng)刷新Impala的metadata緩存。以前的版本需要在Hive的高級(jí)配置里進(jìn)行配置，在Hive Replication Environment Advanced Configuration Snippet (Safety Valve) 配置項(xiàng)中增加RUN_INVALIDATE_METADATA=true。詳情參考：Invalidating Impala Metadata

2).自動(dòng)更新Kerberos的tickets和Delegation Tokens

在舊版本中，在Kerberos集群中的BDR復(fù)制作業(yè)會(huì)失敗，當(dāng)作業(yè)的持續(xù)時(shí)間超過(guò)了HDFS delegation token的更新間隔后。修復(fù)這個(gè)問(wèn)題后，無(wú)論是delegation token還是Kerberos的ticket都會(huì)被自動(dòng)更新，當(dāng)token/ticket過(guò)期后(默認(rèn)的lifetime一般是7天)。這樣可以讓我們?cè)趫?zhí)行一些長(zhǎng)時(shí)間的復(fù)制作業(yè)時(shí)，不用停下源集群的任務(wù)并更改ticket的timeout時(shí)間。

3).優(yōu)化簡(jiǎn)單的Kerberos配置

? ? 1）作為配置集群連接測(cè)試(Test Connectivity)的一部分(Cloudera Manager -> Backup -> Peers), Cloudera Manager現(xiàn)在可以測(cè)試源集群和目標(biāo)集群的Kerberos認(rèn)證配置是否合理。當(dāng)你增加了一個(gè)用于復(fù)制數(shù)據(jù)的另一個(gè)集群，Test Connectivity會(huì)自動(dòng)運(yùn)行。這個(gè)功能需要源和目標(biāo)集群都運(yùn)行在Cloudera Manager 5.12或之上。詳情參考：Enabling Replication Between Clusters with Kerberos Authentication

? ? 2）如果你的集群是讓Cloudera Manager來(lái)管理你的Kerberos配置文件(krb5.conf)，在Test Connectivity的過(guò)程中，如果Kerberos配置有問(wèn)題，BDR可以為你自動(dòng)進(jìn)行修正。

? ? 3）如果源集群和目標(biāo)集群都使用Cloudera Manager 5.12或之上的版本，在Kerberos的集群中增加另一些用于復(fù)制數(shù)據(jù)的集群配置流程非常簡(jiǎn)單?，F(xiàn)在，你只需要設(shè)置信任的目標(biāo)集群，不是源集群，從而減少啟用Hive Replication的復(fù)雜度。詳情參考：Enabling Replication Between Clusters with Kerberos Authentication

4).復(fù)制調(diào)度任務(wù)增加名字和描述

你在創(chuàng)建或編輯一個(gè)復(fù)制調(diào)度任務(wù)時(shí)，你可以在General中增加名字，在Advanced增加描述。

2.集成Hive Metastore Schema的檢查器

Cloudera Manager現(xiàn)在集成了Hive Metastore的schemaTool，用于校驗(yàn)Hive的metadata。當(dāng)你用Cloudera Manager 5.12或更高版本的界面化升級(jí)向?qū)Щ蛘呙钚猩?jí)集群時(shí)(該集群包括Hive組件)，在升級(jí)Hive metastore的schema之前，Cloudera Manager會(huì)首先運(yùn)行這個(gè)校驗(yàn)檢查來(lái)查看是否有不一致或錯(cuò)誤。如果校驗(yàn)檢查失敗，Cloudera Manager會(huì)顯示這個(gè)錯(cuò)誤并且停止升級(jí)。你需要先解決這個(gè)錯(cuò)誤，否則升級(jí)無(wú)法繼續(xù)。

3.支持HSM Key Provider

Cloudera Manager的HDFS加密向?qū)КF(xiàn)在可以配置硬件安全模塊(Hardware Security Module，HSM)的Key Providers，同時(shí)它是被CDH5.12的秘鑰管理支持的。

4.發(fā)送診斷包

優(yōu)化通過(guò)Cloudera Manager搜集和發(fā)送診斷包。無(wú)論你之前是怎么配置的，每次你在創(chuàng)建診斷包時(shí)，你都可以選擇：搜集和發(fā)送診斷包到Cloudera Support或者只是搜集診斷數(shù)據(jù)。另外，Cloudear Manager會(huì)顯示診斷包的狀態(tài)。比如診斷包是否已經(jīng)成功發(fā)送給Cloudera。

5.刪除Kerberos服務(wù)的Principal

通過(guò)delete_credentials API，你可以刪除MIT Kerberos或者Active Directory服務(wù)的Principal，在Kerberos環(huán)境中這些Principal是由Cloudera Manager之前創(chuàng)建的。

6.HBase Region的上線健康檢查

Cloudera Manager現(xiàn)在可以顯示HBase的regions上線時(shí)的健康度，比如是否因?yàn)樵谧龇至押秃喜⒉僮鞫鴮?dǎo)致卡住/掛起。

7.MapReduce作業(yè)提交文件的復(fù)制因子

MR1和MR2提交的作業(yè)的復(fù)制因子(Submit Replication Factor)屬性會(huì)自動(dòng)設(shè)置，它會(huì)至少與HDFS默認(rèn)的復(fù)制因子(HDFS Replication Factor)保持一致，在一個(gè)超過(guò)3個(gè)Datanode的集群中。另外，配置校驗(yàn)器會(huì)校驗(yàn)這個(gè)參數(shù)，如果作業(yè)提交復(fù)制因子比HDFS的復(fù)制因子要低，則給出警告，如果集群的Datanode超過(guò)3個(gè)。

8.自定義導(dǎo)航欄顏色

現(xiàn)在可以使用Cloudera Manager自定義導(dǎo)航欄的顏色，通過(guò)選擇Administration > Settings，然后在Category選擇Other，在下拉菜單中選擇 Custom Header Color。

9.動(dòng)態(tài)資源池的UI

Dynamic Resource Pools的界面現(xiàn)在可以顯示資源池的訪問(wèn)控制信息，包括是否可用，有沒(méi)有定制化的users/groups限制，或者是不是繼承他們父池的ACLs。

10.Impala Shell命令的例子

Impala服務(wù)狀態(tài)頁(yè)面包括了一個(gè)Impala Shell命令的例子。

11.配置S3的Endpoint

S3連接器服務(wù)可以允許你配置被HDFS客戶端(包括Hive和Impala)使用的S3 Endpoint，從而保證所有被你的集群創(chuàng)建/訪問(wèn)的S3數(shù)據(jù)都已經(jīng)存儲(chǔ)到了你選擇的AWS region中。另外，Hue默認(rèn)就自動(dòng)配置了S3連接器的Endpoint。

12.Solr

? ? 1）請(qǐng)求率(Request Rate)和索引大小圖表

Solr狀態(tài)頁(yè)面的圖表現(xiàn)在集成了Solr服務(wù)的請(qǐng)求率和索引的統(tǒng)計(jì)大小。

? ? 2）日志的新標(biāo)簽

優(yōu)化了Solr的日志?，F(xiàn)在日志包括：thread, shard, replica和collection。