HBase分析之用戶(hù)機(jī)制

HBase的用戶(hù)機(jī)制和Hadoop的用戶(hù)機(jī)制是一樣的。但對(duì)剛接觸的人來(lái)說(shuō)，相當(dāng)?shù)碾[蔽，啟動(dòng)HBase不用設(shè)置用戶(hù)名、密碼，連接HBase也不需要設(shè)置用戶(hù)名、密碼。但HBase（實(shí)質(zhì)上是Hadoop）提供了默認(rèn)的用戶(hù)來(lái)執(zhí)行操作。

  1. 超級(jí)用戶(hù)
    如果沒(méi)有特意配置，那么HBase會(huì)選擇啟動(dòng)HBase的系統(tǒng)用戶(hù)作為超級(jí)用戶(hù)。如果需要改變超級(jí)用戶(hù)，可通過(guò)修改hbase-site.xml來(lái)配置，加入hbase.superuser。
<property>
  <name>hbase.superuser</name>
  <value>admin</value>
</property>
  1. 默認(rèn)用戶(hù)
    默認(rèn)用戶(hù)也類(lèi)似，在沒(méi)有特意配置時(shí)，HBase會(huì)選擇當(dāng)前的系統(tǒng)用戶(hù)作為HBase的用戶(hù)，改變默認(rèn)用戶(hù)隱藏的比較深，我們從代碼來(lái)看。

分析源碼

在創(chuàng)建Connection時(shí)，會(huì)判斷是否已經(jīng)創(chuàng)建了用戶(hù)，如果沒(méi)有，會(huì)調(diào)用LoginContext的login()方法來(lái)創(chuàng)建。中間的調(diào)用就直接跳過(guò)了，想詳細(xì)看的可以參照以下堆棧信息。

在login方法中，按順序反射調(diào)用了LOGIN_METHOD（login()）和COMMIT_METHOD（commit()），中間啰嗦的代碼就...跳過(guò)了，抓住重點(diǎn)看：

public void login() throws LoginException {
    ...
    try {
        // 分別反射調(diào)用了login和commit方法
        invokePriv(LOGIN_METHOD);
        invokePriv(COMMIT_METHOD);
        ...
    } catch (LoginException le) {
        ...
    }
}

invokePriv方法是invoke方法的帶權(quán)限執(zhí)行，主要看invoke方法。在invoke方法中，遍歷module stack中的元素，對(duì)里面的每個(gè)元素反射執(zhí)行l(wèi)ogin和commit方法。Module Stack中有兩個(gè)元素，UnixLoginModule和UserGroupInformation$HadoopLoginModule。實(shí)際執(zhí)行的順序就是：

  1. UnixLoginModule#login
  2. UserGroupInformation$HadoopLoginModule#login
  3. UnixLoginModule#commit
  4. UserGroupInformation$HadoopLoginModule#commit
private void invoke(String methodName) throws LoginException {
    for (int i = moduleIndex; i < moduleStack.length; i++, moduleIndex++) {
        try {
            int mIndex = 0;
            Method[] methods = null;
            // 獲取login module的methods
            if (moduleStack[i].module != null) {
                methods = moduleStack[i].module.getClass().getMethods();
            } else {
                // 如果login module還沒(méi)創(chuàng)建，就反射創(chuàng)建一個(gè)，再獲取login module的methods
                ...
            }

            // 遍歷找到對(duì)應(yīng)的方法
            for (mIndex = 0; mIndex < methods.length; mIndex++) {
                if (methods[mIndex].getName().equals(methodName)) {
                    break;
                }
            }

            // 主要就是這里，反射調(diào)用了方法名為方法參數(shù)methodName的無(wú)參方法
            Object[] args = { };
            boolean status = ((Boolean)methods[mIndex].invoke
                            (moduleStack[i].module, args)).booleanValue();

            if (status == true) {
                // 成功后的處理
                ...
            } else {
                // 失敗了的處理
                ...
            }
        } catch (Exception e) {
            // 各種Exception處理
            ...
        }
    }

    // 收尾工作，處理Error，清空狀態(tài)
    ...
}
  1. UnixLoginModule的login方法從系統(tǒng)中獲取到了用戶(hù)的登錄信息
public boolean login() throws LoginException {
    ...
    ss = new UnixSystem();
    if (ss == null) {
        ...
    } else {
        userPrincipal = new UnixPrincipal(ss.getUsername());
        ...
        return true;
    }
}
  1. UserGroupInformation$HadoopLoginModule的login是空方法，只return了true
public boolean login() throws LoginException {
    if(UserGroupInformation.LOG.isDebugEnabled()) {
        UserGroupInformation.LOG.debug("hadoop login");
    }

    return true;
}
  1. UnixLoginModule的commit方法把獲取到的登錄信息寫(xiě)到了subject里
public boolean commit() throws LoginException {
    if (succeeded == false) {
        ...
        return false;
    } else {
        if (subject.isReadOnly()) {
            throw new LoginException
                ("commit Failed: Subject is Readonly");
        }
        // 把用戶(hù)名塞進(jìn)subject
        if (!subject.getPrincipals().contains(userPrincipal))
            subject.getPrincipals().add(userPrincipal);
        // 把其他參數(shù)塞進(jìn)subject
        ...
        commitSucceeded = true;
        return true;
    }
}

寫(xiě)完之后subject里是這樣的，多了用戶(hù)和組的信息。

  1. UserGroupInformation$HadoopLoginModule的commit方法，分3種情況來(lái)獲取用戶(hù)。有KERBEROS，取KERBEROS的用戶(hù)信息；有HADOOP_USER_NAME，取HADOOP_USER_NAME的用戶(hù)信息；都沒(méi)有，就取Unix/Linux系統(tǒng)的用戶(hù)信息，就是第3步commit到subject中的用戶(hù)信息。
public boolean commit() throws LoginException {
    if(!this.subject.getPrincipals(User.class).isEmpty()) {
        return true;
    } else {
        Principal user = null;

        // 如果啟用了KERBEROS
        if(UserGroupInformation.isAuthenticationMethodEnabled(
              UserGroupInformation.AuthenticationMethod.KERBEROS)) {
            user = this.getCanonicalUser(KerberosPrincipal.class);
        }


        if(!UserGroupInformation.isSecurityEnabled() && user == null) {
            // 從系統(tǒng)環(huán)境變量里找HADOOP_USER_NAME
            String envUser = System.getenv("HADOOP_USER_NAME");
            if(envUser == null) {
                // 從Java變量里找HADOOP_USER_NAME
                envUser = System.getProperty("HADOOP_USER_NAME");
            }

            user = envUser == null?null:new User(envUser);
        }

        // 實(shí)在找不到了，就用系統(tǒng)的用戶(hù)信息
        if(user == null) {
            user = this.getCanonicalUser(UserGroupInformation.OS_PRINCIPAL_CLASS);
            ...
        }

        // 把User實(shí)例塞進(jìn)subject
        if(user != null) {
            this.subject.getPrincipals().add(new User(((Principal)user).getName()));
            return true;
        } else {
            ...
        }
    }
}

Commit執(zhí)行完以后，User實(shí)例就創(chuàng)建完成了，可以看到User實(shí)例中只有name。

修改用戶(hù)

知道了HBase是如何獲取用戶(hù)信息的，就可以相應(yīng)的改變用戶(hù)了。
根據(jù)UserGroupInformation$HadoopLoginModule的commit中獲取用戶(hù)的3種方法，就可分3種情況修改用戶(hù)：

  • KERBEROS
    改變KERBEROS用戶(hù)（運(yùn)維比較復(fù)雜，不在考慮范圍）。

  • 系統(tǒng)用戶(hù)
    通過(guò)切換操作系統(tǒng)的用戶(hù)來(lái)完成。

  • HADOOP_USER_NAME
    通過(guò)設(shè)置System環(huán)境變量改變用戶(hù)，需要重啟進(jìn)程才會(huì)生效。

    export HADOOP_USER_NAME=admin

    通過(guò)設(shè)置System Properties改變用戶(hù)，需要在Connection創(chuàng)建之前設(shè)置，這里的System指的是JavaVM。

    System.getProperties().setProperty("HADOOP_USER_NAME", "admin");

舉例來(lái)說(shuō)，masa用戶(hù)是沒(méi)有權(quán)限的，admin用戶(hù)是有權(quán)限的。使用默認(rèn)用戶(hù)masa訪問(wèn)集群，執(zhí)行這段代碼時(shí)，拋出了Exception，原因是沒(méi)有權(quán)限。

Configuration configuration = HBaseConfiguration.create();
HTable table = new HTable(configuration, TableName.valueOf("masa_test"));
ResultScanner scanner = table.getScanner(new Scan());
System.out.println("get scanner " + scanner);

Exception in thread "main" org.apache.hadoop.hbase.security.AccessDeniedException: org.apache.hadoop.hbase.security.AccessDeniedException: Insufficient permissions for user ‘masa',action: scannerOpen, tableName:liehutest, family:f.
at org.apache.ranger.authorization.hbase.RangerAuthorizationCoprocessor.authorizeAccess(RangerAuthorizationCoprocessor.java:525)
at org.apache.ranger.authorization.hbase.RangerAuthorizationCoprocessor.preScannerOpen(RangerAuthorizationCoprocessor.java:919)
at org.apache.ranger.authorization.hbase.RangerAuthorizationCoprocessor.preScannerOpen(RangerAuthorizationCoprocessor.java:854)
at org.apache.hadoop.hbase.regionserver.RegionCoprocessorHost$50.call(RegionCoprocessorHost.java:1284)
at org.apache.hadoop.hbase.regionserver.RegionCoprocessorHost$RegionOperation.call(RegionCoprocessorHost.java:1673)
at org.apache.hadoop.hbase.regionserver.RegionCoprocessorHost.execOperation(RegionCoprocessorHost.java:1748)
at org.apache.hadoop.hbase.regionserver.RegionCoprocessorHost.execOperationWithResult(RegionCoprocessorHost.java:1722)
at org.apache.hadoop.hbase.regionserver.RegionCoprocessorHost.preScannerOpen(RegionCoprocessorHost.java:1279)
at org.apache.hadoop.hbase.regionserver.RSRpcServices.scan(RSRpcServices.java:2252)
at org.apache.hadoop.hbase.protobuf.generated.ClientProtos$ClientService$2.callBlockingMethod(ClientProtos.java:32205)
at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:2114)
at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:101)
at org.apache.hadoop.hbase.ipc.RpcExecutor.consumerLoop(RpcExecutor.java:130)
at org.apache.hadoop.hbase.ipc.RpcExecutor$1.run(RpcExecutor.java:107)
at java.lang.Thread.run(Thread.java:745)

在任務(wù)執(zhí)行之前設(shè)置用戶(hù)名，就可以執(zhí)行成功了。

System.getProperties().setProperty("HADOOP_USER_NAME", "admin");
Configuration configuration = HBaseConfiguration.create();
HTable table = new HTable(configuration, TableName.valueOf("masa_test"));
ResultScanner scanner = table.getScanner(new Scan());
System.out.println("get scanner " + scanner);

get scanner org.apache.hadoop.hbase.client.ClientScanner@dd8ba08
Process finished with exit code 0

-END-

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容