一位愛好文學(xué)的資深程序開發(fā)工程師。熱愛工作又極度顧家的有為社會青年。<br><br>帶貨 <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fasktug.com%2F" target="_blank">https://asktug.com/</a>
發(fā)簡信
IP屬地：遼寧
-
-
上面的文字里面有一段， 你看下哈
“可以看到 AM端的 初始UserGroupInformation是不帶要tgt的， 也就是說，沒辦法進(jìn)行kerberos認(rèn)證流程，AM端不管是與yarn還是 hdfs的通訊都應(yīng)該是使用Token的。在圖片中Token列表中，我們看到出現(xiàn)了一個 名字叫 YARN_AM_RM_TOKEN ，這個并不是我們Client加進(jìn)去的，但是可以確信的是AM使用該token與RM進(jìn)行通訊，這個token哪里來的呢？
帶著這個疑問，我們需要從Client開始扒拉一下代碼了，在client端我們使用 YarnClient 將我們的啟動的信息提交給了RM，這個YarnClient是經(jīng)過kerberos認(rèn)證的連接，那么我們可以看下RM端是怎么來處理這個 啟動ApplicationMaster請求的。我們提交給RM的是一個名叫ApplicationSubmissionContext, RM要從中創(chuàng)建出”kerberos體系下的應(yīng)用(yarn,spark on yarn)
kerberos 介紹 閱讀本文之前建議先預(yù)讀下面這篇博客kerberos認(rèn)證原理---講的非常細(xì)致，易懂 Kerberos實際上一個基于Ticket的認(rèn)證方式。Client...
-
@Jacky胡家發(fā) 是的，下載到本地 然后使用本地的 cache keytab文件 進(jìn)行認(rèn)真。這個一套 資源機(jī)制是 hadoop-yarn的 機(jī)制。 yarn-client 將資源上傳到共享存儲中(這里是hdfs)，然后yarn的 RM 找到一臺NM 啟動該任務(wù)的AM的時候，會把資源的相應(yīng)位置告訴AM，AM在啟動的時候會有 resouce download的操作。有興趣的話可以 流量一下 hadoop-yarn 的邏輯
kerberos體系下的應(yīng)用(yarn,spark on yarn)
kerberos 介紹 閱讀本文之前建議先預(yù)讀下面這篇博客kerberos認(rèn)證原理---講的非常細(xì)致，易懂 Kerberos實際上一個基于Ticket的認(rèn)證方式。Client...
-
Apache sentry架構(gòu)分析-(與hive、hdfs集成)Why was I born with such contemporaries. -- 王爾德Just For M 前言 Apache Sentry是Cloudera公...
-
HiveServer2-HA-安全架構(gòu)赴海獨(dú)漂櫓，白首度餘生。 -- 木心Just For M 前言 為了梳理 apache sentry_1.5.0 開啟 hdfs sync 功能后 不再支持hs2的Me...
-
jdk1.8-ForkJoin框架剖析Selfishness is not living as one wishes to live, it is asking others to live as one wis...
-
Spark-sql[1]-antrl4的入門以及在spark中的實現(xiàn)we are all in the gutter,but some of us are looking at the stars. --王爾德Just For M 為了更方便...
-
kerberos體系下的應(yīng)用(yarn,spark on yarn)kerberos 介紹 閱讀本文之前建議先預(yù)讀下面這篇博客kerberos認(rèn)證原理---講的非常細(xì)致，易懂 Kerberos實際上一個基于Ticket的認(rèn)證方式。Client...
-
-
如果讀完覺得有收獲的話，歡迎關(guān)注我的公眾號：占小狼的博客 <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fdwz.cn%2FD8Q1K7Ft" target="_blank">https://dwz.cn/D8Q1K7Ft</a><br><br><br>
