hadoop開發(fā)應用 一、文件上傳 創(chuàng)建input文件夾# hadoop fs -mkdir /input 上傳文件到input文件夾下# hadoop fs -put d...
一、集群節(jié)點配置及服務 二、安裝環(huán)境準備 1. 設置主機名和配置hosts 修改主機名執(zhí)行指令:# hostnamectl set-hostname tinygao1# ho...
1、鎖類型 jdk1.5之前1、內置鎖2、volatile jdk1.51、ReentrantLock 2、區(qū)別 顯式鎖Lock 無條件的(不需要有一個互斥對象) 可輪詢,由...
1、Executor接口 只有一個方法,void execute(Runnable command); 2、ExecutorService 因為Exectuor沒有管理線程執(zhí)...
上一節(jié)我們知道PageSourceProvider提供了獲取hive split相關的信息,這一節(jié),我們來看看是誰會使用它? 1、了解什么是page 一個Page有多個Blo...
1、從hive中拉數據 1.1 入口 :在presto指定根目錄下/etc/catalog/hive.properties 1.2 讀取配置文件 com.facebook...
1. 樣例1 2.樣例2 private static Interner pool = Interners.newWeakInterner();//這種在分布式系統中會有問...
1、看狀態(tài) 2、看執(zhí)行方法 ExecuteResource.java(@Path("/v1/execute")) 有沒有發(fā)現跟上一節(jié)的很相似: QueryResource.j...
上一篇文章我們提到:SqlQueryManager。他是管理query語句創(chuàng)建、語法解析、查詢狀態(tài)的跟蹤。 1、查詢語句入口 也就是說,這一層是基于SqlQueryManag...
一、首先看到入口地方: 有三個狀態(tài):節(jié)點管理器、查詢管理器、是否包含協調器 二、提供的服務: 三、ClusterStats狀態(tài)有哪些? 此處我們可以知道此接口返回的是:運行查...
一、查詢帶有restful api的信息,我們發(fā)現都是以“Resource”結尾的類 首先我們先從NodeResource.java中的"/v1/node"下手,他有一個成員...
繼上一個系列中: new PrestoServer().run(); 上面的服務模塊很多,我們將一個一個來看,到底是干什么的? 不妨我們帶著第一個問題來看代碼:restful...
接上一篇博文,遺留了三個問題。第一個問題客戶端請求的http://localhost:8080/v1/statement地址的服務是什么時候起來的 1、尋找服務器代碼 一開始...