1 Ranger安裝 這里涉及到3個(gè)插件的安裝，分別是ranger-hdfs、ranger-hive、ranger-presto，下面將詳細(xì)敘述安裝過程。 1.1 配置RDB...
發(fā)簡信
IP屬地：吉林
-
-
dolphinscheduler2.0.3工作流停止時(shí)偶現(xiàn)無法停止dependent類型節(jié)點(diǎn)現(xiàn)象：在頁面上停止工作流時(shí)偶現(xiàn)depend類型節(jié)點(diǎn)無法正常結(jié)束，且后續(xù)無法停止；一、頁面操作stop工作流api端代碼org.apache.dolphinscheduler....
-
抱歉沒研究那么深??
使用antlr4解析clickhouse sql獲取表名
ANTLR是用java實(shí)現(xiàn)的一個(gè)語言識(shí)別器，它通過定義一個(gè)要識(shí)別目標(biāo)語言的結(jié)構(gòu)文件（DSL），然后用它的工具將該文件生成為可解析目標(biāo)語言的java代碼，利用生成的代碼就可對(duì)目...
-
hiveserver2內(nèi)存異常分析1、現(xiàn)象hiveserver2發(fā)生過幾次無法連接問題，進(jìn)程存在，內(nèi)存使用率達(dá)到了80%左右，使用lsof -i:10000查詢1000端口連接并不太多，重啟后恢復(fù)；2、排查過...
-
prestodb安裝ranger插件一、背景 生產(chǎn)環(huán)境使用的prestodb為Facebook版本的prestodb，在安裝ranger插件時(shí)發(fā)現(xiàn)源碼中只支持prestosql版本，故考慮將ranger-pre...
-
hadoop日志審計(jì)
1、配置 hadoop開啟審計(jì)日志需要修改hadoop-env.sh export HADOOP_NAMENODE_OPTS=.... -Dhdfs.audit.logger...
-
datanode域名
hadoop版本2.6.5 org.apache.hadoop.net.DNS#resolveLocalHostnameprivate static String resol...
-
tez on yarn配置任務(wù)優(yōu)先級(jí)一、現(xiàn)狀當(dāng)前yarn上任務(wù)只有隊(duì)列間的資源搶占，隊(duì)列內(nèi)缺乏任務(wù)優(yōu)先級(jí)配置，因此所有任務(wù)的優(yōu)先級(jí)都是默認(rèn)的，默認(rèn)優(yōu)先級(jí)的配置通過此參數(shù)配置yarn.scheduler.capa...
-
promethues+grafana監(jiān)控hadoop服務(wù)本文記錄使用promethes、grafana監(jiān)控告警Hadoop服務(wù)的過程，文末附上grafana dashboard配置，有需要的下載后對(duì)應(yīng)修改即可使用，不要再去csdn...
-
大數(shù)據(jù).機(jī)器學(xué)習(xí)等
-
使用antlr4解析clickhouse sql獲取表名
ANTLR是用java實(shí)現(xiàn)的一個(gè)語言識(shí)別器，它通過定義一個(gè)要識(shí)別目標(biāo)語言的結(jié)構(gòu)文件（DSL），然后用它的工具將該文件生成為可解析目標(biāo)語言的java代碼，利用生成的代碼就可對(duì)目...
-
structuredstreaming checkpoint source目錄spark2.0的structureStreaming在開啟了checkpoint后會(huì)將偏移量記錄到hdfs中，如下為sources的目錄結(jié)構(gòu)，此處研究sources下的子目...
-
在spark structuredStreaming中使用hive表并支持緩存
基于structuredStreaming的流任務(wù)中需要將hive小表（一般是維度表）參與到流計(jì)算的處理中，以下研究是證明spark讀取hive數(shù)據(jù)的及時(shí)性，即hive數(shù)據(jù)變...
-
hadoop鑒權(quán)邏輯改造背景：自研的數(shù)據(jù)安全管理系統(tǒng)中為用戶分配的hive、hdfs權(quán)限最終需要在訪問hadoop時(shí)生效，借鑒ranger的實(shí)現(xiàn)方案，采用javassist改寫namenode鑒權(quán)的...
-
spark啟用CBO● RBO (Rule-Based Optimization)RBO使用的規(guī)則是根據(jù)經(jīng)驗(yàn)形成的，只要按照這個(gè)規(guī)則去寫SQL語句，無論數(shù)據(jù)表中的內(nèi)容怎樣、數(shù)據(jù)分布如何，都不會(huì)影...
