安裝： 配置： 后臺(tái)運(yùn)行及關(guān)閉 配置文件 superset_config.py文件里進(jìn)行一些定制： 資源文件修改，例如修改pie圖的數(shù)字格式等： 其他 回頭繼續(xù)補(bǔ)充
發(fā)簡(jiǎn)信
IP屬地：北京
-
superset安裝搭建及配置
-
linux下gcc、g++不同版本的安裝和切換
Ubuntu 18.04預(yù)裝GCC版本為7.3,但有時(shí)在編譯是需要用的不同gcc版本，下面介紹，如何安裝不同的gcc 和g++，并設(shè)置根據(jù)不同的需要在不同版本之間切換。 1....
-
hadoop 集群 rebalance 和磁盤 均衡在我們使用hadoop集群的時(shí)候 ，由于 日志 數(shù)據(jù)不斷流入寫入到hdfs上，而且 算法人員 不斷的清洗 數(shù)據(jù)做特征工程 又會(huì)產(chǎn)生 新的中間數(shù)據(jù) ，而且量一點(diǎn)都不小。這個(gè)時(shí)...
-
flink cep，使用groovy腳本及表達(dá)式求值
提要：使用表達(dá)式求值和groovy腳本來生成flink cep Pattern。減少代碼量，一份代碼可通過傳script腳本的方式生成不同的pattern。1.source ...
-
hive 獲取自然周
選擇一個(gè)周一的相對(duì)日期 比如 2018-01-01 是周一 假如當(dāng)前時(shí)間是 p0,那查詢當(dāng)前時(shí)間的自然周的周一日期 跨年自然周的處理 現(xiàn)象： 查詢當(dāng)前日期是這一年的第幾周 可...
-
python中partial的使用規(guī)則
前天看到了partial的一個(gè)新用法，記錄一下。 概念 函數(shù)聲明如下： 返回一個(gè)可以像函數(shù)一樣被調(diào)用的partial實(shí)例，在調(diào)用時(shí)使用args和keywords參數(shù)。使用py...
-
生產(chǎn)HDFS Block副本缺失或者副本損壞恢復(fù)
一、文件 上傳： 校驗(yàn)健康狀態(tài): 二、直接DN節(jié)點(diǎn)上刪除文件一個(gè)block的一個(gè)副本(3副本） 刪除塊和meta文件： 直接重啟HDFS，直接模擬損壞效果，然后fsck檢查:...
-
Spring Boot @Configuration 不生效今天朋友發(fā)過來一個(gè)項(xiàng)目，結(jié)構(gòu)如下 項(xiàng)目下的這個(gè)CorsConfig 類中的方法沒有放入Bean工廠，經(jīng)過日志打印，發(fā)現(xiàn)這個(gè) 類并沒有被Bean 掃描到，經(jīng)網(wǎng)上搜索，發(fā)現(xiàn)原來s...
-
snakeyaml was not found on the classpath 錯(cuò)誤
springboot 程序啟動(dòng)報(bào)如下錯(cuò)誤 Attempted to load applicationConfig: classpath:/application.yml]bu...
-
數(shù)倉--Hive--元數(shù)據(jù)表結(jié)構(gòu)學(xué)習(xí)以Hive2.3.4為例進(jìn)行學(xué)習(xí) 元數(shù)據(jù)表總覽 一共有57張表，大致分類下：image.png 版本表VERSION 如果該表出現(xiàn)問題，根本進(jìn)入不了Hive-Cli。比如該表...
-
Kettle 郵件發(fā)送附件Kettle 郵件發(fā)送附件 最近用戶個(gè)需求，利用kettle分析出的數(shù)據(jù)，通過郵件的形式，發(fā)送給本人。這里講解下kettle發(fā)送郵件的方法。 首先說明下，用到的kettle組...
-
Flink 源碼之AsyncFunction
Flink源碼分析系列文檔目錄 請(qǐng)點(diǎn)擊：Flink 源碼分析系列文檔目錄[http://www.itdecent.cn/p/d4a372809e3d] 簡(jiǎn)介 Flink的特...
-
注解@Slf4j的使用注解@Slf4j的使用 聲明:如果不想每次都寫private final Logger logger = LoggerFactory.getLogger(當(dāng)前類名.class...
-
Spark 實(shí)現(xiàn)MySQL update操作
背景 目前 spark 對(duì) MySQL 的操作只有 Append,Overwrite,ErrorIfExists,Ignore幾種表級(jí)別的模式，有時(shí)我們需要對(duì)表進(jìn)行行級(jí)別的操...
-
Flink利用State進(jìn)行統(tǒng)計(jì)
一. 托管State 1.1 主程序 構(gòu)建 StreamExecutionEnvironment； 啟動(dòng) Checkpoint，并設(shè)置間隔時(shí)間； 設(shè)置 StateBacken...
-
Flink重點(diǎn)難點(diǎn)：Flink任務(wù)綜合調(diào)優(yōu)(Checkpoint/反壓/內(nèi)存)
CheckPoint調(diào)優(yōu) Flink中基于異步輕量級(jí)的分布式快照技術(shù)提供了Checkpoints容錯(cuò)機(jī)制，Checkpoints可以將同一時(shí)間點(diǎn)作業(yè)/算子的狀態(tài)數(shù)據(jù)全局統(tǒng)一快...
-
Flink1.10.0讀取并插入Hive1.2.1
FLink讀取+插入Hive數(shù)據(jù)入坑指南 Flink1.9以上版本可以使用hivecatalog讀取Hive數(shù)據(jù)，但是1.9對(duì)于Hive的版本支持不太友好，只支持2.3.4和...
