想要mysql表支持emoji，需要設(shè)置表編碼為utf8mb4 mysql的字符集的作用域有三個層級一個數(shù)據(jù)庫級，一個是表級，一個是列級（字段級別的）。優(yōu)先級是：列級>表級>...
發(fā)簡信
IP屬地：北京
-
mysql導入emoji數(shù)據(jù)亂碼
-
yarn任務(wù)監(jiān)控頁面查看SQL內(nèi)容集群中有很多hive任務(wù)在執(zhí)行，某一個任務(wù)存在問題時需要分析執(zhí)行的hive job提交了什么語句，是有辦法從hadoop job監(jiān)控頁面查看的 1、點開一個applicati...
-
-
hive分組取隨機數(shù)
hive取隨機的數(shù)據(jù)，可以使用rand()函數(shù)，用rand()對數(shù)據(jù)排序，取topN如果要用到分組取隨機數(shù)，比如每個班級隨機取10人，針對這種每個分組取topN的情況，可以使...
-
動態(tài)參數(shù)設(shè)定
elasticsearch.yml中盡量只寫必備的參數(shù)，其他可以通過api動態(tài)設(shè)置的參數(shù)都通過api來設(shè)定 動態(tài)設(shè)定的參數(shù)有transient和persistent兩種設(shè)置，...
-
Hive不可見字符的處理
指定查詢結(jié)果的分隔符 將查詢結(jié)果放到hdfs目錄上，默認的分隔符為不可見字符\001，可以追加參數(shù)指定分隔符 Linux下對不可見字符的處理 使用vi 使用sed ^A在終端...
-
es 基于磁盤的shard分配參數(shù)
低警戒水位線——默認為磁盤容量的85％。 Elasticsearch不會將分片分配給使用磁盤超過85％的節(jié)點。它也可以設(shè)置為絕對字節(jié)值（如500mb），以防止Elastics...
-
coalesce()方法和repartition()方法的區(qū)別
coalesce()方法和repartition()方法的區(qū)別 Spark的RDD是分區(qū)的，經(jīng)過lineage一系列運算之后，比如原始日志1T，filter算子過濾出1G的內(nèi)...
-
hive 數(shù)據(jù)傾斜優(yōu)化
在一個大表關(guān)聯(lián)小表中遇到數(shù)據(jù)傾斜的問題，優(yōu)化方法如下 mapjoin 類似寫MR時，將小數(shù)據(jù)直接放入map緩存，通過mapjoin可以加快執(zhí)行速度，hive2默認開啟此功能，...
-
search guard配置
權(quán)限配置 sgadmin用法(with PEM certificates) 說明： -icl --ignore-clustername -nhnv --disable-hos...
-
search guard安裝
安裝Search Guard 和其他的elastic插件安裝方式相同，使用elasticsearch-plugin安裝search guard 在線安裝 需要將<versio...
-
hive 中實現(xiàn)對json格式數(shù)據(jù)的解析
1. json對象 hive 中有json解析的工具get_json_object 和json_tupple,這里不多做解釋,直接傳入json類型的參數(shù)調(diào)用即可 比如以下數(shù)據(jù)...
-
窗口函數(shù)示例2-lag：
有關(guān)開窗函數(shù)的基本語法參照 參考地址 1.LAG & LEAD LAG(col,n,DEFAULT) 用于統(tǒng)計窗口內(nèi)往上第n行值LEAD(col,n,DEFAULT) 用于統(tǒng)...
-
窗口函數(shù)示例1-count：
有關(guān)開窗函數(shù)的基本語法參照 參考地址 1.COUNT 包括類似的SUM、AVG、MIN、MAX，都是用于實現(xiàn)分組內(nèi)的統(tǒng)計 需求案例：一個目的地，用戶可能通過三種路徑到達，一天...
-
ES cluster安裝
1.jdk安裝 2.es安裝 1.官網(wǎng)獲取下載鏈接，https://www.elastic.co/downloads/elasticsearch2.解壓縮3.修改es.yml...