數(shù)據(jù)大致格式如下,需求:求當(dāng)前公司等于P的角色(JSON中的R字段) company_namecase_role江蘇XXXX集團有限公司[{"P":"張三","R":"申請執(zhí)...
數(shù)據(jù)大致格式如下,需求:求當(dāng)前公司等于P的角色(JSON中的R字段) company_namecase_role江蘇XXXX集團有限公司[{"P":"張三","R":"申請執(zhí)...
一、練習(xí)網(wǎng)址 無需安裝Docker直接通過網(wǎng)址進行Docker的學(xué)習(xí),訪問以下網(wǎng)址直接點擊以docker登錄https://labs.play-with-docker.com...
原始數(shù)據(jù),放置在IDEA的data文件夾下的log1.txt 通過SparkSQL讀取文件,注冊成一張零食表 log1TODO 統(tǒng)計每日日活用戶(只要當(dāng)天有一條訪問記錄的用戶...
對于Spark來說有3中Join的實現(xiàn),每種Join對應(yīng)著不同的應(yīng)用場景:? BroadcastHashJoin : 適合一張較小的表和一張大表進行join? Shuffle...
檢查hive/hbase/spark/kafka依賴是報錯,找不到對應(yīng)的lib Mac不支持printf '%p,需要改成awk所以find-hive-dependency....
首先寫一個樣例類Demo 運行后,使用反編譯打開,會發(fā)現(xiàn)一個樣例類 Dollar會生成Dollar$.class和Dollar.class文件 首先來看Dollar$.cla...
有score表,字段分別為年份,課程,學(xué)生,成績 需求1:求每年每門課程排名第一的學(xué)生成績 方式1:常規(guī)方式group by 注:結(jié)果含義,2020年英語最高成績是為B的學(xué)生...
現(xiàn)有數(shù)據(jù)如下 需求:求連續(xù)出現(xiàn)三次的數(shù)字number 方法一:根據(jù)肉眼可以看出連續(xù)出現(xiàn)三次的number是1和3,那么用SQL如何實現(xiàn)呢?第一種SQL實現(xiàn)如下 得到結(jié)果: 這...
People表明細如下: 需求:按照性別分組,求分組后年齡最大的兩個年齡的人員信息 學(xué)生技能表如下 需求:按照技能分組,求分組后年齡最大的兩個學(xué)生信息 先將skills炸開 ...
explode稱之為Hive爆炸函數(shù),意思就是將一行數(shù)據(jù)炸開。Usage:explode(array/map) explode函數(shù)傳遞的參數(shù)必須是一個array或者是ma...
@codeBugCoder 可以,只要能讀到
scalikejdbc框架操作MySQL一、構(gòu)建一個Maven的Scala項目,然后在項目中添加以下依賴 然后在src下一級目錄創(chuàng)建resource文件夾,并指定為Resources文件 在resource文件下創(chuàng)...
先查看數(shù)據(jù)庫連接池實現(xiàn)MySQL連接池 MySQL表student的實體采用case class定義 實現(xiàn)RichSourceFunction來自定義MySQLSource ...
IDEA整體結(jié)構(gòu) pom WC.txt log4j.properties不想看無關(guān)日志就設(shè)置只打印error日志 BatchJob
1、快速定位ERROR信息方式1 cat hadoop-hadoop-namenode-JD.log | grep -A 5 ERROE cat hadoop-hadoop-...
一、現(xiàn)象說明pom有以下依賴 IDEA常用打包方式,只會包含我們自己編寫的主類,不會包含依賴jar包。點擊package打包后 使用WinRAR打開dw-1.0.jar,發(fā)現(xiàn)...