數(shù)據(jù)大致格式如下，需求：求當(dāng)前公司等于P的角色(JSON中的R字段) company_namecase_role江蘇XXXX集團有限公司[{"P":"張三","R":"申請執(zhí)...
發(fā)簡信
IP屬地：浙江
-
Hive數(shù)組嵌套JSON如何取需要的數(shù)據(jù)
-
Docker新手練習(xí)一、練習(xí)網(wǎng)址 無需安裝Docker直接通過網(wǎng)址進行Docker的學(xué)習(xí)，訪問以下網(wǎng)址直接點擊以docker登錄https://labs.play-with-docker.com...
-
此簡書用來發(fā)布Spark+AI的深夜學(xué)堂，每夜一更新！夜空中最亮的星：Spark！
-
SparkSQL統(tǒng)計新增用戶
原始數(shù)據(jù)，放置在IDEA的data文件夾下的log1.txt 通過SparkSQL讀取文件，注冊成一張零食表 log1TODO 統(tǒng)計每日日活用戶(只要當(dāng)天有一條訪問記錄的用戶...
-
SparkSQL【02】 SparkSQL三種Join
對于Spark來說有3中Join的實現(xiàn)，每種Join對應(yīng)著不同的應(yīng)用場景：? BroadcastHashJoin ： 適合一張較小的表和一張大表進行join? Shuffle...
-
Mac Kylin 啟動報錯
檢查hive/hbase/spark/kafka依賴是報錯，找不到對應(yīng)的lib Mac不支持printf '%p，需要改成awk所以find-hive-dependency....
-
Scala的case class究竟默認實現(xiàn)了哪些方法？
首先寫一個樣例類Demo 運行后，使用反編譯打開，會發(fā)現(xiàn)一個樣例類 Dollar會生成Dollar$.class和Dollar.class文件 首先來看Dollar$.cla...
-
Hive連續(xù)系列2
有score表，字段分別為年份，課程，學(xué)生，成績 需求1：求每年每門課程排名第一的學(xué)生成績 方式1：常規(guī)方式group by 注：結(jié)果含義，2020年英語最高成績是為B的學(xué)生...
-
Hive連續(xù)系列1現(xiàn)有數(shù)據(jù)如下 需求：求連續(xù)出現(xiàn)三次的數(shù)字number 方法一：根據(jù)肉眼可以看出連續(xù)出現(xiàn)三次的number是1和3，那么用SQL如何實現(xiàn)呢？第一種SQL實現(xiàn)如下 得到結(jié)果： 這...
-
Hive分組TopNPeople表明細如下： 需求：按照性別分組，求分組后年齡最大的兩個年齡的人員信息 學(xué)生技能表如下 需求：按照技能分組，求分組后年齡最大的兩個學(xué)生信息 先將skills炸開 ...
-
Hive列轉(zhuǎn)行(explode/lateral view)explode稱之為Hive爆炸函數(shù)，意思就是將一行數(shù)據(jù)炸開。Usage:explode(array/map) explode函數(shù)傳遞的參數(shù)必須是一個array或者是ma...
-
@codeBugCoder 可以，只要能讀到
scalikejdbc框架操作MySQL
一、構(gòu)建一個Maven的Scala項目，然后在項目中添加以下依賴 然后在src下一級目錄創(chuàng)建resource文件夾，并指定為Resources文件 在resource文件下創(chuàng)...
-
Flink自定義MySQLSource讀取MySQL數(shù)據(jù)
先查看數(shù)據(jù)庫連接池實現(xiàn)MySQL連接池 MySQL表student的實體采用case class定義 實現(xiàn)RichSourceFunction來自定義MySQLSource ...
-
Flink的DataSet API求WC
IDEA整體結(jié)構(gòu) pom WC.txt log4j.properties不想看無關(guān)日志就設(shè)置只打印error日志 BatchJob
-
生產(chǎn)高效shell命令匯總
1、快速定位ERROR信息方式1 cat hadoop-hadoop-namenode-JD.log | grep -A 5 ERROE cat hadoop-hadoop-...
-
IDEA小胖包打包方式一、現(xiàn)象說明pom有以下依賴 IDEA常用打包方式，只會包含我們自己編寫的主類，不會包含依賴jar包。點擊package打包后 使用WinRAR打開dw-1.0.jar，發(fā)現(xiàn)...