有時(shí)候有沒有這么一種情況，我拿到了一個(gè)sql,csv,parquet文件，一起來(lái)就想寫sql，不想寫那些亂七八糟的的東西，只是想快速實(shí)現(xiàn)我要的聚合查詢數(shù)據(jù)。那么我們可以利用s...
發(fā)簡(jiǎn)信
IP屬地：廣東
-
Spark - SQL查詢文件數(shù)據(jù) -
Phoenix自定義函數(shù)UDF異常解決方案
在Phoenix客戶端使用自定義函數(shù)UDF時(shí)候是正常的,但是在本地測(cè)試的時(shí)候報(bào)Function類找不到的異常。 異常演示 例子 CRC32Function.java 導(dǎo)入ph...
-
-
Java 與 Scala 使用Maven混合編譯打包
在SpringBoot上使用spark的時(shí)候會(huì)遇到的混合編譯問題，在java代碼中打包會(huì)找不到scala定義的包，即可參考使用如下配置。 使用配置
-
SpringBoot 自動(dòng)生成API文檔
在做項(xiàng)目的時(shí)候，如果項(xiàng)目是前后分離的，后端一定要和前端或者是移動(dòng)端對(duì)接接口，那么問題來(lái)了，接口是不是要自己寫給他們看，一般的會(huì)采用Excel或者Word來(lái)寫，高級(jí)一點(diǎn)的就采用...
-
Phoenix自定義函數(shù)UDF異常解決方案
在Phoenix客戶端使用自定義函數(shù)UDF時(shí)候是正常的,但是在本地測(cè)試的時(shí)候報(bào)Function類找不到的異常。 異常演示 例子 CRC32Function.java 導(dǎo)入ph...
-
HDFS_DELEGATION_TOKEN 還原及解決方案HDFS_DELEGATION_TOKEN 這個(gè)BUG在很多文章中都出現(xiàn)著，講了很多原理，但是只給出了官方引用地扯，完全沒有給出如何解決，我們線上的業(yè)務(wù)就有著這樣的問題，7天...
-
Java 定位導(dǎo)致CPU飆升的代碼過(guò)程
線上的一個(gè)日志實(shí)時(shí)輸出的程序曾經(jīng)出過(guò)這樣一個(gè)問題，剛開始上線java程序占用的CPU的資源很少,但是到了整點(diǎn)的時(shí)候,CPU直線飆高，直接到達(dá)100%根本沒有要下降的趨勢(shì)，唯一...
-
Java - VisualVM 安裝 plugins Visual GC
在Java VisualVM這款java性能分析及調(diào)優(yōu)工具如何加載插件？比如漂亮的Visual GC，大豬我比較喜歡這款漂亮的姑娘，當(dāng)然了，如果覺得這是阻止了小伙伴們的進(jìn)步，...
