有時候有沒有這么一種情況，我拿到了一個sql,csv,parquet文件，一起來就想寫sql，不想寫那些亂七八糟的的東西，只是想快速實現我要的聚合查詢數據。那么我們可以利用s...
發(fā)簡信
IP屬地：廣東
-
Spark - SQL查詢文件數據 -
Phoenix自定義函數UDF異常解決方案
在Phoenix客戶端使用自定義函數UDF時候是正常的,但是在本地測試的時候報Function類找不到的異常。 異常演示 例子 CRC32Function.java 導入ph...
-
-
Java 與 Scala 使用Maven混合編譯打包
在SpringBoot上使用spark的時候會遇到的混合編譯問題，在java代碼中打包會找不到scala定義的包，即可參考使用如下配置。 使用配置
-
SpringBoot 自動生成API文檔
在做項目的時候，如果項目是前后分離的，后端一定要和前端或者是移動端對接接口，那么問題來了，接口是不是要自己寫給他們看，一般的會采用Excel或者Word來寫，高級一點的就采用...
-
Phoenix自定義函數UDF異常解決方案
在Phoenix客戶端使用自定義函數UDF時候是正常的,但是在本地測試的時候報Function類找不到的異常。 異常演示 例子 CRC32Function.java 導入ph...
-
HDFS_DELEGATION_TOKEN 還原及解決方案HDFS_DELEGATION_TOKEN 這個BUG在很多文章中都出現著，講了很多原理，但是只給出了官方引用地扯，完全沒有給出如何解決，我們線上的業(yè)務就有著這樣的問題，7天...
-
Java 定位導致CPU飆升的代碼過程
線上的一個日志實時輸出的程序曾經出過這樣一個問題，剛開始上線java程序占用的CPU的資源很少,但是到了整點的時候,CPU直線飆高，直接到達100%根本沒有要下降的趨勢，唯一...
-
Java - VisualVM 安裝 plugins Visual GC
在Java VisualVM這款java性能分析及調優(yōu)工具如何加載插件？比如漂亮的Visual GC，大豬我比較喜歡這款漂亮的姑娘，當然了，如果覺得這是阻止了小伙伴們的進步，...
-
springcloud 高效率本地加Redis雙級緩存在springcloud中我們可以使用spring-boot-starter-data-redis已經為我們處理好分布式緩存，但是我們還是不滿足于只存在于網絡中傳輸的緩存，我...
-
HDFS_DELEGATION_TOKEN 還原及解決方案
HDFS_DELEGATION_TOKEN 這個BUG在很多文章中都出現著，講了很多原理，但是只給出了官方引用地扯，完全沒有給出如何解決，我們線上的業(yè)務就有著這樣的問題，7天...
-
Hadoop3.2 集群搭建Hadoop3.2 集群新版本的搭建詳細講解過程，從下面第一張官方的圖來看，最新版是3.2，所以大豬將使用3.2的版本來演示，過程中遇到的坑留給自己，把路留給你們，IT之路還...
-
SpringBoot - 多種功能測試例子如何測試SpringBoot的請求?使用spring-boot-starter-test這個包即可完成測試，SpringBoot項目為什么需要測試的意義大豬就不跟小伙伴們多聊...
-
Centos7 - 添加開機啟動服務
Centos7.x的版本的服務都是以systemctl start xxxx來啟動的，如何制作自己的開機啟動腳本? 大豬就來帶大家如何實現一個自己的開機啟動服務。 大豬是參考...
-
-
SpringCloud 結合 MongoTemplate 打印執(zhí)行語句log在調度MongoTemplate的時候，我們無法確定我們寫的方法是否能發(fā)出正確的語句,這時候我們需要將語句給打印出來。 使用方法 在application.yml文件中增加如...
-
Scala - shell 使用外部包方法我們可以使用scala shell做很多事情，比如測試一些demo，不用再打開idea那類那么重的編輯器，當然還有其它用法，像我們使用hbase有這樣的問題，只是想測試hba...
-
Hbase - 表導出CSV數據新鮮文章，昨天剛經過線上驗證過的，使用它導出了3億的用戶數據出來，花了半個小時，性能還是穩(wěn)穩(wěn)的，好了不吹牛皮了，直接上代碼吧。 MR 考查了Hbase的各種MR，沒有發(fā)現哪一...
-
Centos7 - 添加開機啟動服務
Centos7.x的版本的服務都是以systemctl start xxxx來啟動的，如何制作自己的開機啟動腳本? 大豬就來帶大家如何實現一個自己的開機啟動服務。 大豬是參考...
-
Selenium 自動化操作今天分享一個超有意思的東西 Selenium 自動化測試/調式工具。 Selenium 就像真實用戶所做的一樣，Selenium 測試可以在 Windows、Linux 和 ...