IP屬地：江蘇
-
SQL實現(xiàn)Structured Streaming
### 需要的配置只有一個sql文件 ### 代碼整體的結構參考開源項目 [waterdrop](https://github.com/Inte...
-
Nginx配置hbaseweb轉發(fā)目標 為了公司集群的安全考慮，hadoop和hbase的web訪問只能供有限的人訪問 而要實現(xiàn)內網(wǎng)機器給外網(wǎng)訪問，要解決的問題是： 1.hado...
-
spark調優(yōu)
數(shù)據(jù)序列化 內存調整 內存管理概述 確定內存消耗 調整數(shù)據(jù)結構 序列化RDD存儲 垃圾收集調整 其他考慮因素 并行程度 減少任務的內存使用情況 ...
-
spark監(jiān)控
有幾種方法可以監(jiān)控Spark應用程序：Web UI，指標和外部檢測。 Web界面 默認情況下，每個SparkContext都會在端口4040上啟...
-
Kafka Consumer各種提交方式
普通的API publicstaticvoidCommonDemo(){finalProperties properties =newPrope...
-
kafka0.11Exactly Once語義與事務機制原理介紹
http://www.aboutyun.com/thread-24367-1-1.html 問題導讀 1.為什么要提供事務機制? 2.Exact...
-
DirectKafkaInputDStream源碼分析(包含動態(tài)分區(qū)感知)
先上一個官網(wǎng)的栗子： object DirectKafkaWordCount { def main(args: Array[String]) ...
-
Kafka性能測試之produce
在kafka的bin目錄下，有兩個腳本kafka-producer-perf-test.sh和kafka-consumer-perf-test....
-
如何使用 Java 調取 Python、R 的訓練模型？
原文地址：https://mp.weixin.qq.com/s/mqAkgma3CBFNTxl__vktKQ 在工業(yè)界，我們經(jīng)常會使用 Pyth...