IP屬地：江蘇
-
SQL實(shí)現(xiàn)Structured Streaming
### 需要的配置只有一個(gè)sql文件 ### 代碼整體的結(jié)構(gòu)參考開源項(xiàng)目 [waterdrop](https://github.com/Inte...
-
Nginx配置hbaseweb轉(zhuǎn)發(fā)目標(biāo) 為了公司集群的安全考慮，hadoop和hbase的web訪問只能供有限的人訪問 而要實(shí)現(xiàn)內(nèi)網(wǎng)機(jī)器給外網(wǎng)訪問，要解決的問題是： 1.hado...
-
spark調(diào)優(yōu)
數(shù)據(jù)序列化 內(nèi)存調(diào)整 內(nèi)存管理概述 確定內(nèi)存消耗 調(diào)整數(shù)據(jù)結(jié)構(gòu) 序列化RDD存儲 垃圾收集調(diào)整 其他考慮因素 并行程度 減少任務(wù)的內(nèi)存使用情況 ...
-
spark監(jiān)控
有幾種方法可以監(jiān)控Spark應(yīng)用程序：Web UI，指標(biāo)和外部檢測。 Web界面 默認(rèn)情況下，每個(gè)SparkContext都會在端口4040上啟...
-
Kafka Consumer各種提交方式
普通的API publicstaticvoidCommonDemo(){finalProperties properties =newPrope...
-
kafka0.11Exactly Once語義與事務(wù)機(jī)制原理介紹
http://www.aboutyun.com/thread-24367-1-1.html 問題導(dǎo)讀 1.為什么要提供事務(wù)機(jī)制? 2.Exact...
-
DirectKafkaInputDStream源碼分析(包含動態(tài)分區(qū)感知)
先上一個(gè)官網(wǎng)的栗子： object DirectKafkaWordCount { def main(args: Array[String]) ...
-
Kafka性能測試之produce
在kafka的bin目錄下，有兩個(gè)腳本kafka-producer-perf-test.sh和kafka-consumer-perf-test....
-
如何使用 Java 調(diào)取 Python、R 的訓(xùn)練模型？
原文地址：https://mp.weixin.qq.com/s/mqAkgma3CBFNTxl__vktKQ 在工業(yè)界，我們經(jīng)常會使用 Pyth...