發(fā)簡信
IP屬地：廣東
-
線程安全的list
一個(gè)并發(fā)相關(guān)的問題。關(guān)于線程安全的list結(jié)構(gòu)，網(wǎng)上只找到兩種答案：(1) Collections.synchronizedList和(2) C...
-
spark 調(diào)度優(yōu)化1.問題 在做spark-streaming的時(shí)候最近遇到個(gè)特別的問題：每個(gè)batch的任務(wù)調(diào)度執(zhí)行的時(shí)候，某些excutor上調(diào)度的任務(wù)特別多...
-
filebeat常見問題
1.Too many open file handlers Filebeat保持文件處理程序打開，直到文件到達(dá)文件末尾，以便它可以近乎實(shí)時(shí)地讀取...
-
filebeat工作原理Filebeat是本地文件的日志數(shù)據(jù)采集器。 作為服務(wù)器上的代理安裝，F(xiàn)ilebeat監(jiān)視日志目錄或特定日志文件，tail file，并將它們轉(zhuǎn)...
-
kafka發(fā)送消息分區(qū)選擇策略
發(fā)送kafka：(版本0.10.11) kafka 生產(chǎn)者發(fā)送消息分區(qū)選擇策略 通過跟蹤send方法，發(fā)現(xiàn)KafkaProducer是通過內(nèi)部的...
-
azkaban配置多節(jié)點(diǎn)集群模式部署
azkaban有2種集群模式： 1.首先需要在web-server配置多節(jié)點(diǎn)模式 2.配置存儲(chǔ)模式azkaban有2種3模式：1）.local單...
-
Spark讀寫壓縮文件
一、 壓縮文件讀取 spark 自動(dòng)根據(jù)文件后綴名判斷壓縮格式，不用特別指定 二、寫文件時(shí)壓縮 spark會(huì)加載Hadoop的默認(rèn)的配置，如果h...