IP屬地：云南
-
PySpark 日志治理方法無論是PySpark程序、還是Scala 編寫的Spark程序，對(duì)于運(yùn)行中的日志寫入與查看的現(xiàn)狀都是類似的，大體有兩點(diǎn)痛點(diǎn)： 1.特別是一直在線...
-
PySparkStreaming At Least Once與不停機(jī)更新實(shí)現(xiàn)目標(biāo) 1.實(shí)現(xiàn)在流式數(shù)據(jù)處理時(shí)，做到At-Least-Once的能力，即保證數(shù)據(jù)不丟失，保證每條數(shù)據(jù)“至少被計(jì)算1次”。 2.實(shí)現(xiàn)Streami...
-
未來數(shù)據(jù)存儲(chǔ)與處理的主觀臆想背景 從畢業(yè)到現(xiàn)在大概一年時(shí)間，主要從事后臺(tái)開發(fā)工作，工作過程中也因?yàn)闃I(yè)務(wù)需要，逐漸接觸了一些大數(shù)據(jù)組件，如HDFS、MapReduce、Spa...