IP屬地：河南
-
PySpark 日志治理方法無論是PySpark程序、還是Scala 編寫的Spark程序，對于運行中的日志寫入與查看的現(xiàn)狀都是類似的，大體有兩點痛點： 1.特別是一直在線...
-
PySparkStreaming At Least Once與不停機更新實現(xiàn)目標 1.實現(xiàn)在流式數(shù)據(jù)處理時，做到At-Least-Once的能力，即保證數(shù)據(jù)不丟失，保證每條數(shù)據(jù)“至少被計算1次”。 2.實現(xiàn)Streami...
-
未來數(shù)據(jù)存儲與處理的主觀臆想背景 從畢業(yè)到現(xiàn)在大概一年時間，主要從事后臺開發(fā)工作，工作過程中也因為業(yè)務(wù)需要，逐漸接觸了一些大數(shù)據(jù)組件，如HDFS、MapReduce、Spa...