無論是PySpark程序、還是Scala 編寫的Spark程序，對于運行中的日志寫入與查看的現(xiàn)狀都是類似的，大體有兩點痛點： 1.特別是一直在線運行的Streaming項目，...
IP屬地：貴州
-
PySpark 日志治理方法 -
PySparkStreaming At Least Once與不停機更新實現(xiàn)目標(biāo) 1.實現(xiàn)在流式數(shù)據(jù)處理時，做到At-Least-Once的能力，即保證數(shù)據(jù)不丟失，保證每條數(shù)據(jù)“至少被計算1次”。 2.實現(xiàn)Streaming任務(wù)在需要更新邏輯代碼時，...
-
【Python】如何使用Logging模塊第2期
Logging HOWTO 接上一期介紹完logging的一些基本概念（日志等級的概念等），基礎(chǔ)的使用方式，本期還會介紹更多的使用場景。 從多個模塊記錄日志 我們再開發(fā)程序的...
-
Hello, 一起玩一起玩
-
未來數(shù)據(jù)存儲與處理的主觀臆想背景 從畢業(yè)到現(xiàn)在大概一年時間，主要從事后臺開發(fā)工作，工作過程中也因為業(yè)務(wù)需要，逐漸接觸了一些大數(shù)據(jù)組件，如HDFS、MapReduce、Spark、Hive、Elastic...
-
docker是什么？docker能干嘛？dcokerfile計劃第一期
與文章無關(guān)，當(dāng)我再次打開docker文檔的時候，映入眼簾的黑色主題（默認(rèn)是亮色主題）直接把我?guī)Щ厝ツ暝谟显朴嬎愕恼n堂上，當(dāng)時剛剛適應(yīng)上課的節(jié)奏，基本上課和做作業(yè)時同時進(jìn)行...
-
迭代器模式在前端的使用場景一、迭代器模式在Redux源碼中的使用 二、迭代器模式在Koa2源碼中的使用 場景一、二都是利用迭代器模式，依次調(diào)用中間件，從而實現(xiàn)各個框架中的洋蔥模型。 三、 迭代器模式在...
-
-
Webpack中Loader的pitch方法一、Loader介紹 1.官網(wǎng)介紹：loader 用于對模塊的源代碼進(jìn)行轉(zhuǎn)換。loader 可以使你在 import 或"加載"模塊時預(yù)處理文件。因此，loader 類似于其...
