目標(biāo) 1.實(shí)現(xiàn)在流式數(shù)據(jù)處理時(shí)，做到At-Least-Once的能力，即保證數(shù)據(jù)不丟失，保證每條數(shù)據(jù)“至少被計(jì)算1次”。 2.實(shí)現(xiàn)Streaming任務(wù)在需要更新邏輯代碼時(shí)，...
IP屬地：青海
-
PySparkStreaming At Least Once與不停機(jī)更新實(shí)現(xiàn) -
未來(lái)數(shù)據(jù)存儲(chǔ)與處理的主觀臆想背景 從畢業(yè)到現(xiàn)在大概一年時(shí)間，主要從事后臺(tái)開(kāi)發(fā)工作，工作過(guò)程中也因?yàn)闃I(yè)務(wù)需要，逐漸接觸了一些大數(shù)據(jù)組件，如HDFS、MapReduce、Spark、Hive、Elastic...
-
【Python】如何使用Logging模塊第2期
Logging HOWTO 接上一期介紹完logging的一些基本概念（日志等級(jí)的概念等），基礎(chǔ)的使用方式，本期還會(huì)介紹更多的使用場(chǎng)景。 從多個(gè)模塊記錄日志 我們?cè)匍_(kāi)發(fā)程序的...
-
docker是什么？docker能干嘛？dcokerfile計(jì)劃第一期
與文章無(wú)關(guān)，當(dāng)我再次打開(kāi)docker文檔的時(shí)候，映入眼簾的黑色主題（默認(rèn)是亮色主題）直接把我?guī)Щ厝ツ暝谟?guó)上云計(jì)算的課堂上，當(dāng)時(shí)剛剛適應(yīng)上課的節(jié)奏，基本上課和做作業(yè)時(shí)同時(shí)進(jìn)行...
-
迭代器模式在前端的使用場(chǎng)景一、迭代器模式在Redux源碼中的使用 二、迭代器模式在Koa2源碼中的使用 場(chǎng)景一、二都是利用迭代器模式，依次調(diào)用中間件，從而實(shí)現(xiàn)各個(gè)框架中的洋蔥模型。 三、 迭代器模式在...
-
Webpack中Loader的pitch方法一、Loader介紹 1.官網(wǎng)介紹：loader 用于對(duì)模塊的源代碼進(jìn)行轉(zhuǎn)換。loader 可以使你在 import 或"加載"模塊時(shí)預(yù)處理文件。因此，loader 類似于其...
