七十年代，我們村東頭有個毛筆廠，做各種各樣的毛筆，遠(yuǎn)銷很多地方。做毛筆要用到兔毛，所以遠(yuǎn)近有很多養(yǎng)兔子薅兔毛的人家。但上好的毛筆，要用狼毫來做，狼毫筆是黃鼠狼尾巴上的毛做的，...
發(fā)簡信
IP屬地：北京
-
Flink詳解系列之九--反壓機(jī)制和處理反壓是什么 反壓是在實(shí)時數(shù)據(jù)處理中，數(shù)據(jù)管道某個節(jié)點(diǎn)上游產(chǎn)生數(shù)據(jù)的速度大于該節(jié)點(diǎn)處理數(shù)據(jù)速度的一種現(xiàn)象。反壓會從該節(jié)點(diǎn)向上游傳遞，一直到數(shù)據(jù)源，并降低數(shù)據(jù)源的攝入速度。這在流...
-
Flink詳解系列之八--Checkpoint和Savepoint一、Checkpoint 獲取分布式數(shù)據(jù)流和算子狀態(tài)的一致性快照是Flink容錯機(jī)制的核心，這些快照在Flink作業(yè)恢復(fù)時作為一致性檢查點(diǎn)存在。 1.1 原理 1.1.1 B...
-
Flink詳解之七--狀態(tài)管理
一、概念 實(shí)時處理中的很多操作都是一次對單個事件做處理，也有一些操作需要?dú)v史事件的信息，這些操作被稱為有狀態(tài)的。也就是說，所謂的狀態(tài)就是由歷史事件處理供后續(xù)操作使用的信息。 ...
-
flink算子：union和connect
在合并數(shù)據(jù)流時，可以使用union和connect兩種算子，兩者的使用方式如下。 union 1、可以合并兩個以上的數(shù)據(jù)流；2、合并的各實(shí)時流數(shù)據(jù)類型必須相同；3、合并的結(jié)果...
-
Flink詳解系列之六--窗口機(jī)制窗口是flink處理無限流的核心,窗口將流拆分為有限大小的“桶”，我們可以在這些桶上進(jìn)行計算。 1、Keyed vs Non-Keyed Windows 根據(jù)上游數(shù)據(jù)是否為K...
-
Flink詳解系列之五--水位線（watermark）1、概念 在Flink中，水位線是一種衡量Event Time進(jìn)展的機(jī)制，用來處理實(shí)時數(shù)據(jù)中的亂序問題的，通常是水位線和窗口結(jié)合使用來實(shí)現(xiàn)。 從設(shè)備生成實(shí)時流事件，到Flin...
-
Flink詳解系列之四--時間在流處理場景中，處理的是持續(xù)到達(dá)且可能是無窮的事件流，時間在這樣的應(yīng)用中是最核心的要素。Flink定義了三種時間類型： 事件時間（Event Time） 事件時間是數(shù)據(jù)流中事...
-
Flink詳解系列之二--核心概念一、流處理 在自然環(huán)境中，數(shù)據(jù)的產(chǎn)生原本就是流式的。無論是來自 Web 服務(wù)器的事件數(shù)據(jù)，證券交易所的交易數(shù)據(jù)，還是來自工廠車間機(jī)器上的傳感器數(shù)據(jù)，其數(shù)據(jù)都是流式的。但是當(dāng)你...
-
Flink詳解之一--概述近段時間，由于公司項目的相關(guān)需求，需要對Flink做詳細(xì)的梳理，我把學(xué)習(xí)過程整理成Flink詳解系列的10篇左右的總結(jié)，供大家參考。 大數(shù)據(jù)計算引擎的發(fā)展 近年來隨著大數(shù)據(jù)的...
-
如何培養(yǎng)孩子的閱讀習(xí)慣
閱讀的重要性是不言而喻的，想讓孩子養(yǎng)成自主閱讀的習(xí)慣，并不是一件非常難的事情，我就以我家孩子為例（目前6歲），簡單介紹下我的感觸，希望對會有大家有幫助。 首先，要培養(yǎng)孩子的閱...
-
python上下文管理器(context manager)
首先，什么是上下文管理器？上下文管理器就是實(shí)現(xiàn)了上下文管理協(xié)議的對象。主要用于保存和恢復(fù)各種全局狀態(tài)，關(guān)閉文件等，上下文管理器本身就是一種裝飾器。下面我們就通過一下幾個部分，...
-
python匿名函數(shù)(lambda function)
在python中，除了一般使用def定義的函數(shù)外，還有一種使用lambda定義的匿名函數(shù)。這種函數(shù)可以用在任何普通函數(shù)可以使用的地方，但在定義時被嚴(yán)格限定為單一表達(dá)式。從語義...
-
Spark深入學(xué)習(xí)專題旨在通過高質(zhì)量的文章對Spark相關(guān)技術(shù)進(jìn)行研究學(xué)習(xí)
-
誠招管理員！聯(lián)系我~ 本專題專注于大數(shù)據(jù)技術(shù)，包括但不限于：分布式系統(tǒng)，hadoop，spark，storm，mesos，hbase，zookeeper。。。 Tips:如果是自己學(xué)習(xí)這些技術(shù)，通過社區(qū)學(xué)習(xí)是一個不錯的方式。 JIRA:https://issues.apache.org/jira/browse/SPARK/?selectedTab=com.atlassian.jira.jira-projects-plugin:summary-panel
-
python描述器(Descriptor)
描述器協(xié)議 描述器協(xié)議包括以下3個方法： object.__get__(self, instance, owner)調(diào)用時得到類的屬性（類屬性訪問控制）或者類的實(shí)例的屬性(實(shí)...
-
python裝飾器(Decorator)
裝飾器是一種設(shè)計模式，它提供了強(qiáng)大的復(fù)用非業(yè)務(wù)邏輯的能力，經(jīng)典的應(yīng)用場景有日志記錄、性能測試、事務(wù)處理等。下面分幾個部分逐步介紹python中的裝飾器。 1、python如何...
