RegistrationHandler這個類的handle方法是什么時(shí)候被調(diào)用的？這個私有化方法沒看到什么時(shí)候被調(diào)用啊~
Livy Session 詳解（上）本文基于 incubator-livy 0.4.0-incubating 從Livy Rest Api[https://github.com/cloudera/livy#re...
發(fā)簡信
IP屬地：浙江
-
-
kafka 0.11中文文檔翻譯--第三章：配置(Topic-Level Configs)
Kafka topic級別的配置參數(shù)。首先是可以在配置文件中設(shè)置全局性的topic配置參數(shù)，其次是可以在創(chuàng)建topic時(shí)使用 --confi設(shè)置一個或多個自定義的配置。自定義...
-
kafka 0.11中文文檔翻譯--第三章：配置( Broker Configs）
3.1 Broker Configs 基本配置如下：?? 1. broker.id?? 2. log.dirs?? 3. zookeeper.connect 下面將更詳...
-
kafka 0.11中文文檔翻譯--第二章：APIS
kafka包括五個核心apis： Producer API允許應(yīng)用程序?qū)?shù)據(jù)流發(fā)送到Kafka集群中的主題。 Consumer API允許應(yīng)用程序從Kafka集群中的主題讀取...
-
kafka 0.11中文文檔--第一章：快速入門（三）
1.4生態(tài)系統(tǒng) 在主發(fā)行版之外還有大量與Kafka集成的工具。 生態(tài)系統(tǒng)頁面列出了其中的許多內(nèi)容，包括流處理系統(tǒng)，Hadoop集成，監(jiān)控和部署工具。 1.5從以前的版本升級 ...
-
kafka 0.11中文文檔--第一章：快速入門（二）
1.2 使用案例 消息處理 kafka是一個很好的傳統(tǒng)消息代理（message broker）替代產(chǎn)品。使用消息代理有幾種原因：解耦生產(chǎn)者與消息處理、緩存消息等。與大多數(shù)消息...
-
kafka 0.11中文文檔--第一章：快速入門（一）1.1、簡介 ApacheKafka?是一個分布式流媒體平臺。 這到底是什么意思呢？ 它可以讓你發(fā)布和訂閱消息流。 在這方面，它類似于消息隊(duì)列或企業(yè)消息傳遞系統(tǒng)。 它允許您以...
-
NIFI 系統(tǒng)屬性 System Properties之ZooKeeper Properties
ZooKeeper屬性 NiFi依靠Apache ZooKeeper來確定集群中的哪個節(jié)點(diǎn)應(yīng)該扮演主節(jié)點(diǎn)的角色，哪個節(jié)點(diǎn)扮演集群協(xié)調(diào)器的角色。 必須配置這些屬性才能使NiFi...
-
NIFI 系統(tǒng)屬性 System Properties之Cluster Properties
集群通用屬性 設(shè)置NiFi集群時(shí)，應(yīng)在所有節(jié)點(diǎn)上以相同的方式配置這些屬性。 集群節(jié)點(diǎn)屬性 為集群節(jié)點(diǎn)配置這些屬性。
-
NIFI 系統(tǒng)屬性 System Properties之Provenance Repository來源庫
來源庫 Provenance Repository 來源庫包含有關(guān)數(shù)據(jù)來源的信息。 接下來的四個部分是Provenance Repository屬性。nifi.provena...
-
NIFI 系統(tǒng)屬性 System Properties之FlowFile存儲庫和內(nèi)容庫
FlowFile存儲庫 FlowFile存儲庫會跟蹤系統(tǒng)中每個FlowFile的屬性和當(dāng)前狀態(tài)。 默認(rèn)情況下，該存儲庫與其他所有存儲庫安裝在同一根安裝目錄中; 但是，如果可能...
-
NIFI 系統(tǒng)屬性 System Properties之Core Properties
Core Properties nifi.properties文件的第一部分是核心屬性。 這些屬性作為一個整體適用于核心框架。
-
NIFI Bootstrap Properties & Notification Services
Bootstrap Properties conf目錄下的bootstrap.conf文件允許用戶配置NiFi應(yīng)該如何啟動的設(shè)置。 這包括參數(shù)，例如Java堆的大小，運(yùn)行的J...
-
NIFI 狀態(tài)管理State Management
狀態(tài)管理 NiFi為Processors, Reporting Tasks, Controller Services以及框架本身提供了一種持久化狀態(tài)的機(jī)制。 這允許一個處理器...
-
NIFI 集群配置 Clustering ConfigurationNiFi采用了Zero-Master聚類模式。集群中的每個節(jié)點(diǎn)都對數(shù)據(jù)執(zhí)行相同的任務(wù)，但是每個節(jié)點(diǎn)都使用不同的數(shù)據(jù)集。其中一個節(jié)點(diǎn)會自動選擇（通過Apache ZooKeep...
-
NIFI術(shù)語
DataFlow Manager：DataFlow Manager（DFM）是一個NiFi用戶，具有添加，移除和修改NiFi數(shù)據(jù)流組件的權(quán)限。 FlowFile：FlowFi...
-
利用 Spark DataSource API 實(shí)現(xiàn)Rest數(shù)據(jù)源
Spark DataSource API 的提出使得各個數(shù)據(jù)源按規(guī)范實(shí)現(xiàn)適配，那么就可以高效的利用Spark 的計(jì)算能力。典型如Parquet,CarbonData,Post...
-
使用Spark SQL構(gòu)建交互式查詢引擎StreamingPro目前已經(jīng)涵蓋流式/批處理，以及交互查詢?nèi)齻€領(lǐng)域，實(shí)現(xiàn)配置和SQL化 前言 StreamingPro 原來僅僅是用來作為Spark Streaming的...
-
Spark Streaming + Spark SQL 實(shí)現(xiàn)配置化ETL流程
Spark Streaming 非常適合ETL。但是其開發(fā)模塊化程度不高，所以這里提供了一套方案，該方案提供了新的API用于開發(fā)Spark Streaming程序，同時(shí)也實(shí)現(xiàn)...