19篇文章 · 39705字 · 4人關注
-
17. Apache Kafka1. Kafka重要概念和技術架構： 1.實時數據分析中的Kakfa 在實時數據分析應用，Kafka的位置非常重要。首先通過Flume將Ngin...
-
19. Storm Topology開發(fā)
一. wordCount Topology開發(fā)： 1.spout數據收集器（SentenceSpout類）： 有兩種方法來開發(fā)spout類，第...
-
18. Storm基礎1. Storm介紹： Storm是實時流計算框架。企業(yè)中典型實時分析框架搭建模式： Flume + Kafka + Storm + Hbase...
-
16. HBase高級應用1. HBase存儲中的3個核心機制 1.flush機制：當MemStore達到閾值之后，會flush成一個StoreFile （也就是內存中的...
-
15.HBase基礎1. HBase介紹，Hbase是什么？ HBase -- Hadoop Database ，是一個高可靠、高性能、面向列、可伸縮的分布式存儲系...
-
重要記錄
CDH版本下載地址：http://archive.cloudera.com/cdh5/cdh/5/
-
13. Oozie介紹1. Hadoop常見調度框架： （1）Linux Crontab：Linux自帶的任務調度計劃，在任務比較少的情況下，可以使用這種方式，直接執(zhí)...
-
12.Flume介紹1. Flume簡介 Apache Flume是一個分布式的、可靠的、可用的，從多種不同的源收集、聚集、移動大量日志數據到集中數據存儲的系統(tǒng)。 ...
-
11.Hive壓縮，文件格式及優(yōu)化1. 日志文件加載案例： 需求描述：在日志文件目錄中，按天建文件夾，并且在每個天文件夾中，每小時有一個日志文件。程序自動每天將這些文件load到...
