? ? ? ? ? HDFS和MapReduce是Hadoop的兩大核心，除此之外Hbase、Hive這兩個核心工具也隨著Hadoop發(fā)展變得越來越重要。今天我們只初步的看看HDFS.

? ? ? ?HDFS的體系架構(gòu)

整個Hadoop的體系結(jié)構(gòu)主要是通過HDFS來實現(xiàn)對分布式存儲的底層支持，并通過MR來實現(xiàn)對分布式并行任務(wù)處理的程序支持。

圖中涉及三個角色：NameNode、DataNode、Client。NameNode是管理者，DataNode是文件存儲者、Client是需要獲取分布式文件系統(tǒng)的應用程序。

作為JAVA開發(fā)者來說，spring 絕對是我們的最大福因。大家一定要看一下這里，hadoop 套餐。里面有對hdfs,mapreduce,hive,hbase的訪問封裝，個人覺得秉承了spring一貫的簡單實用風格，一定要贊一下。

下面，我們結(jié)合實際的例子闡述一下使用方法：

配置地址：

hadoop數(shù)據(jù)源初始化：

hdfs數(shù)據(jù)存儲對象定義

文件對象寫入

數(shù)據(jù)查詢與過濾

最關(guān)鍵就是查詢，你可以RefinableView的條件組合，搜尋你所要的數(shù)據(jù)。

語法理解：

with:等于?

from:大于等于

fromafter:大于

to:小于等于

tobefore:小于

小樣:demo