轉(zhuǎn) https://blog.csdn.net/PirateLeo/article/details/7956965
文中可能涉及到的API：
Hadoop/HDFS:http://hadoop.apache.org/common/docs/current/api/
HBase: http://hbase.apache.org/apidocs/index.html?overview-summary.html
Begin！
HBase的查詢實(shí)現(xiàn)只提供兩種方式：
1、按指定RowKey獲取唯一一條記錄，get方法（org.apache.hadoop.hbase.client.Get）
2、按指定的條件獲取一批記錄，scan方法（org.apache.hadoop.hbase.client.Scan）
實(shí)現(xiàn)條件查詢功能使用的就是scan方式，scan在使用時(shí)有以下幾點(diǎn)值得注意：
1、scan可以通過setCaching與setBatch方法提高速度（以空間換時(shí)間）；
2、scan可以通過setStartRow與setEndRow來限定范圍。范圍越小，性能越高。
通過巧妙的RowKey設(shè)計(jì)使我們批量獲取記錄集合中的元素挨在一起（應(yīng)該在同一個(gè)Region下），可以在遍歷結(jié)果時(shí)獲得很好的性能。
3、scan可以通過setFilter方法添加過濾器，這也是分頁、多條件查詢的基礎(chǔ)。
下面舉個(gè)形象的例子：
我們在表中存儲(chǔ)的是文件信息，每個(gè)文件有5個(gè)屬性：文件id（long，全局唯一）、創(chuàng)建時(shí)間（long）、文件名（String）、分類名（String）、所有者（User）。
我們可以輸入的查詢條件：文件創(chuàng)建時(shí)間區(qū)間（比如從20120901到20120914期間創(chuàng)建的文件），文件名（“中國好聲音”），分類（“綜藝”），所有者（“浙江衛(wèi)視”）。
假設(shè)當(dāng)前我們一共有如下文件：
內(nèi)容列表
ID CreateTime Name Category UserID
1 20120902 中國好聲音第1期 綜藝 1
2 20120904 中國好聲音第2期 綜藝 1
3 20120906 中國好聲音外卡賽 綜藝 1
4 20120908 中國好聲音第3期 綜藝 1
5 20120910 中國好聲音第4期 綜藝 1
6 20120912 中國好聲音選手采訪 綜藝花絮 2
7 20120914 中國好聲音第5期 綜藝 1
8 20120916 中國好聲音錄制花絮 綜藝花絮 2
9 20120918 張瑋獨(dú)家專訪 花絮 3
10 20120920 加多寶涼茶廣告 綜藝廣告 4
這里UserID應(yīng)該對應(yīng)另一張User表，暫不列出。我們只需知道UserID的含義：
1代表 浙江衛(wèi)視； 2代表 好聲音劇組； 3代表 XX微博； 4代表 贊助商。
調(diào)用查詢接口的時(shí)候?qū)⑸鲜?個(gè)條件同時(shí)輸入find(20120901,20121001,"中國好聲音","綜藝","浙江衛(wèi)視")。
此時(shí)我們應(yīng)該得到記錄應(yīng)該有第1、2、3、4、5、7條。第6條由于不屬于“浙江衛(wèi)視”應(yīng)該不被選中。
我們在設(shè)計(jì)RowKey時(shí)可以這樣做：采用UserID + CreateTime + FileID組成rowKey，這樣既能滿足多條件查詢，又能有很快的查詢速度。
需要注意以下幾點(diǎn)：
1、每條記錄的RowKey，每個(gè)字段都需要填充到相同長度。假如預(yù)期我們最多有10萬量級(jí)的用戶，則userID應(yīng)該統(tǒng)一填充至6位，如000001，000002...
2、結(jié)尾添加全局唯一的FileID的用意也是使每個(gè)文件對應(yīng)的記錄全局唯一。避免當(dāng)UserID與CreateTime相同時(shí)的兩個(gè)不同文件記錄相互覆蓋。
按照這種RowKey存儲(chǔ)上述文件記錄，在HBase表中是下面的結(jié)構(gòu)：
rowKey（userID 6 + time 8 + fileID 6） name category ....
00000120120902000001
00000120120904000002
00000120120906000003
00000120120908000004
00000120120910000005
00000120120914000007
00000220120912000006
00000220120916000008
00000320120918000009
00000420120920000010
怎樣用這張表？
在建立一個(gè)scan對象后，我們setStartRow(00000120120901)，setEndRow(00000120120914)。
這樣，scan時(shí)只掃描userID=1的數(shù)據(jù)，且時(shí)間范圍限定在這個(gè)指定的時(shí)間段內(nèi)，滿足了按用戶以及按時(shí)間范圍對結(jié)果的篩選。并且由于記錄集中存儲(chǔ)，性能很好。
然后使用SingleColumnValueFilter（org.apache.hadoop.hbase.filter.SingleColumnValueFilter），共4個(gè)，分別約束name的上下限，與category的上下限。滿足按同時(shí)按文件名以及分類名的前綴匹配。
（注意：使用SingleColumnValueFilter會(huì)影響查詢性能，在真正處理海量數(shù)據(jù)時(shí)會(huì)消耗很大的資源，且需要較長的時(shí)間。
在后續(xù)的博文中我將多舉幾種應(yīng)用場景下rowKey的，可以滿足簡單條件下海量數(shù)據(jù)瞬時(shí)返回的查詢功能）
如果需要分頁還可以再加一個(gè)PageFilter限制返回記錄的個(gè)數(shù)。
以上，我們完成了高性能的支持多條件查詢的HBase表結(jié)構(gòu)設(shè)計(jì)。
