1 背景知識(shí) 1.1 解決問題 解決HDFS不支持單條記錄的快速查找和更新的問題。 1.2 適用情況 存在億萬(wàn)條記錄的數(shù)據(jù)庫(kù)，只有千萬(wàn)或者百萬(wàn)條記錄使用RDBMS更加合適 確...
發(fā)簡(jiǎn)信
IP屬地：陜西
-
HBase 框架學(xué)習(xí)之路 -
【面試】HBase面試題
以下大部分題目是從網(wǎng)上搜索得來(lái)，答案是筆者給的，若有錯(cuò)誤，煩請(qǐng)指出，謝謝。 1 每天百億數(shù)據(jù)存入HBase，如何保證數(shù)據(jù)的存儲(chǔ)正確和在規(guī)定的時(shí)間里全部錄入完畢，不殘留數(shù)據(jù) 答...
-
算法崗面試假裝會(huì)問到的非算法模型問題系列假裝下面這些是我面華為網(wǎng)易騰訊百度阿里美團(tuán)京東宇宙條商湯科大訊飛搜狐新浪時(shí)會(huì)遇到的問題，不要太難。 【參考文獻(xiàn)】 [1] 周志華. 機(jī)器學(xué)習(xí). [2] 李航. 統(tǒng)計(jì)學(xué)習(xí)方法....
-
關(guān)于HBase元數(shù)據(jù)cache的一個(gè)小坑問題過程描述 最近在做關(guān)于HBase相關(guān)的工作，剛接入了1個(gè)關(guān)于數(shù)字證書的表，業(yè)務(wù)在灰度的時(shí)候發(fā)現(xiàn)有大量的超時(shí)的請(qǐng)求（備注：默認(rèn)3秒超時(shí)），如下圖，基本所有的請(qǐng)求都出現(xiàn)...
-
HDFS異構(gòu)存儲(chǔ)實(shí)戰(zhàn)最近在做HBase跨機(jī)房的數(shù)據(jù)遷移，正好用到HDFS的異構(gòu)存儲(chǔ)，我們使用的場(chǎng)景是將WAL日志保存到SSD中，其他的數(shù)據(jù)則存儲(chǔ)在普通的SATA盤中。既充分利用了本地SSD盤的空...
-
HBase隔離方案實(shí)戰(zhàn)HBase適合用于海量數(shù)據(jù)的存儲(chǔ)，橫向擴(kuò)展非常方便，隨著數(shù)據(jù)的增長(zhǎng)，訪問的性能卻不會(huì)出現(xiàn)很大的下降。這是很多的公司選擇使用HBase作為分布式數(shù)據(jù)庫(kù)的一個(gè)很重要的原因。正常來(lái)...
-
HBase 深入淺出轉(zhuǎn)自 沈釗偉 HBase 在大數(shù)據(jù)生態(tài)圈中的位置 提到大數(shù)據(jù)的存儲(chǔ)，大多數(shù)人首先聯(lián)想到的是 Hadoop 和 Hadoop 中的 HDFS 模塊。大家熟知的 Spark、以及...
-
使用Python一年多了，總結(jié)八個(gè)好用的Python爬蟲技巧
用python也差不多一年多了，python應(yīng)用最多的場(chǎng)景還是web快速開發(fā)、爬蟲、自動(dòng)化運(yùn)維：寫過簡(jiǎn)單網(wǎng)站、寫過自動(dòng)發(fā)帖腳本、寫過收發(fā)郵件腳本、寫過簡(jiǎn)單驗(yàn)證碼識(shí)別腳本。 爬...
-
數(shù)據(jù)分析需要學(xué)習(xí)哪些技術(shù)，如何快速學(xué)習(xí)數(shù)據(jù)分析大數(shù)據(jù)如此火爆的時(shí)代，各種人才倍受青睞。視野決定了境界和能力，而所處的環(huán)境又決定了視野。好多人不知道什么是數(shù)據(jù)分析師，認(rèn)為會(huì)熟練使用Excel就是數(shù)據(jù)分析師，如果你還會(huì)使用E...
