1 背景知識(shí) 1.1 解決問題 解決HDFS不支持單條記錄的快速查找和更新的問題。 1.2 適用情況 存在億萬條記錄的數(shù)據(jù)庫，只有千萬或者百萬條記錄使用RDBMS更加合適 確...
發(fā)簡(jiǎn)信
IP屬地：陜西
-
HBase 框架學(xué)習(xí)之路 -
【面試】HBase面試題
以下大部分題目是從網(wǎng)上搜索得來，答案是筆者給的，若有錯(cuò)誤，煩請(qǐng)指出，謝謝。 1 每天百億數(shù)據(jù)存入HBase，如何保證數(shù)據(jù)的存儲(chǔ)正確和在規(guī)定的時(shí)間里全部錄入完畢，不殘留數(shù)據(jù) 答...
-
算法崗面試假裝會(huì)問到的非算法模型問題系列假裝下面這些是我面華為網(wǎng)易騰訊百度阿里美團(tuán)京東宇宙條商湯科大訊飛搜狐新浪時(shí)會(huì)遇到的問題，不要太難。 【參考文獻(xiàn)】 [1] 周志華. 機(jī)器學(xué)習(xí). [2] 李航. 統(tǒng)計(jì)學(xué)習(xí)方法....
-
關(guān)于HBase元數(shù)據(jù)cache的一個(gè)小坑問題過程描述 最近在做關(guān)于HBase相關(guān)的工作，剛接入了1個(gè)關(guān)于數(shù)字證書的表，業(yè)務(wù)在灰度的時(shí)候發(fā)現(xiàn)有大量的超時(shí)的請(qǐng)求（備注：默認(rèn)3秒超時(shí)），如下圖，基本所有的請(qǐng)求都出現(xiàn)...
-
HDFS異構(gòu)存儲(chǔ)實(shí)戰(zhàn)最近在做HBase跨機(jī)房的數(shù)據(jù)遷移，正好用到HDFS的異構(gòu)存儲(chǔ)，我們使用的場(chǎng)景是將WAL日志保存到SSD中，其他的數(shù)據(jù)則存儲(chǔ)在普通的SATA盤中。既充分利用了本地SSD盤的空...
-
HBase隔離方案實(shí)戰(zhàn)HBase適合用于海量數(shù)據(jù)的存儲(chǔ)，橫向擴(kuò)展非常方便，隨著數(shù)據(jù)的增長(zhǎng)，訪問的性能卻不會(huì)出現(xiàn)很大的下降。這是很多的公司選擇使用HBase作為分布式數(shù)據(jù)庫的一個(gè)很重要的原因。正常來...
-
HBase 深入淺出轉(zhuǎn)自 沈釗偉 HBase 在大數(shù)據(jù)生態(tài)圈中的位置 提到大數(shù)據(jù)的存儲(chǔ)，大多數(shù)人首先聯(lián)想到的是 Hadoop 和 Hadoop 中的 HDFS 模塊。大家熟知的 Spark、以及...
-
使用Python一年多了，總結(jié)八個(gè)好用的Python爬蟲技巧
用python也差不多一年多了，python應(yīng)用最多的場(chǎng)景還是web快速開發(fā)、爬蟲、自動(dòng)化運(yùn)維：寫過簡(jiǎn)單網(wǎng)站、寫過自動(dòng)發(fā)帖腳本、寫過收發(fā)郵件腳本、寫過簡(jiǎn)單驗(yàn)證碼識(shí)別腳本。 爬...
-
數(shù)據(jù)分析需要學(xué)習(xí)哪些技術(shù)，如何快速學(xué)習(xí)數(shù)據(jù)分析大數(shù)據(jù)如此火爆的時(shí)代，各種人才倍受青睞。視野決定了境界和能力，而所處的環(huán)境又決定了視野。好多人不知道什么是數(shù)據(jù)分析師，認(rèn)為會(huì)熟練使用Excel就是數(shù)據(jù)分析師，如果你還會(huì)使用E...
-
深入淺出學(xué)習(xí)大數(shù)據(jù)：核心篇之大數(shù)據(jù)分析！今天接著之前的文章，繼續(xù)帶大家學(xué)習(xí)大數(shù)據(jù)。今天主要介紹大數(shù)據(jù)價(jià)值鏈的大數(shù)據(jù)分析部分，也是核心所在，新朋友可以翻閱我前面的文章，跟上學(xué)習(xí)大數(shù)據(jù)的步伐。希望大家持續(xù)學(xué)習(xí)，每天關(guān)注...
-
Opentsdb簡(jiǎn)介（一）1、OpenTSDB介紹 1.1、OpenTSDB是什么？主要用途是什么？ 官方文檔這樣描述：OpenTSDB is a distributed, scalable Time...
-
-
源碼|HDFS之NameNode：?jiǎn)?dòng)過程仿照源碼|HDFS之DataNode：?jiǎn)?dòng)過程，NameNode也從啟動(dòng)過程開始。 namenode的啟動(dòng)過程與HA緊緊綁定在一起，但本文暫不討論HA相關(guān)內(nèi)容，以后再填HA的...
-
基于Ganglia實(shí)現(xiàn)集群性能態(tài)勢(shì)感知本文以開源項(xiàng)目Ganglia為例，介紹多集群環(huán)境下，利用監(jiān)控系統(tǒng)進(jìn)行故障診斷、性能瓶頸分析的一般方法。 回顧 通過前面的發(fā)布過的兩篇文章，我們已經(jīng)大致掌握了描述單個(gè)服務(wù)器的性...
-
專注理財(cái)規(guī)劃和運(yùn)維技術(shù)；
-
Hbase技術(shù)詳細(xì)學(xué)習(xí)筆記最近在逐步跟進(jìn)Hbase的相關(guān)工作，由于之前對(duì)Hbase并不怎么了解，因此系統(tǒng)地學(xué)習(xí)了下Hbase，為了加深對(duì)Hbase的理解，對(duì)相關(guān)知識(shí)點(diǎn)做了筆記，并在組內(nèi)進(jìn)行了Hbase...
-
HBase架構(gòu)詳解和數(shù)據(jù)的讀寫流程HBase架構(gòu)圖理解 HMaster鏈接Zookeeper的目得：HMaster需要知道哪些HRegionServere是活的及HRegionServer所在的位置，然后管理...
-
-
