1 背景知識 1.1 解決問題 解決HDFS不支持單條記錄的快速查找和更新的問題。 1.2 適用情況 存在億萬條記錄的數(shù)據(jù)庫，只有千萬或者百萬條記錄使用RDBMS更加合適 確...
發(fā)簡信
IP屬地：陜西
-
HBase 框架學習之路 -
【面試】HBase面試題
以下大部分題目是從網(wǎng)上搜索得來，答案是筆者給的，若有錯誤，煩請指出，謝謝。 1 每天百億數(shù)據(jù)存入HBase，如何保證數(shù)據(jù)的存儲正確和在規(guī)定的時間里全部錄入完畢，不殘留數(shù)據(jù) 答...
-
算法崗面試假裝會問到的非算法模型問題系列假裝下面這些是我面華為網(wǎng)易騰訊百度阿里美團京東宇宙條商湯科大訊飛搜狐新浪時會遇到的問題，不要太難。 【參考文獻】 [1] 周志華. 機器學習. [2] 李航. 統(tǒng)計學習方法....
-
關(guān)于HBase元數(shù)據(jù)cache的一個小坑問題過程描述 最近在做關(guān)于HBase相關(guān)的工作，剛接入了1個關(guān)于數(shù)字證書的表，業(yè)務在灰度的時候發(fā)現(xiàn)有大量的超時的請求（備注：默認3秒超時），如下圖，基本所有的請求都出現(xiàn)...
-
HDFS異構(gòu)存儲實戰(zhàn)最近在做HBase跨機房的數(shù)據(jù)遷移，正好用到HDFS的異構(gòu)存儲，我們使用的場景是將WAL日志保存到SSD中，其他的數(shù)據(jù)則存儲在普通的SATA盤中。既充分利用了本地SSD盤的空...
-
HBase隔離方案實戰(zhàn)HBase適合用于海量數(shù)據(jù)的存儲，橫向擴展非常方便，隨著數(shù)據(jù)的增長，訪問的性能卻不會出現(xiàn)很大的下降。這是很多的公司選擇使用HBase作為分布式數(shù)據(jù)庫的一個很重要的原因。正常來...
-
HBase 深入淺出轉(zhuǎn)自 沈釗偉 HBase 在大數(shù)據(jù)生態(tài)圈中的位置 提到大數(shù)據(jù)的存儲，大多數(shù)人首先聯(lián)想到的是 Hadoop 和 Hadoop 中的 HDFS 模塊。大家熟知的 Spark、以及...
-
使用Python一年多了，總結(jié)八個好用的Python爬蟲技巧
用python也差不多一年多了，python應用最多的場景還是web快速開發(fā)、爬蟲、自動化運維：寫過簡單網(wǎng)站、寫過自動發(fā)帖腳本、寫過收發(fā)郵件腳本、寫過簡單驗證碼識別腳本。 爬...
-
數(shù)據(jù)分析需要學習哪些技術(shù)，如何快速學習數(shù)據(jù)分析大數(shù)據(jù)如此火爆的時代，各種人才倍受青睞。視野決定了境界和能力，而所處的環(huán)境又決定了視野。好多人不知道什么是數(shù)據(jù)分析師，認為會熟練使用Excel就是數(shù)據(jù)分析師，如果你還會使用E...
-
深入淺出學習大數(shù)據(jù)：核心篇之大數(shù)據(jù)分析！今天接著之前的文章，繼續(xù)帶大家學習大數(shù)據(jù)。今天主要介紹大數(shù)據(jù)價值鏈的大數(shù)據(jù)分析部分，也是核心所在，新朋友可以翻閱我前面的文章，跟上學習大數(shù)據(jù)的步伐。希望大家持續(xù)學習，每天關(guān)注...
-
Opentsdb簡介（一）1、OpenTSDB介紹 1.1、OpenTSDB是什么？主要用途是什么？ 官方文檔這樣描述：OpenTSDB is a distributed, scalable Time...
-
-
源碼|HDFS之NameNode：啟動過程仿照源碼|HDFS之DataNode：啟動過程，NameNode也從啟動過程開始。 namenode的啟動過程與HA緊緊綁定在一起，但本文暫不討論HA相關(guān)內(nèi)容，以后再填HA的...
-
基于Ganglia實現(xiàn)集群性能態(tài)勢感知本文以開源項目Ganglia為例，介紹多集群環(huán)境下，利用監(jiān)控系統(tǒng)進行故障診斷、性能瓶頸分析的一般方法。 回顧 通過前面的發(fā)布過的兩篇文章，我們已經(jīng)大致掌握了描述單個服務器的性...
-
專注理財規(guī)劃和運維技術(shù)；
-
Hbase技術(shù)詳細學習筆記最近在逐步跟進Hbase的相關(guān)工作，由于之前對Hbase并不怎么了解，因此系統(tǒng)地學習了下Hbase，為了加深對Hbase的理解，對相關(guān)知識點做了筆記，并在組內(nèi)進行了Hbase...
-
HBase架構(gòu)詳解和數(shù)據(jù)的讀寫流程HBase架構(gòu)圖理解 HMaster鏈接Zookeeper的目得：HMaster需要知道哪些HRegionServere是活的及HRegionServer所在的位置，然后管理...
-
-
