發(fā)簡信
IP屬地：澳門
-
零基礎(chǔ)搭建Hadoop大數(shù)據(jù)處理環(huán)境
于Hadoop需要運行在Linux環(huán)境中，而且是分布式的，因此個人學(xué)習(xí)只能裝虛擬機，本文都以VMware Workstation為準(zhǔn)，安裝Cen...
-
16個非常實用的大數(shù)據(jù)工具Apache Hadoop是目前最成熟的大數(shù)據(jù)分析工具，但是市場上也不乏其他優(yōu)秀的大數(shù)據(jù)工具。目前市場上有數(shù)千種工具能夠幫你節(jié)約時間和成本，帶你...
-
基于Kafka與Spark的實時大數(shù)據(jù)質(zhì)量監(jiān)控平臺
微軟的ASG (應(yīng)用與服務(wù)集團(tuán))包含Bing,、Office,、Skype。每天產(chǎn)生多達(dá)5 PB以上數(shù)據(jù)，如何構(gòu)建一個高擴(kuò)展性的data aud...
-
Apache Spark常見的三大誤解
最近幾年關(guān)于Apache Spark框架的聲音是越來越多，而且慢慢地成為大數(shù)據(jù)領(lǐng)域的主流系統(tǒng)。最近幾年Apache Spark和Apache H...
-
HBase原理——要弄懂的sequenceIdHBase數(shù)據(jù)在寫入的時候首先追加寫入HLog，再寫入Memstore，也就是說一份數(shù)據(jù)會以兩種不同的形式存在于兩個地方。 為什么需要seque...
-
10道Hadoop面試真題及解題思路
搜索引擎會通過日志文件把用戶每次檢索使用的所有檢索串都記錄下來，每個查詢串的長度為1-255字節(jié)。 (一)海量日志數(shù)據(jù)，提取出某日訪問百度次數(shù)最...
-
如何使用HBase？大數(shù)據(jù)存儲的兩個實戰(zhàn)場景
現(xiàn)如今各種數(shù)據(jù)存儲方案層出不窮，本文僅僅是結(jié)合兩個實戰(zhàn)場景就基于HBase的大數(shù)據(jù)存儲做了簡單的分析，并對HBase的原理做了簡單的闡述。如何使...
-
批處理ETL已死，Kafka才是數(shù)據(jù)處理的未來？在 QCon 舊金山會議上，Neha Narkhede 做了“ETL 已死，而實時流長存”的演講，并討論了企業(yè)級數(shù)據(jù)處理領(lǐng)域所面臨的挑戰(zhàn)。該演講...
-
如何避免HBase寫入過快引起的各種問題
首先我們簡單回顧下整個寫入流程 client api ==> RPC ==> server IPC ==> RPC queue ==> RPC ...
個人介紹
大數(shù)據(jù)零基礎(chǔ)的和做大數(shù)據(jù)想進(jìn)階的加群：806025609 免費獲取一份大數(shù)據(jù)學(xué)習(xí)視頻和大數(shù)據(jù)學(xué)習(xí)體系進(jìn)階圖。我們每周有六到七節(jié)視頻更新。
這也是感謝大家對我的關(guān)注和支持。
這也是感謝大家對我的關(guān)注和支持。