發(fā)簡(jiǎn)信
IP屬地：福建
-
零基礎(chǔ)搭建Hadoop大數(shù)據(jù)處理環(huán)境
于Hadoop需要運(yùn)行在Linux環(huán)境中，而且是分布式的，因此個(gè)人學(xué)習(xí)只能裝虛擬機(jī)，本文都以VMware Workstation為準(zhǔn)，安裝Cen...
-
16個(gè)非常實(shí)用的大數(shù)據(jù)工具Apache Hadoop是目前最成熟的大數(shù)據(jù)分析工具，但是市場(chǎng)上也不乏其他優(yōu)秀的大數(shù)據(jù)工具。目前市場(chǎng)上有數(shù)千種工具能夠幫你節(jié)約時(shí)間和成本，帶你...
-
基于Kafka與Spark的實(shí)時(shí)大數(shù)據(jù)質(zhì)量監(jiān)控平臺(tái)
微軟的ASG (應(yīng)用與服務(wù)集團(tuán))包含Bing,、Office,、Skype。每天產(chǎn)生多達(dá)5 PB以上數(shù)據(jù)，如何構(gòu)建一個(gè)高擴(kuò)展性的data aud...
-
Apache Spark常見(jiàn)的三大誤解
最近幾年關(guān)于Apache Spark框架的聲音是越來(lái)越多，而且慢慢地成為大數(shù)據(jù)領(lǐng)域的主流系統(tǒng)。最近幾年Apache Spark和Apache H...
-
HBase原理——要弄懂的sequenceIdHBase數(shù)據(jù)在寫入的時(shí)候首先追加寫入HLog，再寫入Memstore，也就是說(shuō)一份數(shù)據(jù)會(huì)以兩種不同的形式存在于兩個(gè)地方。 為什么需要seque...
-
10道Hadoop面試真題及解題思路
搜索引擎會(huì)通過(guò)日志文件把用戶每次檢索使用的所有檢索串都記錄下來(lái)，每個(gè)查詢串的長(zhǎng)度為1-255字節(jié)。 (一)海量日志數(shù)據(jù)，提取出某日訪問(wèn)百度次數(shù)最...
-
如何使用HBase？大數(shù)據(jù)存儲(chǔ)的兩個(gè)實(shí)戰(zhàn)場(chǎng)景
現(xiàn)如今各種數(shù)據(jù)存儲(chǔ)方案層出不窮，本文僅僅是結(jié)合兩個(gè)實(shí)戰(zhàn)場(chǎng)景就基于HBase的大數(shù)據(jù)存儲(chǔ)做了簡(jiǎn)單的分析，并對(duì)HBase的原理做了簡(jiǎn)單的闡述。如何使...
-
批處理ETL已死，Kafka才是數(shù)據(jù)處理的未來(lái)？在 QCon 舊金山會(huì)議上，Neha Narkhede 做了“ETL 已死，而實(shí)時(shí)流長(zhǎng)存”的演講，并討論了企業(yè)級(jí)數(shù)據(jù)處理領(lǐng)域所面臨的挑戰(zhàn)。該演講...
-
如何避免HBase寫入過(guò)快引起的各種問(wèn)題
首先我們簡(jiǎn)單回顧下整個(gè)寫入流程 client api ==> RPC ==> server IPC ==> RPC queue ==> RPC ...
個(gè)人介紹
大數(shù)據(jù)零基礎(chǔ)的和做大數(shù)據(jù)想進(jìn)階的加群：806025609 免費(fèi)獲取一份大數(shù)據(jù)學(xué)習(xí)視頻和大數(shù)據(jù)學(xué)習(xí)體系進(jìn)階圖。我們每周有六到七節(jié)視頻更新。
這也是感謝大家對(duì)我的關(guān)注和支持。
這也是感謝大家對(duì)我的關(guān)注和支持。