于Hadoop需要運行在Linux環(huán)境中，而且是分布式的，因此個人學習只能裝虛擬機，本文都以VMware Workstation為準，安裝CentOS7，具體的安裝此處不作過...
發(fā)簡信
IP屬地：吉林
-
零基礎搭建Hadoop大數(shù)據(jù)處理環(huán)境
-
16個非常實用的大數(shù)據(jù)工具Apache Hadoop是目前最成熟的大數(shù)據(jù)分析工具，但是市場上也不乏其他優(yōu)秀的大數(shù)據(jù)工具。目前市場上有數(shù)千種工具能夠幫你節(jié)約時間和成本，帶你從全新的角度洞察你所在的行業(yè)。...
-
基于Kafka與Spark的實時大數(shù)據(jù)質(zhì)量監(jiān)控平臺
微軟的ASG (應用與服務集團)包含Bing,、Office,、Skype。每天產(chǎn)生多達5 PB以上數(shù)據(jù)，如何構建一個高擴展性的data audit服務來保證這樣量級的數(shù)據(jù)完...
-
Apache Spark常見的三大誤解
最近幾年關于Apache Spark框架的聲音是越來越多，而且慢慢地成為大數(shù)據(jù)領域的主流系統(tǒng)。最近幾年Apache Spark和Apache Hadoop的Google趨勢可...
-
HBase原理——要弄懂的sequenceIdHBase數(shù)據(jù)在寫入的時候首先追加寫入HLog，再寫入Memstore，也就是說一份數(shù)據(jù)會以兩種不同的形式存在于兩個地方。 為什么需要sequenceId? HBase數(shù)據(jù)在...
-
10道Hadoop面試真題及解題思路
搜索引擎會通過日志文件把用戶每次檢索使用的所有檢索串都記錄下來，每個查詢串的長度為1-255字節(jié)。 (一)海量日志數(shù)據(jù)，提取出某日訪問百度次數(shù)最多的那個IP。 首先是這一天，...
-
如何使用HBase？大數(shù)據(jù)存儲的兩個實戰(zhàn)場景
現(xiàn)如今各種數(shù)據(jù)存儲方案層出不窮，本文僅僅是結合兩個實戰(zhàn)場景就基于HBase的大數(shù)據(jù)存儲做了簡單的分析，并對HBase的原理做了簡單的闡述。如何使用好HBase，甚至于如何選擇...
-
批處理ETL已死，Kafka才是數(shù)據(jù)處理的未來？在 QCon 舊金山會議上，Neha Narkhede 做了“ETL 已死，而實時流長存”的演講，并討論了企業(yè)級數(shù)據(jù)處理領域所面臨的挑戰(zhàn)。該演講的核心前提是開源的 Apach...
-
如何避免HBase寫入過快引起的各種問題
首先我們簡單回顧下整個寫入流程 client api ==> RPC ==> server IPC ==> RPC queue ==> RPC handler ==> wri...
-
一只node爬蟲的升級打怪之路我一直覺得，爬蟲是許多web開發(fā)人員難以回避的點。我們也應該或多或少的去接觸這方面，因為可以從爬蟲中學習到web開發(fā)中應當掌握的一些基本知識。而且，它還很有趣。 作者：Nic...
-
Apache Kafka在大型應用中的20項最佳實踐Apache Kafka是一款流行的分布式數(shù)據(jù)流平臺，它已經(jīng)廣泛地被諸如New Relic(數(shù)據(jù)智能平臺)、Uber、Square(移動支付公司)等大型公司用來構建可擴展的、...
-
如何使用HBase？大數(shù)據(jù)存儲的個實戰(zhàn)場景現(xiàn)如今各種數(shù)據(jù)存儲方案層出不窮，本文僅僅是結合兩個實戰(zhàn)場景就基于HBase的大數(shù)據(jù)存儲做了簡單的分析，并對HBase的原理做了簡單的闡述。如何使用好HBase，甚至于如何選擇...
-
數(shù)據(jù)挖掘領域十大經(jīng)典算法之—樸素貝葉斯算法（附代碼）
Na?veBayes算法，又叫樸素貝葉斯算法，樸素：特征條件獨立;貝葉斯：基于貝葉斯定理。屬于監(jiān)督學習的生成模型，實現(xiàn)簡單，沒有迭代，并有堅實的數(shù)學理論(即貝葉斯定理)作為支...
-
數(shù)據(jù)挖掘領域十大經(jīng)典算法之—K-鄰近算法/kNN（附代碼）
又叫K-鄰近算法，是監(jiān)督學習中的一種分類算法。目的是根據(jù)已知類別的樣本點集求出待分類的數(shù)據(jù)點類別。 簡介 又叫K-鄰近算法，是監(jiān)督學習中的一種分類算法。目的是根據(jù)已知類別的樣...
-
大數(shù)據(jù)處理技術如何學習?
首先我們要學習Python語言和Linux操作系統(tǒng)，這兩個是學習大數(shù)據(jù)的基礎，學習的順序不分前后。 Python：Python 的排名從去年開始就借助人工智能持續(xù)上升，現(xiàn)在它...
個人介紹
大數(shù)據(jù)零基礎的和做大數(shù)據(jù)想進階的加群：806025609 免費獲取一份大數(shù)據(jù)學習視頻和大數(shù)據(jù)學習體系進階圖。我們每周有六到七節(jié)視頻更新。
這也是感謝大家對我的關注和支持。
這也是感謝大家對我的關注和支持。