16篇文章 · 23606字 · 2人關(guān)注
-
存儲(chǔ)水平伸縮-DFSRAID將數(shù)據(jù)分片后在多塊磁盤上并發(fā)進(jìn)行讀寫訪問，從而提高了存儲(chǔ)容量、加快了訪問速度，并通過數(shù)據(jù)的冗余校驗(yàn)提高了數(shù)據(jù)的可靠性，即使某塊磁盤損壞也...
-
Spark架構(gòu)原理Spark的計(jì)算階段 我們可以對(duì)比來看。首先和MapReduce一個(gè)應(yīng)用一次只運(yùn)行一個(gè)map和一個(gè)reduce不同，Spark可以根據(jù)應(yīng)用的復(fù)雜...
-
Spark編程模型Spark簡(jiǎn)述 下圖是Spark和MapReduce進(jìn)行邏輯回歸機(jī)器學(xué)習(xí)的性能比較，Spark比MapReduce快100多倍。 除了速度更快，...
-
推薦引擎推薦引擎的思想其實(shí)很早就存在了，后來隨著大數(shù)據(jù)技術(shù)的發(fā)展，推薦引擎的普及程度和重要性也越來越高，淘寶曾經(jīng)就主推“千人千面”，要讓每個(gè)用戶打開的淘...
-
數(shù)據(jù)挖掘挖掘數(shù)據(jù)的典型應(yīng)用場(chǎng)景有搜索排序、關(guān)聯(lián)分析以及聚類，下面我們一個(gè)一個(gè)來看，希望通過今天的學(xué)習(xí)，你能夠了解數(shù)據(jù)挖掘典型場(chǎng)景及其應(yīng)用的算法。 搜索排...
-
大數(shù)據(jù)算法：分類算法KNN分類算法 KNN算法，即K近鄰（K Nearest Neighbour）算法，是一種基本的分類算法。其主要原理是：對(duì)于一個(gè)需要分類的數(shù)據(jù)，...
-
Workflow設(shè)計(jì)模式復(fù)制模式（Copier Pattern） 過濾模式（Filter Pattern） 分離模式（Splitter Pattern） 合并模式（Jo...
-
-
互聯(lián)網(wǎng)運(yùn)營數(shù)據(jù)指標(biāo)與可視化監(jiān)控運(yùn)營數(shù)據(jù)的獲得，需要在應(yīng)用程序中大量埋點(diǎn)采集數(shù)據(jù)，從數(shù)據(jù)庫、日志和其他第三方采集數(shù)據(jù)，對(duì)數(shù)據(jù)清洗、轉(zhuǎn)換、存儲(chǔ)，利用SQL進(jìn)行數(shù)據(jù)統(tǒng)計(jì)、匯總、分析...