IP屬地：浙江
-
機器學(xué)習(xí)入門之泰坦尼克號生存預(yù)測（附測試數(shù)據(jù)集）
這是在Kaggle上看到的一個機器學(xué)習(xí)入門的例子，Kaggle是一個數(shù)據(jù)分析建模的應(yīng)用競賽平臺，這就是那個無數(shù)『數(shù)據(jù)挖掘先驅(qū)』們，在回答”槍我有...
-
Apache Hadoop與第三方Hadoop（CDH、HDP等）的比較一、Hadoop版本綜述 Apache Hadoop的開源協(xié)議決定了任何人可以對其進行修改，并作為開源或者商業(yè)版發(fā)布/銷售。故而目前Hadoop...
-
利用HCatalog管理元數(shù)據(jù)
在HDFS和HBase之間，Hadoop提供了許多保存數(shù)據(jù)的方法，使得數(shù)據(jù)可以被多個應(yīng)用程序訪問。但將數(shù)據(jù)集中存儲并提供給多個應(yīng)用程序訪問，這樣...
-
hcatalog簡介和使用
Hcatalog是apache開源的對于表和底層數(shù)據(jù)管理統(tǒng)一服務(wù)平臺，目前最新release版本是0.5，不過需要Hive0.10支持，由于我們...
-
kafka原理
需要說明的是，Kafka只解決”fail/recover”，不處理“Byzantine”（“拜占庭”）問題。 一條消息只有被“in sync” ...
-
Hadoop之Pig
Pig是一種探索大規(guī)模數(shù)據(jù)集的腳本語言。MapReducer的一個主要的缺點就是開發(fā)的周期太長了。我們要編寫mapper和reducer，然后對...
-
MESOS簡介
Apache Mesos 是一個集群管理器類似于YARN，提供了有效的、跨分布式應(yīng)用或框架的資源隔離和共享，可以運行 Hadoop、MPI、Hy...
-
hive中UDF和UDAF使用說明
Hive進行UDF開發(fā)十分簡單，此處所說UDF為Temporary的function，所以需要hive版本在0.4.0以上才可以。 一、背景：H...
-
hive優(yōu)化
1.Hive自己如何確定reduce數(shù)： reduce個數(shù)的設(shè)定極大影響任務(wù)執(zhí)行效率，不指定reduce個數(shù)的情況下，hive會猜測確定一個re...