最近的hdfs集群出了一些故障，今天總結(jié)一下hadoop的幾個(gè)具體的性能調(diào)優(yōu)方法 1）HDFS參數(shù)調(diào)優(yōu)hdfs-site.xml （1）dfs.namenode.handle...
發(fā)簡(jiǎn)信
IP屬地：廣東
-
hadoop性能優(yōu)化
-
CM+CDH構(gòu)建企業(yè)大數(shù)據(jù)平臺(tái)（2）-- 理論準(zhǔn)備CM和CDH
如何實(shí)現(xiàn)CM+CDH構(gòu)建企業(yè)級(jí)大數(shù)據(jù)平臺(tái) 當(dāng)前邊所有的準(zhǔn)備工作都搞定之后，接下來我們就來正式的通過CM+CDH的方式來構(gòu)建企業(yè)級(jí)大數(shù)據(jù)平臺(tái)。那么CM是什么？CDH是什么？CM...
-
Ambari安裝部署HadoopAmbari安裝部署Hadoop Apache Ambari是一種基于Web的工具，支持Apache Hadoop集群的供應(yīng)、管理和監(jiān)控。Ambari已支持大多數(shù)Hadoop...
-
大數(shù)據(jù)監(jiān)控平臺(tái)實(shí)踐之路
綜述 日志和監(jiān)控開發(fā)人員工作中必不可少的兩只眼睛，日志是為了快速定位排查故障，監(jiān)控是為了發(fā)現(xiàn)潛在問題并能及時(shí)告警，是故障診斷和分析的重要輔助利器，同樣監(jiān)控系統(tǒng)對(duì)大數(shù)據(jù)平臺(tái)重要...
-
linux下如何執(zhí)行PHP腳本2018-10-26
linux下如何執(zhí)行PHP腳本 Linux 下如何直接執(zhí)行 php 腳本？ 下面是部分 php 命令行參數(shù)。 用法 php [-q] [-h] [-s] [-v] [-i] ...
-
Sqoop最佳實(shí)踐
一、什么是Sqoop Sqoop是一個(gè)在結(jié)構(gòu)化數(shù)據(jù)和Hadoop之間進(jìn)行批量數(shù)據(jù)遷移的工具，結(jié)構(gòu)化數(shù)據(jù)可以是Mysql、Oracle等RDBMS。Sqoop底層用MapRed...
-
數(shù)據(jù)倉庫Hive編程——Hive基礎(chǔ)知識(shí)
從早期的互聯(lián)網(wǎng)主流大爆發(fā)開始，主要的搜索引擎公司和電子商務(wù)公司就一直在和不斷增長(zhǎng)的數(shù)據(jù)進(jìn)行較量。最近，社交網(wǎng)站也遇到了同樣的問題。如今，許多組織已經(jīng)意識(shí)到他們所收集的數(shù)據(jù)是讓...
-
億級(jí) Elasticsearch 性能優(yōu)化
前言 最近一年使用 Elasticsearch 完成億級(jí)別日志搜索平臺(tái)「ELK」，億級(jí)別的分布式跟蹤系統(tǒng)。在設(shè)計(jì)這些系統(tǒng)的過程中，底層都是采用 Elasticsearch 來...
