發(fā)簡(jiǎn)信
IP屬地：上海
-
開(kāi)源項(xiàng)目——大數(shù)據(jù)入門(mén)指南開(kāi)源項(xiàng)目地址：https://github.com/heibaiying/BigData-Notes ?? 前 言 大數(shù)據(jù)技術(shù)棧思維導(dǎo)圖 ...
-
Hadoop 系列（八）—— 基于 ZooKeeper 搭建 Hadoop 高可用集群
一、高可用簡(jiǎn)介 Hadoop 高可用 (High Availability) 分為 HDFS 高可用和 YARN 高可用，兩者的實(shí)現(xiàn)基本類(lèi)似，但...
-
Hadoop 系列（七）—— HDFS Java API
一、 簡(jiǎn)介 想要使用 HDFS API，需要導(dǎo)入依賴 hadoop-client。如果是 CDH 版本的 Hadoop，還需要額外指明其倉(cāng)庫(kù)地址...
-
Hadoop 系列（六）—— HDFS 常用 Shell 命令
1. 顯示當(dāng)前目錄結(jié)構(gòu) 2. 創(chuàng)建目錄 3. 刪除操作 4. 從本地加載文件到 HDFS 5. 從 HDFS 導(dǎo)出文件到本地 6. 查看文件內(nèi)容...
-
Hadoop 系列（五）—— Hadoop 集群環(huán)境搭建
一、集群規(guī)劃 這里搭建一個(gè) 3 節(jié)點(diǎn)的 Hadoop 集群，其中三臺(tái)主機(jī)均部署 DataNode 和 NodeManager 服務(wù)，但只有 ha...
-
Hadoop 系列（四）—— Hadoop 開(kāi)發(fā)環(huán)境搭建
一、前置條件 Hadoop 的運(yùn)行依賴 JDK，需要預(yù)先安裝，安裝步驟見(jiàn)： Linux 下 JDK 的安裝 二、配置免密登錄 Hadoop 組件...
-
Hadoop 系列（三）—— 分布式計(jì)算框架 MapReduce
一、MapReduce概述 Hadoop MapReduce 是一個(gè)分布式計(jì)算框架，用于編寫(xiě)批處理應(yīng)用程序。編寫(xiě)好的程序可以提交到 Hadoop...
-
Hadoop 系列（二）—— 集群資源管理器 YARN一、hadoop yarn 簡(jiǎn)介 Apache YARN (Yet Another Resource Negotiator) 是 hadoop ...
-
Hadoop 系列（一）—— 分布式文件系統(tǒng) HDFS一、介紹 HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系統(tǒng)，具有高容錯(cuò)、高吞吐量等...