在Hadoop中，排序是MapReduce的靈魂，MapTask和ReduceTask均會對數(shù)據(jù)按Key排序，這個操作是MR框架的默認行為，不管你的業(yè)務(wù)邏輯上是否需要這一操作...
發(fā)簡信
IP屬地：廣東
-
MapReduce 分組 TopN（二次排序）
-
在Linux上安裝及配置MariaDB
安裝MariaDB 1.切換到root用戶，首先執(zhí)行rpm -qa | grep -i mysql檢查一下是否有已安裝的與MySQL相關(guān)的東西，如果有，使用rpm -e --...
-
Zab：Zookeeper 中的分布式一致性協(xié)議介紹背景 在分布式系統(tǒng)中實現(xiàn)一致性是件有挑戰(zhàn)的事。經(jīng)典的二階段提交、三階段提交都不能完美的解決這一問題，有關(guān)傳統(tǒng)的的分布式系統(tǒng)一致性問題可以看這里。Paxos 算法能完美地達到分...
-
-
Eureka與Zookeeper服務(wù)注冊中心比較
1. 前言 服務(wù)注冊中心，給客戶端提供可供調(diào)用的服務(wù)列表，客戶端在進行遠程服務(wù)調(diào)用時，根據(jù)服務(wù)列表然后選擇服務(wù)提供方的服務(wù)地址進行服務(wù)調(diào)用。服務(wù)注冊中心在分布式系統(tǒng)中大量應(yīng)用...
-
服務(wù)注冊中心架構(gòu)演進1. 概述 服務(wù)注冊中心（下稱注冊中心）是微服務(wù)架構(gòu)非常重要的一個組件，在微服務(wù)架構(gòu)里主要起到了協(xié)調(diào)者的一個作用。因為各個公司的架構(gòu)、規(guī)模、部署環(huán)境等等都不盡相同，所以在注冊...
-
DNS（一）抽象理解DNS
DNS 是網(wǎng)絡(luò)上非常重要的一個概念，不僅僅是碼農(nóng)任何上網(wǎng)的人都會接觸它，DNS 是非常復(fù)雜，這篇文章希望以比較簡單的方式去理解它，讓非碼農(nóng)也能了解基本概念，從而有效的去運用它...
-
練字｜如何找到適合自己的字體上一次我與大家分享了寫字很難嗎？有很多朋友關(guān)注了我，謝謝大家的支持。 還有很多人留言問我：還是不明白到底怎么找到適合自己的字體，今天我給大家繼續(xù)分享，如果再不明白，呵呵，歡迎...
-
類圖及繪制工具:StarUMLUnified Modeling Language (UML)又稱統(tǒng)一建模語言或標準建模語言，是始于1997年一個OMG標準，它是一個支持模型化和軟件系統(tǒng)開發(fā)的圖形化語言，為...
-
3-Zookeeper客戶端Curator高級特性
Zookeeper客戶端Curator高級特性 提醒：首先你必須添加curator-recipes依賴，下文僅僅對recipes一些特性的使用進行解釋和舉例，不打算進行源碼級...
-
樓主為什么把后面的內(nèi)容刪了？正在學(xué)習
Zookeeper客戶端Curator使用詳解
[TOC] Zookeeper客戶端Curator使用詳解 前提 維護多個博客比較麻煩，簡書和博客園放棄維護，后續(xù)在個人博客持續(xù)更新： coding-page：Zookeep...
-
Java壓縮文件夾成Zip文件和解壓縮Zip文件的實現(xiàn)
Java對Zip文件的支持不是很強大，有一些需要自己實現(xiàn)的代碼，我在網(wǎng)上找了很多代碼，都不能用于生產(chǎn)，要不就是流沒有被關(guān)閉，要不就是Exception處理很隨意，下面是我修改...
-
Zookeeper客戶端Curator使用詳解
[TOC] Zookeeper客戶端Curator使用詳解 前提 維護多個博客比較麻煩，簡書和博客園放棄維護，后續(xù)在個人博客持續(xù)更新： coding-page：Zookeep...
-
Hadoop學(xué)習筆記（六）實戰(zhàn)wordcount
配置工程 在maven官網(wǎng)上下載最新的maven壓縮包并解壓。 下載IntelliJ IDEA并安裝。 在IDEA中新建工程，選擇maven，sdk選擇java jdk的目錄...
-
Hadoop學(xué)習筆記（四）YARN
YARN產(chǎn)生背景 為什么會產(chǎn)生YRAN？這個與MapReduce1.x的架構(gòu)有關(guān)，正是因為MapReduce1.x存在許多的問題，才會產(chǎn)生 YARN。 MapReduc...
-
Hadoop學(xué)習筆記（三）漫畫解讀HDFS讀寫原理
首先看看出場的角色，第一個是client客戶端，用來發(fā)起讀寫請求，讀取HDFS上的文件或往HDFS中寫文件；第二個是Namenode，唯一的一個，會協(xié)調(diào)所有客戶端發(fā)起的請求；...
