發(fā)簡信
IP屬地：北京
-
RestTemplate在Spring Cloud中的三種用法
第一種,直接new一個(gè)RestTemplate實(shí)例將url寫死 第二種，利用Spring Cloud提供的LoadBalancerClient來...
-
Winston日志框架使用
winston日志框架使用 原來一直是使用log4js做日志輸出，原來只是輸出到標(biāo)準(zhǔn)輸出中，用了3年了，一直沒換過?，F(xiàn)在為了將詳細(xì)的日志都記錄下...
-
HDFS（6）- distcp并行復(fù)制
我們可以用Java Api寫代碼進(jìn)行復(fù)制文件或目錄，也可以使用hadoop fs -cp進(jìn)行復(fù)制，可這兩種效率并不高，拷貝文件或目錄寫代碼也麻煩...
-
HDFS（5）- 數(shù)據(jù)流之寫入根據(jù)下圖介紹HDFS的寫入流程。 步驟 1. create 客戶端通過對(duì)DistributedFileSystem對(duì)象調(diào)用create()方法來...
-
HDFS（4）- 數(shù)據(jù)流之讀取HDFS文件讀取步驟是怎么樣的？我們通過下圖中的步驟順序一步步梳理，然后再看這樣設(shè)計(jì)的好處。 步驟（Java客戶端） 1. open 客戶端調(diào)用...
-
HDFS（3）- 不是只有HDFS，Hadoop文件系統(tǒng)全家桶
Hadoop文件系統(tǒng)全家桶 Hadoop有一個(gè)抽象的文件系統(tǒng)概念，HDFS只是其中一個(gè)實(shí)現(xiàn)。Java抽象類org.apache.hadoop.f...
-
HDFS（2）- 概念
1、數(shù)據(jù)塊（block） 數(shù)據(jù)塊是磁盤讀/寫的最小單位，每個(gè)磁盤都有默認(rèn)的數(shù)據(jù)塊大小。HDFS作為分布式文件系統(tǒng)也有塊的概念，但是數(shù)據(jù)塊比較大，...
-
HDFS（1）- 設(shè)計(jì)
HDFS的設(shè)計(jì) 我們從以下角度分析： 超大文件HDFS可以并適合存儲(chǔ)超大文件。這里只具有幾百M(fèi)B、幾百GB、甚至幾百TB大小的文件。目前已經(jīng)有存...