發(fā)簡(jiǎn)信
IP屬地：浙江
-
Windows下Go語(yǔ)言環(huán)境搭建軟件環(huán)境 Windows 7 Git 2.10.1 Go 1.14.2 安裝過(guò)程 首先安裝go1.14.2.windows-amd64.msi，...
-
Flink文檔 - 數(shù)據(jù)流編程模型抽象層級(jí) Flink提供了幾個(gè)不同的抽象層級(jí)來(lái)開發(fā)流處理/批處理應(yīng)用程序。 最底層抽象簡(jiǎn)單的提供了狀態(tài)流處理。該功能主要封裝在DataStrea...
-
Spark文檔 - 作業(yè)調(diào)度
概述 Spark提供了幾個(gè)可以在計(jì)算過(guò)程之間調(diào)度資源的工具。首先，每個(gè)Spark應(yīng)用程序（SparkContext實(shí)例）都運(yùn)行在獨(dú)立的execu...
-
Hadoop文檔（2.9.2） - MapReduce指南
預(yù)覽 Hadoop MapReduce是一個(gè)軟件框架，用于編寫并行處理海量數(shù)據(jù)的應(yīng)用程序，應(yīng)用程序運(yùn)行在一個(gè)通用硬件組成的，可靠的，容錯(cuò)的大型集...
-
Hadoop文檔（2.9.2） - YARN架構(gòu)
YARN最基本的想法就是將資源管理的功能和作業(yè)調(diào)度/監(jiān)控的功能分隔在不同的進(jìn)程中。即使用一個(gè)全局的資源管理器（RM）和每個(gè)應(yīng)用一個(gè)的應(yīng)用節(jié)點(diǎn)（A...
-
Windows下搭建Spark開發(fā)測(cè)試環(huán)境Windows下使用IDEA開發(fā)Spark應(yīng)用程序配置說(shuō)明（使用sbt構(gòu)建）。 軟件環(huán)境 Hadoop 2.7.7 Spark 2.4.0 Sc...
-
Spark文檔 - 集群模型預(yù)覽
組件 Spark應(yīng)用程序運(yùn)行在集群上的獨(dú)立進(jìn)程中，由驅(qū)動(dòng)程序中的SparkContext對(duì)象調(diào)度。 SparkContext可以連接到幾種集群管...
-
Hadoop文檔（2.9.2） - HDFS架構(gòu)介紹 Hadoop分布式文件系統(tǒng)（HDFS）是一種運(yùn)行在通用硬件上的分布式文件系統(tǒng)。它與傳統(tǒng)的分布式文件系統(tǒng)有很多相似之處，但是也有顯著的不同。...
-
Spark文檔 - SQL編程指南
預(yù)覽 Spark SQL是Spark用于結(jié)構(gòu)化數(shù)據(jù)處理的模塊。不同于基本的RDD API，Spark SQL API提供了更多有關(guān)數(shù)據(jù)和計(jì)算的機(jī)...