為什么 Elasticsearch/Lucene 檢索可以比 mysql 快 Mysql 只有 term dictionary 這一層，是以 b-tree 排序的方式存儲(chǔ)在磁...
發(fā)簡(jiǎn)信
IP屬地：浙江
-
elasticsearch 為什么比mysql快 -
Hadoop文檔（2.9.2） - HDFS架構(gòu)介紹 Hadoop分布式文件系統(tǒng)（HDFS）是一種運(yùn)行在通用硬件上的分布式文件系統(tǒng)。它與傳統(tǒng)的分布式文件系統(tǒng)有很多相似之處，但是也有顯著的不同。HDFS是高容錯(cuò)的，可以部署在...
-
Spark文檔 - 快速入門(mén)
本文簡(jiǎn)要介紹一下Spark。首先通過(guò)交互式shell介紹Spark API，然后是如何使用Scala編寫(xiě)應(yīng)用程序。 要注意的是，Spark 2.0之前，Spark的主要編程接...
-
Spark文檔 - 集群模型預(yù)覽
組件 Spark應(yīng)用程序運(yùn)行在集群上的獨(dú)立進(jìn)程中，由驅(qū)動(dòng)程序中的SparkContext對(duì)象調(diào)度。 SparkContext可以連接到幾種集群管理器（例如Standalone...
-
Hadoop文檔（2.9.2） - YARN架構(gòu)
YARN最基本的想法就是將資源管理的功能和作業(yè)調(diào)度/監(jiān)控的功能分隔在不同的進(jìn)程中。即使用一個(gè)全局的資源管理器（RM）和每個(gè)應(yīng)用一個(gè)的應(yīng)用節(jié)點(diǎn)（AM）。應(yīng)用要么是一個(gè)單獨(dú)的作業(yè)...
-
Hadoop文檔（2.9.2） - MapReduce指南
預(yù)覽 Hadoop MapReduce是一個(gè)軟件框架，用于編寫(xiě)并行處理海量數(shù)據(jù)的應(yīng)用程序，應(yīng)用程序運(yùn)行在一個(gè)通用硬件組成的，可靠的，容錯(cuò)的大型集群之上。 MapReduce作...
-
Spark文檔 - 作業(yè)調(diào)度
概述 Spark提供了幾個(gè)可以在計(jì)算過(guò)程之間調(diào)度資源的工具。首先，每個(gè)Spark應(yīng)用程序（SparkContext實(shí)例）都運(yùn)行在獨(dú)立的executor進(jìn)程中，而集群管理器可以...
-
Flink文檔 - 數(shù)據(jù)流編程模型抽象層級(jí) Flink提供了幾個(gè)不同的抽象層級(jí)來(lái)開(kāi)發(fā)流處理/批處理應(yīng)用程序。 最底層抽象簡(jiǎn)單的提供了狀態(tài)流處理。該功能主要封裝在DataStream API中的Process函...
-
Windows下搭建Spark開(kāi)發(fā)測(cè)試環(huán)境Windows下使用IDEA開(kāi)發(fā)Spark應(yīng)用程序配置說(shuō)明（使用sbt構(gòu)建）。 軟件環(huán)境 Hadoop 2.7.7 Spark 2.4.0 Scala 2.11 Java 8...
