我對著官方文檔自己翻譯的。
Spark-Streaming 文檔之性能調優(yōu)性能優(yōu)化 要想使你的Spark流處理應用能夠獲得更好地性能，你需要大量的優(yōu)化工作。在這一節(jié)中，我們提供了許多配置和參數來對你的程序進行改進。首先你需要從兩個方面出發(fā)來考慮優(yōu)化...
發(fā)簡信
IP屬地：山東
-
-
@鼠標的翅膀 可能就是我寫的
Spark-Streaming 文檔之性能調優(yōu)
性能優(yōu)化 要想使你的Spark流處理應用能夠獲得更好地性能，你需要大量的優(yōu)化工作。在這一節(jié)中，我們提供了許多配置和參數來對你的程序進行改進。首先你需要從兩個方面出發(fā)來考慮優(yōu)化...
-
Java并發(fā)編程高級篇(十一)：執(zhí)行器之處理被拒絕的任務
我們知道在調用執(zhí)行器的shutdown()方法后，再向執(zhí)行器提交任務會被拒絕。執(zhí)行器框架為我們提供了一個類RejectedExecutionHandler，來讓我們自定義一些...
-
Java并發(fā)編程高級篇(十)：分離任務的執(zhí)行和結果的處理
在之前的例子中，我們使用執(zhí)行器框架都是在主類中提交任務，等待任務執(zhí)行完畢后再去處理任務執(zhí)行的結果。接下來我們打算將任務的提交和結果的處理都放置到線程中去執(zhí)行。在每個任務內部提...
-
Java并發(fā)編程高級篇(九)：在線程之行結束后再做些什么
如果我們想要在線程執(zhí)行結束后做一些事情，比如生成報表，發(fā)送通知郵件或者釋放一些系統(tǒng)資源，FutureTask類給于我們最好的支持。 想要實現這種控制方式，我們不能直接把Cal...
-
Java并發(fā)編程高級篇(八)：在執(zhí)行器中取消任務
前面我們已經學習如何把任務發(fā)送給執(zhí)行器去執(zhí)行，但是當我們想要取消一個已經發(fā)送給執(zhí)行器的任務該怎么辦呢?？梢允褂肍uture對象的cancel()方法。 首先我們創(chuàng)建一個任務線...
-
Java并發(fā)編程高級篇(七)：使用執(zhí)行器周期性地執(zhí)行任務
我們已經學習了如何利用執(zhí)行器框架提供的ThreadPoolExecutor類的線程池來執(zhí)行任務，而不用我們手動去創(chuàng)建線程。同時我們也學習了，如何使用ScheduledThre...
-
Java并發(fā)編程高級篇(六)：在執(zhí)行器中延時執(zhí)行任務
執(zhí)行器框架提供了ThreadPoolExecutor類來執(zhí)行Runnable和Callable任務。當任務被發(fā)送給執(zhí)行器的時候，執(zhí)行器會根據俄配合盡可能快地執(zhí)行任務。但是如果...
-
Java并發(fā)編程高級篇(五)：運行多個任務并處理所有結果
執(zhí)行器框架給我們提供了一個方法，讓我們可以發(fā)送給執(zhí)行器一個任務列表，并等待任務列表中的所有任務執(zhí)行完畢。然后它將返回一個與任務列表對應的Future列表。 下面我們來看一下這...
-
Java并發(fā)編程高級篇(四)：運行多個任務并處理第一個結果
接下來，我們來模擬一個用戶驗證過程，提供兩種驗證機制，任何一種驗證機制驗證成功即可通過驗證，而不用等兩種驗證機制都驗證成功。 創(chuàng)建UserValidator類，它通過休眠一個...
-
Java并發(fā)編程高級篇(三)：執(zhí)行器中執(zhí)行任務并返回結果
執(zhí)行器框架的優(yōu)質之一是可以并發(fā)地執(zhí)行任務，并將任務執(zhí)行結果返回。要想實現這個功能，需要JDK中的兩個接口。 Callable：這個接口帶有一個call()方法，你可以在這個方...
-
Java并發(fā)編程高級篇(二)：使用固定大小線程執(zhí)行器
使用Executors工廠類的newCachedThreadPool方法來創(chuàng)建的線程執(zhí)行器，當執(zhí)行器碰到沒有可用線程的時候，執(zhí)行器就會創(chuàng)建新的線程。這樣，當大量的任務加入到線...
-
-
Java并發(fā)編程高級篇(一)：使用線程池執(zhí)行器
使用執(zhí)行器框架(Executor Framework)的第一步是創(chuàng)建執(zhí)行器ThreadPoolExecutor對象。我們可以使用ThreadPoolExecutor提供的四個...
-
-
Spark-Steaming 文檔之容錯機制
容錯機制 在這一節(jié)，我們要討論一下Spark Streaming的容錯機制。 背景知識 為了能夠更好地理解Spark Streaming的容錯機制，我們先來看下Spark R...
-
Spark-Streaming 文檔之性能調優(yōu)
性能優(yōu)化 要想使你的Spark流處理應用能夠獲得更好地性能，你需要大量的優(yōu)化工作。在這一節(jié)中，我們提供了許多配置和參數來對你的程序進行改進。首先你需要從兩個方面出發(fā)來考慮優(yōu)化...
-
Spark-Streaming 文檔之基本概念概述 我們先來看看Spark官方文檔對于Spark Streaming的定義：Spark Streaming是對Spark核心API的擴展，并且是一個具有可伸縮，高吞吐，容錯...
