Spark執(zhí)行模型 Spark執(zhí)行模型可以分為三部分：創(chuàng)建邏輯計(jì)劃，將其翻譯為物理計(jì)劃，在集群上執(zhí)行task。 可以在http://<driver-node>:40...
發(fā)簡(jiǎn)信
IP屬地：上海
-
Spark任務(wù)如何執(zhí)行？ -
緩存之穿透、擊穿與雪崩1、緩存穿透 緩存穿透是指查詢(xún)一個(gè)不存在的數(shù)據(jù)，由于緩存不命中，而將請(qǐng)求全部打到數(shù)據(jù)庫(kù)上的情況。緩存起不到作用，請(qǐng)求每次都會(huì)走到數(shù)據(jù)庫(kù)，流量大時(shí)數(shù)據(jù)庫(kù)可能會(huì)被打掛。此時(shí)緩存就...
-
Flink--Checkpoint機(jī)制原理基于flink-1.8.1 本文轉(zhuǎn)載自一文搞懂Flink內(nèi)部的Exactly Once和At Least Once 如何理解flink中state(狀態(tài)) state泛指 s...
-
列存儲(chǔ)格式Parquet淺析Parquet調(diào)研報(bào)告 1. 概述 1.1 簡(jiǎn)介 Apache Parquet是Hadoop生態(tài)圈中一種新型列式存儲(chǔ)格式，它可以兼容Hadoop生態(tài)圈中大多數(shù)計(jì)算框架(Had...
-
Eureka快速體驗(yàn)在Spring Cloud中一般都使用Eureka做服務(wù)治理，本文先快速體驗(yàn)一下基于Eureka完成一次遠(yuǎn)程調(diào)用 Eureka Server搭建 類(lèi)似于Spring Clou...
-
GC 基礎(chǔ)基本的垃圾回收算法 判斷對(duì)象是否可被回收 引用計(jì)數(shù)法，被零引用的對(duì)象可回收。但是很難解決相互引用的問(wèn)題 從 gc root 開(kāi)始搜索，搜索不到的對(duì)象可回收。Java 的垃圾回...
-
遇到更好的自己：如何利用小半年時(shí)間將顏值提升一個(gè)度2016年7月，開(kāi)始逐漸轉(zhuǎn)變生活方式，10月時(shí)固定下一些習(xí)慣。到今天，滿(mǎn)打滿(mǎn)算三個(gè)多月，說(shuō)的長(zhǎng)點(diǎn)就是半年。 最新2017年上半年總結(jié)已寫(xiě)～http://www.jianshu...
-
spark+kafka+Elasticsearch單機(jī)環(huán)境的部署和性能測(cè)試版本選型 spark 1.5.2 + kafka 0.9.0.1 + Elasticsearch 2.2.1 安裝部署 1. 安裝腳本及文件 密碼 4m7l 安裝腳本和...
-
大數(shù)據(jù)運(yùn)維問(wèn)題記錄(七)問(wèn)題描述:公司中一個(gè)項(xiàng)目我們用netty接收廠(chǎng)商提供的數(shù)據(jù)入kafka，接收速度較慢，入kafka也比較慢，需要對(duì)其進(jìn)行一些優(yōu)化。問(wèn)題解決:利用一周左右的時(shí)間對(duì)其代碼和相關(guān)配...
