發(fā)簡(jiǎn)信
IP屬地：陜西
-
Spark Streaming Source Kafka 0.8.2
描述 針對(duì)kafka0.8.2的API，Spark Streaming有兩個(gè)版本的Source，Receiver和DirectAPI，其中Rec...
-
Spark UDF and functions（一）
1.創(chuàng)建與使用udf udf有兩種使用方法，一是通過sparkSession注冊(cè)，在sql中直接使用；二是在dataset中通過Column使用...
-
Streaming metadate checkpoint詳解spark streaming的checkpoint目的是保證長(zhǎng)時(shí)間運(yùn)行的任務(wù)在意外掛掉后保證數(shù)據(jù)不丟失，checkpoint包含兩種數(shù)據(jù)：me...
-
Docker部署hexo在github搭建博客
背景 在博客網(wǎng)站發(fā)布markdown格式的博客越來越方便，但發(fā)現(xiàn)好多個(gè)人博客的樣式大都一樣，研究發(fā)現(xiàn)好多都是使用github+hexo+個(gè)人域名...
-
Spark metrics整理
概述 spark使用metrics的包路徑為：org.apache.spark.metrics，核心類：MetricsSystem?？梢园裇pa...
-
Spark Structured Streaming Source Sink整理Source源碼調(diào)用 Structured Streaming在Source階段的調(diào)用過程如上圖 1.在start時(shí)會(huì)啟動(dòng)StreamExecu...
-
prometheus監(jiān)控spark on yarn方案（一）
一、監(jiān)控指標(biāo) 使用sparkMetricSink監(jiān)控的指標(biāo) 二、考慮問題 spark自帶的sink使用io.dropwizard.metrics...