發(fā)簡(jiǎn)信
IP屬地：廣西
-
-
Flink之用戶(hù)代碼生成調(diào)度層圖結(jié)構(gòu)在Flink中，由用戶(hù)代碼生成調(diào)度層圖結(jié)構(gòu)，可以分成3步走：通過(guò)Stream API編寫(xiě)的用戶(hù)代碼 -> StreamGraph -> JobGraph -> Executi...
-
Spark Streaming Source Kafka 0.8.2
描述 針對(duì)kafka0.8.2的API，Spark Streaming有兩個(gè)版本的Source，Receiver和DirectAPI，其中Receiver模式使用HighLe...
-
Spark UDF and functions（一）
1.創(chuàng)建與使用udf udf有兩種使用方法，一是通過(guò)sparkSession注冊(cè)，在sql中直接使用；二是在dataset中通過(guò)Column使用。 udf用法一：注冊(cè)（在sq...
-
Streaming metadate checkpoint詳解spark streaming的checkpoint目的是保證長(zhǎng)時(shí)間運(yùn)行的任務(wù)在意外掛掉后保證數(shù)據(jù)不丟失，checkpoint包含兩種數(shù)據(jù)：metadata和data，本篇主...
-
Docker部署hexo在github搭建博客
背景 在博客網(wǎng)站發(fā)布markdown格式的博客越來(lái)越方便，但發(fā)現(xiàn)好多個(gè)人博客的樣式大都一樣，研究發(fā)現(xiàn)好多都是使用github+hexo+個(gè)人域名，貌似并不復(fù)雜，所以嘗試搞起。...
-
Spark metrics整理
概述 spark使用metrics的包路徑為：org.apache.spark.metrics，核心類(lèi)：MetricsSystem。可以把Spark Metrics的信息報(bào)告...
-
Spark Structured Streaming Source Sink整理Source源碼調(diào)用 Structured Streaming在Source階段的調(diào)用過(guò)程如上圖 1.在start時(shí)會(huì)啟動(dòng)StreamExecution內(nèi)部屬性microBa...
-
微服務(wù)和SOA相關(guān)的理論知識(shí)和技術(shù)知識(shí)，spring cloud，spring boot，dubbo，rpc，thrift，protobuf，gRPC，分布式事務(wù)，DDD,k8s,kubernetes,etcd,consul等等
-
prometheus監(jiān)控spark on yarn方案（一）
一、監(jiān)控指標(biāo) 使用sparkMetricSink監(jiān)控的指標(biāo) 二、考慮問(wèn)題 spark自帶的sink使用io.dropwizard.metrics，目前不支持prometheu...
-
我是 Alice<br>喜歡人工智能，行動(dòng)派<br>創(chuàng)造力，思考力，學(xué)習(xí)力提升修煉進(jìn)行中<br>歡迎志同道合的小伙伴們和我一起學(xué)習(xí)<br>微信：XerDudu，備注簡(jiǎn)書(shū)<br>公眾號(hào)：極客X養(yǎng)成計(jì)劃<br>轉(zhuǎn)載記得聯(lián)系作者哦！
-
大數(shù)據(jù)，收錄大數(shù)據(jù)相關(guān)技術(shù)的文章。
-
專(zhuān)注于spark相關(guān)內(nèi)容分享，github相關(guān)資料整理：https://github.com/jacksu/utils4s
