最新在線上更新了代碼之后導(dǎo)致了任務(wù)在消費kafka數(shù)據(jù)的時候,突然就不消費數(shù)據(jù)了,發(fā)現(xiàn)原因在公司的可視化界面中,看不到數(shù)據(jù)的更新,進入flink監(jiān)控頁面中看到任務(wù)沒有fail...
發(fā)簡信
IP屬地：山東
-
記錄Flink1.9線上checkpoint失敗的問題 -
關(guān)閉Chrome左右滑動時返回上一個網(wǎng)頁
我用Mac電腦上用Chrome時，有一點非常不便讓我常常無語。也不知道哪個工程師開發(fā)的功能，這么扯，每次用觸摸板滑動瀏覽網(wǎng)頁的時候，它會自動抓取你左滑動或者右滑動，變?yōu)榉祷厣?..
-
Kafka源碼分析（七）消息發(fā)送可靠性——min.insync.replicas
繼續(xù)解答問題：Kafka怎么樣才能不丟消息？ 再次說明下acks的語義如果acks=all，代表消息需要在所有ISR都被持久化成功后，Broker才可以告訴生產(chǎn)者，消息已經(jīng)發(fā)...
-
FlinkSQL的痛點
現(xiàn)在FlinkSQL可以source創(chuàng)建一張表,也可以sink也創(chuàng)建一張表 然后直接aggTable1.insertInto("out"); 但是如果要是比如out這個表是k...
-
Scala解析JSON
package com.mlamp.test_json /** * @Author: DaChun777 * @Date: 2021/12/8 上午10:35 * @Desc...
-
MAC上Git安裝與GitHub基本使用目錄 安裝git創(chuàng)建ssh key、配置git提交本地項目到GitHub 一、安裝Git MAC 上安裝Git主要有兩種方式 首先查看電腦是否安裝Git，終端輸入： 安裝過則...
-
Mac idea 2020.1 版本的安裝與破解一、 idea 的下載 官網(wǎng)下載地址：https://www.jetbrains.com/下載.png 百度云提供 2020.1 的版本： 鏈接: https://pan.b...
-
這個讀請求會不會造成讀不到最新的數(shù)據(jù),因為寫是滿足過半性寫就算寫入完成
Zookeeper的選舉和讀寫流程
Zookeeper選舉過程 服務(wù)器啟動或者服務(wù)器運行期間（Leader掛了），都會進入Leader選舉，我們來看一下~假設(shè)現(xiàn)在ZooKeeper集群有五臺服務(wù)器，它們myid...
-
其實這個十分之1的說法并不對,你自己測試就知道了.啊哈哈哈
Spark 配置Kryo序列化機制
一、Spark 的序列化 序列化Spark 是一個高性能、分布式的、基于內(nèi)存計算的計算引擎，Spark 集群中包含多個節(jié)點，各節(jié)點之間要進行通信（比如數(shù)據(jù)傳輸，Spark 通...
-
Spark讀取Hive數(shù)據(jù)
依賴如下: <dependencies> <!-- mysql --> <dependency> <groupId>mysql</groupId> ...
-
不會,也是根據(jù)關(guān)聯(lián)字段Join的,這個intervalJoin生產(chǎn)沒人用,太雞肋了.
談?wù)凢link DataStream API中的三種雙流join操作
前言 本文是基礎(chǔ)中的基礎(chǔ)，看官可以放心食用。 在數(shù)據(jù)庫中的靜態(tài)表上做OLAP分析時，兩表join是非常常見的操作。同理，在流式處理作業(yè)中，有時也需要在兩條流上做join以獲得...
-
Maven明明導(dǎo)入了依賴但是運行報錯
我在運行flink程序時候,就是一個table程序,在編譯時候以及寫代碼都不報錯,然后運行就報錯少依賴, 臥槽,而且這個依賴這個類我都能夠找到,點進去能看到源碼,死活報錯找不...
-
MySQL獲取毫秒值
select time_to_sec(now()), now(), current_timestamp(), replace(unix_timestamp(now(3)),'...
-
你找到了嗎?哥,能發(fā)我一個嗎
二、Azkaban單機與集群的安裝
一、概述 在上一篇文章中，描述了如果使用源碼對Azkaban進行編譯并打包的過程，如果用戶不想自己手動編譯，可以直接下載筆者已經(jīng)編譯好的安裝包，下載地址如下： 百度云鏈接：h...