在日常flink應(yīng)用中，相信大家經(jīng)常會遇到checkpoint超時失敗這類的問題，遇到這種情況的時候僅僅只會在jobmanager處打一個超時abort的日志，往往一臉懵逼不...
IP屬地：廣東
-
Flink常見Checkpoint超時問題排查思路
-
Spark Streaming + Kafka + Redis狀態(tài)管理 top100場景 Exactly Once??最近面試螞蟻金服一面的時候，和面試官聊項目問題的時候，發(fā)現(xiàn)我這邊業(yè)務(wù)實現(xiàn)的top100場景好像沒有實現(xiàn)exactly once語義，我們項目的offset是存儲在zk中，...
-
Spark 應(yīng)用場景示例
Spark 應(yīng)用場景示例 Spark 項目搭建 環(huán)境介紹 框架版本Centos7Java8Scala2.11.12SBT1.0Spark2.3.0IDEA pluginSca...
-
Spark+Hbase 億級流量分析實戰(zhàn)（ 留存計算）這篇已經(jīng)是本系列文章的第五篇了，簡書/小紅書/CSDN 還不快來感謝大豬，上一篇大豬已經(jīng)介紹 PV/UV 的實現(xiàn)方式以及程序的計算邏輯，本篇大豬繼續(xù)為小伙伴介紹 留存，看在S...
-
Phoenix自定義函數(shù)UDF異常解決方案
在Phoenix客戶端使用自定義函數(shù)UDF時候是正常的,但是在本地測試的時候報Function類找不到的異常。 異常演示 例子 CRC32Function.java 導(dǎo)入ph...
-
Hbase - 自定義Rowkey規(guī)則在Flink中我們有時候需要分析數(shù)據(jù)1點到2點的范圍,可是經(jīng)過Region又比較慢，這時候我們就可以定制TableInputFormat來實現(xiàn)我們的需求了，我們還可以采用Fl...
-
11.Hbase安裝與配置關(guān)系型數(shù)據(jù)庫 定義： 采用了關(guān)系模型來組織數(shù)據(jù)的數(shù)據(jù)庫代表產(chǎn)品：Mysql，Oracle，sql server大數(shù)據(jù)時代下的瓶頸： 高并發(fā)讀寫需求 海量數(shù)據(jù)的高效率讀寫 高擴...
-
hadoop 新增datanode 擴容我們的機器 由于 日志量大 又開始了擴容，hadoop 2.8 不支持 disk volume level rebalance ，hadoop 3.0支持，可是 我們安裝的...
-
VMware虛擬機的網(wǎng)絡(luò)模式 — 橋接模式、僅主機模式、NAT模式的特點和配置了解網(wǎng)絡(luò)模式之前，先看看所涉及到的虛擬設(shè)備 一. VMware虛擬設(shè)備 1. 三種虛擬交換機（對應(yīng)三種網(wǎng)絡(luò)模式） VMnet0 虛擬交換機 ：Bridged橋接模式 VMne...
