權(quán)限問(wèn)題？
Flume(二)快速入門(mén)Flume安裝部署 安裝地址 Flume官網(wǎng)[http://flume.apache.org/] 文檔查看地址[http://flume.apache.org/FlumeUs...
IP屬地：廣東
-
-
循環(huán)中出現(xiàn)異常，肯定會(huì)跳出循環(huán)。但是在此之前的數(shù)據(jù)量應(yīng)該是沒(méi)有問(wèn)題的，報(bào)錯(cuò)了說(shuō)明程序有問(wèn)題，應(yīng)該先看看異常的原因然后進(jìn)行處理。還有一個(gè)就是可以為默認(rèn)值。如果可以的話，想看看你的程序。
scala(二十二) 異常(Exception)
語(yǔ)法處理上和Java類(lèi)似，但是又不盡相同。 java中異常的處理方式: 1.捕獲異常: try{..}catch(..){..} finally{...}2.拋出異常:1.在...
-
記錄hadoop一次奇怪的問(wèn)題操作今天早上，我啟動(dòng)Hadoop ，然后訪問(wèn) 9870端口，顯示的卻是這樣的 image.png 剛開(kāi)始，我以為我哪里配置有問(wèn)題，于是查看日志，例如出現(xiàn)這種錯(cuò)誤， image.p...
-
Flink 錯(cuò)誤日志記錄
異常：Producer attempted to produce with an old epoch. 解決方式 規(guī)避方式[https://issues.apache.org...
-
cdh 安裝 elsticsearch前言 記錄了我使用CDH 安裝 ES 過(guò)程 第一步：cdh 集成 es 參考文章[https://blog.csdn.net/guoliduo/article/details...
-
maxwell 啟停腳本
前言 我已經(jīng)很久沒(méi)有寫(xiě)過(guò)博客了，今天再次登錄之后發(fā)現(xiàn)有了很多的關(guān)注和評(píng)論，讓我感到我的文章的對(duì)大家還是有幫助的，以后會(huì)繼續(xù)寫(xiě)下去的，進(jìn)入主題。我使用maxwell也有很長(zhǎng)時(shí)間...
-
INNER JION,...FULL JOIN, UNION,UNION ALL,INTO,CREATE DATABASE(TABLE),NOT NULL.GO ON ---（SQL高級(jí)） SQL INNER JOIN 關(guān)鍵字（在表中存在至少一個(gè)匹配時(shí)，INNER JOIN 關(guān)鍵字返回行） SELECT 列名稱 FROM 表名稱...
-
Flink 定時(shí)器
定時(shí)器 基于處理時(shí)間或者事件時(shí)間處理過(guò)一個(gè)元素之后, 注冊(cè)一個(gè)定時(shí)器, 然后指定的時(shí)間執(zhí)行. Context和OnTimerContext 所持有的TimerService對(duì)...
-
Flink狀態(tài)編程介紹 有狀態(tài)的計(jì)算是流處理框架要實(shí)現(xiàn)的重要功能，因?yàn)樯詮?fù)雜的流處理場(chǎng)景都需要記錄狀態(tài)，然后在新流入數(shù)據(jù)的基礎(chǔ)上不斷更新?tīng)顟B(tài)。 SparkStreaming在狀態(tài)管理這塊做的不...
-
Flink 的window機(jī)制(二) 窗口函數(shù)
Window Function 前面指定了窗口的分配器, 接著我們需要來(lái)指定如何計(jì)算, 這事由window function來(lái)負(fù)責(zé). 一旦窗口關(guān)閉, window func...
-
Flink1.13 容錯(cuò)機(jī)制
狀態(tài)的一致性 當(dāng)在分布式系統(tǒng)中引入狀態(tài)時(shí)，自然也引入了一致性問(wèn)題。 一致性實(shí)際上是"正確性級(jí)別"的另一種說(shuō)法，也就是說(shuō)在成功處理故障并恢復(fù)之后得到的結(jié)果，與沒(méi)有發(fā)生任何故障時(shí)...
-
Flink1.13 Checkpoint原理
介紹 Flink具體如何保證exactly-once呢? 它使用一種被稱為"檢查點(diǎn)"（checkpoint）的特性，在出現(xiàn)故障時(shí)將系統(tǒng)重置回正確狀態(tài)。下面通過(guò)簡(jiǎn)單的類(lèi)比來(lái)解釋...
-
Flink(1.13) FlinkCEP
什么是FlinkCEP FlinkCEP(Complex event processing for Flink) 是在Flink實(shí)現(xiàn)的復(fù)雜事件處理庫(kù). 它可以讓你在無(wú)界流或有...
-
Flink(1.13) Catalog
Catalog 提供了元數(shù)據(jù)信息，例如數(shù)據(jù)庫(kù)、表、分區(qū)、視圖以及數(shù)據(jù)庫(kù)或其他外部系統(tǒng)中存儲(chǔ)的函數(shù)和信息。 數(shù)據(jù)處理最關(guān)鍵的方面之一是管理元數(shù)據(jù)。 元數(shù)據(jù)可以是臨時(shí)的，例如臨時(shí)...
-
Flink(1.13) FlinkSql自定義函數(shù)
函數(shù)分類(lèi) 官網(wǎng)介紹[https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/dev/table/f...
-
Flink(1.13) 的window機(jī)制(一)窗口概述 在流處理應(yīng)用中，數(shù)據(jù)是連續(xù)不斷的，因此我們不可能等到所有數(shù)據(jù)都到了才開(kāi)始處理。當(dāng)然我們可以每來(lái)一個(gè)消息就處理一次，但是有時(shí)我們需要做一些聚合類(lèi)的處理，例如：在過(guò)去的...
-
Flink(1.13) 中的分區(qū)器前言 flink中有七大官方定義的分區(qū)器以及一個(gè)用于自定義的分區(qū)器（共八個(gè)）。 org.apache.flink.streaming.runtime.partitioner....
-
Flink(1.13) 執(zhí)行模式(Execution Mode)
前言 Flink從1.12.0上對(duì)流式API新增一項(xiàng)特性:可以根據(jù)你的使用情況和Job的特點(diǎn), 可以選擇不同的運(yùn)行時(shí)執(zhí)行模式(runtime execution modes)...
-
Flink(1.13) Transform
轉(zhuǎn)換算子可以把一個(gè)或多個(gè)DataStream轉(zhuǎn)成一個(gè)新的DataStream.程序可以把多個(gè)復(fù)雜的轉(zhuǎn)換組合成復(fù)雜的數(shù)據(jù)流拓?fù)? map 作用將數(shù)據(jù)流中的數(shù)據(jù)進(jìn)行轉(zhuǎn)換, 形成新...
-
Flink(1.13) 核心概念TaskManager與Slots Flink中每一個(gè)worker(TaskManager)都是一個(gè)JVM進(jìn)程，它可能會(huì)在獨(dú)立的線程上執(zhí)行一個(gè)Task。為了控制一個(gè)worke...