JDBC批量處理 批量處理允許將相關(guān)的SQL語句分組到批處理中，并通過對數(shù)據(jù)庫的一次調(diào)用來提交它們，一次執(zhí)行完成與數(shù)據(jù)庫之間的交互。 一次向數(shù)據(jù)庫發(fā)送多個(gè)SQL語句時(shí)，可以減...
IP屬地：浙江
-
Flink 原理與實(shí)現(xiàn)：深入理解Flink核心技術(shù)Apache Flink（下簡稱Flink）項(xiàng)目是大數(shù)據(jù)處理領(lǐng)域最近冉冉升起的一顆新星，其不同于其他大數(shù)據(jù)項(xiàng)目的諸多特性吸引了越來越多人的關(guān)注。本文將深入分析Flink的一些...
-
Flink自定義觸發(fā)器
上一篇分享中介紹了Flink完成數(shù)據(jù)統(tǒng)計(jì)的例子，在最后提到了自定義的統(tǒng)計(jì)觸發(fā)器，這一篇分享主要介紹一下自定義的觸發(fā)器如何來實(shí)現(xiàn)。 一、觸發(fā)器的作用觸發(fā)器的作用就是我們在窗口中...
-
消息隊(duì)列探秘-Kafka全面解析背景介紹 Kafka簡介 Kafka是一種分布式的，基于發(fā)布/訂閱的消息系統(tǒng)。主要設(shè)計(jì)目標(biāo)如下： 以時(shí)間復(fù)雜度為O(1)的方式提供消息持久化能力，即使對TB級以上數(shù)據(jù)也能保證...
-
(4)分布式系統(tǒng)關(guān)鍵技術(shù)：全棧監(jiān)控一、監(jiān)控系統(tǒng)需要完成的功能為： 全棧監(jiān)控； 關(guān)聯(lián)分析； 跨系統(tǒng)調(diào)用的串聯(lián)； 實(shí)時(shí)報(bào)警和自動處置； 系統(tǒng)性能分析。 多層體系的監(jiān)控 二、全棧監(jiān)控（就是三層監(jiān)控） 基礎(chǔ)層：CPU...
-
接近淘寶 80%的大數(shù)據(jù)實(shí)時(shí)計(jì)算平臺，從0搭建的經(jīng)驗(yàn)和坑上周一，來自武漢的直播平臺斗魚TV宣布C輪融資，騰訊領(lǐng)投的 15 億人民幣，距其獲得 B 輪1億美元不到半年，也是大寫的牛逼。 但小尋更關(guān)心他們的大數(shù)據(jù)架構(gòu)，作為一個(gè)在 2 ...
-
使用Flink完成流數(shù)據(jù)統(tǒng)計(jì)一、統(tǒng)計(jì)流程 所有流計(jì)算統(tǒng)計(jì)的流程都是：1、接入數(shù)據(jù)源2、進(jìn)行多次數(shù)據(jù)轉(zhuǎn)換操作(過濾、拆分、聚合計(jì)算等)3、計(jì)算結(jié)果的存儲其中數(shù)據(jù)源可以是多個(gè)、數(shù)據(jù)轉(zhuǎn)換的節(jié)點(diǎn)處理完數(shù)據(jù)可以發(fā)...
