LinkedBlockingQueue 是很優(yōu)秀的阻塞隊列實(shí)現(xiàn),某些資料顯示可以達(dá)到50w QPS左右,其讀寫使用兩把鎖,但底層使用ReentrantLock 進(jìn)行阻塞,雖然...
LinkedBlockingQueue 是很優(yōu)秀的阻塞隊列實(shí)現(xiàn),某些資料顯示可以達(dá)到50w QPS左右,其讀寫使用兩把鎖,但底層使用ReentrantLock 進(jìn)行阻塞,雖然...
1.導(dǎo)包 2.Kafka配置類 3.配置文件(application.properties) 3.定義Consumer類 4.定義kafka-topic與實(shí)體類映射文件kaf...
聲明:本文為方便日后部分DSL結(jié)構(gòu)速查,由于索引設(shè)計不同,語法會有差異,本文默認(rèn)String 保存為keyword類型,詳細(xì)了解移步Elastic Stack 官網(wǎng) http...
1.實(shí)現(xiàn)BatchErrorHandler 2.注冊進(jìn)KafkaListenerContainerFactory中
一個特殊需求,需要數(shù)據(jù)庫實(shí)體對象轉(zhuǎn)換成json的時候,key為數(shù)據(jù)庫原表字段,value Date 轉(zhuǎn)String,找了找博客,看了看fastjson的源碼之后,決定重寫Ja...
寫在前面:Presto 是facebook開發(fā)的一款開源大數(shù)據(jù)OLAP引擎,基于內(nèi)存計算和作業(yè)分發(fā),直接使用sql分析,不需要數(shù)據(jù)預(yù)處理,類似于impala和sparksql...
寫在前面: 我先假設(shè)kafka已經(jīng)安裝好 1.opt 目錄下創(chuàng)建一個文件夾 /opt/kafka-connect-pak 2.去confluent官網(wǎng)下載最新版conflue...
思路一:利用數(shù)組 但這樣指定不清晰,看上去也不怎么優(yōu)雅 思路二:定義Pair對象 函數(shù) 取值: 看上去就舒服多了,舉一反三,也可以定義Third 對象,里面有l(wèi)eft ,mi...
一:安裝mysql1.查找是否有mysql安裝 rpm -qa | grep -i mysqlrpm -qa | grep -i mariadb 2.安裝依賴yum -y i...
1.自定義kudu監(jiān)控腳本cd /etc/zabbix/zabbix_agentd.dvim kudu_listen.sh cd /etc/zabbix/zabbix_age...
由于presto對kudu進(jìn)行數(shù)據(jù)插入過慢,采用kudu-client之后寫入可達(dá)每秒10w條,所以對kudu-client進(jìn)行封裝 kudu util工具類 自定義kudu...
直接用jdbc執(zhí)行這個語句再取到create table語句的返回值就可以了,不過不建議用這份,不嚴(yán)謹(jǐn),當(dāng)時測試時寫著玩的,還是建議直接讀取mysql系統(tǒng)表,取到表和字段信息,然后轉(zhuǎn)換成clickhouse表結(jié)構(gòu)
mysql表結(jié)構(gòu)轉(zhuǎn)clickhouse 表結(jié)構(gòu)
ClickHouse是一個用于聯(lián)機(jī)分析(OLAP)的列式數(shù)據(jù)庫管理系統(tǒng)(DBMS)??梢杂糜赑B級大數(shù)據(jù)實(shí)時分析,特點(diǎn)呢,就是快,比sparksql 和 impala還要快很...