最近在使用sqlite作為sql計(jì)算引擎,表數(shù)據(jù)量大小為4000萬(wàn)行,空間占用1.5G,計(jì)算為和一個(gè)小表做join并且group by:使用機(jī)器...
對(duì)于zk的原理等有了一定了解,希望能夠通過(guò)項(xiàng)目來(lái)練手一下,都是一些簡(jiǎn)單的項(xiàng)目zk使用場(chǎng)景 數(shù)據(jù)發(fā)布與訂閱(配置中心) 練手項(xiàng)目:對(duì)于多個(gè)機(jī)器實(shí)現(xiàn)...
1. elasticsearch 服務(wù)安全配置 目前主要通過(guò)插件的形式來(lái)控制:常用的插件主要包括:elasticsearch-http-basi...
個(gè)人在工作中逐漸認(rèn)識(shí)到一些素養(yǎng)對(duì)程序員這個(gè)職業(yè)是非常重要的,后續(xù)會(huì)把這些素養(yǎng)羅列在這里,主要是提醒自己保持良好的狀態(tài),因?yàn)樽约菏侵饕蠖藬?shù)據(jù)處理...
新崗位需要用python,之前沒(méi)寫(xiě)過(guò)python,用循環(huán)數(shù)組實(shí)現(xiàn)一個(gè)定長(zhǎng)隊(duì)列玩一下: 想說(shuō)一下:1、python類中使用成員變量寫(xiě)self好麻煩...
HQL優(yōu)化 1. HQL優(yōu)化 一、避免or操作的不當(dāng)。如果where子句中有多個(gè)條件,并且其中某個(gè)條件沒(méi)有索引,使用or將導(dǎo)致全表掃描。假定在H...
IO優(yōu)化 1、緩存、緩沖技術(shù)2、數(shù)據(jù)組織結(jié)構(gòu)優(yōu)化3、應(yīng)用合理的RAID策略提升磁盤(pán)I/O。 WEB前端調(diào)優(yōu) 減少網(wǎng)絡(luò)交互的次數(shù)(多次請(qǐng)求合并)減...
預(yù)分區(qū) 在創(chuàng)建Hbase表的時(shí)候默認(rèn)一張表只有一個(gè)region,所有的put操作都會(huì)往這一個(gè)region中填充數(shù)據(jù),當(dāng)這個(gè)一個(gè)region過(guò)大時(shí)...
Stream groupings Shuffle grouping: Tuples 隨機(jī)分配到bolt中,可以保證bolt負(fù)載均勻。Fields...