當(dāng)前數(shù)據(jù)架構(gòu)的挑戰(zhàn) 大數(shù)據(jù)技術(shù)現(xiàn)在已經(jīng)不算熱門詞匯了,在這個(gè)數(shù)據(jù)驅(qū)動(dòng)的時(shí)代,數(shù)據(jù)驅(qū)動(dòng)一直在不斷改變我們的生活和工作方式,比如Google、Amazon等這些大公司擁有大量的用...
當(dāng)前數(shù)據(jù)架構(gòu)的挑戰(zhàn) 大數(shù)據(jù)技術(shù)現(xiàn)在已經(jīng)不算熱門詞匯了,在這個(gè)數(shù)據(jù)驅(qū)動(dòng)的時(shí)代,數(shù)據(jù)驅(qū)動(dòng)一直在不斷改變我們的生活和工作方式,比如Google、Amazon等這些大公司擁有大量的用...
背景 作為一個(gè)IT技術(shù)人員,說實(shí)話,以前的我是很反對(duì)寫PPT或者寫設(shè)計(jì)材料的,總感覺寫文檔這種事情會(huì)浪費(fèi)很多去寫代碼的機(jī)會(huì)。不過,隨著對(duì)項(xiàng)目有了相對(duì)比較了解。在偶然的機(jī)會(huì),項(xiàng)...
1. 背景 App1有一個(gè)很常用的功能,該功能被其它項(xiàng)目組B看中,App2想以最小的代價(jià)最快上線,就是那種頁面功能直接復(fù)用,避免開發(fā)。 2. 方案 以iframe將App1中...
1. 背景 線上保障,上線運(yùn)行了幾天的SpringBoot應(yīng)用,突然遇到問題:/tmp/tomcatXXX/work/Tomcat/localhost/XXX is not ...
1. 背景 String的split方法在項(xiàng)目中使用很廣泛,但是這里面其實(shí)有些坑,截取的字段數(shù)目可能不是想要的,本文闡述這些內(nèi)容,增加記性。 2. split方法介紹 首先可...
1. 背景 在開發(fā)es入庫組件時(shí),使用BulkProcessor處理大批量的數(shù)據(jù),遇到了數(shù)據(jù)入不進(jìn)es。分析后發(fā)現(xiàn)是Bulkprocessor的有些地方?jīng)]有執(zhí)行,為此分析了該...
1. 索引別名 在開發(fā)中,隨著業(yè)務(wù)需求的迭代,較老的業(yè)務(wù)邏輯就要面臨更新甚至是重構(gòu),而對(duì)于ES來說,為了適應(yīng)新的業(yè)務(wù)邏輯,可能就要對(duì)原有的索引做一些修改,比如對(duì)某些字段做調(diào)整...
記錄下ElasticSearch數(shù)據(jù)的備份與遷移過程 1.指定備份文件地址 由于這里使用docker安裝的es,所以指定備份文件到掛載的宿主機(jī)目錄中,如果不是docker安裝...
語句執(zhí)行過程1.MySQL的框架有幾個(gè)組件, 各是什么作用?連接器:負(fù)責(zé)跟客戶端建立連接、獲取權(quán)限、維持和管理連接。查詢緩存:查詢請(qǐng)求先訪問緩存(key 是查詢的語句,val...
心態(tài)好,習(xí)慣好,睡眠好,適當(dāng)?shù)耐ㄟ^發(fā)型,著裝,注重下儀表,就自然看起來特別年輕。 一、心態(tài)好 心態(tài)好的人,凡事看得開,想的開,不會(huì)過于的去糾結(jié)名和利,在他們看來,名利屬身外之...
1、背景 java進(jìn)程執(zhí)行特定作業(yè)出現(xiàn)內(nèi)存溢出,跑很多類似作業(yè)是正常的。 2、常見問題及原因分析 當(dāng)然這個(gè)問題不難,主要是借助這個(gè)機(jī)會(huì)來一起整理下之前出現(xiàn)過的問題,希望能舉一...
背景 某中型互聯(lián)網(wǎng)公司的游戲業(yè)務(wù),使用了騰訊云的Elasticsearch產(chǎn)品,采用ELK架構(gòu)存儲(chǔ)業(yè)務(wù)日志。因?yàn)橛螒驑I(yè)務(wù)本身的日志數(shù)據(jù)量非常大(寫入峰值在100w qps),...
現(xiàn)有一張表記錄數(shù)已達(dá)到千萬級(jí)別時(shí),在建立索引的時(shí)候會(huì)出現(xiàn)時(shí)間很慢的問題,如何提高建索引的速度呢 比如表名稱為tableA,要建立索引的字段名成為columnA 直接建立索引會(huì)...
今年7個(gè)月閱讀了126本書,輸出書評(píng)90多篇,從一天閱讀一本書,到現(xiàn)在2小時(shí)左右閱讀一本書。 當(dāng)然,會(huì)有人質(zhì)疑,你閱讀這么快,能學(xué)到重點(diǎn)內(nèi)容嗎?能夠內(nèi)化知識(shí)嗎? 其實(shí),閱讀方...
canal可以用來監(jiān)控?cái)?shù)據(jù)庫數(shù)據(jù)的變化,從而獲得新增數(shù)據(jù),或者修改的數(shù)據(jù)。 原理: canal-server zk 進(jìn)行多節(jié)點(diǎn)高可用部署 可以多節(jié)點(diǎn)監(jiān)聽cancal-serv...