之后回來補(bǔ)充
發(fā)簡信
IP屬地：福建
-
kubernetes有狀態(tài)部署:statefulset
問題背景 在k8s上部署eureka的時候，3個節(jié)點(diǎn)的注冊列表各不一樣，完全沒起到注冊中心集群的效果，相當(dāng)于3個節(jié)點(diǎn)各自為戰(zhàn)。了解相關(guān)信息后(查了Stack Overflow...
-
Mac通過SSH轉(zhuǎn)發(fā)端口在本地訪問內(nèi)網(wǎng)HBase集群
操作背景 目的：想要在本地debug和hbase有關(guān)的服務(wù)，但hbase在內(nèi)網(wǎng)沒有外網(wǎng)IP無法直連，通過部署看日志的方式效率又比較低，而且難以通過斷點(diǎn)方式直觀下判斷。所以想要...
-
elasticsearch6.3.2緊急修復(fù)刪除node.lock文件導(dǎo)致translog文件損壞的問題
需求背景 測試索引，自己誤操作刪除了node.lock文件(因?yàn)橐郧坝胹olr的印象里面這個文件是可以隨便刪的…幸好是測試索引)，造成了索引健康狀態(tài)變紅，重啟無法recove...
-
用function_score配合script，參數(shù)傳入當(dāng)前坐標(biāo)和當(dāng)前時間，腳本里獲取數(shù)據(jù)的時間和坐標(biāo)doc['time']doc['location']，接下來由著你怎么做計(jì)算都行
elasticsearch綜合排序的小技巧
需求說明 事實(shí)上在工作中總是會遇到各種異想天開不知所措的需求，就比如當(dāng)prd文檔簡單的寫下了要求你按相關(guān)度+熱度綜合排序這樣的需求。嗯，這看著其實(shí)不過分。事實(shí)上我更希望您能說...
-
elasticsearch6.3.2最簡單插件開發(fā)ScriptPlugin
需求背景 當(dāng)不知道怎么去構(gòu)造一個復(fù)雜到查文檔都查不出所以然的query時，第一個想到的肯定是插件解決，插件終歸是最靈活又最不靈活的解決方案。插件靈活在可以不受query語法的...
-
elasticsearch聚合：script agg 和 filter agg 的實(shí)際使用
背景介紹 需要對索引中的做聚合，但是聚合的條件會比較復(fù)雜，并非從單一字段進(jìn)行聚合。參考如下數(shù)據(jù)結(jié)構(gòu) 要做的事：我們有 1 2 3 …… 等id，需要統(tǒng)計(jì)索引里面，a和b字段分...
-
elasticsearch關(guān)于explain參數(shù)解釋：docFreq docCount背景介紹 排查問題時需要分析問題成因，設(shè)置explain為true，打開分?jǐn)?shù)打印后，公式雖然大差不離的看得懂，但是卻忘了幾個參數(shù)什么意思，在這里記錄一下。 樣例分析 首先任意...
-
搜索語義優(yōu)化1：match_phrase和match的區(qū)別背景介紹 在調(diào)整召回效果的時候，使用普通match得到的召回效果中規(guī)中矩，不能說錯，但總歸覺得不適應(yīng)比較復(fù)雜的實(shí)際情況，特別是在沒有做語義分析的相關(guān)工作情況下，簡單的通過中文...
-
elasticsearch插件kibana使用探索背景介紹 走入elasticsearch5以后的版本，也需要開始從原來的對head的慣性中慢慢脫離出來了，開始熟悉使用kibana插件了。之所以之前會排斥使用kibana，一...
-
站內(nèi)搜索評價體系和評價指標(biāo)：NDCG
背景介紹 在站內(nèi)搜索的開發(fā)中，隨著功能迭代逐漸完善，便需要開始考慮搜索召回質(zhì)量的判斷。在最開始的評價方式會比較簡陋，更多會通過簡單的肉眼去看一些熱門關(guān)鍵詞的搜索結(jié)果，這樣的評...
-
在Jenkins打包的時候修改Maven項(xiàng)目的properties配置文件
問題背景 目前工程打包是有一套完整的自動化流程的 由idea提交代碼到git 在jenkins中訪問git并check對應(yīng)分支打包成docker鏡像上傳 在云平臺上拉取相應(yīng)的...
-
elasticsearch官方文檔錯誤 script_lang not supported
背景介紹 在es6.5的javaapi中使用腳本進(jìn)行打分控制的時候，無可避免的會使用到外部傳參來進(jìn)行打分，參考下面這樣的方式 在上面的這段查詢結(jié)構(gòu)中，可以看到我通過param...
-
對，如果使用原生的距離衰減去計(jì)算肯定比腳本這種笨方法來得快，但是相對應(yīng)的是不靈活，沒辦法調(diào)整公式和prd文檔設(shè)計(jì)的一樣。最初肯定是要先往需求文檔靠近，然后才能在此基礎(chǔ)上比較利弊說服方案修改的
elasticsearch綜合排序的小技巧
需求說明 事實(shí)上在工作中總是會遇到各種異想天開不知所措的需求，就比如當(dāng)prd文檔簡單的寫下了要求你按相關(guān)度+熱度綜合排序這樣的需求。嗯，這看著其實(shí)不過分。事實(shí)上我更希望您能說...
-
思維導(dǎo)圖學(xué) 《Java編程思想》
Github 項(xiàng)目地址 2017年9月12日 更新 沒想到會有很多人留言要這個思維導(dǎo)圖，一一回復(fù)有點(diǎn)累，放在 Github 上，方便大家下載。歡迎交流求`Star` Gith...
-
elasticsearch6使用Collapse實(shí)現(xiàn)折疊重復(fù)數(shù)據(jù)效果
背景介紹 在論壇類型的數(shù)據(jù)中,特別是涉及到可能有大量營銷號的時候,有個要面對的情況就是,要如何對數(shù)據(jù)進(jìn)行"去重".這個去重并非真正的去重,而是說去掉人眼認(rèn)為大量"相同的"數(shù)據(jù)...
-
Mongo新機(jī)制ChangeStream解決數(shù)據(jù)同步遷移的問題問題背景 在公司中，不同業(yè)務(wù)部門之間有時會像一個個孤島，無法連接起來，各自為戰(zhàn)，各自部門之間的工作成果以及數(shù)據(jù)因?yàn)楦袷絾栴}，完整性問題，很難給到其他部門去復(fù)用。當(dāng)然，正常情況...
-
在elasticsearch或者solr中使用python,scala等自定義分詞
問題背景 有朋友問我題目中的這個問題。我愣了一下，然后馬上腦海想起來的就是各種騷操作，繼承l(wèi)ucene接口，重實(shí)現(xiàn)哪些類然后打成jar包丟到lib目錄下重新啟動等等等等……無...
-
shadring-jdbc解決查詢數(shù)據(jù)庫分庫分表的問題
問題背景 業(yè)務(wù)組在最開始的數(shù)據(jù)庫規(guī)劃中，通過對未來數(shù)據(jù)規(guī)模的預(yù)估后，一開始就進(jìn)行了分庫分表的設(shè)計(jì)。簡單的說，一個業(yè)務(wù)分為16個庫，其中每個庫有64張業(yè)務(wù)表…過去經(jīng)常使用的和數(shù)...