背景介紹
在論壇類(lèi)型的數(shù)據(jù)中,特別是涉及到可能有大量營(yíng)銷(xiāo)號(hào)的時(shí)候,有個(gè)要面對(duì)的情況就是,要如何對(duì)數(shù)據(jù)進(jìn)行"去重".這個(gè)去重并非真正的去重,而是說(shuō)去掉人眼認(rèn)為大量"相同的"數(shù)據(jù).營(yíng)銷(xiāo)號(hào)們將一條內(nèi)容反復(fù)發(fā)布數(shù)次,就會(huì)造成在召回結(jié)果中的某一頁(yè)(可能是幾頁(yè))充斥著大量看過(guò)去就一模一樣的內(nèi)容,這些內(nèi)容在數(shù)據(jù)的意義上是不同的,但是在用戶體驗(yàn)上,他們就屬于應(yīng)該被折疊的內(nèi)容.
思路方案
首先最重要的一點(diǎn)還是要定義什么樣的數(shù)據(jù)算重復(fù)這個(gè)問(wèn)題.借助優(yōu)秀的團(tuán)隊(duì)分工,有算法組的同事通過(guò)響應(yīng)算法對(duì)數(shù)據(jù)進(jìn)行打標(biāo),將算法判定為重復(fù)的數(shù)據(jù)打上相同的id,也就是說(shuō),余下的問(wèn)題可以簡(jiǎn)化為,我們?nèi)绾卧谧鰯?shù)據(jù)召回的時(shí)候,做到相同重復(fù)id的數(shù)據(jù)只召回一條.
這里有兩種方案
- top_hits + 聚合統(tǒng)計(jì)agg
- es5以后的新特性collapse
這里主要介紹方案2,方案1測(cè)試完就不考慮了,性能慢的令人發(fā)指.
實(shí)施過(guò)程
首先還是我們準(zhǔn)備好數(shù)據(jù),索引庫(kù)的數(shù)據(jù)類(lèi)似以下的結(jié)構(gòu)
{
"_id": xxxx,
......
"dumplicate_id"
}
_id是數(shù)據(jù)的主鍵,而dumplicate_id則是我們的重復(fù)組id.接下來(lái)的工作就是,在召回過(guò)程中屏折疊重復(fù)數(shù)據(jù).接下來(lái)放上召回es語(yǔ)句的demo
{
"from": 0,
"size": 12,
"query": {
"bool": {
"should": [{
"match": {
"field1": {
"query": "aaa",
"operator": "OR",
"prefix_length": 0,
"max_expansions": 50,
"fuzzy_transpositions": true,
"lenient": false,
"zero_terms_query": "NONE",
"auto_generate_synonyms_phrase_query": true,
"boost": 1.0
}
}
}, {
"match": {
"field2": {
"query": "aaa",
"operator": "OR",
"prefix_length": 0,
"max_expansions": 50,
"fuzzy_transpositions": true,
"lenient": false,
"zero_terms_query": "NONE",
"auto_generate_synonyms_phrase_query": true,
"boost": 0.1
}
}
}],
"adjust_pure_negative": true,
"minimum_should_match": "1",
"boost": 1.0
}
},
"collapse": {
"field": "duplicate_id", //要進(jìn)行折疊的字段
"inner_hits": { //折疊的參數(shù)集
"name": "test", //折疊的name,目前沒(méi)有發(fā)現(xiàn)哪里有用到的地方,可能在多個(gè)折疊情況下有用
"ignore_unmapped": true, //默認(rèn)為false,如果存在一些數(shù)據(jù)沒(méi)有折疊字段的會(huì)報(bào)錯(cuò),設(shè)置為true可以避免類(lèi)似的報(bào)錯(cuò)
"from": 0,
"size": 0, //from和size用來(lái)控制想要返回的折疊列表,這里我的需求是重復(fù)id相同僅返回頭條,所以?xún)蓚€(gè)參數(shù)均設(shè)置為0,如果有需求折疊列表的可以通過(guò)這里控制
"version": false,
"explain": false,
"track_scores": true,
"sort": [{ //折疊列表的排序,折疊列表中要把誰(shuí)顯示在第一個(gè)的排序,比如這樣做是將該折疊列表的數(shù)據(jù)按字段level倒序排列.
"level": {
"order": "desc"
}
}]
}
}
}
collapse是和from,size,query等結(jié)構(gòu)是同級(jí)并列的情況,耗時(shí)上也非常可觀,它并不是在整個(gè)索引庫(kù)里面進(jìn)行折疊,而是在召回結(jié)果拿到以后再進(jìn)行的折疊,效率上肯定比方案1的top_hits+agg來(lái)的高效,而且這個(gè)也是es5專(zhuān)門(mén)為這個(gè)場(chǎng)景設(shè)計(jì)的功能.
最后放上java代碼如何使用api的demo
CollapseBuilder collapseBuilder = new CollapseBuilder("duplicate_id");
InnerHitBuilder innerHitBuilder = new InnerHitBuilder();
innerHitBuilder.setName("test");
innerHitBuilder.setSize(0);
innerHitBuilder.setTrackScores(true);
innerHitBuilder.setIgnoreUnmapped(true);
innerHitBuilder.addSort(SortBuilders.fieldSort("level").order(SortOrder.DESC));
collapseBuilder.setInnerHits(innerHitBuilder);
......
srb = client.prepareSearch(indexName)
.setTypes(typeName)
.setQuery(bqb)
.setFrom(params.getFrom())
.setSize(params.getSize())
.setCollapse(collapseBuilder)
.setPreference("_primary_first");
