SpringBoot集成Elasticsearch 進(jìn)階，實(shí)現(xiàn)中文、拼音分詞，繁簡(jiǎn)體轉(zhuǎn)換

Elasticsearch 分詞

分詞分為讀時(shí)分詞和寫時(shí)分詞。
讀時(shí)分詞發(fā)生在用戶查詢時(shí)，ES 會(huì)即時(shí)地對(duì)用戶輸入的關(guān)鍵詞進(jìn)行分詞，分詞結(jié)果只存在內(nèi)存中，當(dāng)查詢結(jié)束時(shí)，分詞結(jié)果也會(huì)隨即消失。而寫時(shí)分詞發(fā)生在文檔寫入時(shí)，ES 會(huì)對(duì)文檔進(jìn)行分詞后，將結(jié)果存入倒排索引，該部分最終會(huì)以文件的形式存儲(chǔ)于磁盤上，不會(huì)因查詢結(jié)束或者 ES 重啟而丟失。
寫時(shí)分詞器需要在 mapping 中指定，而且一經(jīng)指定就不能再修改，若要修改必須新建索引。

分詞一般在ES中有分詞器處理。英文為Analyzer,它決定了分詞的規(guī)則，Es默認(rèn)自帶了很多分詞器，如：
Standard、english、Keyword、Whitespace等等。默認(rèn)的分詞器為Standard，通過(guò)它們各自的功能可組合
成你想要的分詞規(guī)則。分詞器具體詳情可查看官網(wǎng)：分詞器
另外，在常用的中文分詞器、拼音分詞器、繁簡(jiǎn)體轉(zhuǎn)換插件。國(guó)內(nèi)用的就多的分別是：
elasticsearch-analysis-ik
elasticsearch-analysis-pinyin
elasticsearch-analysis-stconvert
可在以上鏈接找到自己對(duì)于的elasticsearch版本安裝插件。
這里提供一個(gè)我自己封裝的elasticsearch 5.5.0 的Docker鏡像，里面在官方鏡像的基礎(chǔ)上加入了以上三個(gè)個(gè)插件，鏈接：
liaodashuai/elasticsearch:1.0.2

簡(jiǎn)單了解至此，下面用SpringBoot 集成
實(shí)現(xiàn)效果：

打造匹配搜索和高亮搜索API  
使用中文、拼音和繁簡(jiǎn)體都能搜索到    
擴(kuò)展另外眾多的搜索方式，簡(jiǎn)單使用測(cè)試用例實(shí)現(xiàn)

集成SpringBoot 實(shí)現(xiàn)高亮顯示、拼音搜索

  1. 導(dǎo)入jar包,springboot 2.0.4只支持5.X版本的Es,注意版本對(duì)應(yīng)，避免坑。
    compile group: 'org.springframework.boot', name: 'spring-boot-starter-data-elasticsearch', version: '2.0.6.RELEASE'
    compile 'org.elasticsearch.client:x-pack-transport:5.5.0'
  1. 配置連接Es
@Configuration
public class EsConfiguration {

    private Client esClient;

    /**
     * Transport client transport client.
     * 如果配置X-PACK ,則需要在此處配置用戶信息
     *
     * @return the transport client
     */
    @Bean
    public Client transportClient() {
        TransportClient client = null;
        try {
            client = new PreBuiltXPackTransportClient(Settings.builder()
                    //嗅探集群狀態(tài)
//                    .put("client.transport.sniff", true)
                    .put("cluster.name", "docker-cluster")
                    //如果有配置xpack插件，需要配置登錄
                    .put("xpack.security.user", "elastic:changeme")
                    .build())
                    .addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("120.79.58.138"), 9300));
        } catch (UnknownHostException e) {
            log.error("elasticsearch 連接失敗 !");
        }
        return client;
    }

    /**
     * 避免TransportClient每次使用創(chuàng)建和釋放
     */
    public Client esTemplate() {
        if (StringUtils.isEmpty(esClient) || StringUtils.isEmpty(esClient.admin())) {
            esClient = transportClient();
            return esClient;
        }
        return esClient;
    }
}
  1. 配置實(shí)體Mapping
@Document(indexName = "film-entity", type = "film")
@Setting(settingPath = "/json/film-setting.json")
@Mapping(mappingPath = "/json/film-mapping.json")
public class FilmEntity {

    @Id
    private Long id;
//    @Field(type = FieldType.Text, searchAnalyzer = "ik_max_word", analyzer = "ik_smart")
    private String name;
    private String nameOri;
    private String publishDate;
    private String type;
    private String language;
    private String fileDuration;
    private String director;
//    @Field(type = FieldType.Date)
    private Date created ;

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public String getNameOri() {
        return nameOri;
    }

    public void setNameOri(String nameOri) {
        this.nameOri = nameOri;
    }

    public String getPublishDate() {
        return publishDate;
    }

    public void setPublishDate(String publishDate) {
        this.publishDate = publishDate;
    }

    public String getType() {
        return type;
    }

    public void setType(String type) {
        this.type = type;
    }

    public String getLanguage() {
        return language;
    }

    public void setLanguage(String language) {
        this.language = language;
    }

    public String getFileDuration() {
        return fileDuration;
    }

    public void setFileDuration(String fileDuration) {
        this.fileDuration = fileDuration;
    }

    public String getDirector() {
        return director;
    }

    public void setDirector(String director) {
        this.director = director;
    }

    public Date getCreated() {
        return created;
    }

    public void setCreated(Date created) {
        this.created = created;
    }

    public Long getId() {
        return id;
    }

    public void setId(Long id) {
        this.id = id;
    }

    @Override
    public String toString() {
        return "FilmEntity [id=" + id + ", name=" + name + ", director=" + director + "]";
    }
}

上面的Model有必要解釋一下，SpringBoot 有為我們提供多種方式設(shè)置mapping，你可以按喜好選擇使用，我選擇
的使用@Mapping注解配置，使用es原生的方式進(jìn)行設(shè)置，雖然有點(diǎn)小麻煩，但是更加直觀了，也不僅限于java，也可以直接用curl或es控制臺(tái)創(chuàng)建。
film-mapping.json

{
  "film": {
    "_all": {
      "enabled": true
    },
    "properties": {
      "id": {
        "type": "integer"
      },
      "name": {
        "type": "text",
        "analyzer": "ikSearchAnalyzer",
        "search_analyzer": "ikSearchAnalyzer",
        "fields": {
          "pinyin": {
            "type": "text",
            "analyzer": "pinyinSimpleIndexAnalyzer",
            "search_analyzer": "pinyinSimpleIndexAnalyzer"
          }
        }
      },
      "nameOri": {
        "type": "text"
      },
      "publishDate": {
        "type": "text"
      },
      "type": {
        "type": "text"
      },
      "language": {
        "type": "text"
      },
      "fileDuration": {
        "type": "text"
      },
      "director": {
        "type": "text",
        "index": "true",
        "analyzer": "ikSearchAnalyzer"
      },
      "created": {
        "type": "date",
        "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
      }
    }
  }
}

另外，除了@Mapping，SpringBoot還為我們提供了另一強(qiáng)大的注解@Setting，該注解可以讓我們?yōu)楫?dāng)前索引設(shè)置一些相關(guān)屬性,相當(dāng)于
elasticsearch中的settings配置，例如：
film-setting.json

{
  "index": {
    "analysis": {
      "filter": {
        "edge_ngram_filter": {
          "type": "edge_ngram",
          "min_gram": 1,
          "max_gram": 50
        },
        "pinyin_simple_filter": {
          "type": "pinyin",
          "first_letter": "prefix",
          "padding_char": " ",
          "limit_first_letter_length": 50,
          "lowercase": true
        }
      },
      "char_filter": {
        "tsconvert": {
          "type": "stconvert",
          "convert_type": "t2s"
        }
      },
      "analyzer": {
        "ikSearchAnalyzer": {
          "type": "custom",
          "tokenizer": "ik_max_word",
          "char_filter": [
            "tsconvert"
          ]
        },
        "pinyinSimpleIndexAnalyzer": {
          "tokenizer": "keyword",
          "filter": [
            "pinyin_simple_filter",
            "edge_ngram_filter",
            "lowercase"
          ]
        }
      }
    }
  }
}

上面的JSON作用是創(chuàng)建兩個(gè)分析器名為ikSearchAnalyzer，pinyinSimpleIndexAnalyzer,前者使用ik中文分詞器加繁體轉(zhuǎn)簡(jiǎn)體char_filter過(guò)濾，使得引用此分詞器的字段在設(shè)置時(shí)，將會(huì)自動(dòng)對(duì)中文進(jìn)行分詞和繁簡(jiǎn)體轉(zhuǎn)換。
pinyinSimpleIndexAnalyzer 使用pinyin分詞器，并進(jìn)行edge_ngram 過(guò)濾，大寫轉(zhuǎn)小寫過(guò)濾。
上述設(shè)置完后，啟動(dòng)應(yīng)用，打開(kāi)head插件，也可以使用google擴(kuò)展，elasticsearch-head。

image

創(chuàng)建好索引后，便可開(kāi)始測(cè)試查詢了。
使用SpringBoot提供的ElasticsearchRepository<T,ID>構(gòu)建簡(jiǎn)單查詢，當(dāng)然它也是有局限的，一些較復(fù)雜的查詢，只能通過(guò)
SearchResponse 自定義設(shè)置。
首先我們實(shí)現(xiàn)簡(jiǎn)單的普通查詢,可以配合Repository，繼承ElasticsearchRepository<T,ID>,簡(jiǎn)單的CRUD都提供了。

public interface FilmDao extends ElasticsearchRepository<FilmEntity, Long> {

}

先創(chuàng)建幾條測(cè)試數(shù)據(jù)：

image

service類,構(gòu)建查詢

    /**
     * 拼接搜索條件
     *
     * @param name     the name
     * @param director the director
     * @return list
     */
    public List<FilmEntity> search(String name, String director) {
        //使用中文拼音混合搜索，取分?jǐn)?shù)最高的，具體評(píng)分規(guī)則可參照：
        //  https://blog.csdn.net/paditang/article/details/79098830
        SearchQuery searchQuery = new NativeSearchQueryBuilder()
                .withQuery(structureQuery(name))
                .build();
        List<FilmEntity> list = filmDao.search(searchQuery).getContent();
        return list;
    }

    /**
     * 中文、拼音混合搜索
     *
     * @param content the content
     * @return dis max query builder
     */
    public DisMaxQueryBuilder structureQuery(String content) {
        //使用dis_max直接取多個(gè)query中，分?jǐn)?shù)最高的那一個(gè)query的分?jǐn)?shù)即可
        DisMaxQueryBuilder disMaxQueryBuilder = QueryBuilders.disMaxQuery();
        //boost 設(shè)置權(quán)重,只搜索匹配name和disrector字段
        QueryBuilder ikNameQuery = QueryBuilders.matchQuery("name", content).boost(2f);
        QueryBuilder pinyinNameQuery = QueryBuilders.matchQuery("name.pinyin", content);
        QueryBuilder ikDirectorQuery = QueryBuilders.matchQuery("director", content).boost(2f);
        disMaxQueryBuilder.add(ikNameQuery);
        disMaxQueryBuilder.add(pinyinNameQuery);
        disMaxQueryBuilder.add(ikDirectorQuery);
        return disMaxQueryBuilder;
    }

輸入拼音搜索“ceshi”可看到對(duì)應(yīng)結(jié)果，當(dāng)然中文也是可以的：

image

輸入簡(jiǎn)體字搜索"測(cè)試",可看到對(duì)應(yīng)結(jié)果
image

service類，構(gòu)建高亮查詢

 public List<FilmEntity> search(String query) {
        Client client = esConfig.esTemplate();
        HighlightBuilder highlightBuilder = new HighlightBuilder();
        //高亮顯示規(guī)則
        highlightBuilder.preTags("<span style='color:green'>");
        highlightBuilder.postTags("</span>");
        //指定高亮字段
        highlightBuilder.field("name");
        highlightBuilder.field("name.pinyin");
        highlightBuilder.field("director");
        String[] fileds = {"name", "name.pinyin", "director"};
        QueryBuilder matchQuery = QueryBuilders.multiMatchQuery(query, fileds);
        //搜索數(shù)據(jù)
        SearchResponse response = client.prepareSearch("film-entity")
                .setQuery(matchQuery)
                .highlighter(highlightBuilder)
                .execute().actionGet();

        SearchHits searchHits = response.getHits();
        System.out.println("記錄數(shù)-->" + searchHits.getTotalHits());

        List<FilmEntity> list = new ArrayList<>();

        for (SearchHit hit : searchHits) {
            FilmEntity entity = new FilmEntity();
            Map<String, Object> entityMap = hit.getSourceAsMap();
            System.out.println(hit.getHighlightFields());
            //高亮字段
            if (!StringUtils.isEmpty(hit.getHighlightFields().get("name"))) {
                Text[] text = hit.getHighlightFields().get("name").getFragments();
                entity.setName(text[0].toString());
                entity.setDirector(String.valueOf(entityMap.get("director")));
            }
            if (!StringUtils.isEmpty(hit.getHighlightFields().get("name.pinyin"))) {
                Text[] text = hit.getHighlightFields().get("name.pinyin").getFragments();
                entity.setName(text[0].toString());
                entity.setDirector(String.valueOf(entityMap.get("director")));
            }
            if (!StringUtils.isEmpty(hit.getHighlightFields().get("director"))) {
                Text[] text = hit.getHighlightFields().get("director").getFragments();
                entity.setDirector(text[0].toString());
                entity.setName(String.valueOf(entityMap.get("name")));
            }

            //map to object
            if (!CollectionUtils.isEmpty(entityMap)) {
                if (!StringUtils.isEmpty(entityMap.get("id"))) {
                    entity.setId(Long.valueOf(String.valueOf(entityMap.get("id"))));
                }
                if (!StringUtils.isEmpty(entityMap.get("language"))) {
                    entity.setLanguage(String.valueOf(entityMap.get("language")));
                }
            }
            list.add(entity);
        }
        return list;
}

上面配置了高亮搜索字段[name,name.pinyin,director],也就是說(shuō)匹配到這三個(gè)字段的高亮結(jié)果，則會(huì)加上自定義的
高亮顯示規(guī)則:

<span style='color:green'>...</span>

輸入拼音搜索“ceshi”可看到對(duì)應(yīng)結(jié)果，當(dāng)然中文也是可以的：

image

輸入簡(jiǎn)體字搜索"測(cè)試",可看到對(duì)應(yīng)結(jié)果
image

輸入繁體字搜索"認(rèn)爲(wèi)",可看到對(duì)應(yīng)結(jié)果，由于pinyin分詞器影響還會(huì)取到小王。
image

實(shí)際上有搜索到有多個(gè)高亮結(jié)果的，這里只取第一個(gè)演示查看。

大家肯定很好奇這分詞到底是怎么分的，為此我專門提供一個(gè)接口，可以查看我們輸入的搜索內(nèi)容是怎樣被分詞的。
api測(cè)試：

image

結(jié)果如下：

{
  "result": [
    {
      "term": "xiao",
      "startOffset": 0,
      "endOffset": 2,
      "position": 0,
      "positionLength": 1,
      "attributes": null,
      "type": "CN_WORD",
      "fragment": false
    },
    {
      "term": "xm",
      "startOffset": 0,
      "endOffset": 2,
      "position": 0,
      "positionLength": 1,
      "attributes": null,
      "type": "CN_WORD",
      "fragment": false
    },
    {
      "term": "ming",
      "startOffset": 0,
      "endOffset": 2,
      "position": 1,
      "positionLength": 1,
      "attributes": null,
      "type": "CN_WORD",
      "fragment": false
    }
  ],
  "msg": "",
  "code": 200,
  "is_success": true
}

可以看到，我們的分詞器已經(jīng)生效。

以上示例源碼以上傳至GitHub：https://github.com/liaozihong/SpringBoot-Learning/tree/master/SpringBoot-Elasticsearch-Query

參考鏈接：
Elasticsearch 分詞檢索
Java API 5.5.0
Elasticsearch 結(jié)合SpringBoot 高亮顯示查詢

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容