spring-boot 整合elasticsearch 7.x
elasticsearch 下面簡稱為 es/ES
技術(shù)版本說明
1. springboot .version - 2.5.3
2. jdk .version - 8
3. lombok.version - version - 1.18.10
4. hutool-all.version - 5.6.2
5. spring-boot-starter-data-elasticsearch.version - 延用springboot里的版本(即 2.5.3)
注意: 雖然延用(繼承) 2.5.3 但是有三個版本必須移除然后選擇自己es對應(yīng)的版本!
如下三個: (使用你自己裝的es的版本,例如我的7.7.0)
elasticsearch-rest-high-level-client - 7.7.0
elasticsearch-rest-client - 7.7.0
elasticsearch - 7.7.0
6. fastjson - version - 1.2.75
7. spring-boot-starter-aop - 延用springboot里的版本(即 2.5.3)
源碼地址
gitee地址: https://gitee.com/zjydzyjs/spring-boot-use-case-collection/tree/master/es
為什么選擇這個版本的springboot?
首先得理解es 6.x 和 7.x 的不同,導(dǎo)致的springboot版本整合不同!
首先,來先跟我一起打開spring-data/elasticsearch官網(wǎng)
來到 3.1 Version
版本關(guān)系
看到如下圖:
spring-data-elasticsearch對應(yīng)es版本
因為我的 ES 版本為7.7.0，所以我的springboot 版本需要為 2.4.x以上。
你也應(yīng)該根據(jù)自己的 ES 版本來選擇對應(yīng)的springboot 版本,或根據(jù)springboot版本選擇對應(yīng)的 ES 版本。
那么新版本有什么不一樣?
原文
圖(原文)
譯文譯文
我在譯文那里標(biāo)了紅框,官方說：
棄用
TransportClient使用
那么這是為什么呢?
為什么棄用 TransportClient
在文檔5.1. Transport Client中找到答案
image
譯文:
將
TransportClient被棄用Elasticsearch 7的，并會在Elasticsearch 8被移除（見Elasticsearch文檔）。TransportClient只要在使用的 Elasticsearch版本中可用，Spring Data Elasticsearch 就會支持它，但自 4.0 版以來已棄用使用它的類。
那官方都說了是 ES 官方放棄了這個 Transport Client ,那我們?nèi)タ纯础?/p>
image
譯文:
在 7.0.0 中已棄用。
該
TransportClient是贊成不贊成使用的Java的高級REST客戶端，將在Elasticsearch 8.0被刪除。該遷移指南描述了所有需要遷移的步驟。
ok了,那么我們就可以知道了,在Spring Data Elasticsearch中應(yīng)該要使用 Java High Level REST Client。
棄用TransportClient后應(yīng)該用什客戶端?
然后我們繼續(xù)在Spring Data Elasticsearch文檔中找這個客戶端,
發(fā)現(xiàn)了文檔中的 5.2. High Level REST Client
剛好與Java High Level REST Client 對應(yīng)上。
yml配置說明
如下圖(yml配置):
yml配置
yml 配置(圖)
備注: 我這里只是簡單配置,如果需要自定義復(fù)雜配置,請自行配置;
提示: 我這里配置的是 ElasticsearchRestClientProperties
為什么這么配置?
先找到 ES 對應(yīng)自動配置;
image
搜索關(guān)鍵字 elasticsearch 得到下圖結(jié)果:
搜索結(jié)果
我們可以看到紅框內(nèi)容,然后點進黃框(ctrl+鼠標(biāo)左擊)
得到以下內(nèi)容:
@Configuration(
proxyBeanMethods = false
)
@ConditionalOnClass({ElasticsearchRestTemplate.class})
@AutoConfigureAfter({ElasticsearchRestClientAutoConfiguration.class, ReactiveElasticsearchRestClientAutoConfiguration.class})
@Import({BaseConfiguration.class, RestClientConfiguration.class, ReactiveRestClientConfiguration.class})
public class ElasticsearchDataAutoConfiguration {
public ElasticsearchDataAutoConfiguration() {
}
}
@ConditionalOnClass({ElasticsearchRestTemplate.class})
解析: @ConditionalOnClass在 本文@ConditionalOnXXXX系列常用注解可以看到解釋, 即為: "當(dāng)前classpath下存在指定類，則實例化當(dāng)前Bean"。
那么現(xiàn)在的意思就是我們的spring工程中有引入ElasticsearchRestTemplate.class就實例化 ElasticsearchDataAutoConfiguration.class
@AutoConfigureAfter({ElasticsearchRestClientAutoConfiguration.class, ReactiveElasticsearchRestClientAutoConfiguration.class})
解析: 顧名思義, ElasticsearchDataAutoConfiguration.class 加載會在 {ElasticsearchRestClientAutoConfiguration.class, ReactiveElasticsearchRestClientAutoConfiguration.class}兩個類之后。
@Import({BaseConfiguration.class, RestClientConfiguration.class, ReactiveRestClientConfiguration.class})
解析: @Import可以將類加入 IOC 容器,那么這就意味這交給spring去管理了,
它這里共寫了三個類,因為我們是基于rest的高級客戶端,所以我們要留意RestClientConfiguration,
其他的配置這里不深入講述,可以參照官方文檔!
OK，剛剛那些內(nèi)容我都已經(jīng)簡單的講述了,那么我們現(xiàn)在進去研究一下,yml配置 ,我們先進入 ElasticsearchRestClientProperties.class,顧名思義,它就是配置類!
ElasticsearchRestClientProperties 查看
@ConfigurationProperties(
prefix = "spring.elasticsearch.rest"
)
public class ElasticsearchRestClientProperties {
private List<String> uris = new ArrayList(Collections.singletonList("http://localhost:9200"));
private String username;
private String password;
private Duration connectionTimeout = Duration.ofSeconds(1L);
private Duration readTimeout = Duration.ofSeconds(30L);
private final ElasticsearchRestClientProperties.Sniffer sniffer = new ElasticsearchRestClientProperties.Sniffer();
public ElasticsearchRestClientProperties() {
}
public List<String> getUris() {
return this.uris;
}
public void setUris(List<String> uris) {
this.uris = uris;
}
public String getUsername() {
return this.username;
}
public void setUsername(String username) {
this.username = username;
}
public String getPassword() {
return this.password;
}
public void setPassword(String password) {
this.password = password;
}
public Duration getConnectionTimeout() {
return this.connectionTimeout;
}
public void setConnectionTimeout(Duration connectionTimeout) {
this.connectionTimeout = connectionTimeout;
}
public Duration getReadTimeout() {
return this.readTimeout;
}
public void setReadTimeout(Duration readTimeout) {
this.readTimeout = readTimeout;
}
public ElasticsearchRestClientProperties.Sniffer getSniffer() {
return this.sniffer;
}
public static class Sniffer {
private Duration interval = Duration.ofMinutes(5L);
private Duration delayAfterFailure = Duration.ofMinutes(1L);
public Sniffer() {
}
public Duration getInterval() {
return this.interval;
}
public void setInterval(Duration interval) {
this.interval = interval;
}
public Duration getDelayAfterFailure() {
return this.delayAfterFailure;
}
public void setDelayAfterFailure(Duration delayAfterFailure) {
this.delayAfterFailure = delayAfterFailure;
}
}
}
相信大家看到
@ConfigurationProperties(
prefix = "spring.elasticsearch.rest"
)
應(yīng)該知道我的yml為什么那么配置了吧!
那么yml 為什么怎么配置就完結(jié)... 撒花??????
那么它到底用的是不是 java High Level REST Client
接下來回到ElasticsearchRestClientAutoConfiguration再進入RestHighLevelClientConfiguration.class
得到如下代碼:
//這一個內(nèi)部類，省略其他部分
@Configuration(
proxyBeanMethods = false
)
@ConditionalOnMissingBean({RestHighLevelClient.class})
static class RestHighLevelClientConfiguration {
RestHighLevelClientConfiguration() {
}
@Bean
RestHighLevelClient elasticsearchRestHighLevelClient(RestClientBuilder restClientBuilder) {
return new RestHighLevelClient(restClientBuilder);
}
}
OK了,它其實就是 new RestHighLevelClient(restClientBuilder) 交給spring去管理。
所以,沒錯的,他就是用的 java High Level REST Client。
怎么去 ES 進行操作
1. 繼承 ElasticsearchRepository 接口
說明
使用起來就和jpa差不多
實現(xiàn)
繼承接口,用例如下:
@Repository
public interface DemoElasticsearchRepository extends ElasticsearchRepository<DemoEsDTO,String> {
List<DemoEsDTO> getByNumber(Integer number);
List<DemoEsDTO> getByDes(String des);
void deleteByDes(String des);
}
具體方法命名空間參考官網(wǎng):
https://docs.spring.io/spring-data/elasticsearch/docs/4.2.4/reference/html/#repositories.namespace-reference 下的
附錄 A：命名空間參考
測試
在類 {@link com.blacktea.es.EsApplicationDaoTests} 下,有部分例子,可以直接了解一下。
底層
它使用的 ES 客戶端是什么？
我們先點擊 **ElasticsearchRepository**,再點擊**PagingAndSortingRepository**,
有一個方法:
Page<T> searchSimilar(T var1, @Nullable String[] var2, Pageable var3);
點擊實現(xiàn) ->
可以看到
public Page<T> searchSimilar(T entity, @Nullable String[] fields, Pageable pageable) {
Assert.notNull(entity, "Cannot search similar records for 'null'.");
Assert.notNull(pageable, "'pageable' cannot be 'null'");
MoreLikeThisQuery query = new MoreLikeThisQuery();
query.setId(this.stringIdRepresentation(this.extractIdFromBean(entity)));
query.setPageable(pageable);
if (fields != null) {
query.addFields(fields);
}
SearchHits<T> searchHits = (SearchHits)this.execute((operations) -> {
return operations.search(query, this.entityClass, this.getIndexCoordinates());
});
SearchPage<T> searchPage = SearchHitSupport.searchPageFor(searchHits, pageable);
return (Page)SearchHitSupport.unwrapSearchHits(searchPage);
}
獲取數(shù)據(jù)的代碼如下:
SearchHits<T> searchHits = (SearchHits)this.execute((operations) -> {
return operations.search(query, this.entityClass, this.getIndexCoordinates());
});
點擊operations.searc()
進入接口 SearchOperations,
再點擊實現(xiàn)類
得到如圖
image
點擊 ElasticsearchOperations
得到實現(xiàn)類
image
其實早在上一步就可以發(fā)現(xiàn)了,當(dāng)前可以用的最終底層實現(xiàn)就是
ElasticsearchRestTemplate.class
底層實現(xiàn)圖
image
底層原理解析
public class ElasticsearchRestTemplate extends AbstractElasticsearchTemplate {
private static final Logger LOGGER = LoggerFactory.getLogger(ElasticsearchRestTemplate.class);
// ElasticsearchRestTemplate的底層交互ES的客戶端是 RestHighLevelClient,
// 說明實際上我們之前的配置都是對的!
// ES 交互的三種方式也是對的,
// 1.繼承 ElasticsearchRepository 接口
// 2.使用 ElasticsearchRestTemplate 類
// 3.直接使用 RestHighLevelClient 類
private final RestHighLevelClient client;
private final ElasticsearchExceptionTranslator exceptionTranslator = new ElasticsearchExceptionTranslator();
public ElasticsearchRestTemplate(RestHighLevelClient client) {
Assert.notNull(client, "Client must not be null!");
this.client = client;
this.initialize(this.createElasticsearchConverter());
}
public ElasticsearchRestTemplate(RestHighLevelClient client, ElasticsearchConverter elasticsearchConverter) {
Assert.notNull(client, "Client must not be null!");
this.client = client;
this.initialize(elasticsearchConverter);
}
}
2. 使用ElasticsearchRestTemplate類
說明
有方法1(繼承 ElasticsearchRepository 接口) 的錨點 - **底層原理解析**,可以知道使用該類其實是對 RestHighLevelClient類執(zhí)行方法的封裝,而繼承接口的方式又是對該類的封裝,所以你也可以直接使用該類進行直接調(diào)用。
3.使用RestHighLevelClient類
說明
既然前面兩種都是基于**RestHighLevelClient**類,進行使用的,那么我也可以直接使用該類進行調(diào)用,所以我自己寫了個 {@link com.blacktea.es.service.ElasticsearchServiceImpl} 接口服務(wù)(工具類)
測試
測試的例子,我大部分都寫在了,{@link com.blacktea.es.EsApplicationTests}
ElasticsearchServiceImpl 說明
該類是我自己在學(xué)習(xí)過程中,參考資料進行編寫的,沒有經(jīng)過大數(shù)據(jù)量的測試,如果需要用于項目中,建議使用方法1(繼承 ElasticsearchRepository 接口)
/**
* @description: 基于 RestHighLevelClient 封裝的ElasticsearchService
*
* @author: black tea
* @date: 2021/9/6 14:09
* @version 1.0.0
*/
public interface ElasticsearchService<T> {
/**
* 創(chuàng)建文檔,并返回布爾值
* 當(dāng)索引不存在時,會自動創(chuàng)建
* @param var2 入?yún)㈩?實際文檔內(nèi)容)
* @param index 索引
* @param id id標(biāo)識
* @return true 成功
* @throws IOException 異常
*/
boolean createDocument(Object var2, String index, String id) throws IOException;
/**
* 創(chuàng)建文檔,并返回創(chuàng)建成功的文檔內(nèi)容
* 當(dāng)索引不存在時,會自動創(chuàng)建
* @param var1 返回的對象類型
* @param var2 入?yún)㈩?實際文檔內(nèi)容)
* @param index 索引
* @param id id標(biāo)識
* @return null 表示失敗
* @throws IOException 異常
*/
T createDocument(Class<T> var1,Object var2,String index,String id) throws IOException;
/**
* 批量創(chuàng)建文檔
* @param var 入?yún)ap -> k:id,v:文檔內(nèi)容
* @param index 索引
* @return boolean true 成功
* @throws IOException 異常
*/
boolean addBatchDocument(Map<String,Object> var,String index) throws IOException;
/**
* 通過id標(biāo)識,刪除文檔,并返回布爾值
* 不會刪除索引
* @param index 索引
* @param id id標(biāo)識
* @return true 成功
* @throws IOException 異常
*/
boolean deleteDocument(String index, String id) throws IOException;
/**
* 根據(jù) ids集合 批量刪除文檔
* @param index 索引
* @param ids _id 集合
* @return boolean
* @throws IOException 異常
*/
boolean deleteBatchDocument(String index, List<String> ids) throws IOException;
/**
* 按單個條件(term)刪除文檔,并返回刪除數(shù)量
* 不會刪除索引
* @param index 索引
* @param key fieldName 字段名稱
* @param value 字段值
* @return Long 刪除數(shù)量
* @throws IOException 異常
*/
long deleteDocument(String index, String key, Object value) throws IOException;
/**
* 根據(jù)多條件進行刪除文檔,并返回刪除數(shù)量
* @param index 索引
* @param conditionDTOS 自定義條件集合
* @return Long 刪除數(shù)量
* @throws IOException 異常
*/
long deleteDocumentByCondition(String index, List<ESConditionDTO> conditionDTOS) throws IOException;
/**
* 根據(jù)id更新文檔,并返回布爾值
* 當(dāng)索引不存在時,會自動創(chuàng)建
* @param var2 入?yún)㈩?實際文檔內(nèi)容)
* @param index 索引
* @param id id標(biāo)識
* @return true 成功
* @throws IOException 異常
*/
boolean updateDocument(Object var2, String index, String id) throws IOException;
/**
* 根據(jù)id更新文檔,并返回T
*
* @param var1 返回的對象類型
* @param var2 修改的內(nèi)容文檔
* @param index 索引
* @param id id標(biāo)識
* @return T null 表示為修改失敗
* 失敗原因:
* 1: 該索引下不存在當(dāng)前id;
* 2: es修改返回 status = false;
* @throws IOException
*/
T updateDocument(Class<T> var1, Object var2, String index, String id) throws IOException;
/**
* 根據(jù)多條件進行文檔更新,并返回更新數(shù)量
* @param var2 更新后的文檔內(nèi)容
* @param index 索引
* @param conditionDTOS 自定義條件集合
* @return long 更新數(shù)量
* @throws IOException 異常
*/
long updateDocumentByCondition(Object var2, String index, List<ESConditionDTO> conditionDTOS) throws IOException;
/**
* 根據(jù) ScriptDto 進行文檔更新,并返回更新數(shù)量
* @param scriptDto {@link ScriptDto} 對象,包含了需要修改的字段屬性等信息
* @param index 索引
* @param conditionDTOS 條件集合(類似于 mysql where 條件)
* @return long 更新數(shù)量
* @throws IOException 異常 ESException（自定義）
*/
long updateDocumentByCondition(ScriptDto scriptDto, String index, List<ESConditionDTO> conditionDTOS) throws IOException;
/**
* 根據(jù)Map -> k組成的id進行批量更新文檔
* Map 的 k 表示更新文檔的 _id,
* Map 的 v 表示更新文檔的內(nèi)容 _source
* @param index 索引
* @param params 包含id和對應(yīng)更新文檔內(nèi)容的Map
* @return boolean
* @throws IOException 異常
*/
boolean updateBatchDocument(String index, Map<String,Object> params) throws IOException;
/**
* 通過索引下的id獲取該文檔內(nèi)容
* @param var1 返回的對象類型
* @param index 索引
* @param id id
* @return T
* @throws IOException 異常
*/
T getDocument (Class<T> var1, String index, String id) throws IOException;
/**
* 根據(jù) map 條件查詢列表
* 當(dāng)前查詢操作條件均為 and term
* @param var1 返回的對象類型
* @param index 索引
* @param map 條件map,當(dāng)前條件操作全部設(shè)置為 term Query
* @return List<T>
* @throws IOException 異常
*/
List<T> getListByAndMap(Class<T> var1, String index, Map<String,Object> map) throws IOException;
/**
* 根據(jù) map 條件查詢列表
* 當(dāng)前查詢操作條件均為 and term
* @param var1 返回的對象類型
* @param index 索引
* @param map 條件map,當(dāng)前條件操作全部設(shè)置為 term Query
* @param sortOrderMap 排序Map -> k,v 分別表示排序 字段名稱 和 值({@link org.elasticsearch.search.sort.SortOrder})
* @return List<T>
* @throws IOException 異常
*/
List<T> getListByAndMap(Class<T> var1, String index, Map<String,Object> map ,Map<String, SortOrder> sortOrderMap) throws IOException;
/**
* 根據(jù) conditionDos 條件集合 去查詢列表(僅拼接條件)
* 因為es不支持查詢?nèi)?必須的分頁查詢,所以查詢所有也是用的分頁
* @param var1 返回的對象類型
* @param index 索引
* @param conditionDos 條件集合{@link ESConditionDTO} 根據(jù)該集合對象進行組合
* @return List<T>
* @throws IOException 異常 ESException（自定義）
*/
List<T> getListByCondition(Class<T> var1, String index, List<ESConditionDTO> conditionDos) throws IOException;
/**
* 根據(jù) searchDto 條件 去查詢列表(包含拼接條件與排序)
* 因為es不支持查詢?nèi)?必須的分頁查詢,所以查詢所有也是用的分頁
* @param var1 返回的對象類型
* @param index 索引
* @param searchDto {@link ESSearchDto} 根據(jù)該對象進行組合
* @return List<T>
* @throws IOException 異常 ESException（自定義）
*/
List<T> getListByCondition(Class<T> var1, String index, ESSearchDto searchDto) throws IOException;
/**
* 根據(jù)條件進行分頁查詢
* {@link PageRequest} 三種分頁方案, 資料博客: https://blog.csdn.net/pony_maggie/article/details/105478557
* 1: {@link com.blacktea.es.entites.dto.RequestFromSizePage} from-size -> 占用空間大,可以指定頁數(shù),但是目前默認(rèn)最大僅支持10000以內(nèi)的分頁
* 2: {@link com.blacktea.es.entites.dto.RequestScrollPage} scroll-> 效率高,不可以指定頁數(shù)且非實時,但是可以查詢大量數(shù)據(jù),例如 10000以上的list查詢使用!
* 3: {@link com.blacktea.es.entites.dto.RequestSearchAfterPage} Search_After -> 需要進行很深度的分頁，但是可以不指定頁數(shù)翻頁，只要可以實時請求下一頁就行。比如一些實時滾動的場景。
*
* 注意: 不建議你去使用除 from-size 外的分頁方法去實現(xiàn)指定頁數(shù)跳轉(zhuǎn)!
* @param var1 返回的對象類型
* @param index 索引
* @param esSearchDto {@link ESSearchDto} 根據(jù)該對象進行組合
* @param pageRequest 分頁對象,目前共三種 {@link PageRequest} 實現(xiàn)
* @return Page<T>
* @throws IOException 異常 ESException（自定義）
*/
Page<T> getPageByCondition(Class<T> var1, String index, ESSearchDto esSearchDto, PageRequest pageRequest) throws IOException;
/**
* 根據(jù)條件進行分頁查詢
* {@link com.blacktea.es.entites.dto.RequestFromSizePage} from-size -> 占用空間大,可以指定頁數(shù),但是目前默認(rèn)最大僅支持10000以內(nèi)的分頁
* @param var1 返回的對象類型
* @param index 索引
* @param esSearchDto {@link ESSearchDto} 根據(jù)該對象進行組合
* @param requestFromSizePage 分頁對象,{@link RequestFromSizePage}
* @return Page<T>
* @throws IOException 異常 ESException（自定義）
*/
Page<T> getPageFromSizeByCondition(Class<T> var1, String index, ESSearchDto esSearchDto, RequestFromSizePage requestFromSizePage) throws IOException;
/**
* 獲取指定條件下的數(shù)據(jù)集合數(shù)量(array.size)
* @param idnex 索引
* @param query 查詢對象, 一般為 SearchSourceBuilder.queryBuilder
* @return long
* @throws IOException 異常
*/
Long count(String idnex, QueryBuilder query) throws IOException;
}
@ConditionalOnXXXX系列常用注解
@ConditionalOnBean：當(dāng)給定的在bean存在時,則實例化當(dāng)前Bean
@ConditionalOnMissingBean：當(dāng)給定的在bean不存在時,則實例化當(dāng)前Bean
@ConditionalOnClass：當(dāng)前classpath下存在指定類，則實例化當(dāng)前Bean
@ConditionalOnMissingClass：當(dāng)前classpath下不存在指定類，則實例化當(dāng)前Bean
@ConditionalOnExpression：依賴于SpEL表達式值的條件元素的配置注釋,條件為true，則實例化當(dāng)前bean。如：@ConditionalOnExpression("${redis.enabled}==1&&${redis.cluster.enabled:true}&&'${redis.name}'.equals('myredis')")
@ConditionalOnWebApplication：當(dāng)Spring為web服務(wù)時，才使注解的類生效；通常是配置類；
@ConditionalOnProperty：通過@ConditionalOnProperty控制配置類是否生效,可以將配置與代碼進行分離,實現(xiàn)了更好的控制配置。如：@ConditionalOnProperty(prefix = "filter",name = "loginFilter",havingValue = "true")，配置文件代碼為filter.loginFilter=true。@ConditionalOnProperty 實現(xiàn)是通過 havingValue 與配置文件中的值對比,返回為true則配置類生效,反之失效。
@ConditionalOnResource：僅當(dāng)指定的資源在類路徑上時才生效。如：@ConditionalOnResource(resources="classpath:jdbc.properties")
感謝
https://blog.csdn.net/qq_33375499/article/details/106711248
http://www.itdecent.cn/p/733e7e1e4de5
b 站 狂神說java
