Solr搜索引擎 — SolrCloud安裝和集群配置

搞定了一切的一切之后下一步就是正式使用了，但是之前介紹的都是在單臺(tái)服務(wù)器上進(jìn)行的部署，如果在生產(chǎn)環(huán)境出現(xiàn)了單臺(tái)故障怎么辦呢？提供穩(wěn)定性和性能的最直觀的方式就是集群，solr官方提供了cloud的集群方式

附上:

喵了個(gè)咪的博客：http://w-blog.cn

Solr官網(wǎng)：http://lucene.apache.org/solr/

PS：8.0.0版本已經(jīng)發(fā)布，本文使用此時(shí)較為穩(wěn)定的7.7.1版本

一、基于tomcat安裝solr

下載solr

> cd /app/install/
> wget http://mirror.bit.edu.cn/apache/lucene/solr/7.7.1/solr-7.7.1.tgz
> tar -zxvf solr-7.7.1.tgz
> mv solr-7.7.1 /usr/local/
> vim /etc/profile

export PATH=/usr/local/solr-7.7.1/bin:$PATH

> source /etc/profile

在tomcat包下的webapps目錄新建一個(gè)目錄，取名solr

> cd /data/wwwroot/default
> mkdir solr
  • 將solr解壓包/solr-7.7.1/server/solr-webapp/webapp/下的內(nèi)容拷貝到剛才tomcat下新建的文件夾solr中
  • 將/solr-7.7.1/server/lib/ext/下的jar包拷貝到/tomcat/webapps/solr/WEB-INF/lib/下
  • 將/solr-7.7.1/server/lib/下metrics開頭的jar包也拷貝到剛才的目錄下
  • 將/solr-7.7.1/dist/下 solr-dataimporthandler-extras-7.7.1.jar、solr-dataimporthandler-7.7.1.jar也拷貝到剛才的目錄下
> cp -rf /usr/local/solr-7.7.1/server/solr-webapp/webapp/* /data/wwwroot/default/solr
> cp -rf /usr/local/solr-7.7.1/server/lib/ext/* /data/wwwroot/default/solr/WEB-INF/lib
> cp -rf /usr/local/solr-7.7.1/server/lib/metrics-* /data/wwwroot/default/solr/WEB-INF/lib
> cp -rf /usr/local/solr-7.7.1/dist/solr-dataimporthandler-extras-7.7.1.jar /data/wwwroot/default/solr/WEB-INF/lib
> cp -rf /usr/local/solr-7.7.1/dist/solr-dataimporthandler-7.7.1.jar /data/wwwroot/default/solr/WEB-INF/lib
  • 在你本地的/home下新建一個(gè)文件夾,取名solr-home,將/solr-7.7.1/server/solr下的內(nèi)容拷貝到剛才新建的solr-home下
> mkdir /home/solr-home
> cp -rf /usr/local/solr-7.7.1/server/solr/* /home/solr-home/
  • 打開并編輯/tomcat/webapps/solr/WEB-INF/web.xml并且注釋文件末尾的所有 <security-constraint> 元素節(jié)點(diǎn)
> vim /data/wwwroot/default/solr/WEB-INF/web.xml

<env-entry>
      <env-entry-name>solr/home</env-entry-name>
      <env-entry-value>/home/solr-home</env-entry-value>
      <env-entry-type>java.lang.String</env-entry-type>
</env-entry>

<!--
  <security-constraint>
    <web-resource-collection>
      <web-resource-name>Disable TRACE</web-resource-name>
      <url-pattern>/</url-pattern>
      <http-method>TRACE</http-method>
    </web-resource-collection>
    <auth-constraint/>
  </security-constraint>
  <security-constraint>
    <web-resource-collection>
      <web-resource-name>Enable everything but TRACE</web-resource-name>
      <url-pattern>/</url-pattern>
      <http-method-omission>TRACE</http-method-omission>
    </web-resource-collection>
  </security-constraint>
-->
  • 配置solr日志（可選）
    將/solr-7.7.1/server/resources/下的log4j2.xml文件拷貝到solr/WEB-INF/classes/下,如果沒有則自己創(chuàng)建一個(gè)。

分別給予權(quán)限

> chown -R www:www /home/solr-home/
> chown -R www:www /data/wwwroot/default/solr/

二，SolrCloud配置子節(jié)點(diǎn)

把配置好的solr 和 solrhome 復(fù)制到其余兩個(gè)節(jié)點(diǎn)

> scp -r /home/solr-home root@solr-2:/home/
> scp -r /home/solr-home root@solr-3:/home/

> scp -r /data/wwwroot/default/solr root@solr-2:/data/wwwroot/default/
> scp -r /data/wwwroot/default/solr root@solr-3:/data/wwwroot/default/

配置solrCloud相關(guān)的配置。每個(gè)solrhome下都有一個(gè)solr.xml，把其中的ip及端口號配置好

> vim /home/solr-home/solr.xml

讓zookeeper統(tǒng)一管理配置文件。需要把/conf目錄上傳到zookeeper

> cd /app/install/solr-7.7.1/server/scripts/cloud-scripts

> ./zkcli.sh -zkhost solr-1:2181,solr-2:2181,solr-3:2181 -cmd upconfig -confdir  /home/solr-home/new_core/conf -confname myconf

使用zkCli.sh來確認(rèn)一下文件已經(jīng)上傳了

修改tomcat/bin目錄下的catalina.sh文件，關(guān)聯(lián)solr和zookeeper 三臺(tái)都需要修改

> vim /usr/local/tomcat/bin/catalina.sh 

JAVA_OPTS="-DzkHost=solr-1:2181,solr-2:2181,solr-3:2181"

此時(shí)重啟所有的tomcat就可以正常訪問到solr-ui了

三、添加Collection使用索引功能

PS：集群下的Collection等同于單機(jī)的core

四、配置mysql索引

使用SolrCloud來去進(jìn)行配置過程和單機(jī)模式基本一致，但是有以下幾個(gè)多出來的事情：

  • 修改完new_core的配置需要通過zookeeper進(jìn)行配置文件的上傳才能生效；
  • 依賴的各種jar包mysql，分詞和拼音等每個(gè)集群節(jié)點(diǎn)都需要添加才能生效；
> vim server/solr/new_core/conf/solrconfig.xml

在solrconfig.xml 下添加以下配置，添加位置大約在 680行，SearchHandler 配置上面：

<!-- Request Handlers
       http://wiki.apache.org/solr/SolrRequestHandler
       Incoming queries will be dispatched to a specific handler by name
       based on the path specified in the request.

       If a Request Handler is declared with startup="lazy", then it will
       not be initialized until the first request that uses it.
    -->

  <!-- add property -->
  <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">  
    <lst name="defaults">  
        <str name="config">data-config.xml</str>  
    </lst>
  </requestHandler>
  
  <!-- SearchHandler
       http://wiki.apache.org/solr/SearchHandler
       For processing Search Queries, the primary Request Handler
       provided with Solr is "SearchHandler" It delegates to a sequent
       of SearchComponents (see below) and supports distributed
       queries across multiple shards
    -->

> vim server/solr/new_core/conf/data-config.xml

<?xml version="1.0" encoding="UTF-8"?>
<dataConfig>
    <dataSource name="source"
    type="JdbcDataSource"
    driver="com.mysql.jdbc.Driver"
    url="jdbc:mysql://localhost:3306/appstore"
    user="root"
    password="sunmi388"
    />
    <document>
        <entity name="app"
            pk="id"
            dataSource="source"
            query="select * from app"
            deltaImportQuery="select * from app where id = '${dih.delta.id}'"
            deltaQuery="select id from app where update_date > '${dataimporter.last_index_time}' and type = 1">
            <field column="id" name="id"/>
            <field column="app_name" name="app_name"/>
            <field column="update_date" name="update_date"/>
        </entity>
    </document>
</dataConfig>

> vim server/solr/new_core/conf/managed-schema

<!-- add propertity -->
<field name="appName" type="string" indexed="true" stored="true" />
<field name="score" type="string" indexed="true" stored="true" />
<field name="downLoadNum" type="string" indexed="true" stored="true" />
<field name="top" type="string" indexed="true" stored="true" />
<field name="type" type="string" indexed="true" stored="true" />
<field name="update_date" type="string" indexed="true" stored="true" />

添加jar包時(shí)每個(gè)節(jié)點(diǎn)都需要添加

> cd /data/wwwroot/default/solr/WEB-INF/lib/
> wget http://pic.w-blog.cn/mysql-connector-java.jar

上傳配置：

> ./zkcli.sh -zkhost solr-1:2181,solr-2:2181,solr-3:2181 -cmd upconfig -confdir  /home/solr-home/new_core/conf -confname myconf

PS：分詞配置和依賴jar包同理

五、集群機(jī)制測試

測試容錯(cuò)

  1. 關(guān)閉主節(jié)點(diǎn)solr-1
  2. 在數(shù)據(jù)查詢上 另外兩個(gè)節(jié)點(diǎn)依然可以提供數(shù)據(jù)查詢服務(wù)
  3. 重啟 solr-1，再次查看界面可以發(fā)現(xiàn)主節(jié)點(diǎn)已經(jīng)路由給了solr-2

測試分詞在集群下的生效范圍，在solr-1增加新的分詞

> vim /data/wwwroot/default/solr/WEB-INF/classes/ext.dic

美團(tuán)
  • 保存后重啟所有節(jié)點(diǎn)重新初始化數(shù)據(jù)

增加了分詞文件的節(jié)點(diǎn)可以識別

未增加分詞文件的節(jié)點(diǎn)無法識別

影響范圍是局部的，并且一定要重啟才能生效（當(dāng)然這個(gè)是IK分詞庫決定的）

六、集群壓力分散情況

驗(yàn)證 查詢時(shí)自動(dòng)負(fù)載均衡
通過一臺(tái)服務(wù)器對一臺(tái)進(jìn)行壓力查看整個(gè)集群的情況

> ab -c 1000 -n 100000 -k "http://solr-1:8080/solr/mycollection/select?q=appName%3Agongju"

solr-1

solr-2 -3

承載了接口請求的節(jié)點(diǎn)壓力會(huì)比較大，其余在集群情況下提供了支持

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 一.簡介 Solr是一個(gè)獨(dú)立的企業(yè)級搜索應(yīng)用服務(wù)器，它對外提供類似于Web-service的API接口。用戶可以通...
    泰安青年閱讀 3,908評論 0贊 37
  • 一、Solr的安裝 1.Solr的介紹： 的數(shù)據(jù)總體分為兩種：結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。（1）結(jié)構(gòu)化數(shù)據(jù)：指具有固...
    開源oo柒閱讀 475評論 0贊 0
  • 常常在?業(yè)務(wù)開發(fā)中會(huì)遇到大列表的查詢需求或者按照各項(xiàng)條件搜索內(nèi)容，一般的做法往往都是數(shù)據(jù)庫直接搞定，但是到了一定的...
    文振熙閱讀 408評論 0贊 0
  • 兩年前用過solr5.1版本的，當(dāng)時(shí)只是簡單入個(gè)門，拿來在項(xiàng)目里建個(gè)全文索引，然后再query，其他什么也沒做，還...
    Coselding閱讀 3,249評論 3贊 22
  • 搜索引擎——Solr安裝、配置 什么是solr？ Solr是如何實(shí)現(xiàn)全文檢索的呢？ 索引流程：solr客戶端（瀏覽...
    怪咖_OOP閱讀 1,393評論 0贊 4

友情鏈接更多精彩內(nèi)容