19- Solr集群部署

這個章節(jié)只整理一下solr集群的部署方法

solr提供集群模式的example

打開cmd，進入solr文件夾下的bin目錄
執(zhí)行命令

solr -e cloud
使用命令創(chuàng)建
創(chuàng)建成功

圖片中紅框圈起來的是命令執(zhí)行過程中需要我們輸入的地方，如果不輸入都使用默認值也沒有關系（直接回車就好）

命令執(zhí)行完畢之后，就表示solr集群創(chuàng)建成功了，我可以使用訪問solr進行訪問

訪問solr

訪問之后我們發(fā)現(xiàn)solr的管理界面中多了cloud這個選項。這表示我們現(xiàn)在是使用的solr是以集群的模式運行的。

雖說現(xiàn)在solr集群已經(jīng)運行起來了，但是和我們想要的solr集群還是有些差別的。
我們使用的 solr -e cloud命令創(chuàng)建的solr集群，使用的是solr內(nèi)置的zookeeper。在大多數(shù)情況下，zookeeper應該是單獨部署在其他服務器上的，所以我們還需要把內(nèi)置的zookeeper替換成我們自己的zookeeper服務。

zookeeper

通過這個日志輸出我們可以知道，solr把配置文件上傳到了zk，zk監(jiān)聽的是9983端口，我們使用zk圖形化工具查看一下，zk中存放的配置文件

zkui

相關的配置文件已經(jīng)上傳到了內(nèi)置的zk中。

創(chuàng)建自己的Solr集群

本次使用的是solr-6.6.0版本

創(chuàng)建zk集群

根據(jù)上一遍文章中的內(nèi)容，建立zookeeper單機偽集群

上傳solr配置文件到zk集群

有兩種方式

  1. ./server/scripts/cloud-scripts/zkcli.sh -zkhost localhost:2181,localhost:2182,localhost:2183 -cmd upconfig -confname default -confdir server/solr/configsets/basic_configs/conf
  2. /home/zhouyang/solr-6.6.0/bin/solr zk upconfig -n default -d /home/zhouyang/solr-6.6.0/server/solr/configsets/basic_configs/conf

創(chuàng)建solr node

這里需要創(chuàng)建solr實例的存放位置，我這里選擇的是/var/solr目錄下面
創(chuàng)建 node1 node2兩個文件夾
在solr根目錄下的server/solr文件中拷貝solr.xml到node1 node2，并做修改

其中主要修改點就是host 和hostPort，這兩個屬性會提交到zk中作為存活節(jié)點的地址

<?xml version="1.0" encoding="UTF-8" ?>
<solr>
  <solrcloud>
    <str name="host">${host:192.168.196.128}</str>
    <int name="hostPort">${jetty.port:8983}</int>
    <str name="hostContext">${hostContext:solr}</str>

    <bool name="genericCoreNodeNames">${genericCoreNodeNames:true}</bool>

    <int name="zkClientTimeout">${zkClientTimeout:30000}</int>
    <int name="distribUpdateSoTimeout">${distribUpdateSoTimeout:600000}</int>
    <int name="distribUpdateConnTimeout">${distribUpdateConnTimeout:60000}</int>
    <str name="zkCredentialsProvider">${zkCredentialsProvider:org.apache.solr.common.cloud.DefaultZkCredentialsProvider}</str>
    <str name="zkACLProvider">${zkACLProvider:org.apache.solr.common.cloud.DefaultZkACLProvider}</str>
  </solrcloud>
  <shardHandlerFactory name="shardHandlerFactory"
    class="HttpShardHandlerFactory">
    <int name="socketTimeout">${socketTimeout:600000}</int>
    <int name="connTimeout">${connTimeout:60000}</int>
  </shardHandlerFactory>
</solr>

啟動命令

執(zhí)行下面的命令
/home/zhouyang/solr-6.6.0/bin/solr start -p 8983 -c -z localhost:2181,localhost:2182,localhost:2183 -s /var/solr/node1 -force

/home/zhouyang/solr-6.6.0/bin/solr start -p 8993 -c -z localhost:2181,localhost:2182,localhost:2183 -s /var/solr/node2 -force

其中 -c 表示以cloud集群的方式啟動， -z 表示指定zk集群的地址， -s 表示指定啟動的這個solr node 實例的solrhome目錄，用來存放這個實例的索引等數(shù)據(jù)

#!/bin/bash

name=$1
action=$2

echo "name is ${name} action is ${action}"

if [ ${name} = "zk" -o ${name} = "zoo" ]; then
    echo "${action} zookeeper"
    if [ ${action} = "start" ]; then
        /opt/zookeeper_1/bin/zkServer.sh start
        /opt/zookeeper_2/bin/zkServer.sh start
        /opt/zookeeper_3/bin/zkServer.sh start
    elif [ ${action} = "stop" ]; then
        /opt/zookeeper_1/bin/zkServer.sh stop
        /opt/zookeeper_2/bin/zkServer.sh stop
        /opt/zookeeper_3/bin/zkServer.sh stop
    else
        echo "action ${action} error "
    fi
elif [ ${name} = "solr"  ]; then
    echo "${action} solr"
    if [ ${action} = "start" ]; then
        /home/zhouyang/solr-6.6.0/bin/solr start -p 8983 -c -z localhost:2181,localhost:2182,localhost:2183 -s /var/solr/node1 -force
        /home/zhouyang/solr-6.6.0/bin/solr start -p 8993 -c -z localhost:2181,localhost:2182,localhost:2183 -s /var/solr/node2 -force
    elif [ ${action} = "stop" ]; then
        /home/zhouyang/solr-6.6.0/bin/solr stop -all
    else
        echo "${action} error"
    fi

else
    echo "${name} error"
fi
echo "${name} ${action} finish"

啟動成功之后就solr 集群就算是部署完成了

添加collection

有兩種方式
1.使用rest api命令添加collection

這里使用的configName，就是在上傳配置文件到zk的時候指定的configName

http://localhost:8983/solr/admin/collections?action=CREATE&name=collectionName&numShards=2&replicationFactor=2&maxShar dsPerNode=2&createNodeSet=nodelist&collection.configName=configName
其中createNodeSet的意思是，可以使用那些node去創(chuàng)建shard_replication，如果沒有指定這個參數(shù)，則默認在所有存活的node節(jié)點里創(chuàng)建shard_replication

  1. 使用 solr create 命令
    下面這個命令有兩個作用
    1、使用-d參數(shù)后面的路徑的配置文件，創(chuàng)建collection
    2、同時把配置文件上傳到zk，使用confName作為配置名稱
    /home/zhouyang/solr-6.6.0/bin/solr create -c collectionName -d /opt/core_bingdu_conf -n confName -s 3 -rf 2 -port 8983
create參數(shù)
執(zhí)行create命令
已經(jīng)上傳到zk
創(chuàng)建collection成功

配置完成

總結一下配置solr集群的思路
首先solr是依賴zk來實現(xiàn)配置信息的同步，和存活節(jié)點，主從的自動切換

所以要先配置好zk，zk的集群配置還是相對簡單的，然后上傳一些配置到zk

然后就是需要把solr以集群的模式啟動起來，讓solr能夠從zk讀取到上傳的配置。

  1. 修改solr.in.sh,添加ZK_HOST參數(shù)
  2. 在啟動命令中使用 -c -z 參數(shù)指定zk服務列表

因為我們創(chuàng)建的solr集群是單機偽集群，需要同時在創(chuàng)建命令中指定solrhome目錄。每個solr實例創(chuàng)建的時候需要把自己的地址上報給zk，所以需要在每個節(jié)點的solrhome目錄中添加solr.xml文件，配置solr實例的地址和端口。如果在命令中也指定了端口，以命令中指定的端口為準。

這樣集群就建立起來了，然后我們就可以使用一些http api來實現(xiàn)創(chuàng)建collection等操作了。

Solr中collection shard replication core等概念

一個collection中存放的是一個數(shù)據(jù)源的所有的索引，一個collection可以被分為多個shard（分片），每個shard中存放不同的數(shù)據(jù)，一個collection中的shards可以分配到不同的solr實例中。為了保證服務的高可用行，每個shard還會根據(jù)配置創(chuàng)建多個replication（復本），以防止某個shard損壞造成的，這個shard數(shù)據(jù)不可用。多個shard復本之間會選出一個leader，對外提供服務，當leader宕機，會重新推舉一個leader。

從圖上面我們可以知道，collection是跨實例的，一個collection的索引可以存放在不同的solr實例中。
core是屬于某個實例的，這個實例上有多少個collection的shard的副本存在就有多少個core

關系圖

關系通 和上面的圖片無關。關系圖中是有3個solr實例，每個shard有3個副本

最后編輯于 ：
?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

相關閱讀更多精彩內(nèi)容

  • 兩年前用過solr5.1版本的，當時只是簡單入個門，拿來在項目里建個全文索引，然后再query，其他什么也沒做，還...
    Coselding閱讀 3,241評論 3贊 22
  • Spring Cloud為開發(fā)人員提供了快速構建分布式系統(tǒng)中一些常見模式的工具（例如配置管理，服務發(fā)現(xiàn)，斷路器，智...
    卡卡羅2017閱讀 136,544評論 19贊 139
  • 天蒙蒙亮，一艘小帆船從大海深處緩緩的駛向一個小島?！敖裉斓某煽儾诲e！足足500斤的青魚”一個身高有兩米開外，滿臉海...
    綿小羊君閱讀 318評論 0贊 1
  • 柳月芽，仙欲搭，水袖羅襪舞煙霞，風瀲滟，暗香拂面，情不顯。 春熙撩，詠嘆調(diào)，愛與花火繞石橋，霧流嵐，輝耀星燦，光不...
    未卜先_e4df閱讀 288評論 5贊 6
  • 朋友葉子告訴我她六歲的時候把活生生的五條金魚曬成魚干。 葉子并不是有什么心理陰影的小孩，相反她是那種會為養(yǎng)了幾年...
    Ellie鱷梨閱讀 696評論 0贊 1

友情鏈接更多精彩內(nèi)容