这个章节只整理一下solr集群的部署方法
solr提供集群模式的example
打开cmd,进入solr文件夹下的bin目录
执行命令
solr -e cloud
图片中红框圈起来的是命令执行过程中需要我们输入的地方,如果不输入都使用默认值也没有关系(直接回车就好)
命令执行完毕之后,就表示solr集群创建成功了,我可以使用访问solr进行访问
访问之后我们发现solr的管理界面中多了cloud这个选项。这表示我们现在是使用的solr是以集群的模式运行的。
虽说现在solr集群已经运行起来了,但是和我们想要的solr集群还是有些差别的。
我们使用的 solr -e cloud
命令创建的solr集群,使用的是solr内置的zookeeper。在大多数情况下,zookeeper应该是单独部署在其他服务器上的,所以我们还需要把内置的zookeeper替换成我们自己的zookeeper服务。
通过这个日志输出我们可以知道,solr把配置文件上传到了zk,zk监听的是9983端口,我们使用zk图形化工具查看一下,zk中存放的配置文件
相关的配置文件已经上传到了内置的zk中。
创建自己的Solr集群
本次使用的是solr-6.6.0版本
创建zk集群
根据上一遍文章中的内容,建立zookeeper单机伪集群
上传solr配置文件到zk集群
有两种方式
./server/scripts/cloud-scripts/zkcli.sh -zkhost localhost:2181,localhost:2182,localhost:2183 -cmd upconfig -confname default -confdir server/solr/configsets/basic_configs/conf
/home/zhouyang/solr-6.6.0/bin/solr zk upconfig -n default -d /home/zhouyang/solr-6.6.0/server/solr/configsets/basic_configs/conf
创建solr node
这里需要创建solr实例的存放位置,我这里选择的是/var/solr目录下面
创建 node1 node2两个文件夹
在solr根目录下的server/solr文件中拷贝solr.xml到node1 node2,并做修改
其中主要修改点就是host 和hostPort,这两个属性会提交到zk中作为存活节点的地址
<?xml version="1.0" encoding="UTF-8" ?>
<solr>
<solrcloud>
<str name="host">${host:192.168.196.128}</str>
<int name="hostPort">${jetty.port:8983}</int>
<str name="hostContext">${hostContext:solr}</str>
<bool name="genericCoreNodeNames">${genericCoreNodeNames:true}</bool>
<int name="zkClientTimeout">${zkClientTimeout:30000}</int>
<int name="distribUpdateSoTimeout">${distribUpdateSoTimeout:600000}</int>
<int name="distribUpdateConnTimeout">${distribUpdateConnTimeout:60000}</int>
<str name="zkCredentialsProvider">${zkCredentialsProvider:org.apache.solr.common.cloud.DefaultZkCredentialsProvider}</str>
<str name="zkACLProvider">${zkACLProvider:org.apache.solr.common.cloud.DefaultZkACLProvider}</str>
</solrcloud>
<shardHandlerFactory name="shardHandlerFactory"
class="HttpShardHandlerFactory">
<int name="socketTimeout">${socketTimeout:600000}</int>
<int name="connTimeout">${connTimeout:60000}</int>
</shardHandlerFactory>
</solr>
启动命令
执行下面的命令
/home/zhouyang/solr-6.6.0/bin/solr start -p 8983 -c -z localhost:2181,localhost:2182,localhost:2183 -s /var/solr/node1 -force
/home/zhouyang/solr-6.6.0/bin/solr start -p 8993 -c -z localhost:2181,localhost:2182,localhost:2183 -s /var/solr/node2 -force
其中 -c 表示以cloud集群的方式启动, -z 表示指定zk集群的地址, -s 表示指定启动的这个solr node 实例的solrhome目录,用来存放这个实例的索引等数据
#!/bin/bash
name=$1
action=$2
echo "name is ${name} action is ${action}"
if [ ${name} = "zk" -o ${name} = "zoo" ]; then
echo "${action} zookeeper"
if [ ${action} = "start" ]; then
/opt/zookeeper_1/bin/zkServer.sh start
/opt/zookeeper_2/bin/zkServer.sh start
/opt/zookeeper_3/bin/zkServer.sh start
elif [ ${action} = "stop" ]; then
/opt/zookeeper_1/bin/zkServer.sh stop
/opt/zookeeper_2/bin/zkServer.sh stop
/opt/zookeeper_3/bin/zkServer.sh stop
else
echo "action ${action} error "
fi
elif [ ${name} = "solr" ]; then
echo "${action} solr"
if [ ${action} = "start" ]; then
/home/zhouyang/solr-6.6.0/bin/solr start -p 8983 -c -z localhost:2181,localhost:2182,localhost:2183 -s /var/solr/node1 -force
/home/zhouyang/solr-6.6.0/bin/solr start -p 8993 -c -z localhost:2181,localhost:2182,localhost:2183 -s /var/solr/node2 -force
elif [ ${action} = "stop" ]; then
/home/zhouyang/solr-6.6.0/bin/solr stop -all
else
echo "${action} error"
fi
else
echo "${name} error"
fi
echo "${name} ${action} finish"
启动成功之后就solr 集群就算是部署完成了
添加collection
有两种方式
1.使用rest api命令添加collection
这里使用的configName,就是在上传配置文件到zk的时候指定的configName
http://localhost:8983/solr/admin/collections?action=CREATE&name=collectionName&numShards=2&replicationFactor=2&maxShar dsPerNode=2&createNodeSet=nodelist&collection.configName=configName
其中createNodeSet的意思是,可以使用那些node去创建shard_replication,如果没有指定这个参数,则默认在所有存活的node节点里创建shard_replication
- 使用 solr create 命令
下面这个命令有两个作用
1、使用-d参数后面的路径的配置文件,创建collection
2、同时把配置文件上传到zk,使用confName作为配置名称
/home/zhouyang/solr-6.6.0/bin/solr create -c collectionName -d /opt/core_bingdu_conf -n confName -s 3 -rf 2 -port 8983
配置完成
总结一下配置solr集群的思路
首先solr是依赖zk来实现配置信息的同步,和存活节点,主从的自动切换
所以要先配置好zk,zk的集群配置还是相对简单的,然后上传一些配置到zk
然后就是需要把solr以集群的模式启动起来,让solr能够从zk读取到上传的配置。
- 修改solr.in.sh,添加ZK_HOST参数
- 在启动命令中使用 -c -z 参数指定zk服务列表
因为我们创建的solr集群是单机伪集群,需要同时在创建命令中指定solrhome目录。每个solr实例创建的时候需要把自己的地址上报给zk,所以需要在每个节点的solrhome目录中添加solr.xml文件,配置solr实例的地址和端口。如果在命令中也指定了端口,以命令中指定的端口为准。
这样集群就建立起来了,然后我们就可以使用一些http api来实现创建collection等操作了。
Solr中collection shard replication core等概念
一个collection中存放的是一个数据源的所有的索引,一个collection可以被分为多个shard(分片),每个shard中存放不同的数据,一个collection中的shards可以分配到不同的solr实例中。为了保证服务的高可用行,每个shard还会根据配置创建多个replication(复本),以防止某个shard损坏造成的,这个shard数据不可用。多个shard复本之间会选出一个leader,对外提供服务,当leader宕机,会重新推举一个leader。
从图上面我们可以知道,collection是跨实例的,一个collection的索引可以存放在不同的solr实例中。
core是属于某个实例的,这个实例上有多少个collection的shard的副本存在就有多少个core
关系通 和上面的图片无关。关系图中是有3个solr实例,每个shard有3个副本