Apache Pulsar[4] 伪集群环境搭建

1 准备工作

操作系统：macOs
运行环境：java8

2 集群组成

zk集群（3个节点）
bk集群（3个节点）
pulsar集群（3个节点）

3 搭建过程

3.1 zk集群搭建

zk版本：3.4.12

1 下载并解压zk
2 将解压好的zookeeper文件夹复制3份分别命名为zookeeper1，zookeeper2，zookeeper3

image.png
3 以其中一个节点为例进行配置
（3.1）新建两个目录分别使data、log（本文建在/opt目录下）

image.png

（3.2) data和log目录下各建三个子目录（zk1、zk2、zk3）

image.png

(3.3) 将conf目录下的zoo_sample.cfg文件重命名为zoo.cfg

修改如下5个参数
dataDir
dataLogDir
clientPort
admin.enableServer
admin.serverPort
添加如下集群节点信息
server.1=127.0.0.1:2888:3888
server.2=127.0.0.1:2889:3889
server.3=127.0.0.1:2890:3890

在一台服务器上，部署多个实例，需要指定不同的端口号。
[1]clientPort: 3个zk节点中分别配置为:2181,2182,2183
[2]admin.enableServer:3个zk节点中都配置为 true
[3]admin.serverPort:3个zk节点中分别配置为:9181,9182,9183
[4]集群节点信息:3个zk节点中都配置为:
server.1=127.0.0.1:2888:3888
server.2=127.0.0.1:2889:3889
server.3=127.0.0.1:2890:3890

(3.4) 在zookeeper1/data/目录下创建名字为myid文件。
向myid文件中写入内容 1
myid文件内容,3个zk节点中分别为1,2,3

(3.5) 修改完三个节点后分别启动三个节点
./bin/zkServer.sh start zk启动命令
(3.6) 用zk客户端命令(./bin/zkCli.sh -timeout 5000 -server 127.0.0.1:2181)连接zk节点,连接zookeeper1。
(3.6) 写入pulsar元数据配置
create /cluster pulsar-cluster
create /zookeeper 127.0.0.1:2181
create /configuration-store 127.0.0.1:2181
create /web-service-url http://pulsar.cluster.com:8080
create /web-service-url-tls https://pulsar.cluster.com:8443
create /broker-service-url pulsar://pulsar.cluster.com:6650
create /broker-service-url-tls pulsar+ssl://pulsar.cluster.com:6651


--cluster
集群名称

--zookeeper
ZooKeeper集群连接参数，仅需要包含集群中的一个节点即可

--configuration-store
Pulsar实例的配置存储集群（ZooKeeper），和-zookeeper参数一样只需要包含集群中的一个节点即可

--web-service-url
集群Web服务的URL+端口，URL必须是一个i标准的DNS名称，默认端口8080，不建议修改。

--web-service-url-tls
集群Web提供TLS服务的URL+端口，端口默认8443，不建议修改。

--broker-service-url
集群brokers服务URL，URL中DNS的名称和Web服务保持一致，URL使用pulsar替代http/http，端口默认6650，不建议修改。

--broker-service-url-tls
集群brokers提供TLS服务的URL，默认端口6551，不建议修改。

3.2 bk集群搭建

bk版本：4.9.2

1 下载并解压bk
2 将解压好的bk文件夹复制3份分别命名为bk1、bk2、bk3

image.png
3 以其中一个节点为例进行配置
（3.1）修改 bk_server.conf 文件内容

修改如下5个参数
bookiePort
httpServerPort
storageserver.grpc.port
journalDirectories
ledgerDirectories
添加如下zk集群节点信息
zkServers=localhost:2181,localhost:2182,localhost:2183

在一台服务器上，部署多个实例，需要指定不同的端口号。
[1]bookiePort: 3个bookie节点中分别配置为:3181,3182,3183
[2]httpServerPort: 3个bookie节点中都配置为:8050,8060,8070
[3]storageserver.grpc.port: 3个bookie节点中都配置为: 4181,4182,4183
[4]zk集群节点信息:3个bookie中都配置为:
zkServers=localhost:2181,localhost:2182,localhost:2183
(3.2) 执行初始化集群元数据命令(在一个bookie上执行即可),命令如下。

./bin/bookkeeper shell metaformat

(3.3) 3个bookie下，分别执行命令启动bookie,命令如下

./bin/bookkeeper bookie

./bin/bookkeeper shell bookiesanity 检查是否启动成功

3.3 pulsar集群搭建

版本：2.5.2

1 下载并解压pulsar
2 将解压好的pulsar文件夹复制3份分别命名为pulsar1、pulsar2、pulsar3

image.png
以其中一个节点为例进行配置
（3.1）修改broker.conf文件内容

修改如下4个参数
brokerServicePort
brokerServicePortTls
webServicePort
webServicePortTls
添加如下zk集群节点信息
zookeeperServers=localhost:2181,localhost:2182,localhost:2183
configurationStoreServers=localhost:2181,localhost:2182,localhost:2183

在一台服务器上，部署多个实例，需要指定不同的端口号。
[1]brokerServicePort: 3个broker节点中分别配置为:6650,6660,6670
[2]brokerServicePortTls: 3个broker节点中分别配置为:6651,6661,6671
[3]webServicePort: 3个broker节点中分别配置为:8080,8081,8082
[4]webServicePortTls: 3个broker节点中分别配置为:8443,8444,8445
[5]zk集群节点信息:3个broker中都配置为:
zookeeperServers=localhost:2181,localhost:2182,localhost:2183
configurationStoreServers=localhost:2181,localhost:2182,localhost:2183
(3.2) 在3个broker下分别执行启动命令

./bin/pulsar broker

到这里集群搭建完成

4 pulsar配置

创建集群(集群名:pulsar-cluster)

./bin/pulsar-admin clusters create --url http://pulsar.cluster.com:8080 pulsar-cluster

创建租户(租户名:my-tenant)

./bin/pulsar-admin tenants create my-tenant

创建命名空间(命名空间名,指定了租户my-tenant:my-tenant/my-namespace)

./bin/pulsar-admin namespaces create my-tenant/my-namespace

创建持久性分区topic(topic全名:persistent://my-tenant/my-namespace/my-topic)

./bin/pulsar-admin topics create-partitioned-topic persistent://my-tenant/my-namespace/my-topic -p 3

更新命名空间为其指定集群

./bin/pulsar-admin namespaces set-clusters my-tenant/my-namespace --clusters pulsar-cluster