分布式五、分布式协调服务一:初步认识zookeeper

Valentine 转载请标明出处。

从架构的发展说起

以电商架构为例,早期我们是单一的应用架构,随着互联网的快速发展和体量的不断增长,后端的架构通过垂直伸缩的方式很难达到我们期望的性能要求,同时投入产出比也非常大,同时普通PC 的性能也越来越高,所以通过水平伸缩的方式来提升性能成为了主流。
在分布式架构下,当服务越来越多,规模越来越大时,对应的机器数量也越来越大,单靠人工来管理和维护服务及地址的配置信息越来越困难,单点故障的问题也开始突显出来,一旦服务路由或者负载均衡服务器宕机,依赖他的所有服务均将失效。
此时,需要一个能够动态注册和获取服务信息的地方。来统一管理服务名称和其对应的服务器列表信息,称之为服务配置中心,服务提供者在启动时,将其提供的服务名称、服务器地址注册到服务配置中心,服务消费者通过服务配置中心来获得需要调用的服务的机器列表。通过相应的负载均衡算法,选取其中一台服务器进行调用。当服务器宕机或者下线时,相应的机器能够动态地从服务配置中心里面移除,并通知相应的服务消费者,否则服务消费者就有可能因为调用到已经失效服务而发生错误,在这个过程中,服务消费者只有在第一次调用服务时需要查询服务配置中心,然后将查询到的信息缓存到本地,后面的调用直接使用本地缓存的服务地址列表信息,而不需要重新发起请求到服务配置中心去获取相应的服务地址列表,直到服务的地址列表有变更(机器上线或者下线)。这种无中心化的结构解决了之前负载均衡设备所导致的单点故障问题,并且大大减轻了服务配置中心的压力。

什么是zookeeper

zookeeper 是一个开源的分布式协调服务,由雅虎公司创建,是google chubby 的开源实现。zookeeper 的设计目标是将哪些复杂且容易出错的分布式一致性服务封装起来,构成一个高效可靠的原语集(由若干条指令组成的,完成一定功能的一个过程),并且以一些列简单一用的接口提供给用户使用。

zookeeper 安装部署

安装,zookeeper 有两种运行模式:集群模式和单击模式。
下载zookeeper 安装包:http://apache.fayea.com/zookeeper/下载完成,通过tar -zxvf 解压。
常用命令

  1. 启动ZK 服务:bin/zkServer.sh start
  2. 查看ZK 服务状态:bin/zkServer.sh status
  3. 停止ZK 服务:bin/zkServer.sh stop
  4. 重启ZK 服务:bin/zkServer.sh restart
  5. 连接服务器:zkCli.sh -timeout 0 -r -server ip:port
    单机环境安装
    一般情况下,在开发测试环境,没有这么多资源的情况下,而且也不需要特别好的稳定性的前提下,我们可以使用单机部署;初次使用zookeeper ,需要将conf 目录下的zoo_sample.cfg 文件copy 一份重命名为zoo.cfg修改dataDir 目录,dataDir 表示日志文件存放的路径。
    dataDir=/data/zookeeper/data
    dataLogDir=/data/zookeeper/logs
    集群环境安装
    在zookeeper 集群中,各个节点总共有三种角色,分别是:leader,follower,observer 集群模式我们采用模拟3 台机器来搭建zookeeper 集群,分别复制安装包到三台机器上并解压,同时copy 一份zoo.cfg。
  6. 修改配置文件
    修改端口
    server.1=IP1:2888:3888 【2888:访问zookeeper 的端口;3888:重新选举leader 的端口】
    server.2=IP2.2888:3888
    server.3=IP3.2888:3888
    server.A=B:C:D:其 中
    A 是一个数字,表示这个是第几号服务器;
    B 是这个服务器的 ip 地址;
    C 表示的是这个服务器与集群中的 Leader服务器交换信息的端口;
    D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式,由于 B 都是一样,所以不同的 Zookeeper 实例通信端口号不能一样,所以要给它们分配不同的端口号。
    在集群模式下,集群中每台机器都需要感知到整个集群是由哪几台机器组成的, 在配置文件中, 按照格式server.id=host:port:port,每一行代表一个机器配置id: 指的是server ID,用来标识该机器在集群中的机器序号。
  7. 新建datadir 目录
    设置myid在每台zookeeper 机器上,我们都需要在数据目录(dataDir)下创建一个myid 文件,该文件只有一行内容,对应每台机器的Server ID 数字;比如server.1 的myid 文件内容就是1。【必须确保每个服务器的myid 文件中的数字不同,并且和自己所在机器的zoo.cfg 中server.id 的id 值一致,id 的范围是1~255】
  8. 启动zookeeper
    带Observer 角色的集群Observer:在不影响写性能的情况下扩展zookeeper本身zookeeper 的集群性能已经很好了,但是如果超大量的客户端访问,就势必需要增加zookeeper 集群的服务器数量,而随着服务器的增加,zookeeper 集群的写性能就会下降;zookeeper 中znode 的变更需要半数及以上服务器投票通过,而随着机器的增加,由于网络消耗等原因必定会导致投票成本增加,也就导致性能下降的结果。

学习来源https://www.gupaoedu.com/

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,175评论 5 466
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,674评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,151评论 0 328
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,597评论 1 269
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,505评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 47,969评论 1 275
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,455评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,118评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,227评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,213评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,214评论 1 328
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,928评论 3 316
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,512评论 3 302
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,616评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,848评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,228评论 2 344
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,772评论 2 339

推荐阅读更多精彩内容